楼主
小伊同学 发表于 2017-10-8 23:37:19
5205
0
炼数成金 Spark大数据分析平台 8课spark介绍:
2015年, Spark只用了一年多时间,已实现开源到火爆 ,亦逐渐显露出与通用大数据平台Hadoop的分庭抗争之势。在这个大背景下,在大数据领域时代,谁将是独领风骚?Spark无疑是最大的竞争者,无论是 2015 Spark技术峰会 ,还是国内的大数据大会,可以看到中国力量正在崛起,Spark最大的集群来自腾讯——8000个节点,单个Job最大分别是阿里巴巴和Databricks——1PB,震撼人心!同时,截止2015年6月,Spark的Contributor比2014年涨了3倍,达到730人;总代码行数也比2014年涨了2倍多,达到40万行,不但大量的互联网企业已经在使用或者正准备使用Spark,而且大量的电信、金融、证券和传统企业已经开始引入了Spark。
授课对象:
有Java开发经验或Scala开发经验,最好了解Hadoop,Hive等使用经验。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值。
收获预期:
深入理解Spark的运行原理
学会搭建Spark,hadoop集群环境
完全掌握Spark编程基础,了解Spark运维的基础知识
完成大数据入门,可逐渐转岗大数据相关职位。
课程环境:
Spark版本:Spark1.4
准备环境:CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive,建议三台虚拟机。
然而作为一个高速发展中的开源项目,其部署过程中存在的门槛和挑战亦不可谓不大,本课程将主要介绍Spark1.4.0,引领大家进入大数据Spark入门。
课程目录:
1、Spark生态和安装部署
什么是Spark
Spark有什么
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone HA安装
Spark工具
Spark交互式工具spark-shell
Spark应用程序部署工具spark-submit
2、Spark编程模型和解析
Spark的编程模型
RDD的特点、操作、依赖关系
缓存策略
广播变量和累加器
Spark编程环境搭建
Spark编程实例
3、Spark运行架构和解析
Spark的运行架构
基本术语
运行架构(DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性)
Spark on Standalone运行过程
Spark on YARN 运行过程
Spark实例演示
Spark on Standalone实例演示
Spark on YARN实例演示
4、不得不说的hive
hive的运行架构
hive的安装
hive的实例演示
shark的简介
5、SparkSQL原理和实践
Spark的运行架构
Catalyst
sqlontext
hiveContext
ThriftServer和CLI
ThriftServer
CLI
SparkSQL的实例演示和编程
spark-shell实例演示
spark-sql实例演示
SparkSQL的编程
6、SparkStreaming原理和实践
SparkStreaming原理
SparkStreaming的原理
SparkStreaming的运行方式
DStream的特点和操作
SparkStreaming实例演示
网络数据演示
文本实例演示
Window操作演示
7、MLlib入门
什么是机器学习
MLlib的架构
Mllib实例演示
聚类算法演示
推荐系统演示
8、GraphX入门
图论基础
GraphX的架构
GraphX实例演示
图的基本操作
PageRank演示
课程下载:
|
吾爱编程网 - 免责声明
1、吾爱编程网为非营利性网站,全站所有资料仅供网友个人学习使用,禁止商用
2、本站所有文档、视频、书籍等资料均由网友分享,本站只负责收集不承担任何技术及版权问题
3、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除下载链接并致以最深的歉意
4、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
5、一经注册为本站会员,一律视为同意网站规定,本站管理员及版主有权禁止违规用户
6、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和吾爱编程网的同意
7、吾爱编程网管理员和版主有权不事先通知发贴者而删除本文
上一篇: 【spark高级】炼数成金Spark源码导读 12课下一篇: Hadoop视频教程全集 22课
|