吾爱编程

标题: 大数据老汤微职位CTO-资深大数据技术架构师主讲 [打印本页]

作者: admin 时间: 2019-6-19 01:33
标题: 大数据老汤微职位CTO-资深大数据技术架构师主讲

【课程内容】

微职位：Linux基础知识

1-1课程内容
2-1虚拟机安装(windows)
2-2虚拟机网络配置
2-3xshell连接虚拟机
2-4虚拟机安装(Mac)
2-5Linux文件系统简介
3-1文件目录操作命令
3-2文件目录管理命令
3-3文件内容修改命令
3-4文件内容查看命令
3-5文件大小查看命令
3-6文件压缩打包命令
3-7grep命令
4-1用户与用户组概念
4-2文件权限的讲解
4-3chgrp和chown讲解
4-4chmod讲解
4-5权限实战
4-6su和sudo讲解
5-10date命令
5-11往文件中追加内容
5-12crontab命令
5-1认识bash shell
5-2bash shell的变量
5-3bash shell操作环境
5-4alias history clear
5-5第一个bash脚本
5-6脚本参数
5-7test命令
5-8条件判断结构
5-9循环控制结构
6-1克隆3台虚拟机
6-2修改主机名
6-3配置无密钥登录
6-4使用filezilla上传文件
6-5java的JDK的安装
6-6java相关命令的讲解
6-7虚拟机关闭防火墙
6-8三台虚拟机通过ntp同步时间

微职位：大数据技术入门

1-1课程内容
1-2Java开发环境的安装(Windows)
1-3IDEA导入已经存在的maven项目(windows)
1-4jar包依赖管理说明
1-5使用java命令启动JVM
1-6RPC
1-7分布式存储的原理
1-8HDFS安装前的准备
1-9HDFS的安装(一)
1-10WebUI看不了怎么办
1-11HDFS的安装(二)
1-12HDFS安装后的额外强调
1-13HDFS Web UI讲解
1-14HDFS常用操作命令
1-15HDFS文件恢复机制
1-16Http方式访问HDFS
1-17HDFS各组件作用
1-18HDFS中的数据块
1-19写HDFS文件实战与原理讲解
1-20读HDFS文件实战与原理讲解
1-21Java基本操作HDFS API
1-22Java开发HDFS应用的时候需要注意的点
1-23DataNode心跳机制的作用
1-24NameNode中的EditsLog和FSimage机制
1-25SecondaryNameNode帮助NameNode减负
1-26Federation配置
1-27ViewFS的配置
1-28回退到一个NameNode的状态
1-30告诉你怎么使用Snapshots
1-31平衡数据
1-32SafeMode
2-1课程内容
2-2为什么需要Zookeeper
2-3单机安装zookeeper
2-4使用命令行操作zookeeper
2-5使用ZooInspector操作zk
2-6数据模型
2-7安装分布式zookeeper
2-8分布式zookeeper的特点
2-9Java创建zookeeper会话
2-10Java创建zk节点
2-11Java设置和删除zk节点
2-12ZNode的watcher机制
2-13ZNode的ACL机制
2-14使用curator客户端操作zk
2-15zk使用之配置管理实战
2-16zk使用之分布式锁实战
2-17zk使用之Master选举实战
2-18HDFS HA集群规划
2-19使用zk来实现HDFS HA的实操
2-20NameNode恢复到非HA的状态
3-1课程内容
3-2Yarn是用来做什么的
3-3Yarn的安装
3-4分布式计算的特点
3-5MapReduce安装
3-6hadoop序列化机制
3-7实现并运行第一个MapReduce job
3-8block与map的input split的关系
3-9MapReduce在Yarn上运行的原理
3-10MR内存cpu资源配置
3-11MR中的Combiner
3-12实现并运行WordCount
3-13shuffle & sort
3-14自定义分区器
3-15MapReduce应用
3-16Hadoop压缩机制
3-17text文件格式的读写
3-18avro文件和parquet文件的讲解(很重要)
3-19avro文件的读写
3-20parquet文件的读写(必须掌握)
3-21sequenceFile文件的读写
3-22用sequenceFile合并小文件
3-23CombineTextInputFormat讲解
3-24Yarn的三种资源调度机制
3-25Yarn Capacity Scheduler配置
3-26Yarn Fair Scheduler配置
3-27ResourceManager的HA配置
4-1NCDC数据源的获取
4-2NCDC数据字段的详解
4-3NCDC数据的预处理
4-4数据处理逻辑以及实现方案讲解
4-5MapReduce代码实现讲解
4-6Hadoop的本地安装
4-7单元测试、集成测试以及验证
4-8求每一年最高的温度

微职位：NoSQL数据库之HBase

1-1核心原理课程内容
1-2引出主角HBase
1-3HBase安装
1-4HBase数据模型
1-5namespace
1-6Version和TTL
1-7HA配置
1-8Java客户端put数据到HBase表
1-9Table到Region到CF(非常重要)
1-10HFile文件格式详解(必须掌握)
1-11Block Encoder和Compressor
1-13HBase技术架构
1-12Bloom Filter
2-1客户端怎么找到对应的Region
2-2Memory Store写缓存机制
2-3WAL
2-4读缓存机制-BlockCache
2-5LruBlockCache
2-6BucketCache
2-7HBase内存规划案例
3-1compaction
3-2pre-split(设计HBase表时必须考虑的点)
3-3auto-split
3-4手工split
3-5auto-split的实现
3-6region太多的影响以及合并
3-7balancing
3-8snapshot
4-1Java客户端增删改Hbase表
4-2batch接口
4-3保证相同行操作的原子性
4-4异步接口BufferedMutator
4-5version相关
4-6Scan
4-7RowKey的过滤
4-8Column的过滤
4-9ColumnValue的过滤
4-10PageFilter
4-11FilterList
5-1实战应用课程内容
5-2几个column family比较合适呢
5-3RowKey设计
6-1Spark在driver端和executor端读写Hbase
6-2每一个Executor维护一个Connection
6-3HBaseContext封装Spark和HBase交互的代码
6-4Spark使用bulkput将数据写入到HBase中
6-5Spark使用bulkput将数据写入到HBase中优化
6-6RDD分区与Region的关系
6-7隐式转换的使用
6-8Spark Streaming读写Hbase
7-1需求说明
7-2Schema的设计
7-3csv格式的数据转换成HFile格式（重要）
7-4HFile导入到HBase并验证
7-5实验环境下的Solr的安装
7-6Solr中的schema
7-7简单使用Solr
7-8生产环境中的Solr
7-9利用Solr创建索引
7-10需求问题的解决
7-11OLAP架构图讲解
7-12设置solr开启不自动启动
8-1构建简单的Spring boot应用
8-2构建复杂的Spring boot应用
8-3将Spring boot应用打成jar包在服务器上运行
8-4将Spring boot应用打成war包在服务器上运行
8-5Java Web展现产品质量数据

微职位：Scala语言的学习

1-1怎样学习Scala
1-2章节内容
1-3Scala的诞生史
1-4学习scala需要的环境(windows)
1-5学习Scala需要的环境(Mac)
1-6简单例子对比面向对象和函数式编程
1-7Java中的函数式编程
1-8Scala面向对象和函数式编程的特点
1-9Scala为什么Scalable
1-10选择Scala的理由
2-1章节内容
2-2学习使用Scala解释器
2-3变量的定义
2-4函数的定义
2-5编写Scala脚本
2-6关键字while和if
2-7使用foreach和for进行迭代
2-8数组Arrays的使用
2-9列表Lists的使用
2-10元组Tuples的使用
2-11Sets和Maps的使用
2-12使得程序更加函数式
2-13Scala读取文件内容
3-1章节内容
3-2Scala脚本的运行-fsc命令
3-3Scala应用程序的入口
3-4分号推断规则
3-5Class的定义
3-6伴生对象
3-7基本类型及其操作
3-8抽象类的定义以及继承
3-9子类构造器调用父类构造器
3-10多态和绑定
3-11使用组合而不是继承
3-12给Element类增加方法
3-13使用工厂方法
3-14客户端使用Element类
3-15Scala的类型体系
3-16超类Any的讲解
3-17Bottom Type-Nothing和Null的讲解
3-18trait的定义
3-19trait使得瘦接口变成富接口
3-20trait叠加修饰的作用
3-21trait与多重继承的区别
3-22什么时候使用trait
3-23package的讲解
3-24import的讲解
3-25访问修饰符的讲解
4-1章节内容
4-2if表达式和while循环
4-3for表达式
4-4Scala中的break和continue
4-5异常处理和模式匹配
4-6重构命令式程序为函数式程序的例子
4-7本地(Local)函数
4-8first class function
4-9Closures(闭包)
4-10函数参数的规则
4-11尾递归
4-12高阶(high-order)函数
4-13函数柯里化(currying)
4-14自定义控制结构
4-15by-name和by-value参数的区别
5-1章节内容
5-2case class
5-3浅尝模式匹配
5-4sealed case class
5-5模式的种类-通配符模式
5-6模式的种类-常量模式
5-7模式的种类-变量模式
5-8模式的种类-构造器模式
5-9模式的种类-序列模式
5-10模式的种类-元组模式
5-11模式的种类-类型模式
5-12模式的种类-变量绑定
5-13模式的守卫
5-14模式的重叠
5-15数据结构Option
5-16Option与模式匹配
5-17模式在变量定义中的使用
5-18模式在偏函数中的使用
5-19在for表达式中的使用
5-20unapply方法的作用
5-21unapply方法返回单个参数值
5-22unapplySeq方法的作用以及特点
6-1章节内容
6-2隐式系统使用场景
6-3关键字implicit
6-4隐式转换
6-5隐式类
6-6隐式参数
6-7隐式参数结合默认参数
6-8标志符与作用域
6-9隐式解析机制
6-10隐式作用域
6-11慎用隐式转换
6-12scala.Predef中使用隐式转换详解
6-13JavaConversions中使用隐式转换
6-14集合排序中使用隐式参数
6-15Spark RDD中使用隐式转换
7-1章节内容
7-2类型参数的含义
7-3型变的基本概念
7-4协变(co-variant)及其问题
7-5下界(Lower Bound)
7-6逆变(contra-variant)
7-7上界(Upper Bound)
7-8type关键字
7-9抽象类型
7-10结构化类型
7-11scala.PreDef使用type关键字
7-12路径依赖类型
7-13枚举类型
7-14存在类型
7-15自身类型
7-16Context and View Bounds
7-17TypeTag and ClassTag
7-18具体化类型约束
7-19特殊的方法
8-1章节内容
8-2List的构建方式
8-3List的结构及其基本操作
8-4List和模式匹配
8-5first order function
8-6high order function
8-7List伴生对象中的方法
8-8Multiple Lists操作
8-9可变集合ListBuffer
8-10可变集合与不变集合
8-11集合框架继承关系图以及统一性
8-12trait Traversable
8-13trait Iterable
8-14为什么需要Traversable
8-15Seq特性及其方法讲解
8-16Seq的子类LinearSeq和IndexedSeq
8-17IndexedSeq的子类Vector
8-18LinearSeq的子类Stream
8-19数组Array
8-20特殊集合String
8-21Set
8-22Map
8-23集合视图Views
8-24集合迭代器Iterator
8-25Scala集合和Java集合相互转换

微职位：Spark核心技术

1-1IntelliJ IDEA开发spark应用
1-2spark源代码环境的搭建
1-3Spark集群安装-虚拟机上Scala的安装
1-4Spark集群环境的搭建
1-5集群spark-submit提交应用
1-6mysql的安装(后面会用到)
1-7Spark模块学习说明
2-2数据重新分区概述
2-3Spark分布式计算流程中的几个疑问点
2-4从上面的疑问中导出RDD的概念
2-5实践：RDD API简单使用
2-6理解Spark分布式内存计算的含义
2-7Spark Core组件解决的问题及其特点
2-8Spark SQL组件解决的问题及其特点
2-9Spark Streaming组件解决的问题及其特点
2-10Spark Graphx组件解决的问题及其特点
2-11Spark ml组件解决的问题及其特点
2-12park是怎么进行分布式计算的？
3-1再次理解RDD概念
3-2实践：怎么样创建RDD
3-3parallelize和makeRDD的实现原理
3-5HashPartitioner原理
3-6实战：对RDD合理分区能提高性能
3-7RangePartitioner的原理
3-8Partitioner源码解析
3-9Hash对比Range Partitioner
3-10实战：自定义Partitioner
3-11实战：coalesce使用场景(非常的重要)
3-12coalesce原理讲解
3-13coalesce源码解析
3-14单类型RDD的transformation api的使用
3-15MapPartitionsRDD的原理代码详解
3-16RDD的采样api(sample等)
3-17RDD分层采样api(sampleByKey等)
3-18实践：RDD的pipe api的使用
3-19RDD的pipe的原理深入讲解
3-20单类型RDD的基本action api的讲解
3-21combineBykey的七大参数的详解
3-22ShuffleRDD的原理详解
3-23基于combineByKey的api详解
3-24实践：combineBykey实战以及使用过程中需要注意的点
3-25reduceByKey和groupByKey的对比
3-26cogroup api的感官认识
3-27通过原理图和源代码详解cogroup原理
3-28join等api的原理实现
3-29subtractByKey的原理
3-30sortedByKey原理
3-31count、countByKey等计数api
3-32union的使用及其原理
3-33intersection的使用及其原理
3-34cartesian笛卡尔积的使用及其原理
3-35zip的使用及其原理
3-36RDD的缓存机制，即persist
3-37checkpoint的作用和实现流程
3-38checkpoint实现原理
3-39broadcast的机制及其用法
3-40accumulator的使用及其自定义accumulator
3-41spark支持的读写存储系统
3-42HadoopRDD的原理和实现
3-43spark支持的通用的文件格式
3-44二进制文件的读写
3-45spark sql读写parquet and avro文件
3-46项目实战：业务讲解
3-47项目实战：代码实现讲解
3-48RDD的依赖设计及其特点(必须掌握的知识)
3-49项目实战：代码实现讲解二
3-50项目实战：结果验证
4-1课程内容
4-2java命令启动JVM
4-3java ProcessBuilder启动JVM
4-4spark-submit感官认识
4-5master和deploy-mode参数详解
4-6--conf参数详解
4-7driver相关参数的详解
4-8executor相关参数的详解
4-9--jars参数详解
4-10--package相关参数详解
4-11--files与--properties-file参数详解
4-12--queue相关参数的详解
4-13python spark应用的正确提交
4-14利用SparkLauncher在代码中提交spark应用
4-15spark脚本系统
4-16spark-class脚本原理以及实现
4-17spark-daemon脚本原理以及实现
4-18SparkSubmit原理以及源码分析
5-1课程内容
5-2stage的划分
5-3stage的调度
5-4taskset调度的先进先出(FIFO)机制
5-5实战：实现taskset调度的公平调度(FAIR)
5-6taskset调度的公平调度(FAIR)机制需要注意的点
5-7task调度的本地性级别定义
5-8task调度的延迟调度讲解
5-9task调度的推测机制
5-10task调度的黑名单机制
5-11task调度的黑名单机制使用场景
5-12executor资源的管理
5-13task的launch流程及其需要注意的点
5-14task的statusUpdate流程
5-15schedulers on driver的总体流程
5-16源码讲解之schedulers的初始化
5-17源码讲解之job提交流程
5-18源码讲解之task结果处理
5-19动态资源分配机制
5-20External shuffle service机制
5-21开启External shuffle service机制
6-1课程内容
6-2DSL
6-3SQL
6-4数据格式的种类及其特点
6-5Spark SQL的初衷
6-6SQL On Hadoop - Hive
6-7SQL On Hadoop - Imapla
6-8Shark
6-9大事记
6-10Spark SQL四大目标
6-11Spark SQL架构及其处理流
6-12API实现的发展
6-13DataFrame
6-14Dataset
6-15API演化的合理性
6-16Dataset API分类
6-17Spark SQL未来会成为Spark的新核心
7-1spark SQL基本概念
7-2浅尝spark SQL的API
7-3SparkSession的讲解
7-4DataFrame的创建
7-5Dataset的创建
7-6RDDDatasetDataFrame的转换
7-7schema的定义以及复杂数据类型的用法
7-8实战：schema api的用处
7-9数据源-基本操作load和save
7-10数据源-parquet和orc文件的读写
7-11数据源-json文件的读写
7-12数据源-csv文件的读写一
7-13数据源-通过jdbc读写mysql数据库
7-14通过jdbc写mysql数据库需要注意的点
7-15通过jdbc读mysql数据库需要注意的点
7-16数据源-text文件和table数据源的读写
7-17数据源实战之数据分区
7-18catalog元数据管理讲解
7-19DDL-表的类型种类及其创建方式
7-20DQL-sql查询及其sql函数讲解
7-21SQL内置函数(绝对全)
7-22Column的表达
7-23DataFrame中Untyped API讲解
7-24DataFrame Untyped API与SQL对比
7-25Dataset typed API
7-26group分组聚合相关API
7-27join关联相关API
7-28sort排序相关API
7-29实战：自定义UDAF
7-30Action API和其他API
7-31RDDsDataFramesDatasets各自使用场景
7-32实战一：json格式数据处理
7-33实战二：物联网设备信息的ETL

微职位：大数据实时流处理技术

1-1课程内容
1-2实战：本地运行Spark Streaming程序
1-3细讲word count程序
1-4监控Spark Streaming程序
1-5讲解StreamingContext
1-6讲解DStream
1-7Queue Streams Source
1-8实战：使用HDFS File作为Streaming的输入数据
1-9实战：自定义数据接受者
1-10Basic API
1-11Join相关API
1-12transform API
1-13window(窗口) API
1-14reduceByKeyAndWindow API
1-15为什么需要checkpoint
1-16其他window相关API
1-17updateStateByKey API
1-18mapWithState API
1-19Java版本的DStream的API
1-20实战一：结果保存到HDFS
1-21结果保存到Mysql讲解
1-22实战二：结果保存到Mysql演示
1-23Spark Streaming结合Spark Sql
1-24Spark Streaming进行网站流量实时监控
2-1课程内容
2-2Spark应用对比Spark Streaming应用
2-3Spark Streaming Application原理
2-4性能之创建多个接收器
2-5性能之接收到的数据块的数量
2-6性能之接收器接收数据的速率
2-7性能之数据处理的并行度
2-8性能之数据处理的数据序列化
2-9性能之数据处理的内存调优
2-10性能之结果输出的性能调优
2-11Backpressure(压力反馈)
2-12Elastic Scaling(资源动态分配)
3-1课程内容
3-2Executor失败容错
3-3Driver失败容错
3-4利用WAL恢复接收到的数据
3-5可靠和不可靠的Receiver
3-6当一个task很慢的时候的容错
3-7流计算语义(Semantics)的定义
3-8Spark Streaming容错语义
3-9Output怎样达到Exactly once
4-1课程内容
4-2Flume实践
4-3Flume的基本架构和基本术语
4-4Spark Streaming集成Flume(push模式)
4-5Spark Streaming集成Flume(pull模式)
4-6Java版本的Spark streaming集成Flume
4-7Kafka总结介绍和安装
4-8Kafka基本术语 - topic
4-9Producer原理
4-10Kafka基本术语–Consumer Group(必须搞懂)
4-11Java 开发Produce 和Consumer(必须搞懂)
4-12Spark Streaming 集成 Kafka
4-13Receiver模式对比Direct模式
4-14Java版本的Spark streaming集成Kafka
4-15Kafka作为Flume的Source
4-16Kafka作为Flume的Sink
4-17Kafka作为Flume的Channel
4-18Redis的安装
4-19实际案例业务、架构以及代码讲解
4-20实际案例实战演示
4-21解决上节课的Bug
5-1课程内容  `
5-2Spark Streaming的优点和痛点
5-3Continuous Applications
5-4Streaming in Spark的未来

微职位：SQL On Hadoop

1课程内容
2通过和socket编程模型进行对比来引出Thrift的作用
3Thrift的使用方法
4课程数据准备
5Hive CLI的用法
6Hive beeline的用法
7代码里JDBC的方式访问Hive
8Spark SQL兼容Hive配置
9通过beeline访问Spark SQL
10通过JDBC访问Spark SQL
11Spark SQL代码中写SQL读写Hive
12通过table和saveAsTable两个接口读写Hive
13Spark SQL本地调试读写Hive
14案例业务讲解
15ETL job详细讲解
16机器学习推荐功能job详细讲解
17Spark SQL和Hive的各自职责

面试

  2014届应届生hadoop月薪12k面试经验分享
  90后小伙的hadoop工作经验分享
  大专生13k月薪hadoop面试经验分享视频
  大数据架构师讲大数据求职面试
  简历指导
  美女研究生学员分享hadoop工作经验

【下载地址】

作者: rover99x 时间: 2019-6-19 13:52
楼主，不论什么情况你一定要hold住！hold住就是胜利！支持吾爱编程网！

作者: ljhaabb 时间: 2019-6-19 22:50
不管你信不信，反正我是信了。支持吾爱编程网！

作者: 九五之尊 时间: 2019-6-20 15:51
看了LZ的帖子，我只想说一句很好很强大！支持吾爱编程网！

作者: zhangyukun 时间: 2019-6-21 18:47
楼主，不论什么情况你一定要hold住！hold住就是胜利！支持吾爱编程网！

作者: fengkai 时间: 2019-6-22 00:30
哥顶的不是帖子，是寂寞！支持吾爱编程网！

作者: failureone 时间: 2019-6-22 10:01
RE: 大数据老汤微职位CTO-资深大数据技术架构师主讲 [修改]

作者: maste86 时间: 2019-6-22 15:46
支持！！！！！！！！！！！！！！！！！！！！！！！！！！！

作者: autt168 时间: 2020-6-18 15:21
非常感谢，这个资料非常珍贵！

作者: Yoshotm 时间: 2020-10-23 17:08
看了LZ的帖子，我只想说一句很好很强大！支持吾爱编程网！

作者: kuangrengg100 时间: 2020-10-29 13:09
看了LZ的帖子，我只想说一句很好很强大！支持吾爱编程网！

作者: li3364207 时间: 2020-11-1 15:53
不管你信不信，反正我是信了。支持吾爱编程网！

作者: DawnCloudM 时间: 2022-1-11 18:44
哥顶的不是帖子，是寂寞！支持吾爱编程网！

作者: 博士良人 时间: 2022-1-21 23:01
看了LZ的帖子，我只想说一句很好很强大！支持吾爱编程网！

欢迎光临吾爱编程 (http://www.52pg.net/)