教程内容：通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度话单，通话详情，通话记录等等。我们以此为背景，寻找一个切入点，学习其中的方法论。
系统 版本
windows 10 专业版
linux CentOS 6.8 or CentOS7.2 1611 内核
开发工具：
工具 版本
idea 2017.2.5 旗舰版
maven 3.3.9
JDK 1.8+
尖叫提示：idea2017.2.5 必须使用 maven3.3.9，不要使用 maven3.5，有部分兼容性问题
集群环境：
框架 版本
Hadoop cdh5.3.6-2.5.0
zookeeper cdh5.3.6-3.4.5
hbase cdh5.3.6-0.98
hive cdh5.3.6-0.13
flume cdh5.3.6-1.5.0
kafka 2.10-0.8.2.1
硬件环境：
linux01 linux02 linux03
内存 4G 2G 2G
CPU 2 核 1 核 1 核
硬盘 50G 50G 50G
教程目录：
1、运营商项目项目架构简介
2、项目开发环境介绍（系统，框架，开发工具等）
3、idea工具基本设置之Maven
4、idea工具基本操作设置
5、idea新建项目
6、生产数据的数据结构
7、构建模拟的数据
8、日志生产代码编写完成
9、日志生产，代码打包，测试
10、idea编码设置
11、kafka的初始化与主题创建
12、实时生产日志，flume采集，到kafka并测试成功
13、producer模块总结
14、新建ct_consumer项目，并构建常用工具类
15、通过kafka API实现消费数据到控制台，并成功测试
1、前情回顾，以及项目整体再次梳理
2、封装HBaseAPI，判断表是否存在
3、封装HBaseAPI，初始化命名空间
4、设计Table的region分区键
5、设计rowkey的分区号
6、HbaseDAO的封装
7、写入实时数据到HBase测试成功
8、协处理器的编写与讲解
9、HBase协处理器测试以及遇到一些问题
10、HBase上一个视频的遗留问题的解决（协处理器中的过滤逻辑错误，jar包运行时需要注意的问题）
1、HBase存储数据源码走读
2、HBase代码以及其他设置优化
3、HBase批量保存数据测试
4、HBase时间戳toBytes的一些问题，以及面试中遇到的乱码问题
5、anlysis阶段需求分析以及表结构探讨
6、Mysql表结构总结
7、Mysql结果表的创建
8、初始化数据分析工程module
9、封装JDBCUtil以及自定义输出Key的维度类型
10、封装ComDimension以及输出的Value类型
11、迷茫知识点之梳理
12、数据分析：Mapper
13、数据分析：Reducer
1、前一天知识梳理总结
2、Runner的Job组装
3、RecordWriter
4、维度转换：缓存键的生成
5、维度转换：封装实现1
5、维度转换：封装实现2
5、维度转换：封装实现3
6、OutputForamt封装
7、2个Bug的修复
8、又1个Bug的修复
9、RecordWriter封装完成
10、3个Bug，运行测试成功，并查验Mysql中的数据分析结果
1、MR源码走读理解OutputFormat
2、构建Web工程
3、构建JAVABean，DAO，SQL查询语句
4、构建Controller中返回的数据
5、运行测试Web项目查看返回结果
6、Web font显示数据
7、项目总结
下载地址：
|
