吾爱编程

标题: 大数据平台架构与实践项目实战 [打印本页]

作者: admin 时间: 2018-9-6 21:22
标题: 大数据平台架构与实践项目实战
教程内容：
此课程是大数据体系的完整总结：使用的技术有JAVAweb springmvc+ Hadoop+hive+flume+hbase+kafka+spark等所有大数据技术的总结，学完此课程对大数据案例操作完全没有问题。此项目背景基于类友盟的案例。
此案例场景来源于：
【某盟+】全球领先的第三方全域数据服务商。通过全面覆盖PC、手机、传感器、无线路由器等多种设备数据，打造全域数据平台。秉承独立第三方的数据服务理念，坚持诚信、公正、客观的数据信仰，为客户提供全业务链数据应用解决方案，包括基础统计、运营分析、数据决策和数据业务等，帮助企业实现数据化运营和管理。
教程目录：
第1部分
01.业务模型说明
02.架构描述
03.术语解释-新增-活跃-用户等等
04.初始化weblog收集模块-公共模块-配置模块
05.初始化收集端模块-编程模拟上传json数据
06.通过firefox的poster插件测试web程序
07.创建client数据生成程序不断发送数据给server
08.client上传log时，将client系统时间写入request的header中
09.编写工具类，使用内省实现属性复制
10.处理server收到的日志

第2部分
01.时间修正
02.属性复制
03.通过GeoLite提取ip地址的真实区域
04.工具类封装地理信息获取
05.startuplog对象的地址设置
06.地理信息进行缓存处理
07.将日志信息转换成json格式发送给kafka主题
08.准备kafka集群和zk集群并创建主题
09.启动kakfa集群-web程序-phone程序测试数据收集
10.分析flume收集kafka消息-分区手段
11.自定义***-添加logType和log创建时间的头信息
12.导出flumejar文件部署到flume lib下
13.配置flume
14.添加自定义***给配置文件
15.使用maven命令导出工件需要的所有第三方类库
16.联动测试-收集数据到hdfs
17.使用json serse作为hive表的串行化处理工具

第3部分
01.使用当前线程类加载解决公共模块的加载问题
02.修改flume配置文件原生类型-避免大量小文件
03.使用脚本创建仓库表
04.调度导入分区表数据分析
05.时间导入数据分析
06.使用sed编辑器处理时间问题
07.编写exec.sh文件和exportData.sql文件
08.使用hive命令测试导入hdfs数据到hive分区表
09.修改手机端数据生成时间戳
10.实现调度周期导入hdfs数据到hive分区表
11.centos安装tomcat
12.部署web程序到centos的tomcat下
13.分析统计用户和新增用户数
14.计算一天的起始和结束时间片
15.计算指定天所在的周和月的时间线
16.自定义UDF实现天起始和天结束时间提取
17.注册UDF函数-测试

第4部分
01.DateUtil通过偏移量定位时间-统一时间访问
02.注册函数-测试函数-选定库
03.查询日新增-周新增-月新增-用户总数
04.一次性统计一周内每天的新增用户
05.通过分区查询日活-月活-周活数
06.可视化web模块初始化
07.添加hive-jdbcclient驱动到可视化模块-测试
08.测试jdbc查询hive的自定义函数
10.关闭spring管理的事务-修改mybatis映射文件中大于
09.测试SSM连接查询hive数据库
11.查询指定的app今天新增用户数
13.连接web的ui程序-测试
12.嵌套子查询-查询一周内每天新增用户
14.通过链接访问新增用户-提交job给hive-执行查询
15.dubbo概述
16.可视化web项目拆分-统计服务提供者模块初始化
17.配置dubbo服务提供方-检查zk
18.配置dubbo消费者方集成-1

第5部分：
01.在hive使用using jar方式注册hdfs上的库函数
02.dubbo连接超时修改-消费者可视化程序测试
03.dubbo实现当前周内每天新增用户数
04.dubbo测试通过web可视化-provider
05.改造dubbo模块公共资源抽取
06.echart集成基础
07.echart使用ajax访问服务端数据-回传回调
08.echart集成json回传数据-配置web程序
09.echart集成json-pom中json配置调整
10.echart动态刷新图表-ajax访问controller方法
11.过去五周周活跃用户数-过去六月活跃用户数
12.沉默用户数
13.启动次数
14.版本分布
15.本周回流用户-1.版本分布
16.本周回流用户-2sql实现
17.连续n周活跃-忠诚用户-连续活跃用户
18.近期流失用户
19.留存用户
20.新鲜度分析

下载地址：

作者: huxingxing 时间: 2018-9-6 23:22
哈哈哈哈或或或或或或或或或或

作者: failureone 时间: 2018-9-7 09:07
RE: 大数据平台架构与实践项目实战 [修改]

作者: mjq 时间: 2018-9-7 12:07
不管你信不信，反正我是信了。支持吾爱编程网！

作者: mjq 时间: 2018-9-7 12:10
不管你信不信，反正我是信了。支持吾爱编程网！

作者: 我爱编程007 时间: 2018-9-7 14:44
哥顶的不是帖子，是寂寞！支持吾爱编程网！

作者: mas曹 时间: 2018-9-8 09:51
大数据平台架构与实践项目实战

作者: 今天在不在 时间: 2018-9-10 12:41
大数据平台架构与实践项目实战

作者: nicky_hb 时间: 2019-3-8 21:10
哥顶的不是帖子，是寂寞！支持吾爱编程网！

作者: zhx666 时间: 2019-5-1 00:16
不管你信不信，反正我是信了。支持吾爱编程网！

作者: policy12 时间: 2019-5-1 09:03
.本周回流用户-1.版本分布
16.本周回流用户-2sql实现
17.连续n周活跃-忠诚用户-连续活跃用户
18.近期流失用户
19.留存用户
20.新鲜度分析

欢迎光临吾爱编程 (http://www.52pg.net/)