打印 上一主题 下一主题

[百度网盘]小象学院—hadoop进阶视频教程【价值699元】

[复制链接]
跳转到指定楼层
楼主
admin 发表于 2017-9-22 14:56:00
6823 4

课程名称:  小象学院—hadoop进阶视频教程【价值699元】



课程简介:   

《Hadoop进阶》:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建、Hadoop工具使用、调试优化,问题分析,通过分析示例掌握大量实际使用的经验,很多实战内容的示例是很少在网络上找到文档支持。

时间
共六周
培训方式
视频学习 + 在线答疑 + 每周作业 + 结业考试

课程大纲:

授课对象:Hadoop高级、具有一定Hadoop系统使用经验

适用Hadoop版本:兼顾所有Hadoop版本,包括Apache、Hortonworks和CDH发行版

第一部分. MapReduce

Mapreduce工作流程及基本架构回顾

运维相关

参数调优
benchmark
reuse jvm
错误感知及speculative执行
task日志分析
可容忍错误百分比设置及跳过坏记录
选择fairescheduler等其他调度器优化性能
开发相关

数据类型选择
实现自定义writable数据类型、自定义key
一个mapper中输出不同类型value
InputFormat/OutputFormat,原理及定制
Mapper/Reducer/Combiner,Combiner的使用及其对mapreduce框架优化的作用
Partitioner定制
排序策略GroupingComparator/SortComparator
任务调度原理及修改方法(案例,map/reduce共享slot,按标识精准map/reduce调度)
Streaming
DistributedCache
mapreduce任务间依赖
counter
JobChild参数设置
性能优化

第二部分. hdfs

HDFS API

fuse(C API)

压缩

HDFS benchmark

Datanode添加及删除

多盘支持,磁盘错误感知

hdfs raid

HDFS block size设置相关问题

文件备份数设置

HDFS中合并文件

第三部分. Hadoop工具

dfsadmin/mradmin/balancer/distcp/fsck/fs/job

监控及报警

hadoop配置管理

第四部分. Hadoop调试

Log

本地模式调试map/reduce任务

远程调试

第五部分. 问题分析

JAVA GC介绍及java进程常用的分析工具jstat、jhat、jmap

top/iostat/netstat/lsof等

Jstack/kill -3

Strace

nload/tcpdump

第六部分.分析示例

MapReduce简单分析

用MapReduce实现Group-by

用MapReduce实现倒排索引

MapReduce实现直方图

MapReduce实现Join

主讲人: 冼茂源

Apache Hama project PMC。

具有在朗讯、Sun Microsystems、搜狗等通信、传统IT以及互联网企业的工作经历。

针对互联网具体业务的特殊需求,对hadoop调度机制、安全管理、存储优化、监控及管理系统等进行深度修改。

同时,在将HBase与具体查询业务相结合,在实际项目中进行系统问题排查及调优方面有丰富经验。

下载地址:
游客,如果您要查看本帖隐藏内容请回复


吾爱编程网 - 免责声明
1、吾爱编程网为非营利性网站,全站所有资料仅供网友个人学习使用,禁止商用
2、本站所有文档、视频、书籍等资料均由网友分享,本站只负责收集不承担任何技术及版权问题
3、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除下载链接并致以最深的歉意
4、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
5、一经注册为本站会员,一律视为同意网站规定,本站管理员及版主有权禁止违规用户
6、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和吾爱编程网的同意
7、吾爱编程网管理员和版主有权不事先通知发贴者而删除本文




上一篇:徐老师大数据 Hadoop架构完全分析课程 65集 上部 视频教程
下一篇:炼数成金 大数据高端课程 供应链物流—永恒的管理艺术 视频教程
收藏
收藏
支持
支持
反对
反对
回复

使用道具 举报

沙发
yycliqionay 发表于 2018-3-4 17:26:53
6666666666
回复

使用道具 举报

板凳
db198905 发表于 2019-4-1 15:16:50
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

返回顶部 返回列表

平台简介

吾爱编程网:http://www.52pg.net/是IT技能学习交流平台,我们提供了丰富的移动端开发、php开发、web前端开发、android开发、Java开发、Python开发、大数据开发、区块链开发、人工智能开发以及html5等大量的实战视频教程资源。(如果我们有侵犯了您权益的资源请联系我们删除)

点击这里给我发消息|Archiver|手机版|小黑屋|站点地图|吾爱编程  |网站地图

Powered by Discuz! X3.2??? 2017-2020 Comsenz Inc.??吾爱编程网