打印 上一主题 下一主题

[百度网盘]Spark技术茶话会 解密Spark性能优化之道 深度剖析实战案例 打造高性能Spark数据处...

[复制链接]
跳转到指定楼层
楼主
admin 发表于 2024-6-25 22:03:58
3336 3
===============课程介绍===============

课程通过实战案例解析和性能调优技巧的讲解,帮助学员提升大数据处理系统的性能和效率。课程内容涵盖了Spark性能调优的各个方面,包括内存管理、并行度设置、数据倾斜处理、Shuffle调优、资源配置等关键技术和策略。学员将通过实际案例的演示和分析,掌握解决Spark应用性能问题的方法和技巧,从而提升数据处理效率,优化应用性能。无论您是初学者还是有一定经验的大数据工程师,本课程都将为您提供宝贵的实战经验和实用技能,助您成为Spark性能调优的专家。

===============课程目录===============


(1)\01-课前必学 (3讲);目录中文件数:6个
├─01丨性能调优的必要性:Spark本身就很快,为啥还需要我调优?.m4a
├─01丨性能调优的必要性:Spark本身就很快,为啥还需要我调优?.pdf
├─02丨性能调优的本质:调优的手段五花八门,该从哪里入手?.m4a
├─02丨性能调优的本质:调优的手段五花八门,该从哪里入手?.pdf
├─开篇词丨Spark性能调优,你该掌握这些“套路”.m4a
├─开篇词丨Spark性能调优,你该掌握这些“套路”.pdf
(2)\02-原理篇 (5讲);目录中文件数:10个
├─03丨RDD:为什么你必须要理解弹性分布式数据集?.m4a
├─03丨RDD:为什么你必须要理解弹性分布式数据集?.pdf
├─04丨DAG与流水线:到底啥叫“内存计算”?.m4a
├─04丨DAG与流水线:到底啥叫“内存计算”?.pdf
├─05丨调度系统:“数据不动代码动”到底是什么意思?.m4a
├─05丨调度系统:“数据不动代码动”到底是什么意思?.pdf
├─06丨存储系统:空间换时间,还是时间换空间?.m4a
├─06丨存储系统:空间换时间,还是时间换空间?.pdf
├─07丨内存管理基础:Spark如何高效利用有限的内存空间?.m4a
├─07丨内存管理基础:Spark如何高效利用有限的内存空间?.pdf
(3)\03-通用性能调优篇 (12讲);目录中文件数:24个
├─08丨应用开发三原则:如何拓展自己的开发边界?.m4a
├─08丨应用开发三原则:如何拓展自己的开发边界?.pdf
├─09丨调优一筹莫展,配置项速查手册让你事半功倍!(上).m4a
├─09丨调优一筹莫展,配置项速查手册让你事半功倍!(上).pdf
├─10丨调优一筹莫展,配置项速查手册让你事半功倍!(下).m4a
├─10丨调优一筹莫展,配置项速查手册让你事半功倍!(下).pdf
├─11丨Shuffle的工作原理:为什么说Shuffle是一时无两的性能杀手?.m4a
├─11丨Shuffle的工作原理:为什么说Shuffle是一时无两的性能杀手?.pdf
├─12丨广播变量(一):克制Shuffle,如何一招制胜!.m4a
├─12丨广播变量(一):克制Shuffle,如何一招制胜!.pdf
├─13丨广播变量(二):有哪些途径让SparkSQL选择BroadcastJoins?.m4a
├─13丨广播变量(二):有哪些途径让SparkSQL选择BroadcastJoins?.pdf
├─14丨CPU视角:如何高效地利用CPU?.m4a
├─14丨CPU视角:如何高效地利用CPU?.pdf
├─15丨内存视角(一):如何最大化内存的使用效率?.m4a
├─15丨内存视角(一):如何最大化内存的使用效率?.pdf
├─16丨内存视角(二):如何有效避免Cache滥用?.m4a
├─16丨内存视角(二):如何有效避免Cache滥用?.pdf
├─17丨内存视角(三):OOM都是谁的锅?怎么破?.m4a
├─17丨内存视角(三):OOM都是谁的锅?怎么破?.pdf
├─18丨磁盘视角:如果内存无限大,磁盘还有用武之地吗?.m4a
├─18丨磁盘视角:如果内存无限大,磁盘还有用武之地吗?.pdf
├─19丨网络视角:如何有效降低网络开销?.m4a
├─19丨网络视角:如何有效降低网络开销?.pdf
(4)\04-Spark SQL 性能调优篇 (4讲);目录中文件数:24个
├─20丨RDD和DataFrame:既生瑜、何生亮.m4a
├─20丨RDD和DataFrame:既生瑜、何生亮.pdf
├─21丨Catalyst逻辑计划:你的SQL语句是怎么被优化的?(上).m4a
├─21丨Catalyst逻辑计划:你的SQL语句是怎么被优化的?(上).pdf
├─22丨Catalyst物理计划:你的SQL语句是怎么被优化的(下)?.m4a
├─22丨Catalyst物理计划:你的SQL语句是怎么被优化的(下)?.pdf
├─23丨钨丝计划:Tungsten给开发者带来了哪些福报?.m4a
├─23丨钨丝计划:Tungsten给开发者带来了哪些福报?.pdf
├─24丨Spark3.m4a
├─24丨Spark3.pdf
├─25丨Spark3.m4a
├─25丨Spark3.pdf
├─26丨JoinHints指南:不同场景下,如何选择Join策略?.m4a
├─26丨JoinHints指南:不同场景下,如何选择Join策略?.pdf
├─27丨大表Join小表:广播变量容不下小表怎么办?.m4a
├─27丨大表Join小表:广播变量容不下小表怎么办?.pdf
├─28丨大表Join大表(一):什么是“分而治之”的调优思路?.m4a
├─28丨大表Join大表(一):什么是“分而治之”的调优思路?.pdf
├─29丨大表Join大表(二):什么是负隅顽抗的调优思路?.m4a
├─29丨大表Join大表(二):什么是负隅顽抗的调优思路?.pdf
├─30丨应用开发:北京市小客车(汽油车)摇号趋势分析.m4a
├─30丨应用开发:北京市小客车(汽油车)摇号趋势分析.pdf
├─31丨性能调优:手把手带你提升应用的执行性能.m4a
├─31丨性能调优:手把手带你提升应用的执行性能.pdf
(5)\05-结束语(2讲);目录中文件数:2个
├─结束语丨在时间面前,做一个笃定学习的人.m4a
├─结束语丨在时间面前,做一个笃定学习的人.pdf

游客,如果您要查看本帖隐藏内容请回复


吾爱编程网 - 免责声明
1、吾爱编程网为非营利性网站,全站所有资料仅供网友个人学习使用,禁止商用
2、本站所有文档、视频、书籍等资料均由网友分享,本站只负责收集不承担任何技术及版权问题
3、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除下载链接并致以最深的歉意
4、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
5、一经注册为本站会员,一律视为同意网站规定,本站管理员及版主有权禁止违规用户
6、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和吾爱编程网的同意
7、吾爱编程网管理员和版主有权不事先通知发贴者而删除本文




上一篇:金融数据科学与商业实践 python+Spark金融风控/客户预警/信用评分卡实战应用 企业内训
下一篇:深度学习算法与训练模型 Ai与GPT深度学习核心课程 通往算法工程师必修指南 算法进阶
收藏
收藏
支持
支持
反对
反对

主题推荐

回复

使用道具 举报

沙发
chenxing2 发表于 2024-6-26 17:22:20
看了LZ的帖子,我只想说一句很好很强大!支持吾爱编程网!
回复

使用道具 举报

板凳
mayongz2022 发表于 2024-6-26 21:23:55
啥也不说了,楼主就是给力!支持吾爱编程网!
回复

使用道具 举报

地板
kongmengshu 发表于 2024-9-8 00:00:17
看帖看完了至少要顶一下,还可以加入到淘帖哦!支持吾爱编程网!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

返回顶部 返回列表

平台简介

吾爱编程网:http://www.52pg.net/是IT技能学习交流平台,我们提供了丰富的移动端开发、php开发、web前端开发、android开发、Java开发、Python开发、大数据开发、区块链开发、人工智能开发以及html5等大量的实战视频教程资源。(如果我们有侵犯了您权益的资源请联系我们删除)

点击这里给我发消息|Archiver|手机版|小黑屋|站点地图|吾爱编程  |网站地图

Powered by Discuz! X3.2??? 2017-2020 Comsenz Inc.??吾爱编程网