Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師實(shí)戰(zhàn)（北京，12月19-21日）
【舉辦單位】北京曼頓培訓(xùn)網(wǎng) www.mdpxb.com 中國培訓(xùn)資訊網(wǎng) www.e71edu.com
【咨詢電話】4006820825 010-56133998 13810210257
【培訓(xùn)日期】
珠海，2018年11月21-23日；北京，2018年12月19-21日
杭州，2019年1月16-18日
【培訓(xùn)地點(diǎn)】珠海、北京、 杭州
【培訓(xùn)對(duì)象】各地企事業(yè)單位大數(shù)據(jù)產(chǎn)業(yè)相關(guān)人員，運(yùn)營商 IT信息化和運(yùn)維工程師相關(guān)人員，金融業(yè)信息化相關(guān)人員，或?qū)Υ髷?shù)據(jù)spark感興趣的相關(guān)人員。

【課程背景】
當(dāng)下是大數(shù)據(jù)時(shí)代，為構(gòu)建大數(shù)據(jù)平臺(tái)，技術(shù)人員需要對(duì)分布式計(jì)算平臺(tái)有一定深入的理解和應(yīng)用。MapReduce作為一個(gè)經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計(jì)算和DAG計(jì)算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計(jì)算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺(tái)遷移到Spark平臺(tái)中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺(tái)。因此中心決定開展“Spark大數(shù)據(jù)處理與案例分析高級(jí)工程師”實(shí)戰(zhàn)培訓(xùn)班，望相關(guān)單位收到通知后積極參加。

【課程目標(biāo)】
1、深入理解Spark計(jì)算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式
2、深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧
3、深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧
4、深入掌握Spark和其他組件的結(jié)合使用
5、了解Spark與MapReduce分布式計(jì)算模型的區(qū)別和各自適合的使用場景。
6、能夠使用java、python和scala進(jìn)行spark應(yīng)用開發(fā)（如果要講解三種語言開發(fā)spark，工作量會(huì)非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來定，）
7、熟練使用spark、spark streaming、spark SQL、spark mllib
8、深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場景

【培訓(xùn)特色】
本課程基于最新的spark 2講解，內(nèi)容涵蓋了企業(yè)中大數(shù)據(jù)處理的四大場景：
離線批處理、流式計(jì)算、SQL處理、機(jī)器學(xué)習(xí)。Spark是一個(gè)廣泛應(yīng)用的分布式內(nèi)存計(jì)算模型，旨在大幅提升的迭代算法和交互低延遲數(shù)據(jù)挖掘的性能。Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算，one stack rule them all！Spark號(hào)稱一個(gè)平臺(tái)可以適合所有的應(yīng)用，如SparkSql可以處理結(jié)構(gòu)化數(shù)據(jù)，SparkStreaming旨在提供實(shí)時(shí)的計(jì)算能力，而SparkMllib則提供了豐富機(jī)器學(xué)習(xí)算法庫。

【課程大綱】
模塊一Spark
2.1概述
1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計(jì)算框架并存等
2、Spark 基本特點(diǎn)
3、Spark版本演化
4、Spark核心概念，包括RDD, transformation, action, cache等
5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系
6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用
7、介紹當(dāng)前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例
8、Spark集群搭建，包括測試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個(gè)過程
9、背景知識(shí)補(bǔ)充介紹
模塊二
Spark Core
Spark 程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
1、Spark運(yùn)行模式介紹
Spark運(yùn)行組件構(gòu)成，spark運(yùn)行模式（local、standalone、mesos/yarn等）
2、Spark開發(fā)環(huán)境構(gòu)建
集成開發(fā)環(huán)境選擇，親手演示spark程序開發(fā)與調(diào)試，spark運(yùn)行
3、常見transformation與action用法
介紹常見transformation與action使用方法，以及代碼片段剖析
4、常見控制函數(shù)介紹
包括cache、broadcast、accumulator等
5、Spark 應(yīng)用案例：點(diǎn)擊流日志分析
包括：背景介紹，數(shù)據(jù)導(dǎo)入，數(shù)據(jù)分析，常見Spark transformation和action用法在線演示
模塊三 Spark
內(nèi)部原理剖析與源碼閱讀 1、Spark運(yùn)行模式剖析
深入分析spark運(yùn)行模式，包括local，standalone以及spark on yarn
2、Spark運(yùn)行流程剖析
包括spark邏輯查詢計(jì)劃，物理查詢計(jì)劃以及分布式執(zhí)行
3、Spark shuffle剖析
深入介紹spark shuffle的實(shí)現(xiàn)，主要介紹hash-based和sort-based兩種實(shí)現(xiàn)
4、Spark 源碼閱讀
Spark源碼構(gòu)成以及閱讀方法
模塊三
Spark
程序調(diào)優(yōu)技巧
1、數(shù)據(jù)存儲(chǔ)格式調(diào)優(yōu)數(shù)據(jù)存儲(chǔ)格式選擇，數(shù)據(jù)壓縮算法選擇等
2、資源調(diào)優(yōu)
如何設(shè)置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶調(diào)度器合理設(shè)置，啟用YARN的標(biāo)簽調(diào)度策略等
3、程序參數(shù)調(diào)優(yōu)
介紹常見的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務(wù)并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等
4、程序?qū)崿F(xiàn)調(diào)優(yōu)
如何選擇最合適的transformation與action函數(shù)
5、調(diào)優(yōu)案例分享與演示
演示一個(gè)調(diào)優(yōu)案例，如何將一個(gè)spark程序的性能逐步優(yōu)化20倍以上。
模塊四Spark sql
2.1Spark SQL基本原理
1、Spark SQL是什么
2、Spark SQL基本原理
3、Spark Dataframe與DataSet
4、Spark SQL與Spark Core的關(guān)系
模塊五
Spark SQL
程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
1、Spark SQL程序設(shè)計(jì)
a. 如何訪問MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù)
b. 常用的DSL語法有哪些，如何使用
c. Spark SQL調(diào)優(yōu)技巧
d. 數(shù)據(jù)傾斜解決方案
模塊六 Spark Streaming程序設(shè)計(jì)及應(yīng)用案例
1、Spark Streaming基本原理
a. Spark Streaming是什么
b. Spark Streaming基本原理
c. Structured Streaming
d. Spark Streaming 編程接口介紹
e. Spark Streaming應(yīng)用案例
2、Spark Streaming程序設(shè)計(jì)與企業(yè)級(jí)應(yīng)用案例
a. 常見流式數(shù)據(jù)處理模式
b. Spark Streaming與Kafka 交互
c. Spark Streaming與Redis交互
d. Spark Streaming部署與運(yùn)行
e. Spark Streaming企業(yè)級(jí)案例：用戶行為實(shí)時(shí)分析系統(tǒng)
模塊七Spark Mllib
Spark MLlib
企業(yè)級(jí)案例
1. Spark MLlib簡介
2. 數(shù)據(jù)表示方式
3. MLlib中的聚類、分類和推薦算法
4. 如何使用MLlib的算法
5. Spark MLLib企業(yè)級(jí)案例：用戶畫像之性別預(yù)測
模塊八Spark綜合案例
信用評(píng)分實(shí)時(shí)分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構(gòu)建離線處理
4. 利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線
5. 整合批處理和實(shí)時(shí)處理線
模塊八Spark綜合案例
信用評(píng)分實(shí)時(shí)分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構(gòu)建離線處理
4. 利用flume+Spark Streaming+Redis構(gòu)建實(shí)時(shí)處理線
5. 整合批處理和實(shí)時(shí)處理線
模塊九典型項(xiàng)目
案例實(shí)戰(zhàn)
■基于spark日志分析
■個(gè)性化推薦系統(tǒng)：帶你揭開其神秘面紗
■在線投放引擎
■揭開淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
■淘寶數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái)

【講師介紹】
張老師,曼頓培訓(xùn)網(wǎng)(www.mdpxb.com )資深講師。 阿里大數(shù)據(jù)高級(jí)專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。

【費(fèi)用及報(bào)名】
1、費(fèi)用：培訓(xùn)費(fèi)6800元（含培訓(xùn)費(fèi)、講義費(fèi)）；如需食宿，會(huì)務(wù)組可統(tǒng)一安排,費(fèi)用自理。
2、報(bào)名咨詢：4006820825 010-56133998 56028090 13810210257 鮑老師
3、報(bào)名流程：電話登記-->填寫報(bào)名表-->發(fā)出培訓(xùn)確認(rèn)函
4、備注：如課程已過期，請(qǐng)?jiān)L問我們的網(wǎng)站，查詢最新課程
5、詳細(xì)資料請(qǐng)?jiān)L問北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com (每月在全國開設(shè)四百多門公開課，歡迎報(bào)名學(xué)習(xí))