基于Python的Spark大數(shù)據(jù)處理技術(shù)（北京，8月8-10日）
【舉辦單位】北京曼頓培訓(xùn)網(wǎng) www.mdpxb.com 中國(guó)培訓(xùn)資訊網(wǎng) www.e71edu.com
【咨詢電話】4006820825 010-56133998 13810210257
【培訓(xùn)日期】2018年8月8-10日
【培訓(xùn)地點(diǎn)】北京
【培訓(xùn)對(duì)象】
1，有志于成為一名數(shù)據(jù)科學(xué)家的從業(yè)人員。
2，對(duì)大數(shù)據(jù)的前沿技術(shù)非常感興趣的人員，有一定算法和編程基礎(chǔ)的技術(shù)愛(ài)好者。
3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)等以互聯(lián)網(wǎng)信息為數(shù)據(jù)來(lái)源單位的負(fù)責(zé)人。
4，高校、科研院所牽涉到網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)處理及展現(xiàn)的項(xiàng)目負(fù)責(zé)人。
5，牽涉到網(wǎng)絡(luò)采集、處理和規(guī)劃的負(fù)責(zé)人、設(shè)計(jì)人員。

【課程背景】
Python是數(shù)據(jù)分析最常用的語(yǔ)言之一，而Apache Spark是一個(gè)開(kāi)源的強(qiáng)大的分布式查詢和處理引擎。本培訓(xùn)用詳盡的案例介紹如何使用Python來(lái)調(diào)用Spark的新特性，如何處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，如何使用PySpark中一些基本的可用數(shù)據(jù)類型，如何生成機(jī)器學(xué)習(xí)模型、操作圖像、閱讀串流數(shù)據(jù)以及在云上部署模型。
本培訓(xùn)結(jié)合實(shí)例來(lái)介紹PySpark大數(shù)據(jù)挖掘。內(nèi)容包括對(duì)Apache Spark基礎(chǔ)知識(shí)介紹，彈性分布式數(shù)據(jù)集RDD的內(nèi)部運(yùn)行方式講解，分析利用DataFrame加速PySpark，準(zhǔn)備數(shù)據(jù)建模，檢查重復(fù)數(shù)據(jù)及異常數(shù)據(jù)，分析描述性統(tǒng)計(jì)、數(shù)據(jù)相關(guān)性，介紹MLlib數(shù)據(jù)挖掘工具應(yīng)用，講解ML機(jī)器學(xué)習(xí)包功能，使用Blaze實(shí)現(xiàn)持久化，講解Tensorflow基礎(chǔ)，分析結(jié)構(gòu)化流Streaming，以及打包Spark應(yīng)用程序，提交作業(yè)和監(jiān)控執(zhí)行等。
本培訓(xùn)將合實(shí)例，對(duì)Python和Spark進(jìn)行講解，通過(guò)實(shí)際操作，了解云環(huán)境下，大數(shù)據(jù)處理、數(shù)據(jù)探索的基本方法。

【學(xué)員基礎(chǔ)】
1，對(duì)IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。
2，有一定的python和大數(shù)據(jù)基礎(chǔ)知識(shí)和開(kāi)發(fā)經(jīng)驗(yàn)。

【培訓(xùn)目標(biāo)】
1, 學(xué)習(xí)Python和Spark的相關(guān)基礎(chǔ)知識(shí)。
2，學(xué)習(xí)Python和Spark的核心技術(shù)方法及應(yīng)用。
3，了解Python和Spark在數(shù)據(jù)分析中的使用。

【課程大綱】
第一講 Spark基礎(chǔ)知識(shí)
1)什么是Apache Spark
2)Spark作業(yè)和API
3)DataFrame和Dataset
4)Spark 2.0的架構(gòu)
5)SparkSession介紹
6)Tungsten Phase 2
7)結(jié)構(gòu)化流
第二講 彈性分布式數(shù)據(jù)集
1)RDD的內(nèi)部運(yùn)行方式
2)創(chuàng)建RDD
3)全局作用域和局部作用域
4)RDD轉(zhuǎn)換
5)RDD操作
第三講 利用DataFrame加速PySpark
1)Python到RDD之間的通信
2)Catalyst優(yōu)化器刷新
3)創(chuàng)建DataFrame
4)RDD的交互操作
5)利用DataFrame API查詢
6)利用SQL查詢
7)DataFrame應(yīng)用實(shí)例
第四講 準(zhǔn)備數(shù)據(jù)建模
1)檢查重復(fù)數(shù)據(jù)及異常數(shù)據(jù)
2)描述性統(tǒng)計(jì)
3)數(shù)據(jù)相關(guān)性
4)數(shù)據(jù)可視化
5)直方圖
第五講 MLlib數(shù)據(jù)挖掘工具
1)MLlib包概述
2)加載和轉(zhuǎn)換數(shù)據(jù)
3)數(shù)據(jù)相關(guān)性和描述性統(tǒng)計(jì)
4)創(chuàng)建最終數(shù)據(jù)集
5)MLlib應(yīng)用實(shí)例-預(yù)測(cè)嬰兒生存機(jī)會(huì)
第六講 ML機(jī)器學(xué)習(xí)包
1)ML包的概述
2)分類、回歸和聚類
3)使用ML預(yù)測(cè)嬰兒生存率
4)ML超參調(diào)優(yōu)
5)ML的特征提取
6)ML的其他功能
第七講 使用Blaze實(shí)現(xiàn)持久化
1)安裝Blaze
2)混合持久化
3)使用NumPy和pandas數(shù)據(jù)
4)與關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行交互
5)數(shù)據(jù)操作和訪問(wèn)
6)數(shù)據(jù)連接
第八講 Tensorflow基礎(chǔ)
1)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
2)TensorFlow介紹和安裝
3)配置和設(shè)置TensorFlow
4)使用TensorFlow進(jìn)行矩陣分析
5)TensorFlow操作示例
第九講 結(jié)構(gòu)化流Streaming
1)Streaming介紹
2)Streaming的基本組件
3)Streaming應(yīng)用程序數(shù)據(jù)流
4)用DStream簡(jiǎn)化Streaming應(yīng)用程序
5)全局聚合
6)結(jié)構(gòu)化流介紹
第十講 打包Spark應(yīng)用程序
1)spark-submit命令
2)以編程方式部署應(yīng)用程序
3)配置你的SparkSession
4)創(chuàng)建SparkSession
5)模塊化代碼
6)提交作業(yè)和監(jiān)控執(zhí)行

【講師介紹】
楊老師,曼頓培訓(xùn)網(wǎng)(www.mdpxb.com)資深講師。主要研究網(wǎng)絡(luò)信息分析以及云計(jì)算相關(guān)技術(shù)，長(zhǎng)期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的研究開(kāi)發(fā)工作，主持和參與了多個(gè)國(guó)家和省部級(jí)基金項(xiàng)目，具有豐富的工程實(shí)踐及軟件研發(fā)經(jīng)驗(yàn)。

【費(fèi)用及報(bào)名】
1、費(fèi)用：培訓(xùn)費(fèi)5800元（含培訓(xùn)費(fèi)、講義費(fèi)）；如需食宿，會(huì)務(wù)組可統(tǒng)一安排,費(fèi)用自理。
2、報(bào)名咨詢：4006820825 010-56133998 56028090 13810210257 鮑老師
3、報(bào)名流程：電話登記-->填寫(xiě)報(bào)名表-->發(fā)出培訓(xùn)確認(rèn)函
4、備注：如課程已過(guò)期，請(qǐng)?jiān)L問(wèn)我們的網(wǎng)站，查詢最新課程
5、詳細(xì)資料請(qǐng)?jiān)L問(wèn)北京曼頓培訓(xùn)網(wǎng)：www.mdpxb.com (每月在全國(guó)開(kāi)設(shè)四百多門(mén)公開(kāi)課，歡迎報(bào)名學(xué)習(xí))