大數(shù)據(jù)時(shí)代的出現(xiàn)簡(jiǎn)單的講是海量數(shù)據(jù)同完美計(jì)算能力結(jié)合的結(jié)果，確切的說是移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù)，大數(shù)據(jù)計(jì)算技術(shù)完美地解決了海量數(shù)據(jù)的收集、存儲(chǔ)、計(jì)算、分析的問題。當(dāng)我們最初談大數(shù)據(jù)的時(shí)候，談的最多的可能是用戶行為分析，即通過各種用戶行為，包括瀏覽記錄，消費(fèi)記錄，交往和購(gòu)物娛樂，行動(dòng)軌跡等各種用戶行為產(chǎn)生的數(shù)據(jù)。由于這些數(shù)據(jù)本身符合海量，異構(gòu)的特征，同時(shí)通過分析這些數(shù)據(jù)之間的關(guān)聯(lián)性容易匹配某些結(jié)果現(xiàn)象。

大數(shù)據(jù)應(yīng)用場(chǎng)景：

制造業(yè)，利用工業(yè)大數(shù)據(jù)提升制造業(yè)水平，包括產(chǎn)品故障診斷與預(yù)測(cè)、分析工藝流程、改進(jìn)生產(chǎn)工藝，優(yōu)化生產(chǎn)過程能耗、工業(yè)供應(yīng)鏈分析與優(yōu)化、生產(chǎn)計(jì)劃與排程

金融行業(yè)，大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重大作用。

汽車行業(yè)，利用大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的無人駕駛汽車，在不遠(yuǎn)的未來將走入我們的日常生活。

互聯(lián)網(wǎng)行業(yè)，借助于大數(shù)據(jù)技術(shù)，可以分析客戶行為，進(jìn)行商品推薦和針對(duì)性廣告投放。

電信行業(yè)，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)客戶離網(wǎng)分析，及時(shí)掌握客戶離網(wǎng)傾向，出臺(tái)客戶挽留措施

能源行業(yè)，隨著智能電網(wǎng)的發(fā)展，電力公司可以掌握海量的用戶用電信息，利用大數(shù)據(jù)技術(shù)分析用戶用電模式，可以改進(jìn)電網(wǎng)運(yùn)行，合理設(shè)計(jì)電力需求響應(yīng)系統(tǒng)，確保電網(wǎng)運(yùn)行安全。

物流行業(yè)，利用大數(shù)據(jù)優(yōu)化物流網(wǎng)絡(luò)，提高物流效率，降低物流成本

城市管理，可以利用大數(shù)據(jù)實(shí)現(xiàn)智能交通、環(huán)保監(jiān)測(cè)、城市規(guī)劃和智能安防

生物醫(yī)學(xué)，大數(shù)據(jù)可以幫助我們實(shí)現(xiàn)流行病預(yù)測(cè)、智慧醫(yī)療、健康管理，同時(shí)還可以幫助我們解讀DNA,了解更多的生命奧秘。

安全領(lǐng)域，政府可以利用大數(shù)據(jù)技術(shù)構(gòu)建起強(qiáng)大的國(guó)家安全保障體系，企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡(luò)攻擊，警察可以借助大數(shù)據(jù)來預(yù)防犯罪。

個(gè)人生活， 大數(shù)據(jù)還可以應(yīng)用于個(gè)人生活，利用與每個(gè)人相關(guān)聯(lián)的“個(gè)人大數(shù)據(jù)”，分析個(gè)人生活行為習(xí)慣，為其提供更加周到的個(gè)性化服務(wù)。

當(dāng)然大數(shù)據(jù)的價(jià)值遠(yuǎn)遠(yuǎn)不止于此，大數(shù)據(jù)對(duì)各行各業(yè)的滲透，大大推動(dòng)了社會(huì)生產(chǎn)和生活，未來必將產(chǎn)生重大而深遠(yuǎn)的影響。那么回歸主題，如何進(jìn)行大數(shù)據(jù)領(lǐng)域，學(xué)習(xí)線路是什么？

第一階段：大數(shù)據(jù)基礎(chǔ)Java語言基礎(chǔ)階段

詳細(xì)知識(shí)點(diǎn)介紹：

Java開發(fā)介紹：

Java的發(fā)展歷史，Java的應(yīng)用領(lǐng)域，Java語言的特性，Java面向?qū)ο螅琂ava性能分類， 搭建Java環(huán)境，Java工作原理

熟悉Eclipse開發(fā)工具：

Eclipse簡(jiǎn)介與下載，安裝Eclipse的中文語言包， Eclipse的配置與啟動(dòng)，

Eclipse工作臺(tái)與視圖，“包資源管理器”視圖， 使用Eclipse， 使用編輯器編寫程序代碼

Java語言基礎(chǔ)：

Java主類結(jié)構(gòu)，基本數(shù)據(jù)類型， 變量與常量，Java運(yùn)算符， 數(shù)據(jù)類型轉(zhuǎn)換， 代碼注釋與編碼規(guī)范，Java幫助文檔

Java流程控制：

復(fù)合語句， 條件語句，if條件語句， switch多分支語句，while循環(huán)語句， do…while循環(huán)語句， for循環(huán)語句

Java字符串：

String類， 連接字符串， 獲取字符串信息， 字符串操作， 格式化字符串， 使用正則表達(dá)式，字符串生成器

Java數(shù)組與類和對(duì)象：

數(shù)組概述，一維數(shù)組的創(chuàng)建及使用，二維數(shù)組的創(chuàng)建及使用，數(shù)組的基本操作，數(shù)組排序算法，Java的類和構(gòu)造方法、Java的對(duì)象，屬性和行為

數(shù)字處理類與核心技術(shù)：

數(shù)字格式化與運(yùn)算，隨機(jī)數(shù) 與大數(shù)據(jù)運(yùn)算，類的繼承與Object類，對(duì)象類型的轉(zhuǎn)換，使用instanceof操作符判斷對(duì)象類型，方法的重載與多態(tài)，抽象類與接口

I/O與反射、多線程：

流概述與File類，文件 輸入/輸出流，緩存 輸入/輸出流， Class類與Java反射，Annotation功能類型信息，枚舉類型與泛型，創(chuàng)建、操作線程與線程安全

Swing程序與集合類：

常用窗體，標(biāo)簽組件與圖標(biāo)，常用布局管理器 與面板，按鈕組件 與列表組件，常用事件監(jiān)聽器，集合類概述，Set集合 與Map集合及接口

PC端網(wǎng)站布局：

HTML基礎(chǔ)，CSS基礎(chǔ)，CSS核心屬性，CSS樣式層疊，繼承，盒模型，容器，溢出及元素類型，瀏覽器兼容與寬高自適應(yīng)，定位，錨點(diǎn)與透明，圖片整合，表格，CSS屬性與濾鏡，CSS優(yōu)化

HTML5+CSS3基礎(chǔ)：

HTML5新增的元素與屬性， CSS3選擇器，文字字體相關(guān)樣式，CSS3位移與變形處理，CSS3 2D、3D轉(zhuǎn)換與動(dòng)畫，彈性盒模型，媒體查詢，響應(yīng)式設(shè)計(jì)

WebApp頁面布局項(xiàng)目：

移動(dòng)端頁面設(shè)計(jì)規(guī)范，移動(dòng)端切圖，文字流式/控件彈性/圖片等比例的布局，等比縮放布局，viewport/meta，rem/vw的使用，flexbox詳解，移動(dòng)web特別樣式處理

原生JavaScript功能開發(fā)：

原生JavaScript功能開發(fā)，JavaScript使用及運(yùn)作原理，JavaScript基本語法，JavaScript內(nèi)置對(duì)象，事件，事件原理，JavaScript基本特效制作，cookie存儲(chǔ)，正則表達(dá)式

Ajax異步交互：

Ajax概述與特征，Ajax工作原理，XMLHttpRequest對(duì)象，同步與異步，Ajax異步交互，Ajax跨域問題，Ajax數(shù)據(jù)的處理，基于WebSocket和推送的實(shí)時(shí)交互

JQuery應(yīng)用：

各選擇器使用及應(yīng)用優(yōu)化，Dom節(jié)點(diǎn)的各種操作，事件處理、封裝、應(yīng)用，jQuery中的各類動(dòng)畫使用，可用性表單的開發(fā)，jQuery Ajax、函數(shù)、緩存， jQuery編寫插件、擴(kuò)展、應(yīng)用，理解模塊式開發(fā)及應(yīng)用

數(shù)據(jù)庫(kù)：

Mysql數(shù)據(jù)庫(kù)，JDBC開發(fā)，連接池和DBUtils，Oracle介紹，MongoDB數(shù)據(jù)庫(kù)介紹，apache服務(wù)器/Nginx服務(wù)器，Memcached內(nèi)存對(duì)象緩存系統(tǒng)

JavaWeb開發(fā)核心：

XML技術(shù)，HTTP協(xié)議，Servlet工作原理解析，深入理解Session與Cookie，Tomcat的系統(tǒng)架構(gòu)與設(shè)計(jì)模式，JSP語法與內(nèi)置對(duì)象，JDBC技術(shù)，大瀏覽量系統(tǒng)的靜態(tài)化架構(gòu)設(shè)計(jì)

JavaWeb開發(fā)內(nèi)幕：

深入理解Web請(qǐng)求過程，Java I/O的工作機(jī)制，Java Web中文編碼，Javac編譯原理，class文件結(jié)構(gòu)，ClassLoader工作機(jī)制，JVM體系結(jié)構(gòu)與工作方式，JVM內(nèi)存管理

第二階段：Linux系統(tǒng)Hadoop生態(tài)體系

詳細(xì)知識(shí)點(diǎn)介紹：

Linux體系：

VMware Workstation虛擬軟件安裝過程、CentOS虛擬機(jī)安裝過程，了解機(jī)架服務(wù)器，采用真實(shí)機(jī)架服務(wù)器部署linux，Linux的常用命令：常用命令的介紹、常用命令的使用和練習(xí)，Linux系統(tǒng)進(jìn)程管理基本原理及相關(guān)管理工具如ps、pkill、top、htop等的使用，Linux啟動(dòng)流程，運(yùn)行級(jí)別詳VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵， Linux用戶和組賬戶管理：用戶的管理、組管理，Linux磁盤管理，lvm邏輯卷，nfs詳解，Linux系統(tǒng)文件權(quán)限管理：文件權(quán)限介紹、文件權(quán)限的操作，Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作，yum命令，yum源搭建，Linux網(wǎng)絡(luò)：Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護(hù)，Shell編程，Shell的介紹、Shell腳本的編寫

Linux上常見軟件的安裝：

安裝JDK、安裝Tomcat、安裝mysql,web項(xiàng)目部署

Hadoop離線計(jì)算：

Hadoop生態(tài)環(huán)境介紹，Hadoop云計(jì)算中的位置和關(guān)系，國(guó)內(nèi)外Hadoop應(yīng)用案例介紹，國(guó)內(nèi)外Hadoop應(yīng)用案例介紹，Hadoop 概念、版本、歷史，Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu)，Hadoop 的集群結(jié)構(gòu)，Hadoop 偽分布的詳細(xì)安裝步驟，通過命令行和瀏覽器觀察hadoop，HDFS底層&& datanode,namenode詳解&&shell&&Hdfs java api，Mapreduce四個(gè)階段介紹，Writable，InputSplit和OutputSplit，Maptask，Shuffle：Sort，Partitioner，Group,Combiner，Reducer，Mapreducer案例：二次排序， 倒排序索引， 最優(yōu)路徑，電信數(shù)據(jù)挖掘之-----移動(dòng)軌跡預(yù)測(cè)分析（中國(guó)棱鏡計(jì)劃），社交好友推薦算法，互聯(lián)網(wǎng)精準(zhǔn)廣告推送算法，Hadoop離線計(jì)算大綱，阿里巴巴天池大數(shù)據(jù)競(jìng)賽 《天貓推薦算法》，Mapreduce實(shí)戰(zhàn)pagerank算法，Hadoop2.x集群結(jié)構(gòu)體系介紹，Hadoop2.x集群搭建，NameNode的高可用性（HA），HDFS Federation，ResourceManager 的高可用性（HA），Hadoop集群常見問題和解決方法，Hadoop集群管理

分布式數(shù)據(jù)庫(kù)Hbase：

Hbase簡(jiǎn)介，HBase與RDBMS的對(duì)比，數(shù)據(jù)模型，系統(tǒng)架構(gòu)，HBase上的MapReduce，表的設(shè)計(jì)，集群的搭建過程講解，集群的監(jiān)控，集群的管理，HBase Shell以及演示， Hbase 樹形表設(shè)計(jì)，Hbase 一對(duì)多 和 多對(duì)多 表設(shè)計(jì)，Hbase 微博 案例，Hbase 訂單案例，Hbase表級(jí)優(yōu)化，分布式數(shù)據(jù)庫(kù)Hbase，Hbase 寫數(shù)據(jù)優(yōu)化，Hbase 讀數(shù)據(jù)優(yōu)化Hbase API操作，hbase mapdreduce 和hive 整合

數(shù)據(jù)倉(cāng)庫(kù)Hive：

數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)，Hive定義，Hive體系結(jié)構(gòu)簡(jiǎn)介，Hive集群，客戶端簡(jiǎn)介，HiveQL定義，HiveQL與SQL的比較，數(shù)據(jù)類型，外部表和分區(qū)表，ddl與CLI客戶端演示，dml與CLI客戶端演示，select與CLI客戶端演示，Operators 和 functions與CLI客戶端演示，Hive server2 與jdbc，用戶自定義函數(shù)（UDF 和 UDAF）的開發(fā)與演示，Hive 優(yōu)化，serde

數(shù)據(jù)遷移工具Sqoop：

Sqoop簡(jiǎn)介以及使用，Sqoop shell使用，Sqoop-import，DBMS-hdfs，DBMS-hive，DBMS-hbase，Sqoop-export

Flume分布式日志框架：

flume簡(jiǎn)介-基礎(chǔ)知識(shí)，flume安裝與測(cè)試，flume部署方式，flume source相關(guān)配置及測(cè)試，flume sink相關(guān)配置及測(cè)試，flume selector 相關(guān)配置與案例分析，flume Sink Processors相關(guān)配置和案例分析，flume Interceptors相關(guān)配置和案例分析，flume AVRO Client開發(fā)，flume 和kafka 的整合

第三階段：分布式計(jì)算框架Spark&Storm生態(tài)體系

詳細(xì)知識(shí)點(diǎn)介紹：

Scala編程語言：

scala解釋器、變量、常用數(shù)據(jù)類型等，scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu)，scala的函數(shù)、默認(rèn)參數(shù)、變長(zhǎng)參數(shù)等，scala的數(shù)組、變長(zhǎng)數(shù)組、多維數(shù)組等，scala的映射、元組等操作，scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器，scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法等，scala的包、引入、繼承等概念，scala的特質(zhì)，scala的操作符，scala的高階函數(shù)，scala的集合，scala數(shù)據(jù)庫(kù)連接

Spark大數(shù)據(jù)處理：

Spark介紹，Spark應(yīng)用場(chǎng)景，Spark和Hadoop MR、Storm的比較和優(yōu)勢(shì)， RDD，Transformation，Action，Spark計(jì)算PageRank，Lineage， Spark模型簡(jiǎn)介，Spark緩存策略和容錯(cuò)處理，寬依賴與窄依賴，Spark配置講解，Spark集群搭建，集群搭建常見問題解決，Spark原理核心組件和常用RDD，數(shù)據(jù)本地性，任務(wù)調(diào)度，DAGScheduler，TaskScheduler，Spark源碼解讀，性能調(diào)優(yōu)，Spark和Hadoop2.x整合：Spark on Yarn原理

Spark—Streaming大數(shù)據(jù)實(shí)時(shí)處理：

Spark Streaming：數(shù)據(jù)源和DStream ，無狀態(tài)transformation與有狀態(tài)transformation，Streaming Window的操作，sparksql 編程實(shí)戰(zhàn)，spark的多語言操作，spark最新版本的新特性

Spark—Mlib機(jī)器學(xué)習(xí)：

Mlib簡(jiǎn)介，Spark MLlib組件介紹，基本數(shù)據(jù)類型，回歸算法，廣義線性模型，邏輯回歸，分類算法，樸素貝葉斯，決策樹，隨機(jī)森林，推薦系統(tǒng)，聚類

Spark—GraphX 圖計(jì)算：

二分圖，構(gòu)造圖， 屬性圖，PageRank

3.5.2 概述 構(gòu)造圖，屬性圖，PageRank

storm技術(shù)架構(gòu)體系：

項(xiàng)目技術(shù)架構(gòu)體系，Storm是什么，Storm架構(gòu)分析，Storm編程模型、Tuple源碼、并發(fā)度分析，

Transformation，Maven環(huán)境快速搭建，Storm WordCount案例及常用Api，Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計(jì)算，3.6.9 Storm集群安裝部署，Storm源碼下載編譯

Storm原理與基礎(chǔ)：

Storm集群?jiǎn)?dòng)及源碼分析，Storm任務(wù)提交及源碼分析，Storm數(shù)據(jù)發(fā)送流程分析，Strom通信機(jī)制分析淺談，Storm消息容錯(cuò)機(jī)制及源碼分析，Storm多stream項(xiàng)目分析，Storm Trident和傳感器數(shù)據(jù)，實(shí)時(shí)趨勢(shì)分析，Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹，Storm DRPC實(shí)戰(zhàn)講解，編寫自己的流式任務(wù)執(zhí)行框架

消息隊(duì)列kafka：

消息隊(duì)列是什么，kafka核心組件，kafka集群部署實(shí)戰(zhàn)及常用命令，kafka配置文件梳理，kafka JavaApi學(xué)習(xí)，kafka文件存儲(chǔ)機(jī)制分析，kafka的分布與訂閱，kafka使用zookeeper進(jìn)行協(xié)調(diào)管理

Redis工具：

nosql介紹，redis介紹，redis安裝，客戶端連接，redis的數(shù)據(jù)功能，redis持久化，redis應(yīng)用案例

zookeeper詳解：

zookeeper簡(jiǎn)介，zookeeper的集群部署，zookeeper的核心工作機(jī)制，zookeeper的命令行操作，zookeeper的客戶端API，zookeeper的應(yīng)用案例，zookeeper的原理補(bǔ)充

第四階段：大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)

第五階段：大數(shù)據(jù)分析方向AI(人工智能)

詳細(xì)知識(shí)點(diǎn)介紹：

Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)：

介紹Python以及特點(diǎn)，Python的安裝，Python基本操作（注釋、邏輯、 字符串使用等），Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典），使用Python進(jìn)行批量重命名小例子，Python常見內(nèi)建函數(shù)，更多Python函數(shù)及使用常見技巧，異常，Python函數(shù)的參數(shù)講解，Python模塊的導(dǎo)入，網(wǎng)絡(luò)爬蟲案例，數(shù)據(jù)庫(kù)連接，以及pip安裝模塊，Mongodb基礎(chǔ)入門，講解如何連接mongodb，Python的機(jī)器學(xué)習(xí)案例，AI&&機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)概論，工作環(huán)境準(zhǔn)備，數(shù)據(jù)分析中常用的Python技巧，Pandas進(jìn)階及技巧，數(shù)據(jù)的統(tǒng)計(jì)分析

數(shù)據(jù)可視化：

數(shù)據(jù)可視化的概念，圖表的繪制及可視化，動(dòng)畫及交互渲染，數(shù)據(jù)合并、分組

Python機(jī)器學(xué)習(xí)：

機(jī)器學(xué)習(xí)的基本概念，ML工作流程，Python機(jī)器學(xué)習(xí)庫(kù)scikit-learn，KNN模型，線性回歸模型，邏輯回歸模型，支持向量機(jī)模型，決策樹模型，超參數(shù)&&學(xué)習(xí)參數(shù)，模型評(píng)價(jià)指標(biāo)，交叉驗(yàn)證，機(jī)器學(xué)習(xí)經(jīng)典算法，樸素貝葉斯，隨機(jī)森林，GBDT

圖像識(shí)別&&神經(jīng)網(wǎng)絡(luò)：

圖像操作的工作流程，特征工程，圖像特征描述，AI網(wǎng)絡(luò)的描述，深度學(xué)習(xí)，TensorFlow框架學(xué)習(xí)，TensorFlow框架卷積神經(jīng)網(wǎng)絡(luò)（CNN）

自然語言處理&&社交網(wǎng)絡(luò)處理：

Python文本數(shù)據(jù)處理，自然語言處理及NLTK，主題模型，LDA，圖論簡(jiǎn)介，網(wǎng)絡(luò)的操作及數(shù)據(jù)可視化

（文章來源：今日頭條）