加米谷大數(shù)據(jù)開發(fā)課程明細(xì)

從理論到實(shí)訓(xùn)代碼到云端實(shí)操環(huán)境到項(xiàng)目實(shí)戰(zhàn)，手把手教您從0掌握大數(shù)據(jù)技術(shù)，帶您走進(jìn)大數(shù)據(jù)世界。

第一階段（Java設(shè)計(jì)與編程思想）

Java基礎(chǔ)                 1、Java是什么類型語(yǔ)言，Java語(yǔ)言的編譯、解釋、執(zhí)行過程                 2、Java運(yùn)行環(huán)境的安裝和配置                 3、標(biāo)識(shí)符與關(guān)鍵字                 4、基本數(shù)據(jù)類型                 5、方法初識(shí)                 6、運(yùn)算符與表達(dá)式                 7、分支語(yǔ)句                 8、循環(huán)語(yǔ)句                 9、Math、Date、Random

Java面向?qū)ο?/span>                 1、什么是面向?qū)ο?                2、類、對(duì)象、數(shù)組                 3、介紹面向?qū)ο蠖鄳B(tài)                 4、抽象類的概念                 5、抽象類的聲明語(yǔ)法                 6、抽象類被繼承                 7、接口的聲明語(yǔ)法                 8、實(shí)現(xiàn)接口的實(shí)現(xiàn)類                 9、普通類與抽象類思想上的區(qū)別                 10、抽象類與接口思想上的區(qū)別

Java高級(jí)                 1、異常處理                 2、I/O、JavaBean                 3、反射/多線程                 4、網(wǎng)絡(luò)編程                 5、泛型和集合

數(shù)據(jù)庫(kù)與JDBC                 1、安裝與介紹                 2、創(chuàng)建數(shù)據(jù)庫(kù)與表                 3、表與表之間關(guān)系                 4、字段類型/函數(shù)/查詢語(yǔ)句                 5、存儲(chǔ)器/觸發(fā)器                 6、增刪改查                 7、事務(wù)并發(fā)                 8、操作存儲(chǔ)器和觸發(fā)器

第二階段（Web前端開發(fā)）

HTML基礎(chǔ)                 1、Web開發(fā)簡(jiǎn)介                 2、開發(fā)環(huán)境介紹                 3、html與css編程介紹                 4、JavaScript編程介紹                 5、頭部標(biāo)記/文字格式標(biāo)記                 6、字體/列表/圖像標(biāo)記                 7、超鏈接/表格/表單                 8、框架

CSS3                 1、web標(biāo)準(zhǔn)                 2、css語(yǔ)法基礎(chǔ)與選擇器                 3、css繼承與優(yōu)先級(jí)                 4、css編寫原則                 5、css屬性與浮動(dòng)                 6、css盒子模型                 7、css定位

JS腳本編程                 1、JavaScript定義                 2、JavaScript特點(diǎn)與核心                 3、JavaScript開發(fā)環(huán)境                 4、JavaScript基本使用                 5、DOM介紹與節(jié)點(diǎn)相關(guān)操作                 6、DOM類型與操作                 7、DOM獲取表格元素                 8、DOM獲取元素樣式

事件與JQuery框架                 1、事件介紹與內(nèi)聯(lián)模型                 2、腳本模型與事件對(duì)象                 3、鍵盤事件與鼠標(biāo)事件                 4、JQuery基本語(yǔ)法                 5、JQuery常用選擇器                 6、JQuery事件處理                 7、JQuery文檔操作

第三階段（JavaEE進(jìn)階）

Web環(huán)境配置                 1、Tomcat服務(wù)器

JavaWeb開發(fā)核心                 1、JSP&Servlet基礎(chǔ)                 2、JSP&Servlet高級(jí)

SSM框架                 1、SpringIOC                 2、SpringAOP                 3、SpringMVC配置文件詳解                 4、OGNL詳解                 5、控制器的實(shí)現(xiàn)                 6、注解方式實(shí)現(xiàn)                 7、文件上傳與下載                 8、攔截器詳解                 9、表單驗(yàn)證流程詳解                                 10、SSM + Jquery + Ajax整合開發(fā)

Mysql                 1、數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)                 2、SQL理論基礎(chǔ)和數(shù)據(jù)類型                 3、DDL、LML、DQL語(yǔ)句                 4、函數(shù)和關(guān)聯(lián)查詢                 5、子查詢、約束、視圖                 6、編程存儲(chǔ)過程，觸發(fā)器                 7、Sql查詢案例和優(yōu)化

第四階段（大數(shù)據(jù)基礎(chǔ)：Linux基礎(chǔ)、Maven基礎(chǔ)）

Linux系統(tǒng)管理                 1、Linux安裝                 2、用戶與用戶組管理                 3、文件操作                 4、目錄操作                 5、RPM安裝與卸載                 6、YUM安裝與卸載                 7、打包、壓縮與解壓縮                 8、網(wǎng)絡(luò)配置(network)                 9、后臺(tái)運(yùn)行程序（nohup & ;）

Shell編程設(shè)計(jì)                 1、Shell是什么                 2、Shell分類                 3、基本語(yǔ)法與環(huán)境變量                 4、預(yù)定義變量                 5、用戶變量                 6、特殊符號(hào)使用                 7、邏輯判斷與流程控制                 8、正則表達(dá)式                 9、模式匹配                 10、Grep使用

Maven部署/配置/倉(cāng)庫(kù)                 1、Maven部署                 2、Maven配置                 3、Maven安裝目錄解析                 4、Maven本地倉(cāng)庫(kù)與中央倉(cāng)庫(kù)                 5、Maven遠(yuǎn)程倉(cāng)庫(kù)                 6、Maven 私服                 7、如何從Maven遠(yuǎn)程倉(cāng)庫(kù)下載                 8、Maven添加遠(yuǎn)程倉(cāng)庫(kù)                 9、部署至遠(yuǎn)程倉(cāng)庫(kù)                                 10、Maven鏡像

Maven POM                 1、Maven核心元素                 2、Maven核心插件/坐標(biāo)/依賴                 3、Maven依賴范圍                 4、Maven傳遞性依賴                 5、Maven依賴調(diào)解/可選依賴/排除依賴                 6、Maven快照及發(fā)布版本                 7、Maven聚合與繼承                 8、Maven依賴管理與插件管理                 9、Maven反應(yīng)堆與靈活構(gòu)建

第五階段（HDFS分布式文件系統(tǒng)）

HDFS原理剖析                 1、HDFS概念                 2、HDFS內(nèi)核/讀寫原理                 3、HDFS數(shù)據(jù)塊                 4、HDFS數(shù)據(jù)副本的存放策略                 5、HDFS安全模式/負(fù)載均衡/機(jī)架感應(yīng)                 6、HDFS名稱節(jié)點(diǎn)NameNode                 7、HDFS第二名稱節(jié)點(diǎn)SecondNameNode                 8、HDFS高可用HA/聯(lián)邦Federation

HDFS 編程實(shí)踐                 1、HDFS分布式文件讀取                 2、HDFS寫入剖析/讀取剖析組                 3、HDFS一致模型/數(shù)據(jù)完整性                 4、HDFS壓縮/序列化                 5、HDFS基于文件的數(shù)據(jù)結(jié)構(gòu)                 6、HDFS數(shù)據(jù)備份/網(wǎng)絡(luò)拓?fù)?                7、HDFS集群的構(gòu)建和安裝                 8、HDFS配置管理/環(huán)境設(shè)置/安全性                 9、文件系統(tǒng)操作Hadoop fs與hdfs dfs

第六階段+第七階段+第八階段（MapReduce分布式計(jì)算模型+Yarn分布式資源管理器+Zookeeper分布式協(xié)調(diào)服務(wù)

MapReduce原理剖析                 1、MapReduce產(chǎn)生背景                 2、MapReduce適用場(chǎng)景                 3、MapReduce基本原理                 4、MapReduce作業(yè)執(zhí)行流程                 5、MapReduce基本組件                 6、MapReduce JobTracker                 7、MapReduce TaskTracker

MapReduce實(shí)踐                 1、MapReduce高級(jí)編程應(yīng)用                 2、MapReduce Combiner                 3、MapReduce Partitioner                 4、MapReduce性能優(yōu)化技巧                 5、MapReduce案例分析                 6、MapReduce開發(fā)實(shí)踐操作

Yarn原理剖析                 1、Yarn架構(gòu)設(shè)計(jì)                 2、Yarn核心原理                 3、Yarn主節(jié)點(diǎn)ResourceManager                 4、Yarn從節(jié)點(diǎn)NodeManager                 5、Yarn從節(jié)點(diǎn)Container                 6、Yarn的Application

Zookeeper原理+實(shí)踐                 1、Zookeeper 介紹                 2、Zookeeper核心原理                 3、Zookeeper結(jié)構(gòu)                 4、Zookeeper Server                 5、Zookeeper Client程                                 6、Zookeeper訪問                 7、Zookeeper常用訪問工具

第九階段+第十階段（Hbase分布式數(shù)據(jù)庫(kù)+Hive分布式數(shù)據(jù)倉(cāng)庫(kù)）

Hbase原理剖析                 1、Hbase存儲(chǔ)原理                 2、Hbase列式存儲(chǔ)原理                 3、Hbase稀疏存儲(chǔ)設(shè)計(jì)                 4、Hbase KeyValue存儲(chǔ)設(shè)計(jì)                 5、Hbase數(shù)據(jù)多版本                 6、Hbase Rowkey設(shè)計(jì)                 7、Hbase 存儲(chǔ)無(wú)模式設(shè)計(jì)

Hbase編程實(shí)戰(zhàn)象                 1、Hbase 訪問Shell接口實(shí)踐                 2、Hbase 訪問API接口實(shí)踐                 3、Hbase 實(shí)戰(zhàn)訓(xùn)練

Hive原理剖析                 1、Hive介紹                 2、Hive應(yīng)用場(chǎng)景                 3、Hive架構(gòu)                 4、Hive運(yùn)行原理                 5、Hive命名空間                 6、Hive庫(kù)的位置                 7、Hive數(shù)據(jù)倉(cāng)庫(kù)

Hive實(shí)踐                 1、Hive創(chuàng)建庫(kù)                 2、Hive修改庫(kù)與刪除庫(kù)                 3、Hive普通表與帶分區(qū)的表                 4、Hive帶Bucket的表/外部表/相似表                 5、Hive分區(qū)/Bucket管理/向Hive表中裝載與插入數(shù)據(jù)                 6、創(chuàng)建并加載數(shù)據(jù)到Hive表與導(dǎo)出數(shù)據(jù)                 7、Hive SelectFrom/Where/GroupBy/Join

第十一階段+第十二階段（FlumeNG分布式數(shù)據(jù)采集系統(tǒng)+Sqoop大數(shù)據(jù)遷移系統(tǒng)）

FlumeNG原理剖析                 1、FlumeNG概述                 2、FlumeNG部署配置                 3、FlumeNG分布式架構(gòu)                 4、FlumeNG應(yīng)用場(chǎng)景                 5、FlumeNG與同類產(chǎn)品的優(yōu)缺點(diǎn)                 6、FlumeNG工作原理                 7、FlumeNG運(yùn)行時(shí)系統(tǒng)實(shí)現(xiàn)的邏輯

FlumeNG實(shí)踐                 1、FlumeNG指定文件數(shù)據(jù)作為數(shù)據(jù)源                 2、FlumeNG監(jiān)測(cè)并讀取新增文件數(shù)據(jù)作為數(shù)據(jù)源                 3、FlumeNG命令輸出作為數(shù)據(jù)源                 4、FlumeNG監(jiān)聽TCP的端口作為數(shù)據(jù)源                 5、FlumeNG獲取HTTP數(shù)據(jù)作為數(shù)據(jù)源                 6、FlumeNG HDFS作為輸出源                 7、FlumeNG本地目錄作為輸出源

Sqoop原理剖析                 1、Sqoop介紹                 2、Sqoop架構(gòu)原理

Sqoop實(shí)踐                 1、數(shù)據(jù)遷入大數(shù)據(jù)存儲(chǔ)                 2、數(shù)據(jù)遷出大數(shù)據(jù)存儲(chǔ)

第十三階段+第十四階段（Scala大數(shù)據(jù)黃金語(yǔ)言+kafka分布式總線系統(tǒng)）

Scala語(yǔ)法剖析                 1、Scala基礎(chǔ)                 2、Scala流程控制                 3、Scala異常處理                 4、Scala數(shù)據(jù)類型                 5、Scala運(yùn)算符                 6、Scala函數(shù)基礎(chǔ)                 7、Scala匿名函數(shù)                 8、Scala嵌套函數(shù)                 9、Scala遞歸函數(shù)、部分應(yīng)用函數(shù)、柯里函數(shù)、高階函數(shù)

Scala應(yīng)用實(shí)踐                 1、Scala閉包                 2、Scala對(duì)象                 3、Scala特征                 4、Scala模式匹配                 5、Scala隱式轉(zhuǎn)換                 6、Scala Lists                 7、Scala Seqs                 8、Scala Sets                 9、Scala Maps                 10、Scala Tuples、Scala Iterators、Scala Options

Kafka原理剖析                 1、Kafka初識(shí)                 2、Kafka主題                 3、Kafka日志                 4、Kafka生產(chǎn)者                 5、Kafka消費(fèi)者                 6、Kafka消費(fèi)組                 7、Kafka消息讀寫原理                 8、Kafka位移管理                 9、Kafka副本機(jī)制、分布式、消息傳送機(jī)制

Kafka實(shí)踐                 1、Kafka命令工具                 2、Kafka生產(chǎn)API                 3、Kafka消費(fèi)API                 4、Kafka實(shí)戰(zhàn)訓(xùn)練

第十五階段+第十六階段+第十七階段（SparkCore大數(shù)據(jù)計(jì)算基石+SparkSQL數(shù)據(jù)挖掘利器+SparkStreaming流式計(jì)算平臺(tái)）

SparkCore核心原理                 1、SparkCore 基礎(chǔ)原理                 2、SparkCore核心代碼剖析                 3、SparkCore運(yùn)行架構(gòu)                 4、Rdd編程模型                 5、Rdd內(nèi)存彈性分布式數(shù)據(jù)集的工作原理和機(jī)制                 6、RDD Transform                 7、RDD Action

SparkSQL原理                 1、SparkSQL簡(jiǎn)介                 2、SparkSQL運(yùn)行原理                 3、SparkSQL程序開發(fā)光速入門                 4、SparkSQL程序開發(fā)之?dāng)?shù)據(jù)源                 5、SparkSQL程序開發(fā)之DataFrame態(tài)                 6、SparkSQL程序開發(fā)之DataSet                 7、SparkSQL程序開發(fā)之?dāng)?shù)據(jù)類型                 8、SparkSQL實(shí)戰(zhàn)訓(xùn)練

SparkStreaming原理                 1、SparkStreaming原理                 2、SparkStreaming與Storm 在流處理方面的比較                 3、SparkStreaming與Spark 交互的實(shí)現(xiàn)機(jī)制                 4、SparkStreaming核心代碼剖析

SparkStreaming實(shí)踐                 1、SparkStreaming 滑動(dòng)窗口                 2、SparkStreaming foreachRDD                 3、SparkStreaming 性能優(yōu)化                 4、SparkStreaming 持久化                 5、SparkStreaming Checkpoint                 6、SparkStreaming 容錯(cuò)                 7、SparkStreaming 事務(wù)                 8、SparkStreaming客戶端編程實(shí)踐

第十八階段+第十九階段（SparkMllib機(jī)器學(xué)習(xí)平臺(tái)+SparkGraphx圖計(jì)算平臺(tái)）

SparkMllib算法模型原理                 1、數(shù)據(jù)挖掘基礎(chǔ)知識(shí)                 2、機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)                 3、機(jī)器學(xué)習(xí)案例                 4、Mahout/Spark MLib 并行挖掘平臺(tái)中的關(guān)聯(lián)規(guī)則                 5、Mahout/Spark MLib 并行挖掘平臺(tái)中的預(yù)測(cè)協(xié)同過濾                 6、Mahout/Spark MLib 并行挖掘平臺(tái)中的推薦模型                 7、SparkMllib模型的原理                 8、SparkMllib模型的算法實(shí)現(xiàn)

SparkMllib算法實(shí)踐                 1、推薦分析模塊的深度剖析                 2、推薦分析算法MapReduce 并行實(shí)現(xiàn)及應(yīng)用開發(fā)                 3、關(guān)聯(lián)規(guī)則挖掘算法MapReduce 并行實(shí)現(xiàn)及應(yīng)用開發(fā)                 4、頻繁模式挖掘算法的 MapReduce 并行實(shí)現(xiàn)及應(yīng)用開發(fā)                 5、回歸預(yù)測(cè)的 MapReduce 實(shí)現(xiàn)和 Spark 實(shí)現(xiàn)技術(shù)                 6、局部加權(quán)線性回歸預(yù)測(cè)算法 MapReduce、Spark實(shí)現(xiàn)技術(shù)

SparkGraphX核心原理                 1、SparkGraphX基礎(chǔ)原理                 2、SparkGraphX核心代碼剖析

SparkGraphX實(shí)踐                 1、SparkGraphX客戶端 API 介紹                 2、基于 Spark GraphX 實(shí)現(xiàn)圖數(shù)據(jù)的分析程序開發(fā)

第二十階段（大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)）

電商數(shù)據(jù)離線分析平臺(tái)                 用SparkSQL、SparkStreaming，進(jìn)行離線計(jì)算和實(shí)時(shí)計(jì)算業(yè)務(wù)模塊的開發(fā)。實(shí)現(xiàn)了用戶訪問session  分析、頁(yè)面單跳轉(zhuǎn)化率統(tǒng)計(jì)、熱門商品離線統(tǒng)計(jì)、廣告點(diǎn)擊流量實(shí)時(shí)統(tǒng)計(jì)4  個(gè)業(yè)務(wù)模塊。合理的將實(shí)際業(yè)務(wù)模塊進(jìn)行技術(shù)整合與改造，項(xiàng)目完全涵蓋了Spark Core、Spark SQL和Spark  Streaming這三個(gè)技術(shù)框架中幾乎所有的功能點(diǎn)、知識(shí)點(diǎn)以及性能優(yōu)化點(diǎn)

移動(dòng)基站信號(hào)監(jiān)測(cè)大數(shù)據(jù)                 移動(dòng)通信基站信號(hào)數(shù)據(jù)采集，實(shí)時(shí)分析及移動(dòng)信號(hào)監(jiān)測(cè)系統(tǒng)。該系統(tǒng)利用移動(dòng)與聯(lián)通兩家運(yùn)營(yíng)商的信令數(shù)據(jù)，通過對(duì)基站信號(hào)大數(shù)據(jù)的實(shí)時(shí)提取與分析，結(jié)合基站信號(hào)覆蓋模式、信號(hào)強(qiáng)弱、覆蓋區(qū)域等實(shí)際情況，實(shí)時(shí)動(dòng)態(tài)采集及分析監(jiān)測(cè)置信度較高、精度較高的移動(dòng)基站信號(hào)監(jiān)測(cè)系統(tǒng)。

運(yùn)維大數(shù)據(jù)平臺(tái)                 銀行和金融服務(wù)行業(yè)相關(guān)系統(tǒng)每天產(chǎn)生數(shù)以 TB 計(jì)的交易、支付、渠道等各種日志數(shù)據(jù)。運(yùn)維大數(shù)據(jù)平臺(tái)為迅速增長(zhǎng)的海量數(shù)據(jù)建立全新的處理策略和維護(hù)能力，應(yīng)對(duì)日趨復(fù)雜的管理需求。運(yùn)維大數(shù)據(jù)通過海量日志數(shù)據(jù)分析，可以幫助銀行機(jī)構(gòu)提高服務(wù)質(zhì)量，占據(jù)競(jìng)爭(zhēng)優(yōu)勢(shì)。

輿情大數(shù)據(jù)平臺(tái)                 輿情大數(shù)據(jù)監(jiān)測(cè)平臺(tái)系統(tǒng)是針對(duì)互聯(lián)網(wǎng)新興媒體，通過對(duì)海量網(wǎng)絡(luò)輿論信息進(jìn)行實(shí)時(shí)的自動(dòng)輿情采集，輿情分析，輿情匯總，輿情監(jiān)視，并識(shí)別其中的關(guān)鍵輿情信息，及時(shí)通知到相關(guān)人員，從而第一時(shí)間應(yīng)急響應(yīng)，為正確輿論導(dǎo)向及收集網(wǎng)友意見提供直接支持的一套信息化平臺(tái)。