大數(shù)據(jù)編程培訓(xùn)
【所屬機構(gòu)：叩丁狼教育】
天氣預(yù)報、疫情報告、搜索引擎、實時物流等都是我們在生活中經(jīng)常會用到的功能，都是通過大數(shù)據(jù)實現(xiàn)的。大數(shù)據(jù)的簡單定義就是大規(guī)模的數(shù)據(jù)集合，數(shù)據(jù)的采集一般通過人力抄錄、設(shè)備采集、實時上傳等方式完成，這樣的數(shù)據(jù)擁有四大特點：數(shù)據(jù)體量大、數(shù)據(jù)變化快、數(shù)據(jù)類型雜、價值密度低。而大數(shù)據(jù)開發(fā)，就是把海量信息通過采集、存儲、分析，挖掘出信息背后更多的價值，以更好地輔助企業(yè)、政府機關(guān)作出更好的決策，從而為社會創(chuàng)造價值。
大數(shù)據(jù)行業(yè)現(xiàn)狀
大數(shù)據(jù)職業(yè)發(fā)展路線
icon 大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)運維工程師、大數(shù)據(jù)平臺架構(gòu)師
icon 數(shù)據(jù)倉庫工程師、ETL工程師、數(shù)據(jù)治理工程師
icon 數(shù)據(jù)分析工程師、BI工程師、數(shù)據(jù)挖掘算法工程師
icon 項目經(jīng)理
產(chǎn)品經(jīng)理
叩丁狼大數(shù)據(jù)課程大綱
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 夯實 Python 編程基礎(chǔ)和編程思維，掌握熟練編寫 Python 程序的能力，為大數(shù)據(jù)開發(fā)和分析打下堅實的基礎(chǔ) | ||
| Python 基礎(chǔ) | 環(huán)境搭建、Pycharm 工具的使用、PEP8 編碼規(guī)范、表達式、順序結(jié)構(gòu)、分支結(jié)構(gòu)、循環(huán)結(jié)構(gòu)、字符串、列表、元組、字典、集合、列表推導(dǎo)式、函數(shù)的定義和調(diào)用、函數(shù)的形式參數(shù)和實際參數(shù)、函數(shù)的返回值、匿名函數(shù) Lambda、文件的操作、JSON 數(shù)據(jù)格式轉(zhuǎn)換 with上下文管理、異常處理、異常捕獲、拋出異常、自定義異常、模塊和包的導(dǎo)入、模塊的測試、模塊的別名as、__init__.py、類的定義和對象的創(chuàng)建、封裝 , 繼承和多態(tài)、類屬性和實例屬性 類方法和靜態(tài)方法 | ||
| Python 進階 | CPU 調(diào)度原理、多進程和多線程、線程同步、深淺拷貝、閉包、裝飾器、迭代器、正則表達式、TCP/IP 協(xié)議、IP 地址和端口、TCP 和 UDP、socket 套接字、TCP 服務(wù)端、UDP 服務(wù)端、wireshark、web 框架搭建案例、git 分布式版本控制、工作區(qū)和暫存區(qū)、常用命令、gitee 遠程倉庫設(shè)置 | ||
| git | git 分布式版本控制、工作區(qū)和暫存區(qū)、常用命令、gitee 遠程倉庫設(shè)置 | ||
| 核心知識點 | 1、深入理解 Python 核心基礎(chǔ) 2、掌握面向?qū)ο?OOP 設(shè)計思想 3、掌握 Python 的數(shù)據(jù)結(jié)構(gòu)列表、元組、字典、集合 4、掌握 JSON 文件數(shù)據(jù)操作和異常處理 5、理解 Python 的高級操作如閉包 , 單例 , 網(wǎng)絡(luò)編程等 6、掌握 git 的核心操作 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 掌握基本的數(shù)據(jù)分析能力和 ETL 數(shù)據(jù)倉庫的處理能力 | ||
| 匹配崗位 | 數(shù)據(jù)庫工程師、 數(shù)據(jù)分析師、ETL 工程師、數(shù)據(jù)倉庫工程師 | ||
| Linux、MySQL、ETL 開發(fā)實戰(zhàn)、電商數(shù)據(jù)分析實戰(zhàn) | 階段知識點：VMware 虛擬化、VI 編輯器、rpm 包管理器、yum 包管理器、SSH 協(xié)議、網(wǎng)絡(luò)查看netstat、進程管理 ps、阿里云服務(wù)器環(huán)境搭建、SQL、多表查詢、聚合函數(shù)、窗口函數(shù)、存儲過程、視圖和索引、日志和事務(wù)、SQL優(yōu)化、數(shù)據(jù)倉庫、基于 Python 的 ETL 開發(fā)、Kettle、ETL 數(shù)據(jù)處理、MySQL 數(shù)據(jù)存儲、FineBI 數(shù)據(jù)可視化 核心知識點：1、具備 Linux 操作系統(tǒng)的基本管理知識 2、熟練掌握 shell 腳本編程 3、熟練掌握數(shù)據(jù)庫操作以及各種復(fù)雜查詢技術(shù) 4、掌握 ETL 數(shù)據(jù)倉庫的處理和分析 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 掌握 Hadoop 開發(fā)能力，能夠勝任企業(yè)級數(shù)倉基本構(gòu)建和離線數(shù)據(jù)倉庫開發(fā) | ||
| 匹配崗位 | 數(shù)據(jù)倉庫工程師 , 初級大數(shù)據(jù)開發(fā)工程師 , 大數(shù)據(jù)平臺架構(gòu)師 | ||
| Hadoop生態(tài)技術(shù)棧 | Zookeeper 集群安裝、Zookeeper 的臨時節(jié)點 Zookeeper 的順序節(jié)點、Zookeeper 事件監(jiān)聽機制、Zookeeper 選舉機制、Zookeeper 的應(yīng)用場景 Zookeeper 的數(shù)據(jù)模型 Znode、 HDFS 存儲文件流程、HDFS 集群環(huán)境搭建、 DataNode 和 NameNode、Block 塊存儲、RF 拷貝因子、機架感知、Block 拷貝策略、HDFS Federation、HDFS Snapshots、NameNode HA、MapReduce 架構(gòu)和原理、Split 機制、 MapReduce 并行度、MapReduce 序列化、 MapReduce 數(shù)據(jù)壓縮、MapReduce 調(diào)優(yōu)、 YARN 原理和架構(gòu)、YARN 高可用、Container 資源的封裝、資源調(diào)度策略、Hive 分區(qū)表、 Hive 分桶表、Hive 臨時表、Explain 執(zhí)行計劃、 MetaStore 服務(wù)、HiveServer 內(nèi)置函數(shù)、UDF 和 UDAF、Hive 性能調(diào)優(yōu) | ||
| 基于 Hive 的視頻點播平臺離線數(shù)倉項目實戰(zhàn) | CDH 集群環(huán)境搭建、sqoop 數(shù)據(jù)同步、MySQL 完成 OLAP 系統(tǒng)存儲、FineBI 數(shù)據(jù)可視化、數(shù)據(jù)倉庫建模、ODS->DWD->DIM->DWS->ADS | ||
| 核心知識點 | 1、具備 Linux 操作系統(tǒng)的基本管理知識 2、熟練掌握 shell 腳本編程 3、熟練掌握數(shù)據(jù)庫操作以及各種復(fù)雜查詢技術(shù) 4、掌握 ETL 數(shù)據(jù)倉庫的處理和分析 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 掌握短視頻行業(yè)的業(yè)務(wù)邏輯與必備開發(fā)技能，通過 Spark 離線業(yè)務(wù)開發(fā)的項目實戰(zhàn)，具備完整的大數(shù)據(jù)項目開發(fā)流程與設(shè)計 | ||
| 匹配崗位 | 數(shù)據(jù)倉庫工程師 , 中級大數(shù)據(jù)離線開發(fā)工程師 , 中級大數(shù)據(jù)平臺架構(gòu)師 , 大數(shù)據(jù)應(yīng)用開發(fā)工程師 | ||
| Pandas 技術(shù)棧 | Series 和 DataFrame、Anaconda 開發(fā)環(huán)境搭建、Jupyter Notebook bool 索引、數(shù)據(jù)清洗數(shù)據(jù)處理、Matplotlib 數(shù)據(jù)可視化、數(shù)據(jù)分析案例 | ||
| Spark 技術(shù)棧 | Spark 集群環(huán)境搭建、Spark-on-Yarn、 Spark-Submit、Master 和 Worker 節(jié)點分析、RDD 的核心特性、RDD 的創(chuàng)建和應(yīng)用、 Transformation 和 Action 算子、checkpoint 機制、廣播變量 (Broadcast Variables) 和累加器 (Accumulators)、寬依賴和窄依賴、 DAG 和 Stage 的劃分、DataFrame 數(shù)據(jù)結(jié)構(gòu)、 DSL 語法和 SQL 語法、DateFrame 加載外部數(shù)據(jù)源、SparkSQL-on-Hive、SparkSQL 的分析函數(shù)、Spark3.0 的新特性、Spark 性能調(diào)優(yōu)、謂詞下推 MapJoin、數(shù)據(jù)傾斜處理、案例實戰(zhàn) | ||
| 基于 Spark 的短視頻運營決策分析離線實戰(zhàn)項目 | Flume 日志采集DataX 數(shù)據(jù)庫采集、Spark 內(nèi)存計算引擎、Hive-on-Spark、HDFS 分布式存儲、Yarn 統(tǒng)一資源調(diào)度、Shell 數(shù)據(jù)處理腳本、 Quick BI 數(shù)據(jù)可視化、Atlas 元數(shù)據(jù)管理、阿里數(shù)據(jù)倉庫建模設(shè)計 (ODS->DWD->DIM->DWS- >ADS)、Dolphinscheduler3.0 任務(wù)調(diào)度、 Prometheus 監(jiān)控管理 | ||
| 核心知識點 | 1、具備 Linux 操作系統(tǒng)的基本管理知識 2、熟練掌握 shell 腳本編程 3、熟練掌握數(shù)據(jù)庫操作以及各種復(fù)雜查詢技術(shù) 4、掌握 ETL 數(shù)據(jù)倉庫的處理和分析 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 掌握 NoSQL 數(shù)據(jù)庫的開發(fā)技能，為下一階段的實時計算開發(fā)提供支撐 | ||
| Redis 數(shù)據(jù)庫 | Redis 的數(shù)據(jù)結(jié)構(gòu)、Redis 的高可用集群搭建、Redis 的 雪 崩 和 緩 存 穿 透、Redis 緩 存 設(shè) 計、Redis 的熱點 Key、Redis 的持久化機制、Redis的數(shù)據(jù)淘汰策略、Redis 案例 | ||
| Kafka消息隊列 | 基礎(chǔ)架構(gòu)、同步與異步、生產(chǎn)者分區(qū)策略、消息積壓、0 拷貝機制、順序?qū)懘疟P、費策略、數(shù)據(jù)可靠性、異步消息、同步消息、Leader 選舉流程、高效讀寫原理 | ||
| HBase | HBase 原理及架構(gòu)、數(shù)據(jù)讀寫流程、HBase 性能調(diào)優(yōu)、FlinkSQL+HBase | ||
| 核心知識點 | 1、Redis 的緩存設(shè)計和應(yīng)用實戰(zhàn) 2、Redis 的 Key-Value 存儲的數(shù)據(jù)特性 3、Redis 的高可用集群搭建 4、Kafka 消息隊列的應(yīng)用 5、Kafka 和其他組件 (Flume,HBase) 結(jié)合 6、HBase 列式存儲 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 目標 | 掌握閱讀和修改大數(shù)據(jù)框架源碼的能力，具備通過 Java 開發(fā)大數(shù)據(jù)應(yīng)用的能力 | ||
| Java 編程 | 階段知識點：Java 基礎(chǔ)語法、面向?qū)ο?OOP、文件 IO 操作、 Stream 流、多線程 Tread 和 Runnable、集合框架、網(wǎng)絡(luò)編程 Socket 通信、反射和代理、JDBC 編程、Maven 項目構(gòu)建、Java 操作 HDFS、Java 編寫 MapReduce 程序 | ||
| 核心知識點 | 1、掌握 Java 編程基礎(chǔ)； 2、具有多線程 , 多進程并發(fā)開發(fā)的能力； 3、具有網(wǎng)絡(luò)編程 , 文件操作的基本能力； 4、通過 Java 編寫大數(shù)據(jù)的應(yīng)用程序 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| Flink 技術(shù)棧 | Flink 集群環(huán)境搭建、Flink 運行架構(gòu)、Flink 的流批一體 API、Flink 的 Window 窗口操作、Flink 的 Watermark 操作、Flink的狀態(tài)管理、Flink 的容錯機制、Flink 的 Exactly-Once、Flink的多流 Join、FlinkSQL+Hive、Flink+Kafka、Flink 參數(shù)調(diào)優(yōu) | ||
| 基于 Flink的互聯(lián)網(wǎng)醫(yī)院平臺實時實戰(zhàn)項目 | Flume 日志采集、DataX 數(shù)據(jù)庫采集、消息隊列 Kafka、分布式緩存 Redis、Prometheus 監(jiān)控管理、ClickHouse、DataV 數(shù)據(jù)可視化、Dolphinscheduler3.0 任務(wù)調(diào)度、Flink-On-K8S、Atlas 元數(shù)據(jù)管理、HDFS 分布式存儲、Yarn 統(tǒng)一資源調(diào)度 | ||
| 核心知識點 | 1、Flink 實時計算的開發(fā)與實戰(zhàn) 2、Flink 的流批一體 API 的高級應(yīng)用 3、Flink 的容錯機制Checkpoint 4、Flink 的多流 Join 5、醫(yī)療健康實時項目全流程開發(fā)和設(shè)計 |
| 時間 | 內(nèi)容 | 培訓(xùn)目標 | 備注 |
|---|---|---|---|
| 內(nèi)容 | 1、就業(yè)技巧 / 面試題 / 人事題；2、簡歷修改 / 模擬面試；3、就業(yè)跟蹤 | ||
| 目標 | 具備較高的職業(yè)素養(yǎng)和面試能力，提升個人面試成功率 |
叩丁狼大數(shù)據(jù)項目介紹
基于 Hive 的狼碼教育離線分析實戰(zhàn)項目：狼碼教育離線分析系統(tǒng)項目 , 是一個借鑒狼碼教育公司系統(tǒng)的實際業(yè)務(wù)場景 , 引入海量的訪問數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù) , 采用當前企業(yè)最熱門的大數(shù)據(jù)主流技術(shù) , 從 0 到 1 開始構(gòu)建好一套完整的離線數(shù)據(jù)倉庫，然后進行數(shù)據(jù)分析，并使用 FineBI 顯示分析結(jié)果的項目。
學(xué)習(xí)目標：
1、掌握項目的各個核心業(yè)務(wù)分析；2、熟練數(shù)據(jù)建模的設(shè)計與實現(xiàn)；3、熟練掌握企業(yè)中用的核心的大數(shù)據(jù)開發(fā)技術(shù)；4、熟練掌握大數(shù)據(jù)開發(fā)的整個流程；5、理解數(shù)據(jù)倉庫的特點；6、理解數(shù)據(jù)倉庫系統(tǒng)架構(gòu)；7、理解指標與維度；8、理解下鉆與上卷；9、理解事實表與維度表；10、理解星型模型和雪花模型；11、理解緩慢漸變維；12、掌握數(shù)據(jù)倉庫的分層方法
基于 Spark 的短視頻運營決策分析離線實戰(zhàn)項目：該短視頻項目定位于中小城市的普通移動互聯(lián)網(wǎng)用戶，通過“裂變網(wǎng)賺”模式，以人傳人的方式快速積累用戶，完成用戶爆發(fā)式的指數(shù)級增長，因此視頻以內(nèi)容消耗為主，區(qū)別于抖音以內(nèi)容創(chuàng)作 + 內(nèi)容消耗，通過算法分析完成精準推送的的模式。該項目基于對短視頻領(lǐng)域的真實業(yè)務(wù)深入調(diào)研和分析 , 引入真實完整業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)，采用大數(shù)據(jù)主流技術(shù) , 以及完整的數(shù)據(jù)倉庫的建模和設(shè)計 , 通過運營分析指標為公司領(lǐng)導(dǎo)戰(zhàn)略決策提供關(guān)鍵依據(jù)。
學(xué)習(xí)目標：
1、掌握短視頻的各個核心業(yè)務(wù)分析；2、熟練數(shù)據(jù)建模的設(shè)計與實現(xiàn)；3、熟練掌握企業(yè)中用的核心的大數(shù)據(jù)開發(fā)技術(shù)；4、熟練掌握大數(shù)據(jù)開發(fā)的整個流程
基于 Flink 的互聯(lián)網(wǎng)醫(yī)院平臺實時實戰(zhàn)項目：近年來我國互聯(lián)網(wǎng)醫(yī)療快速發(fā)展，到 2026 年將達到近 2,000 億元。該互聯(lián)網(wǎng)醫(yī)療分析項目主要的用戶來源屬于 B2B2C 模式 , 主要是通過互聯(lián)網(wǎng)醫(yī)院和各大連鎖店的藥房進行合作，比如說大參林藥房，國大藥房等，患者去藥房咨詢，如果需要開處方藥信息，由于藥房沒有開處方藥資質(zhì)，則會通過互聯(lián)網(wǎng)醫(yī)院進行醫(yī)生的咨詢、診斷、開具相應(yīng)的處方藥。通過對互聯(lián)網(wǎng)醫(yī)院的業(yè)務(wù)分析和調(diào)研，使用 MaxWell 實時采集用戶端、商家端以及運營端的業(yè)務(wù)數(shù)據(jù)同步到消息中心 Kafka，使用 Kafka 作為實時數(shù)據(jù)的數(shù)據(jù)倉庫核心存儲，使用 DataV 同步數(shù)據(jù)到應(yīng)用層，使用 QuickBI 完成數(shù)據(jù)的可視化，并且在整個項目中使用 Prometheus、Atlas、Ranger 等完成大數(shù)據(jù)平臺治理，保證整個項目的安全和權(quán)限，系統(tǒng)性能監(jiān)控，元數(shù)據(jù)血緣關(guān)系的可追溯。
學(xué)習(xí)目標：
1、實時數(shù)倉平臺搭建；2、實時數(shù)倉模型設(shè)計；3、醫(yī)療行業(yè)核心指標的設(shè)計和分析；4、具備大數(shù)據(jù)技術(shù)選型和相關(guān)參數(shù)的調(diào)優(yōu)能力；5、Flink 平臺的構(gòu)建和設(shè)計實現(xiàn) , 具備構(gòu)建 PB 級別數(shù)量計算引擎
四大優(yōu)勢為零基礎(chǔ)學(xué)員保駕護航
課程專為零基礎(chǔ)學(xué)員設(shè)計，能更好掌握各業(yè)務(wù)場景下的數(shù)據(jù)處理
課程設(shè)計貼合企業(yè)需求，融入企業(yè)前沿技術(shù)棧，還原真實項目開發(fā)流程
雙語教學(xué)，能同時掌握 Python 和 Java 兩種大數(shù)據(jù)開發(fā)能力，具備獨立分析解決問題的能力
完整的大戶數(shù)據(jù)生態(tài)鏈路實戰(zhàn)，通過阿里云平臺快速掌握智能數(shù)據(jù)建模，高效數(shù)據(jù)開發(fā)等全流程的實戰(zhàn)和應(yīng)用
