北京大數(shù)據(jù)開發(fā)課程的內(nèi)容有Java核心、Hadoop、Spark、Python、項(xiàng)目實(shí)戰(zhàn)、機(jī)器學(xué)習(xí)、大數(shù)據(jù)系統(tǒng)、管理優(yōu)化、阿里云平臺(tái)、就業(yè)項(xiàng)目CC服務(wù)；大數(shù)據(jù)應(yīng)用已經(jīng)深入互聯(lián)網(wǎng)、電商、政務(wù)、金融、交通等各領(lǐng)域，當(dāng)前熱門應(yīng)用刷臉支付、自動(dòng)駕駛、猜你喜歡、無人快遞車等無不以大數(shù)據(jù)為基石。隨著大數(shù)據(jù)產(chǎn)業(yè)上升為國家戰(zhàn)略，大數(shù)據(jù)的價(jià)值越來越重要。

大數(shù)據(jù)課程
學(xué)習(xí)內(nèi)容	可掌握的核心能力	可解決的現(xiàn)實(shí)問題	市場(chǎng)價(jià)值
Java基礎(chǔ)入門、Java面向?qū)ο?、Java高級(jí)API、MySQL、Java Web、SSM	掌握J(rèn)avaEE核心技術(shù)、能夠使用MySQL操作和管理數(shù)據(jù)、掌握J(rèn)ava SSM框架的使用、能夠完成Java Web項(xiàng)目、熟悉Linux編程的基本使用、通過ELK了解數(shù)據(jù)處理的整個(gè)過程	能夠完成Java Web項(xiàng)目能夠搭建Linux環(huán)境并進(jìn)行shell編程	可勝任初級(jí)Java工程師的工作需求，月薪8000-10000元
Linux編程、ELK、HDFS、MapReduce、Yarn及ZooKeeper、Hive、HBase、Sqoop、離線項(xiàng)目實(shí)戰(zhàn)	熟悉Linux編程的基本使用、通過ELK了解數(shù)據(jù)處理的整個(gè)過程、掌握Hadoop平臺(tái)核心技術(shù)、掌握Hive開發(fā)、掌握HBase開發(fā)、掌握離線項(xiàng)目開發(fā)所需技能	能夠搭建Linux環(huán)境并進(jìn)行shell編程、能夠完成基于Hadoop的數(shù)據(jù)倉庫項(xiàng)目開發(fā)	可勝任初級(jí)大數(shù)據(jù)離線處理工作，如ETL工程師，Hive工程師，數(shù)據(jù)倉庫工程師，HBase工程師等，月薪10000-13000元
Scala編程、Spark Core、Spark SQL、Spark GraphX、SparkStreaming實(shí)時(shí)處理	掌握Scala基本編程、掌握Spark架構(gòu)基本內(nèi)容及原理、掌握Spark開發(fā)及使用、掌握Spark實(shí)時(shí)數(shù)據(jù)處理	能夠完成基于Scala的Spark代碼開發(fā)	大數(shù)據(jù)知識(shí)提升階段，可掌握Spark基本原理及使用，可勝任Spark開發(fā)工作，如Spark開發(fā)工程師，大數(shù)據(jù)實(shí)時(shí)處理工程師等，月薪14000-16000元
Python編程、Python數(shù)據(jù)爬取、PySpark	掌握Python基本使用、掌握Python核心庫的使用、掌握Python爬蟲、掌握Python簡(jiǎn)單數(shù)據(jù)分析	能夠完成Python爬蟲項(xiàng)目的開發(fā)、會(huì)使用Python進(jìn)行簡(jiǎn)單的數(shù)據(jù)分析	可勝任Python爬蟲工程師，初級(jí)機(jī)器學(xué)習(xí)工程師工作，月薪16000-20000元
電商數(shù)倉項(xiàng)目實(shí)戰(zhàn)、用戶興趣取向分析、教育平臺(tái)大數(shù)據(jù)分析、股票數(shù)據(jù)流實(shí)時(shí)分析	掌握大數(shù)據(jù)項(xiàng)目開發(fā)的基本流程、掌握項(xiàng)目開發(fā)的具體實(shí)現(xiàn)方法、掌握企業(yè)級(jí)大數(shù)據(jù)項(xiàng)目開發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)	掌握大數(shù)據(jù)項(xiàng)目開發(fā)流程及相關(guān)技術(shù)、處理企業(yè)真實(shí)項(xiàng)目的開發(fā)	經(jīng)過大量項(xiàng)目實(shí)戰(zhàn)，可勝任大數(shù)據(jù)開發(fā)工程師，Spark工程師，可視化工程師，ETL工程師相關(guān)工作。月薪18000-24000元
機(jī)器學(xué)習(xí)算法Spark實(shí)現(xiàn)機(jī)器學(xué)習(xí)、Python實(shí)現(xiàn)機(jī)器學(xué)習(xí)、機(jī)器學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)云音樂推薦系統(tǒng)、	掌握機(jī)器學(xué)習(xí)的基本流程、掌握機(jī)器學(xué)習(xí)的常用算法模型、掌握使用Spark ML和Python進(jìn)行機(jī)器學(xué)習(xí)開發(fā)、掌握推薦系統(tǒng)項(xiàng)目開發(fā)原理及流程	掌握機(jī)器學(xué)習(xí)基本知識(shí)、掌握大數(shù)據(jù)機(jī)器學(xué)習(xí)項(xiàng)目開發(fā)流程及相關(guān)技術(shù)、能夠運(yùn)用機(jī)器學(xué)習(xí)知識(shí)進(jìn)行項(xiàng)目開發(fā)	可勝任機(jī)器學(xué)習(xí)工程師、機(jī)器學(xué)習(xí)算法工程師、大數(shù)據(jù)挖掘工程師等相關(guān)工作,月薪22000-28000元
提升系統(tǒng)的可靠性、提升系統(tǒng)的安全性-認(rèn)證、授權(quán)及審計(jì)、數(shù)據(jù)保護(hù)	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計(jì)、數(shù)據(jù)保護(hù)等技能	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計(jì)、數(shù)據(jù)保護(hù)等技能	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計(jì)、數(shù)據(jù)保護(hù)等技能
阿里云平臺(tái)、實(shí)驗(yàn)環(huán)境搭建、阿里云項(xiàng)目訓(xùn)練、阿里云認(rèn)證指導(dǎo)	掌握阿里云平臺(tái)的基本使用、掌握企業(yè)使用阿里云大數(shù)據(jù)平臺(tái)開發(fā)所需要的技能	滿足阿里云認(rèn)證相關(guān)技能，可進(jìn)行企業(yè)阿里云大數(shù)據(jù)平臺(tái)的搭建開發(fā)	大量阿里云合作企業(yè)優(yōu)先錄取，提升你的就業(yè)Level

項(xiàng)目	項(xiàng)目介紹	技術(shù)架構(gòu)	主要業(yè)務(wù)
電商項(xiàng)目	根據(jù)用戶在電商網(wǎng)站的消費(fèi)行為日志數(shù)據(jù)以及數(shù)據(jù)庫數(shù)據(jù)等，分析用戶的消費(fèi)習(xí)慣以及消費(fèi)偏好，進(jìn)行構(gòu)建用戶畫像，并對(duì)用戶消費(fèi)行為進(jìn)行分析	Flume+Kafka+Hive+HBase+Oozie+Spark SQL+Redis+MySQL+Zeppelin	對(duì)電商網(wǎng)站日志進(jìn)行收集，清洗； 對(duì)用戶構(gòu)建用戶畫像；通過Hive對(duì)用戶消費(fèi)行為分析；通過Oozie進(jìn)行ETL任務(wù)調(diào)度；通過Zeppelin進(jìn)行數(shù)據(jù)可視化展示；
社交項(xiàng)目	根據(jù)用戶訪問網(wǎng)站的瀏覽信息，以及點(diǎn)贊關(guān)注等行為，根據(jù)日志數(shù)據(jù)，來分析判斷用戶的興趣取向	Flume+Kafka+Hive+PySpark+HBase+Oozie+Spark Streaming+NiFi+Redis+Cassandra+MySQL	獲取用戶訪問網(wǎng)站的日志數(shù)據(jù)，并對(duì)其進(jìn)行清洗，ETL變換； 通過PySpark建立日志推薦模型；使用Spark Streaming及ML進(jìn)行用戶興趣取向?qū)崟r(shí)預(yù)測(cè)；通過Python將日志推薦數(shù)據(jù)進(jìn)行存儲(chǔ)；建立Tableau與MySQL的鏈接，進(jìn)行數(shù)據(jù)可視化及報(bào)表展示；
金融項(xiàng)目	通過實(shí)時(shí)收集并分析股票數(shù)據(jù)信息，并對(duì)數(shù)據(jù)進(jìn)行過濾，清洗，挖掘，計(jì)算，然后通過可視化框架進(jìn)行展示	Flume+Kafka+HDFS+Spark Streaming +Confluent+Flink+Grafana	項(xiàng)目數(shù)據(jù)格式定義； Apache Kafka進(jìn)行股票數(shù)據(jù)扒?。换贑onfluent的股票元數(shù)據(jù)管理及應(yīng)用；Flink流數(shù)據(jù)處理及實(shí)時(shí)分析；Flink實(shí)時(shí)股票的實(shí)時(shí)分析；Grafana/Zeppelin數(shù)據(jù)可視化
互聯(lián)網(wǎng)項(xiàng)目	大型電商集團(tuán)需要各研發(fā)中心使用統(tǒng)一的數(shù)倉設(shè)計(jì)規(guī)范，以便于集團(tuán)數(shù)據(jù)的共享和規(guī)劃建設(shè)。本系統(tǒng)是運(yùn)營支撐平臺(tái)的一部分，通過對(duì)業(yè)務(wù)數(shù)據(jù)的分析，獲得用戶主題和訂單的相關(guān)分析情況，生成用戶的訪問模型和用戶的訂單行為模型，對(duì)訪問時(shí)段和下單區(qū)域分布進(jìn)行分析和報(bào)表展示	MySQL+Sqoop+Hive+SparkSQL+Azkaban+Zeppelin	設(shè)計(jì)構(gòu)建能夠支持大型電商集團(tuán)所需的大數(shù)據(jù)倉庫，為公司業(yè)務(wù)運(yùn)營進(jìn)行支撐
音樂項(xiàng)目	大數(shù)據(jù)技術(shù)越來越多地和機(jī)器學(xué)習(xí)相結(jié)合，為企業(yè)和用戶提供便利。本系統(tǒng)基于大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，通過對(duì)用戶APP操作行為數(shù)據(jù)（打點(diǎn)數(shù)據(jù)）收集，通過機(jī)器學(xué)習(xí)算法向用戶精準(zhǔn)地推薦音樂和歌單，提高用戶的使用體驗(yàn)，增強(qiáng)APP的使用粘性	Flume+Kafka+Hive+Spark Core+SparkSQL+SparkML+MySQL+Redis+機(jī)器學(xué)習(xí)算法	通過Flume對(duì)打點(diǎn)數(shù)據(jù)進(jìn)行采集；通過Kafka進(jìn)行數(shù)據(jù)接收；通過Hive、Spark Core和SparkSQL進(jìn)行數(shù)據(jù)清洗、整理；調(diào)用SparkML中的協(xié)同過濾（ALS）和邏輯回歸等算法進(jìn)行運(yùn)算，實(shí)現(xiàn)對(duì)用戶的音樂推薦功能；將推薦結(jié)果保存到Redis數(shù)據(jù)庫中供其他應(yīng)用調(diào)用
搜索項(xiàng)目	Python也是目前大數(shù)據(jù)開發(fā)中使用較多的一門語言，ElasticSearch是目前企業(yè)使用最多的搜索服務(wù)器。該項(xiàng)目是Python爬蟲與ELK搜索結(jié)合的項(xiàng)目，通過Python爬蟲獲取數(shù)據(jù)，對(duì)獲取的數(shù)據(jù)，使用ELK實(shí)現(xiàn)全文檢索功能	Python+Scrapy+ELK+Hadoop+HBase+Oozie+MySQL	通過Python爬蟲獲取數(shù)據(jù)；將爬取數(shù)據(jù)存入HBase;構(gòu)建ELK全文檢索服務(wù)；實(shí)現(xiàn)全文檢索功能