沈陽(yáng)大數(shù)據(jù)課程
【所屬機(jī)構(gòu)：沈陽(yáng)叩丁狼教育】
大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn) 大數(shù)據(jù)工程師是根據(jù)大數(shù)據(jù)來(lái)的一種職業(yè)。
為什么越來(lái)越多人學(xué)習(xí)大數(shù)據(jù)？
大數(shù)據(jù)相關(guān)人才的欠缺將會(huì)成為影響大數(shù)據(jù)市場(chǎng)發(fā)展的一個(gè)重要因素
《大數(shù)據(jù)人才報(bào)告》指出，未來(lái)3-5年內(nèi)將會(huì)出現(xiàn)150萬(wàn)的大數(shù)據(jù)人才的缺口
大數(shù)據(jù)方面職位列在本?？茖I(yè)畢業(yè)生“高薪榜”前五且人才缺少
中國(guó)的大數(shù)據(jù)市場(chǎng)規(guī)模已達(dá)到2485億元， 并且市場(chǎng)規(guī)模每年都在持續(xù)上升
緊扣行業(yè)需求，傳授專業(yè)知識(shí)
| 課程階段 | 課程內(nèi)容 |
| Hadoop離線計(jì)算 | 大數(shù)據(jù)概述和Hadoop環(huán)境安裝 云計(jì)算和分布式、大數(shù)據(jù)應(yīng)用場(chǎng)景、分布式文件系統(tǒng)設(shè)計(jì)原理、Hadoop集群環(huán)境的安裝、HDFS的基本操作(命令行)、HDFS的配置文件的核心相關(guān)參數(shù)。 HDFS原理和應(yīng)用HDFS原理分析、HDFS工作流程分析、訪問(wèn)HDFS、分布式日志采集案例。 MapReduce和YarnMapReducer原理分析、MapReducer的算法模型、MapReduce和Yarn集群的配置、Yarn模型的運(yùn)行管理機(jī)制、MapReduce的本地運(yùn)行模式。 MapReduce編程案例流量統(tǒng)計(jì)、匯總排序、訂單分組topN、線段重疊統(tǒng)計(jì)、電影評(píng)分的topN、倒排索引、JOIN算法、MapReduce分布式啟動(dòng)運(yùn)行流程、MapReduce數(shù)據(jù)處理流程、數(shù)據(jù)傾斜。 Hadoop架構(gòu)和源碼分析 |
| 數(shù)據(jù)倉(cāng)庫(kù) | Hive Hive核心工作機(jī)制、Hive的安裝和運(yùn)行、Hive的DDL操作、SQL語(yǔ)法加強(qiáng)。 Hive加強(qiáng) Hive數(shù)據(jù)類型、單行函數(shù)、聚合函數(shù)和表生成函數(shù)、Hive案例、窗口函數(shù)、Hive自定義函數(shù)等。 Hadoop生態(tài)圈組件Flume工作機(jī)制、Flume安裝和配置、Flume攔截器、Flume高可用、日志采集分類匯總、Sqoop工作機(jī)制、Sqoop的安裝部署、Sqoop的導(dǎo)入導(dǎo)出案例案例、Azkaban的工作流調(diào)度器介紹、Azkaban的安裝部署和使用配置等。HBASE HBASE概述和核心特點(diǎn)、HBASE工作原理、HBASE的集群部署、shell客戶端的基本操作、Java操作HBASE、HBASE讀寫操作和流程等。 |
| Storm實(shí)時(shí)計(jì)算 | Storm編程入門 Storm概述和原理、Storm的本地和集群模式、Storm的核心組件詳解、Storm的并行運(yùn)算和分組運(yùn)算、Storm集群執(zhí)行過(guò)程分析，Storm案例。 Storm架構(gòu)和源碼分析 Storm核心機(jī)制Ack機(jī)制概述、Storm通信機(jī)制、Storm數(shù)據(jù)分發(fā)機(jī)制。 消息中間件Kafka的使用 KafKa概述和原理、KafKa的集群環(huán)境部署、KafKa的生產(chǎn)者和消費(fèi)者、KafKa分組策略、KafKa配置詳解。 |
| Scala語(yǔ)言 | Scala語(yǔ)言基礎(chǔ)、Scala函數(shù)和方法、Scala數(shù)據(jù)結(jié)構(gòu)、Scala面向?qū)ο蟆㈦[式參數(shù)、隱式參數(shù)類型轉(zhuǎn)換、泛型、視圖界定、上下文界定、Akka的RPC通信框架等。 |
| Spark內(nèi)存計(jì)算 | Spark入門 Spark原理、Spark架構(gòu)分析、Spark集群安裝、Spark-shell單機(jī)和集群、Spark任務(wù)執(zhí)行流程、Spark程序調(diào)試。 Spark RDDRDD運(yùn)行架構(gòu)、Transformation操作API、RDD分區(qū)數(shù)據(jù)的讀取、Action操作API、Spark編程案例、自定義排序、Stage切分、Spark整體執(zhí)行流程。 Spark SQL Spark SQL原理、SparkSQL應(yīng)用場(chǎng)景、Spark SQL性能分析、Spark SQL的案例、Spark SQL函數(shù)。 Spark Streaming Stream運(yùn)行架構(gòu)、SparkStream工作原理、SparkStream和KafKa整合、Spark Stream和Redis的整合等。 Spark架構(gòu)和源碼分析 |
| 大數(shù)據(jù)項(xiàng)目 | 大型日志采集系統(tǒng)、大數(shù)據(jù)綜合項(xiàng)目 |
| Python、人工智能 | |
大數(shù)據(jù)的應(yīng)用價(jià)值廣闊
icon 借助于大數(shù)據(jù)技術(shù)，分析客戶行為，進(jìn)行商品針對(duì)性廣告投放
icon 哪種題財(cái)?shù)挠耙曌髌犯邇r(jià)值，明星流量關(guān)注群體等數(shù)據(jù)分析
icon 利用大數(shù)據(jù)優(yōu)化物流的網(wǎng)絡(luò)，提高物流的效率，降低物流資金
icon 利用大數(shù)據(jù)的技術(shù)分析用戶用電模式，設(shè)計(jì)電力需求響應(yīng)系統(tǒng)
icon 高頻交易、社交情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重大作用。
icon 大數(shù)據(jù)技術(shù)構(gòu)建起強(qiáng)大的安全體系，企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡(luò)攻擊。
icon 利用大數(shù)據(jù)實(shí)現(xiàn)餐飲O2O模式，改變傳統(tǒng)餐飲經(jīng)營(yíng)方式。
icon 利用數(shù)據(jù)挖掘來(lái)了解客戶的內(nèi)在需求，消費(fèi)群體消費(fèi)能力等等。
叩丁狼為什么要聯(lián)合Java+大數(shù)據(jù)授課?
- 開發(fā)經(jīng)驗(yàn)
在企業(yè)中做大數(shù)據(jù)開發(fā)要求必須熟練掌握J(rèn)ava，必須擁有多年Java開發(fā)經(jīng)驗(yàn)。
- 合理運(yùn)用
大數(shù)據(jù)中很多技術(shù)都基于JVM，如果不懂Java，不能很好運(yùn)用Java，是沒法做好大數(shù)據(jù)開發(fā)。
- 熟練掌握
大數(shù)據(jù)中的Hadoop是采用Java語(yǔ)言開發(fā)的，不熟悉Java，如何深入研究Hadoop。
- Scala語(yǔ)言
大數(shù)據(jù)中的Spark采用Scala語(yǔ)言實(shí)現(xiàn)，和Java很像，同時(shí)也是基于JVM。
- 思維經(jīng)驗(yàn)
沒有基本的開發(fā)思維和項(xiàng)目經(jīng)驗(yàn)，談何大數(shù)據(jù)開發(fā)？連基礎(chǔ)的小規(guī)模數(shù)據(jù)量項(xiàng)目都不能搞定。
- 項(xiàng)目經(jīng)驗(yàn)
沒有任何項(xiàng)目經(jīng)驗(yàn)和開發(fā)思維，就開始學(xué)大數(shù)據(jù)，無(wú)法領(lǐng)悟什么是數(shù)據(jù)量和項(xiàng)目經(jīng)驗(yàn)。
舒適環(huán)境、健康學(xué)習(xí)
- icon
校區(qū)路口
- icon
校區(qū)過(guò)道
- icon
校區(qū)走廊
- icon
上課環(huán)境
- icon
沈陽(yáng)校區(qū)
- icon
校區(qū)走廊
