上海大數(shù)據(jù)學習班
【所屬機構(gòu)：上海達內(nèi)教育】
大數(shù)據(jù)是海量數(shù)據(jù)存儲和處理的技術，近幾年隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的快速發(fā)展，產(chǎn)生了大量的數(shù)據(jù)，而傳統(tǒng)的基于數(shù)據(jù)庫、數(shù)據(jù)倉庫的數(shù)據(jù)存儲和處理技術已經(jīng)很難在可接受的時間和空間下完成對這些數(shù)據(jù)的存儲和處理，因此，大數(shù)據(jù)技術應運而生了，大數(shù)據(jù)技術基于分布式的架構(gòu)，實現(xiàn)了近乎無限的存儲和處理的能力，為海量數(shù)據(jù)的存儲和處理提供了新的可能。而正是基于這樣的能力，越來越多的基于大數(shù)據(jù)的個性化的服務也開始大量的出現(xiàn)。
Java大數(shù)據(jù)課程簡介
課程簡介
達內(nèi)教育開設的Java大數(shù)據(jù)培訓班，課程內(nèi)容覆蓋Java語言基礎、JavaEE深度開發(fā)、互聯(lián)網(wǎng)架構(gòu)開發(fā)、大數(shù)據(jù)開發(fā)、算法數(shù)據(jù)挖掘分析等Java大數(shù)據(jù)全棧技術內(nèi)容，解決學員Java大數(shù)據(jù)的學習需求，滿足學員高薪就業(yè)所需技術廣度。
掃清知識死角，精選經(jīng)典內(nèi)容
JavaSE階段 - JavaWeb階段
- JavaEE框架階段
- 大數(shù)據(jù)互聯(lián)網(wǎng)架構(gòu)階段
- 大數(shù)據(jù)框架階段
- 數(shù)據(jù)挖掘與機器學習算法階段
課程模塊 課程內(nèi)容 學習內(nèi)容 Java基礎 Java簡介 Java發(fā)展歷程、Java的技術結(jié)構(gòu)、JDK的下載及安裝、HelloWorld入門案例 Java基本語法 關鍵字、標識符、注釋、字面量、進制及其換算、變量、數(shù)據(jù)類型及其轉(zhuǎn)換、運算符、流程控制、數(shù)組、二維數(shù)組、方法 面向?qū)ο?/td> 面向?qū)ο笈c面向過程比較、類與對象的關系、成員變量與局部變量、構(gòu)造方法、this關鍵字、代碼塊。面向?qū)ο蟮奶卣鳎ǚ庋b、繼承、多態(tài)）、super關鍵字、權限修飾符、方法的重寫static、final、abstract、接口、內(nèi)部類、包、垃圾分代回收機制 API（一） Object、String、Pattern、包裝類、Math、BigDecimal、Date、Calendar API（二） 異常、集合、Map、泛型、迭代器、比較器 Java增強 API（三） IO、線程、套接字 API（四） 反射、注解、斷言 jvm參數(shù) jvm內(nèi)存大小調(diào)節(jié)、常見回收機制 JDK8的部分特性 接口中的默認方法、Lambda表達式、函數(shù)式接口、時間包 Git版本控制 版本控制概念、Git發(fā)展歷史、Git安裝配置、Git版本庫管理、Git版本控制、Git遠程倉庫、Git分支管理、Git標簽管理、碼云介紹 課程階段 學習 XML XML的概念與基本作用、XML語法、XML解析介紹、DOM4J解析XML HTML/CSS HTML介紹、HTML文檔結(jié)構(gòu)、HTML語法、HTML標簽技術（超鏈接、列表、表格、圖像、表單等），CSS介紹、CSS導入方式、CSS選擇器、CSS布局、CSS樣式屬性。完成EasyMall項目靜態(tài)頁面 JavaScript JavaScript語法、數(shù)據(jù)類型、運算符、流程控制、數(shù)組、函數(shù)、JavaScript內(nèi)部對象、自定義對象，DHTML編程、DOM介紹，DOM編程（使用DOM操作HTML文檔）。完成EasyMall靜態(tài)頁面中的js腳本 Jquery Jquery對象、Jquery選擇器（ID、元素、class、層級等）的使用、Jquery案例（用戶列表增、刪、改、查）、Json的對象轉(zhuǎn)換、Jquery AJAX的實現(xiàn)。完成EasyMall靜態(tài)頁面中的jquery腳本 MySql 數(shù)據(jù)庫介紹、MySQL安裝與配置、數(shù)據(jù)庫增刪改操作DDL語句使用、表增刪改操作DML語句使用、表查詢操作DQL語句使用，數(shù)據(jù)備份及恢復、多表設計、多表查詢。完成EasyMall中數(shù)據(jù)庫的設計 JDBC JDBC介紹、JDBC快速入門，JDBC核心API介紹，JDBC的CURD操作防止SQL注入及PrepareStatement使用，使用批處理。連接池的介紹、自定義連接池，常用的開源連接池C3P0的介紹及使用。 Tomcat/HTTP WEB服務器介紹、Tomcat的安裝與啟動、Tomcat的體系結(jié)構(gòu)、組織WEB應用目錄與在Tomcat中發(fā)布WEB應用程序的方式、配置WEB的主頁、使用Tomcat配置虛擬主機、HTTP協(xié)議詳解 Servlet Servlet介紹、開發(fā)Servlet程序、Servlet生命周期、Servlet調(diào)用分析、Request及Response的使用、ServletConfig使用，ServletContext使用（作為域?qū)ο笫褂?、配置系統(tǒng)初始化參數(shù)、獲取web資源）。AJAX介紹、XMLHttpRequest對象詳解。完成EasyMall用戶注冊模塊 Cookie/Session 會話技術介紹、Cookie介紹及Cookie的使用、案例之Cookie實現(xiàn)記住用戶名，Session的使用及Session的原理，案例之利用Session實現(xiàn)登陸功能及驗證碼校驗。完成EasyMall用戶登錄模塊 JSP/EL表達式/JSTL標簽庫 JSP介紹、JSP表達式、JSP腳本片段、JSP聲明、JSP注釋、JSP中的9個內(nèi)部對象和作用，EL表達式簡介，EL獲得數(shù)據(jù)、EL執(zhí)行運算、EL內(nèi)置對象，page指令及其重要的屬性，JSP中的include指令、pageContext對象的詳細講解。JSP動作標簽介紹。JSTL標準標簽庫的介紹及使用。完成EasyMall動態(tài)頁面 MVC設計模式/三層架構(gòu) JavaEE開發(fā)模式介紹、MVC軟件設計模式介紹、JavaEE經(jīng)典開發(fā)模式重構(gòu)EasyMall項目、工廠設計模式介紹、工廠設計模式的應用。層與層之間的耦合與解耦。重構(gòu)EasyMall為三層架構(gòu) 過濾器/監(jiān)聽器 Servlet Listenert監(jiān)聽器介紹及使用、Servlet Filter過濾器介紹、過濾器生命周期。30天內(nèi)自動登錄功能的實現(xiàn)，全站亂碼處理功能實現(xiàn)。完成EasyMall全站過濾器、自動登錄等功能 JavaWeb高級開發(fā)技術 泛型、注解、內(nèi)省、動態(tài)代理、枚舉、AOP原理及實現(xiàn)。完成EasyMall改造實現(xiàn)AOP 數(shù)據(jù)庫高級開發(fā)技術 事務概述、事務的隔離級別、事務控制、更新丟失。完成EasyMall中商品相關模塊 EasyMall項目開發(fā) EasyMall是一個典型的互聯(lián)網(wǎng)電子商務系統(tǒng)，在WEB學習階段，通過所學習的WEB技術，實現(xiàn)EasyMall商城中包括用戶注冊、用戶登錄、用戶注銷、商品添加、商品刪除、商品修改、商品列表、商品詳情等功能。在實現(xiàn)商城相關功能的過程中，熟悉并掌握WEB開發(fā)相關技術、架構(gòu)思想、項目開發(fā)流程、版本控制等內(nèi)容。整個項目貫穿于整個WEB學習階段，通過項目貫穿課程教學，通過應用引導學員學習 課程階段 課程內(nèi)容 Spring Spring IOC基礎、Spring的工廠模式(靜態(tài)工廠、實例工廠、Spring工廠)、Spring依賴注入（構(gòu)造器注入，set注入）、Spring的注解形式、Spring AOP原理及實現(xiàn)、Spring 整合JDBC、JDBCTemplate、Spring聲明式事務處理、事務的回滾策略等 SpringMVC SpringMVC原理、SpringMVC簡單參數(shù)封裝、復雜參數(shù)封裝、值傳遞的原理、SpringMVC的注解形式、日期格式類型轉(zhuǎn)換、文件上傳、頁面訪問控制( 轉(zhuǎn)發(fā)和重定向 )、RESTFUL結(jié)構(gòu) MyBatis MyBatis原理、DQL映射、DML映射、復雜結(jié)果集映射、參數(shù)傳遞（注解形式和MAP形式）、結(jié)果集封裝原理、動態(tài)SQL的拼接、字符轉(zhuǎn)義、MyBatis的接口實現(xiàn)、代碼自動生成工具、關聯(lián)關系的講解、Spring+SpringMVC+MyBatis整合（SSM整合） EasyMall項目重構(gòu)及開發(fā) 通過框架技術重構(gòu)在JavaWeb階段實現(xiàn)的EasyMall項目，通過對比使學員們理解使用框架的好處，熟悉框架的搭建和使用，理解框架整合方式、了解框架下業(yè)務開發(fā)流程。并進一步實現(xiàn)EasyMall中的購物車模塊、訂單模塊、在線支付、銷售統(tǒng)計等模塊 Springboot springboot基礎，快速搭建，springboot組合注解運行原理，springboot的web開發(fā)，spring data JPA，聲明式事務 SpringBoot重構(gòu)EasyMall項目 通過SpringBoot重構(gòu)EasyMall項目 , 加深對SpringBoot的理解，實現(xiàn)購物車、訂單、在線支付等功能模塊的實現(xiàn) 課程階段 課程內(nèi)容 Linux 大數(shù)據(jù)生產(chǎn)環(huán)境需要在Linux下部署，大數(shù)據(jù)開發(fā)人員必須對Linux系統(tǒng)有相應的了解。學習內(nèi)容包括Linux操作系統(tǒng)的安裝配置、文件系統(tǒng)管理、用戶及用戶組管理、進程管理、資源管理、vim編輯器使用、Linux下軟件安裝、shell編程等內(nèi)容 云平臺使用 才高大數(shù)據(jù)課程采用全云化教學，講師授課、學員學習、練習、項目運行部署、性能測試等都在真實云平臺上進行，完全模擬企業(yè)真實環(huán)境。此處講授云平臺的使用 Redis、Redis與SpringBoot整合 redis簡介，雪崩/緩存擊穿，hash、string、list、set、zset、jedis數(shù)據(jù)分片，jedis數(shù)據(jù)分片連接池，jedis的hash一致性，redis主從復制，哨兵集群，redis-cluster，redis集群的槽道 MycatMycat與SpringBoot整合 mycat簡介，mysql主從復制，mycat讀寫分離，mycat配置詳解 Rabbitmq、Rabbitmq與SpringBoot整合 rabbimq消息隊列，connection，channle，exchange，消息生產(chǎn)者和消費者，消息傳遞simple模式，work模式，publish模式，routing模式，topic模式，秒殺案例 Lucene lucene概述，分詞系統(tǒng)，索引概念，倒排索引，索引創(chuàng)建，索引刪除，索引更新，詞項搜索，布爾搜索，范圍搜索，前綴搜索，多關鍵字搜索，模糊搜索，通配符搜索 ElasticSearchES與SpringBoot整合 搜索系統(tǒng)概括，搜索引擎框架，solr安裝與配置詳解，elasticseacher安裝與配置詳解，集群搭建 爬蟲 jsoup爬蟲，爬取網(wǎng)站，爬取頁面，爬取二次提交數(shù)據(jù)，爬取定位信息，模擬瀏覽器頭爬取網(wǎng)站，爬取京東數(shù)據(jù)落地數(shù)據(jù)庫 Ngnix http服務器，反向代理，入門配置，server配置，location匹配，負載均衡輪詢、權重、session黏著，hash取余 Easymall項目整合 整合springboot開發(fā)系統(tǒng)，整合redis，mycat，Ngnix負載均衡，rabbitmq消息隊列，lucene搜索技術；jsonp，httpclient跨域訪問，調(diào)用服務使用互聯(lián)網(wǎng)架構(gòu)技術，將EasyMall項目重構(gòu)為分布式技術架構(gòu)的大型電商項目，可承受高并發(fā)，具有高可用的特點。后臺商品管理：負責商品的增刪改查，圖片上傳，商品分類樹、前臺系統(tǒng)：商品前臺分類樹，商品查看，登錄，購物車，訂單頁面跳轉(zhuǎn)、登錄頁面：負責用戶登錄，解決session集群共享、購物車：負責購物車商品管理、訂單：負責訂單提交，定時任務的處理、功能搭建：sso單點登錄，cart購物車系統(tǒng)，order訂單系統(tǒng)，manage后臺系統(tǒng)，web前臺系統(tǒng) SpringCloud微服務整合 微服務概括springcloud-config：分布式配置中心組件，支持配置文件放在配置服務的內(nèi)存中，也支持放在遠程Git倉庫里、springcloud-eureka：服務治理組件，可以管理微服務群體的所有服務調(diào)度、springcloud-ribbon：負載均衡組件，服務調(diào)度中高可用，輪詢訪問、springcloud-hystrix：斷熔器，異常錯誤等處理的組件、springcloud-zuul：網(wǎng)關組件，可以用于服務調(diào)度的路由轉(zhuǎn)發(fā)和過濾等作用、springcloud-feign：基于接口調(diào)用rest的組件、springcloud微服務框架重構(gòu)EasyMall項目 課程模塊 課程內(nèi)容 學習內(nèi)容 大數(shù)據(jù)高并發(fā)基礎 大數(shù)據(jù)java加強 學習java中關于Concurrent高并發(fā)包、NIO、序列化反序列化（AVRO）、RPC等相關知識，掌握zookeeper、sqoop等大數(shù)據(jù)領域常用工具原理及使用，為后續(xù)大數(shù)據(jù)課程學習、分布式理論理解打下基礎 大數(shù)據(jù)離線數(shù)據(jù)分析 Hadoop Hadoop是知名的大數(shù)據(jù)處理工具，包括分布式數(shù)據(jù)存儲系統(tǒng) HDFS、分布式數(shù)據(jù)計算框架MapReduce和資源協(xié)調(diào)框架Yarn三大組件。HDFS: 詳細講解HDFS使用方式、存儲機制、可靠性保證、上傳、下載、刪除等實現(xiàn)原理、Java開發(fā)Api開發(fā)插件等內(nèi)容。MapReduce: 詳細講解MR理論基礎、開發(fā)方式、序列化機制、分區(qū)機制、Combiner機制、shuffle詳細流程、MR案例、MR性能優(yōu)化等內(nèi)容。Yarn: 介紹Yarn資源協(xié)調(diào)框架的基本原理、使用及調(diào)優(yōu)。Hadoop是大數(shù)據(jù)生態(tài)中知名的組件，在行業(yè)中應用廣泛，是學習大數(shù)據(jù)重要的技術之一 Flume Flume是大數(shù)據(jù)生態(tài)環(huán)境中流行的日志收集框架，基于其靈活的可廣泛配置的使用方式及優(yōu)良的效率被廣泛的應用在大數(shù)據(jù)生產(chǎn)環(huán)境中。課程中詳細講解了Flume的Source、Channel、Sink、Selector、Interceptor、Processor等組件的使用。并通過美團應用案例，展示了Flume企業(yè)級應用場景的實現(xiàn)方式，并在后續(xù)項目中有大量的應用 Hive Hive是基于Hadoop的數(shù)據(jù)倉庫工具，通過將結(jié)構(gòu)化的數(shù)據(jù)文件映射為HIVE中的表，并提供類SQL的語法實現(xiàn)數(shù)據(jù)處理。學習內(nèi)容包括hive的安裝配置、hive的元數(shù)據(jù)庫、hive的內(nèi)部表外部表、hive的分區(qū)表、hive的分桶表、hive的語法、hive的UDF等內(nèi)容 Hbase HBase是一種分布式、面向列的基于hadoop的非關系型數(shù)據(jù)庫，合存儲半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，基于其優(yōu)良的設計，可以提供良好的實時數(shù)據(jù)存取能力，并提供更好的橫向擴展能力，在企業(yè)級大數(shù)據(jù)開發(fā)中占用重要地位。課程中詳細介紹了Hbase使用方式、Hbase邏輯結(jié)構(gòu)、Hbase的理論基礎-LSM樹、Hbase的實現(xiàn)原理、Hbase表設計原則等內(nèi)容，從理論到實踐講解Hbase相關知識 Zebra 項目 項目名稱：zebra電信日志數(shù)據(jù)分析項目業(yè)務背景：電信行業(yè)通過大量的電信基站為移動設備提供3G、4G網(wǎng)絡信號，在移動設備通過基站訪問網(wǎng)絡的過程中，基站將會記錄所有的訪問數(shù)據(jù)，此項目通過大數(shù)據(jù)離線分析技術分析這些日志，得到相關的業(yè)務結(jié)論指導行業(yè)改進。學習目標：通過學習zebra電信日志分析項目，掌握企業(yè)級大數(shù)據(jù)離線分析技術應用的技術：flume收集日志，采用三層結(jié)構(gòu)實現(xiàn)日志收集聚集最終持久化到hadoop hdfs中并實現(xiàn)日志收集過程中的失敗恢復及負載均衡；hadoop hdfs分布式存儲收集到的日志數(shù)據(jù) ，hadoop mapreduce進行日志清洗、格式轉(zhuǎn)換；hive進行日志處理、業(yè)務規(guī)則計算，按照不同維度分時段統(tǒng)計應用受歡迎程度、網(wǎng)站受歡迎程度、小區(qū)上網(wǎng)能力、小區(qū)上網(wǎng)喜好等信息；sqoop技術將處理完成的結(jié)果導出到關系型數(shù)據(jù)庫；ECharts通過web技術實現(xiàn)結(jié)果數(shù)據(jù)的可視化；Zookeeper作為集群協(xié)調(diào)、集群狀態(tài)監(jiān)控工具 大數(shù)據(jù)實時數(shù)據(jù)分析 Storm Storm是大數(shù)據(jù)行業(yè)中流行的大數(shù)據(jù)實時分析框架之一，是一個分布式的、高容錯的實時計算系統(tǒng)，能夠?qū)崿F(xiàn)具有可靠性保障的分布式實時數(shù)據(jù)處理，在行業(yè)中廣泛應用。在課程中講解包括Storm基礎、可靠性保證、并發(fā)控制、實現(xiàn)原理、Topology、StormSpout、StormBolt、StormStream行業(yè)應用等相關內(nèi)容 Kafka Kafka是一種具有高吞吐能力的分布式發(fā)布訂閱消息系統(tǒng)，具有傳統(tǒng)消息隊列相關特性，此外具有一些獨特的設計，可以實現(xiàn)分布式持久化的消息隊列，在實時處理過程中通常用做數(shù)據(jù)緩存，為實時處理系統(tǒng)提供緩沖能力。在課程中包括kafka的安裝配置、基本概念、實現(xiàn)原理、可靠性保障等相關理論及應用相關內(nèi)容 分布式編程思想 大數(shù)據(jù)問題的本質(zhì)是海量數(shù)據(jù)，大數(shù)據(jù)解決方案的核心理念是分布式，分布式場景有其獨特的問題、解決方案、設計思想，本節(jié)通過討論分布式在各種技術背景、業(yè)務場景下的應用，揭示分布式技術的原理及應用原則 網(wǎng)站流量分析項目 項目名稱：電商網(wǎng)站流量分析項目學習目標：通過電商網(wǎng)站流量分析項目掌握企業(yè)級大數(shù)據(jù)離線分析、實時分析的的架構(gòu)設計、技術應用及業(yè)務開發(fā)流程業(yè)務背景：網(wǎng)站在運營過程中除了產(chǎn)生大量的業(yè)務數(shù)據(jù)外還會產(chǎn)生大量的用戶行為數(shù)據(jù)，包括用戶訪問網(wǎng)站時鼠標點擊、瀏覽器信息、會話信息、語言環(huán)境、所處地域等相關信息，網(wǎng)站流量分析項目通過大數(shù)據(jù)離線、實時分析技術，分析產(chǎn)生的大量行為數(shù)據(jù)，得到網(wǎng)站運行方關注的各項業(yè)務指標數(shù)據(jù)，引導網(wǎng)站改進其頁面布局、廣告投放等相關運營行為，提升網(wǎng)站運行效率。應用的技術：通過在網(wǎng)站的前臺頁面中進行js埋點收集用戶訪問網(wǎng)站的行為信息；通過Ngnix和Tomcat服務器集群收集用戶產(chǎn)生的行為數(shù)據(jù)，并通過Flume來進行收集、匯聚數(shù)據(jù)并分發(fā)到HDFS和Kafka為離線分析和實時分析提供數(shù)據(jù)來源；離線分析中通過MR、Hive等技術實現(xiàn)業(yè)務指標的離線計算，并通過Sqoop導出結(jié)果數(shù)據(jù)到關系型數(shù)據(jù)庫；實時分析中通過Storm消費Kafka中的數(shù)據(jù)實現(xiàn)實時計算，中間數(shù)據(jù)通過HBase進行存儲，結(jié)果數(shù)據(jù)通過JDBC寫出到關系型數(shù)據(jù)庫中；最終通過大數(shù)據(jù)可視化技術將結(jié)果數(shù)據(jù)展示給最終用戶。計算指標包括網(wǎng)站的 PV、UV、VV、Bounce Rate、獨立 ip、平均在線時長、新獨立訪客、訪問深度等信息。整個系統(tǒng)分為數(shù)據(jù)收集、數(shù)據(jù)傳遞、數(shù)據(jù)分析三部分，數(shù)據(jù)分析又分為離線數(shù)據(jù)分析和實時數(shù)據(jù)分析，應對數(shù)據(jù)分析的不同的實時性需求 大數(shù)據(jù)內(nèi)存計算框架 SCALA Scala是一門函數(shù)式編程的語言，是學習Spark的基礎，并在其他場景下也有廣泛應用。Scala是一門多范式的編程語言，集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。Scala視一切數(shù)據(jù)類型皆對象，且支持閉包、lambda等特性，語法簡潔。Scala使用Actor作為并發(fā)模型，與Akka框架自然契合，是一種基于數(shù)據(jù)共享為主要機制的并發(fā)開發(fā)模式。Scala語言靈活、代碼簡介、高并發(fā)處理機制優(yōu)良，特別適合于復雜的函數(shù)型計算，是Spark學習的基礎語言。Scala的語法內(nèi)容包括：方法定義、變量、字符串、泛型、Option、集合、程序控制結(jié)構(gòu)、匿名函數(shù)、類、Class Case樣例類。模式匹配、traits、extends、函數(shù)式編程、高階函數(shù)、AKKA編程等內(nèi)容。學員學習完成后可以掌握Scala這門語言，并理解函數(shù)式編程這種編程范式 SPARK 知名的內(nèi)存計算框架，可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應用程序，在迭代處理計算方面比Hadoop快100倍以上。Spark構(gòu)建了自己的整個大數(shù)據(jù)處理生態(tài)系統(tǒng)，如流處理、圖計算、機器學習、類SQL查詢等方面都有自己的技術，并且是Apache項目?；谄淞己玫脑O計、超強的性能、良好的編程接口、豐富的生態(tài)體系，在大數(shù)據(jù)開發(fā)領域發(fā)展迅速，特別是最近幾年在國內(nèi)的大數(shù)據(jù)開發(fā)領域中得到了廣泛的應用。內(nèi)容包括SparkCore：Spark核心計算模型。包括Spark基礎、RDD彈性分布式數(shù)據(jù)集、DAG有向無環(huán)圖、Spark原理（懶執(zhí)行機制、寬依賴、窄依賴、Transformation類型方法、Action類型方法、流水線優(yōu)化、Shuffle過程等）、Spark中的函數(shù)等內(nèi)容，通過學習可以掌握Spark核心計算機制。SparkSQL: 基于Spark的SQL編程接口，可以實現(xiàn)在Spark中通過類SQL的方式操作數(shù)據(jù)，因其基于性能優(yōu)良Spark工作，性能相對于Hive有大幅提升SparkStreaming：基于Spark實現(xiàn)的流式計算，相對于Storm在吞吐率、可靠性保證、開發(fā)便利程度上都有質(zhì)的飛躍SparkMllib：基于Spark的機器學習相關組件，可以實現(xiàn)海量數(shù)據(jù)下的機器學習 推薦系統(tǒng)項目 學習目標：通過學習推薦系統(tǒng)項目掌握推薦系統(tǒng)相關算法、了解海量數(shù)據(jù)場景下自動化推薦技術、提升綜合運用大數(shù)據(jù)技術的能力、提高對算法、WEB技術、互聯(lián)網(wǎng)架構(gòu)等技術的應用能力，實現(xiàn)企業(yè)級大數(shù)據(jù)開發(fā)的架構(gòu)設計、需求分析、業(yè)務實現(xiàn)等環(huán)節(jié)，掌握大數(shù)據(jù)技術的綜合運用能力。業(yè)務背景：在線學習網(wǎng)站在運營時產(chǎn)生了大量用戶的訪問、瀏覽、購買課程、支付等相關數(shù)據(jù)通過這些數(shù)據(jù)為用戶精準推薦相關產(chǎn)品，提升網(wǎng)站的用戶體驗。應用的技術：綜合應用之前所學技術實現(xiàn)，包括大數(shù)據(jù)離線分析技術、大數(shù)據(jù)實時分析技術、WEB技術、可視化技術、算法、機器學習等技術實現(xiàn)該項目。主要過程包括：收集業(yè)務系統(tǒng)數(shù)據(jù)庫中結(jié)構(gòu)化數(shù)據(jù)、日志系統(tǒng)中的行為數(shù)據(jù)，構(gòu)建基于hive的數(shù)據(jù)倉庫，基于數(shù)據(jù)倉庫中的基礎數(shù)據(jù)，利用推薦算法實現(xiàn)基于商品的推薦系統(tǒng)，為在線學習網(wǎng)站推薦提供支持 Python爬蟲、數(shù)據(jù)可視化 Python語言及爬蟲 Python是一種腳本化語言，具有簡單易用、天然開源、生態(tài)豐富、應用范圍廣泛的特點。在大數(shù)據(jù)技術中，數(shù)據(jù)獲取是第一步驟，其中利用爬蟲獲取互聯(lián)網(wǎng)中公開的數(shù)據(jù)是一種非常常見的場景。Python爬蟲技術在爬蟲領域具有很廣泛的應用，課程中將介紹Python的基本語法、基于Python的爬蟲實現(xiàn)、Scrapy、PySpider等爬蟲框架，使學員具有基于Python的爬蟲開發(fā)能力 數(shù)據(jù)可視化 數(shù)據(jù)可視化技術是大數(shù)據(jù)處理過程中的結(jié)果展示相關技術，通過相關工具將分析結(jié)果展示為直觀的、美觀的圖形頁面，為最終用戶提供展示效果。內(nèi)容包括：利用Echarts等Web前端技術實現(xiàn)大數(shù)據(jù)可視化 利用相關大數(shù)據(jù)可視化工具實現(xiàn)大數(shù)據(jù)可視化等內(nèi)容 課程模塊 課程內(nèi)容 學習內(nèi)容 算法基礎 統(tǒng)計學基礎 統(tǒng)計學是關于認識客觀現(xiàn)象總體數(shù)量特征和數(shù)量關系的科學。學習本課程的目的在于使學生掌握收集、處理、分析、解釋數(shù)據(jù)的能力，并能從數(shù)據(jù)中得出結(jié)論或結(jié)果。能夠通過搜集、整理、分析統(tǒng)計資料，認識客觀現(xiàn)象數(shù)量規(guī)律性，并應用于所專修的專業(yè)領域去解決實際問題 R語言基礎 R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具 算法模型 回歸模型 回歸模型研究的問題 因變量（y）和一個或多個自變量（x）的函數(shù)關系，可以用于預測，是現(xiàn)代預測學的基礎。此外也可以用于分類。學習的算法有：最小二乘回歸、逐步回歸、嶺回歸、LASSO回歸、LAR回歸等 正則化模型 正則化模型的思想是基于一個基礎模型（比如最小二乘回歸）引入懲罰措施，目的是使模型具有更好的泛化能力 決策樹模型 數(shù)據(jù)挖掘中決策樹是一種常用算法模型，既可以用來作預測，也可以用于數(shù)據(jù)分類。決策樹建立的模型不是函數(shù)式，而是一個決策樹，易于理解。學習的算法有：ID3算法樹、C4.5算法樹、CART算法樹等 判別模型 判別模型模型的特點基于樣本數(shù)據(jù)建立判別函數(shù)，通過判別函數(shù)判別新樣本的類歸屬問題。學習的算法有：Fisher判別、K-最近鄰判別法等 集成模型 集成模型的特點將多個弱模型組合在一起。所以可以提高模型的精度和準確度。所以深受歡迎。學習的算法有：Bagging算法、Boosting 算法、Random Forest算法等 聚類模型 聚類算法的特點一般是基于距離度量來對數(shù)據(jù)做聚類分析。學習的算法有：層次聚類法、K-Means聚類等 貝葉斯模型 貝葉斯模型的核心思想是基于貝葉斯公式（定理），是一個種概率模型，可以應用自動推理，文本分析等領域。學習的算法有：樸素貝葉斯分類器、貝葉斯信念網(wǎng)絡等 SVM模型 支持向量機主要解決分類問題，擅長處理高維數(shù)據(jù)，多應用于模式識別領域，比如手寫體識別，圖片識別等場景 推薦系統(tǒng)模型 主要基于ALS算法實現(xiàn)基于用戶的推薦和基于物品的推薦。推薦系統(tǒng)模型是購物平臺或新聞訊息平臺使用較多的一種模型實現(xiàn)
豐富的課程特色，為你保駕護航
全棧式技術覆蓋
原理級深度講解
企業(yè)級項目實戰(zhàn)
真實云開發(fā)環(huán)境
核心教學優(yōu)勢，專為提升設計
大數(shù)據(jù)云計算課程體系 內(nèi)容較全，技術深，涉及JavaEE架構(gòu)級技術，分布式高并發(fā)技術，云計算技術，云計算架構(gòu)技術等。
“云計算云主機”試驗環(huán)境 提供真實項目的大數(shù)據(jù)云計算開發(fā)部署環(huán)境，學員可以擁有幾十臺主機節(jié)點以完成開發(fā)部署試驗。
O2O雙模式教學體驗 達內(nèi)強大的TMOOC+TTS8.0在線教學平臺，為學員提供線下學習，線上輔助的雙模式教學體驗。
專業(yè)師資，幫助突破
趙棟
Java大數(shù)據(jù)講師
Java大數(shù)據(jù)教研總監(jiān)，多年軟件開發(fā)經(jīng)驗及IT培訓經(jīng)驗。講課深入淺出，以實際項目為線索，講解知識點在項目中的應用，深受學員歡迎。
樸乾
Java大數(shù)據(jù)講師
熟悉javaEE應用及框架級開發(fā)，對大數(shù)據(jù)技術有深入研究。授課認真、詳盡、富有激情而不失幽默，思路清晰擅長以啟發(fā)式教育引導學生。
熱門課程更多+
