大數(shù)據(jù)分析與挖掘綜合能力提升實(shí)戰(zhàn)

【課程目標(biāo)】

本課程為大數(shù)據(jù)分析中級(jí)課程，需要在初級(jí)課程之后學(xué)習(xí)。面向所有應(yīng)用型人員，包括業(yè)務(wù)部分，以及數(shù)據(jù)分析部門，系統(tǒng)開發(fā)人員也同樣需要學(xué)習(xí)。

本課程核心內(nèi)容為數(shù)據(jù)挖掘，預(yù)測(cè)模型，以及模型優(yōu)化，幫助學(xué)員構(gòu)建系統(tǒng)全面的業(yè)務(wù)分析思維，提升學(xué)員的數(shù)據(jù)分析綜合能力。

本課程覆蓋了如下內(nèi)容：

1、 數(shù)據(jù)挖掘基礎(chǔ)知識(shí)。

2、 常用數(shù)值預(yù)測(cè)模型。

3、 常用時(shí)序預(yù)測(cè)模型。

4、 數(shù)據(jù)預(yù)處理的基本過程。

本系列課程從實(shí)際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，圍繞實(shí)際的商業(yè)問題，對(duì)數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹（從數(shù)據(jù)收集與處理，到數(shù)據(jù)分析與挖掘，再到數(shù)據(jù)可視化和報(bào)告撰寫），通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、表達(dá)、工具，從大量的企業(yè)經(jīng)營數(shù)據(jù)中進(jìn)行分析，挖掘客戶行為特點(diǎn)，幫助運(yùn)營團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，以達(dá)到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運(yùn)營決策的目的。

通過本課程的學(xué)習(xí)，達(dá)到如下目的：

1、 了解數(shù)據(jù)挖掘基礎(chǔ)知識(shí)，以及數(shù)據(jù)挖掘標(biāo)準(zhǔn)過程。

2、 掌握建模前的影響因素分析，學(xué)會(huì)尋找影響業(yè)務(wù)的關(guān)鍵因素。

3、 熟練使用數(shù)值預(yù)測(cè)模型，掌握回歸預(yù)測(cè)模型，學(xué)會(huì)解讀模型中業(yè)務(wù)規(guī)律。

4、 學(xué)會(huì)自定義回歸模型，能夠?qū)貧w模型進(jìn)行優(yōu)化，并找到最優(yōu)的回歸模型。

5、 熟練掌握預(yù)處理的基本過程，并根據(jù)業(yè)務(wù)實(shí)際情況進(jìn)行處理。

【授課時(shí)間】

2-3天時(shí)間（每天6個(gè)小時(shí)）

【授課對(duì)象】

業(yè)務(wù)支撐部、運(yùn)營分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對(duì)業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員。

【學(xué)員要求】

1、 每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。

2、 便攜機(jī)中事先安裝好Microsoft Office Excel 2013版本及以上。

3、 便攜機(jī)中事先安裝好IBM SPSS Statistics v19版本及以上。

注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。

【授課方式】

數(shù)據(jù)分析基礎(chǔ) + 方法講解 + 實(shí)際業(yè)務(wù)問題分析 + 工具實(shí)踐操作

采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。

【課程大綱】

第一部分： 數(shù)據(jù)挖掘基礎(chǔ)

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評(píng)估

? 模型應(yīng)用

案例：客戶流失預(yù)測(cè)及客戶挽留

3、 數(shù)據(jù)集概述

4、 變量的類型

? 存儲(chǔ)類型

? 度量類型

? 角色

5、 SPSS工具介紹

6、 數(shù)據(jù)挖掘常用模型

第二部分： 影響因素分析篇

問題：如何判斷一個(gè)因素對(duì)另一個(gè)因素有影響？比如：價(jià)格是否會(huì)影響產(chǎn)品銷量？產(chǎn)品的陳列位置是否會(huì)影響銷量？學(xué)歷是否與客戶流失有關(guān)系？影響風(fēng)險(xiǎn)的關(guān)鍵因素有哪些？

1、 影響因素分析的常見方法

2、 相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）

問題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？

? 相關(guān)分析簡介

? 相關(guān)分析的應(yīng)用場景

? 相關(guān)分析的種類

2 簡單相關(guān)分析

2 偏相關(guān)分析

2 距離相關(guān)分析

? 相關(guān)系數(shù)的三種計(jì)算公式

2 Pearson相關(guān)系數(shù)

2 Spearman相關(guān)系數(shù)

2 Kendall相關(guān)系數(shù)

? 相關(guān)分析的假設(shè)檢驗(yàn)

? 相關(guān)分析的四個(gè)基本步驟

演練：體重與腰圍的關(guān)系

演練：營銷費(fèi)用會(huì)影響銷售額嗎

演練：哪些因素與汽車銷量有相關(guān)性

演練：話費(fèi)與網(wǎng)齡的相關(guān)分析

? 偏相關(guān)分析

2 偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

2 偏相關(guān)系數(shù)的計(jì)算公式

2 偏相關(guān)分析的適用場景

? 距離相關(guān)分析

3、 方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

問題：哪些才是影響銷量的關(guān)鍵因素？

? 方差分析的應(yīng)用場景

? 方差分析的三個(gè)種類

2 單因素方差分析

2 多因素方差分析

2 協(xié)方差分析

? 方差分析的原理

? 方差分析的四個(gè)步驟

? 解讀方差分析結(jié)果的兩個(gè)要點(diǎn)

演練：終端擺放位置與終端銷量有關(guān)嗎

演練：開通月數(shù)對(duì)客戶流失的影響分析

演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析

演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎

演練：營業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷量有影響嗎

演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素

? 多因素方差分析原理

? 多因素方差分析的作用

? 多因素方差結(jié)果的解讀

演練：廣告形式、地區(qū)對(duì)銷量的影響因素分析（多因素）

? 協(xié)方差分析原理

? 協(xié)方差分析的適用場景

演練：飼料對(duì)生豬體重的影響分析（協(xié)方差分析）

4、 列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）

? 交叉表與列聯(lián)表

? 卡方檢驗(yàn)的原理

? 卡方檢驗(yàn)的幾個(gè)計(jì)算公式

? 列聯(lián)表分析的適用場景

案例：套餐類型對(duì)客戶流失的影響分析

案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析

案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析

5、 相關(guān)性分析方法總結(jié)

第三部分： 回歸預(yù)測(cè)模型篇

問題：如何預(yù)測(cè)產(chǎn)品的銷量/銷售金額？

1、 常用預(yù)測(cè)模型

? 數(shù)值預(yù)測(cè)：回歸預(yù)測(cè)/時(shí)序預(yù)測(cè)

? 分類預(yù)測(cè)：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、…

2、 回歸分析/回歸預(yù)測(cè)

問題：如何預(yù)測(cè)未來的銷售量（定量分析）？

? 回歸分析簡介

? 回歸分析的種類（一元/多元、線性/曲線）

? 得到回歸方程的常用工具

2 散點(diǎn)圖+趨勢(shì)線

2 線性回歸工具

2 規(guī)劃求解工具

演練：散點(diǎn)圖找營銷費(fèi)用與銷售額的關(guān)系（一元回歸）

? 線性回歸分析的五個(gè)步驟

演練：營銷費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（線性回歸）

? 解讀線性回歸分析結(jié)果的技巧

2 定性描述：正相關(guān)/負(fù)相關(guān)

2 定量描述：自變量變化導(dǎo)致因變量的變化程度

? 回歸預(yù)測(cè)模型質(zhì)量評(píng)估

2 評(píng)估指標(biāo)：判定系數(shù)R^2、標(biāo)準(zhǔn)誤差

2 如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預(yù)測(cè)模型（一元曲線回歸）

? 預(yù)測(cè)值準(zhǔn)確性評(píng)估

2 MAD、MSE/RMSE、MAPE等

? 帶分類變量的回歸預(yù)測(cè)

演練：汽車季度銷量預(yù)測(cè)

演練：工齡、性別與終端銷量的關(guān)系

演練：如何評(píng)估銷售目標(biāo)與資源配置（營業(yè)廳）

3、 自動(dòng)篩選不顯著因素（自變量）

第四部分： 回歸模型優(yōu)化篇

1、 回歸分析的基本原理

? 三個(gè)基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗(yàn)：是否可以做回歸分析？

? 因素的顯著性檢驗(yàn)：自變量是否可用？

? 擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？

? 理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？

2、 模型優(yōu)化思路：尋找最佳回歸擬合線

? 如何處理預(yù)測(cè)離群值（剔除離群值）

? 如何剔除不顯著因素（剔除不顯著因素）

? 如何進(jìn)行非線性關(guān)系檢驗(yàn)（增加非線性自變量）

? 如何進(jìn)行相互作用檢驗(yàn)（增加相互作用自變量）

? 如何進(jìn)行多重共線性檢驗(yàn)（剔除共線性自變量）

? 如何檢驗(yàn)誤差項(xiàng)（修改因變量）

? 如何判斷模型過擬合（模型過擬合判斷）

演練：模型優(yōu)化案例

3、 規(guī)劃求解工具簡介（自定義回歸模型的工具）

4、 自定義模型（如何利用規(guī)劃求解進(jìn)行自定義模型）

案例：如何對(duì)餐廳客流量進(jìn)行建模及模型優(yōu)化

5、 好模型都是優(yōu)化出來的

第五部分： 時(shí)序預(yù)測(cè)模型篇

問題：類似于GDP這種無法找到或找全影響因素，無法進(jìn)行回歸建模，怎么辦？

1、 時(shí)間序列簡介

2、 時(shí)間序列常用模型

3、 評(píng)估預(yù)測(cè)值的準(zhǔn)確度指標(biāo)

? 平均絕對(duì)誤差MAE

? 均方差MSE/RMSE

? 平均誤差率MAPE

4、 移動(dòng)平均（MA）

? 應(yīng)用場景及原理

? 移動(dòng)平均種類

2 一次移動(dòng)平均

2 二次移動(dòng)平均

2 加權(quán)移動(dòng)平均

2 移動(dòng)平均比率法

? 移動(dòng)平均關(guān)鍵問題

2 期數(shù)N的最佳選擇方法

2 最優(yōu)權(quán)重系數(shù)的選取方法

演練：平板電腦銷量預(yù)測(cè)及評(píng)估

演練：快銷產(chǎn)品季節(jié)銷量預(yù)測(cè)及評(píng)估

5、 指數(shù)平滑（ES）

? 應(yīng)用場景及原理

? 最優(yōu)平滑系數(shù)的選取原則

? 指數(shù)平滑種類

2 一次指數(shù)平滑

2 二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）

2 三次指數(shù)平滑

演練：煤炭產(chǎn)量預(yù)測(cè)

演練：航空旅客量預(yù)測(cè)及評(píng)估

6、 溫特斯季節(jié)預(yù)測(cè)模型

? 適用場景及原理

? Holt-Winters加法模型

? Holt-Winters乘法模型

演練：汽車銷量預(yù)測(cè)及評(píng)估

7、 回歸季節(jié)預(yù)測(cè)模型

? 回歸季節(jié)模型的參數(shù)

? 基于時(shí)期t的相加模型

? 基于時(shí)期t的相乘模型

? 怎樣解讀模型的含義

案例：美國航空旅客里程的季節(jié)性趨勢(shì)分析

8、 ARIMA模型

? 適用場景及原理

? ARIMA操作

演練：上海證券交易所綜合指數(shù)收益率序列分析

演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢(shì)預(yù)測(cè)分析

9、 新產(chǎn)品銷量預(yù)測(cè)模型

? 新產(chǎn)品累計(jì)銷量的S曲線

? 如何評(píng)估銷量增長的拐點(diǎn)及銷量上限

? 珀?duì)柷€與龔鉑茲曲線

演練：預(yù)測(cè)IPad產(chǎn)品的銷量

演練：預(yù)測(cè)Facebook的用戶增長情況

第六部分： 數(shù)據(jù)預(yù)處理篇（了解你的數(shù)據(jù)集）

1、 數(shù)據(jù)預(yù)處理的主要任務(wù)

? 數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并

? 數(shù)據(jù)清理：異常值的處理

? 數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難

2、 數(shù)據(jù)集成

? 外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database

? 數(shù)據(jù)追加（添加數(shù)據(jù)）

? 變量合并（添加變量）

3、 數(shù)據(jù)理解（異常數(shù)據(jù)處理）

? 取值范圍限定

? 重復(fù)值處理

? 無效值/錯(cuò)誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數(shù)據(jù)質(zhì)量評(píng)估

4、 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）

? 數(shù)據(jù)平衡：正反樣本比例均衡

5、 數(shù)據(jù)準(zhǔn)備：變量處理

? 變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化

? 變量派生：根據(jù)舊變量生成新的變量

? 變量精簡：降維，減少變量個(gè)數(shù)

6、 數(shù)據(jù)降維

? 常用降維的方法

? 如何確定變量個(gè)數(shù)

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標(biāo)變量的相關(guān)性考慮

2 對(duì)輸入變量進(jìn)行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個(gè)數(shù)如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、 數(shù)據(jù)探索性分析

? 常用統(tǒng)計(jì)指標(biāo)分析

? 單變量：數(shù)值變量/分類變量

? 雙變量：交叉分析/相關(guān)性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

8、 數(shù)據(jù)可視化

? 數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等

? 圖形的表達(dá)及適用場景

演練：各種圖形繪制

結(jié)束：課程總結(jié)與問題答疑。