Python數(shù)據(jù)挖掘?qū)ｎ}實戰(zhàn)培訓(xùn)

【課程目標(biāo)】

本課程主要講解如何利用Python進行時間序列的數(shù)據(jù)建模。

通過本課程的學(xué)習(xí)，達到如下目的：

1、 全面掌握Python語言以及其編程思想。

2、 掌握常用擴展庫的使用，特別是數(shù)據(jù)挖掘相關(guān)庫的使用。

3、 學(xué)會使用Python完成數(shù)據(jù)挖掘項目整個過程。

4、 掌握利用Python實現(xiàn)可視化呈現(xiàn)。

5、 掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。

【授課時間】

2-5天時間

（要根據(jù)學(xué)員的實際情況調(diào)整重點內(nèi)容及時間）

【授課對象】

業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運維部等相關(guān)技術(shù)人員。

【學(xué)員要求】

1、 每個學(xué)員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫。

注：講師現(xiàn)場提供分析的數(shù)據(jù)源。

【授課方式】

語言基礎(chǔ) + 挖掘模型 + 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)

采用互動式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 數(shù)據(jù)挖掘基礎(chǔ)

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評估

? 模型應(yīng)用

案例：客戶流失預(yù)測及客戶挽留

3、 數(shù)據(jù)挖掘常用模型

第二部分： 數(shù)據(jù)預(yù)處理篇

1、 數(shù)據(jù)預(yù)處理的主要任務(wù)

? 數(shù)據(jù)集成：多個數(shù)據(jù)集的合并

? 數(shù)據(jù)清理：異常值的處理

? 數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數(shù)據(jù)歸約：實現(xiàn)降維，避免維災(zāi)難

2、 數(shù)據(jù)集成

? 數(shù)據(jù)追加（添加數(shù)據(jù)）

? 變量合并（添加變量）

3、 數(shù)據(jù)理解（異常數(shù)據(jù)處理）

? 取值范圍限定

? 重復(fù)值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數(shù)據(jù)質(zhì)量評估

4、 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個數(shù)）

? 數(shù)據(jù)平衡：正反樣本比例均衡

5、 數(shù)據(jù)準(zhǔn)備：變量處理

? 變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化

? 變量派生：根據(jù)舊變量生成新的變量

? 變量精簡：降維，減少變量個數(shù)

6、 數(shù)據(jù)降維

? 常用降維的方法

? 如何確定變量個數(shù)

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標(biāo)變量的相關(guān)性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數(shù)如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

7、 數(shù)據(jù)探索性分析

? 常用統(tǒng)計指標(biāo)分析

? 單變量：數(shù)值變量/分類變量

? 雙變量：交叉分析/相關(guān)性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

8、 數(shù)據(jù)可視化

? 數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

? 圖形的表達及適用場景

演練：各種圖形繪制

第三部分： 用戶專題分析

1、 用戶專題分析的主要任務(wù)

2、 客戶群細(xì)分與聚類分析

問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場的新產(chǎn)品？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

? K均值聚類

案例：移動三大品牌細(xì)分市場合適嗎？

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何評選優(yōu)秀員工？

演練：中國各省份發(fā)達程度分析，讓數(shù)據(jù)自動聚類

? 最優(yōu)K值選擇

2 Elbow手肘法

2 Silhouette Coefficient輪廓系數(shù)

2 Calinski-Harabasz Index準(zhǔn)則

? 雙聚類bicluster及評估

? 譜聚類聯(lián)合

2 聯(lián)合譜聚類SpectralCoclustering

2 雙向譜聚類SpectralBiclustering

? DBSCAN鄰近聚類

3、 客戶喜好評估與主成分分析PCA

營銷問題：如何匯聚大眾的共同喜好？

? 主成分分析方法介紹

? 主成分分析基本思想

? 主成分分析步驟

案例：如何評估汽車購買者的客戶細(xì)分市場

4、 客戶價值評估與RFM模型

營銷問題：如何評估客戶的價值？不同的價值客戶有何區(qū)別對待？

? RFM模型（客戶價值評估）

? RFM模型，更深入了解你的客戶價值

? RFM模型與市場策略

? RFM模型與活躍度分析

案例：淘寶客戶價值評估與促銷名單

案例：重購用戶特征分析

第四部分： 產(chǎn)品專題分析

1、 產(chǎn)品專題分析主要任務(wù)

? 產(chǎn)品設(shè)計分析

? 市場占有分析

? 累計銷量分析

? 定價策略分析

2、 產(chǎn)品設(shè)計優(yōu)化（聯(lián)合分析法）

問題：如何設(shè)計最優(yōu)的功能特征？

? 評估功能特征的重要性

? 評估功能特征的價值

案例：產(chǎn)品開發(fā)與設(shè)計分析

3、 產(chǎn)品評估模型（隨機效用理論）

? 屬性重要性評估

? 市場占有率評估

? 產(chǎn)品價格彈性評估

? 評估產(chǎn)品的品牌價值

? 動態(tài)調(diào)價（納會均衡價格）

案例：品牌價值與價格敏感度分析

案例：納什均衡價格

第五部分： 產(chǎn)品定價策略

營銷問題：產(chǎn)品如何實現(xiàn)最優(yōu)定價？套餐價格如何確定？采用哪些定價策略可達到利潤最大化？

1、 常見的定價方法

2、 產(chǎn)品定價的理論依據(jù)

? 需求曲線與利潤最大化

? 如何求解最優(yōu)定價

案例：產(chǎn)品最優(yōu)定價求解

3、 如何評估需求曲線

? 價格彈性

? 曲線方程（線性、乘冪）

4、 如何做產(chǎn)品組合定價

5、 如何做產(chǎn)品捆綁/套餐定價

? 最大收益定價（演進規(guī)劃求解）

? 避免價格反轉(zhuǎn)的套餐定價

案例：電信公司的寬帶、IPTV、移動電話套餐定價

6、 非線性定價原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費如何定價（如會費+按次計費）

7、 階梯定價策略

案例：電力公司如何做階梯定價

8、 數(shù)量折扣定價策略

案例：如何通過折扣來實現(xiàn)薄利多銷

9、 定價策略的評估與選擇

案例：零售公司如何選擇最優(yōu)定價策略

10、 航空公司的收益管理

? 收益管理介紹

? 如何確定機票預(yù)訂限制

? 如何確定機票超售數(shù)量

? 如何評估模型的收益

案例：FBN航空公司如何實現(xiàn)收益管理（預(yù)訂/超售）

第六部分： 產(chǎn)品推薦與協(xié)同過濾

問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？

1、 從搜索引擎到推薦引擎

2、 常用產(chǎn)品推薦模型及算法

3、 基于流行度的推薦

? 基于排行榜的推薦，適用于剛注冊的用戶

? 優(yōu)化思路：分群推薦

4、 基于內(nèi)容的推薦CBR

? 關(guān)鍵問題：如何計算物品的相似度

? 優(yōu)缺點

? 優(yōu)化：Rocchio算法、基于標(biāo)簽的推薦、基于興趣度的推薦

5、 基于用戶的推薦

? 關(guān)鍵問題：如何對用戶分類/計算用戶的相似度

? 算法：按屬性分類、按偏好分類、按地理位置

6、 協(xié)同過濾的推薦

? 基于用戶的協(xié)同過濾

? 基于物品的協(xié)同過濾

? 冷啟動的問題

案例：計算用戶相似度、計算物品相似度

7、 基于分類模型的推薦

8、 其它推薦算法

? LFM基于隱語義模型

? 按社交關(guān)系

? 基于時間上下文

9、 多推薦引擎的協(xié)同工作

第七部分： 信用評分卡模型

信用評分卡模型簡介

評分卡的關(guān)鍵問題

信用評分卡建立過程

? 篩選重要屬性

? 數(shù)據(jù)集轉(zhuǎn)化

? 建立分類模型

? 計算屬性分值

? 確定審批閾值

篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評估

數(shù)據(jù)集轉(zhuǎn)化

? 連續(xù)屬性最優(yōu)分段

? 計算屬性取值的WOE

建立分類模型

? 訓(xùn)練邏輯回歸模型

? 評估模型

? 得到字段系數(shù)

計算屬性分值

? 計算補償與刻度值

? 計算各字段得分

? 生成評分卡

確定審批閾值

? 畫K-S曲線

? 計算K-S值

? 獲取最優(yōu)閾值

第八部分： 交叉銷售與關(guān)聯(lián)規(guī)則

1、 關(guān)聯(lián)規(guī)則概述

2、 常用關(guān)聯(lián)規(guī)則算法

? Apriori算法

2 發(fā)現(xiàn)頻繁集

2 生成關(guān)聯(lián)規(guī)則

? FP-Growth算法

2 構(gòu)建FP樹

2 提取規(guī)則

案例：使用apriori實現(xiàn)關(guān)聯(lián)分析

10、 基于關(guān)聯(lián)分析的推薦

? 如何制定套餐，實現(xiàn)交叉/捆綁銷售

案例：啤酒與尿布、颶風(fēng)與蛋撻

? 關(guān)聯(lián)分析模型原理（Association）

? 關(guān)聯(lián)規(guī)則的兩個關(guān)鍵參數(shù)

2 支持度

2 置信度

? 關(guān)聯(lián)分析的適用場景

案例：購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化

案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦

結(jié)束：課程總結(jié)與問題答疑。