【課程目標(biāo)】
本課程主要講解如何利用Python進(jìn)行數(shù)據(jù)建模，建立數(shù)學(xué)模型，來(lái)擬合業(yè)務(wù)的各個(gè)要素之間的關(guān)系，來(lái)模擬業(yè)務(wù)的未來(lái)發(fā)展和變化。
基于真實(shí)的業(yè)務(wù)問(wèn)題，在數(shù)據(jù)建模的標(biāo)準(zhǔn)過(guò)程指導(dǎo)下，從模型選擇到特征工程，從訓(xùn)練模型到算法實(shí)現(xiàn)，從模型評(píng)估到模型優(yōu)化，再到模型解讀及模型應(yīng)用，帶領(lǐng)大家一步步實(shí)現(xiàn)一個(gè)回歸預(yù)測(cè)模型。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
1、 掌握數(shù)據(jù)建模的標(biāo)準(zhǔn)流程。
2、 掌握數(shù)據(jù)預(yù)處理常用的方法，包括特征篩選、變量合并等。
3、 掌握回歸模型的原理，以及算法實(shí)現(xiàn)。
4、 熟練使用模型的評(píng)估指標(biāo)，評(píng)估方法，以及過(guò)擬合的評(píng)估。
5、 掌握模型優(yōu)化的基本措施，學(xué)會(huì)欠擬合的解決方法。
6、 學(xué)會(huì)過(guò)擬合評(píng)估，學(xué)會(huì)使用有正則項(xiàng)來(lái)解決過(guò)擬合問(wèn)題。
7、 熟練使用sklearn庫(kù)的常用回歸類(lèi)。
8、 學(xué)會(huì)超參優(yōu)化的常用方法，能夠設(shè)置最優(yōu)超參。
【授課時(shí)間】
2-3天時(shí)間
（要根據(jù)學(xué)員的實(shí)際情況調(diào)整重點(diǎn)內(nèi)容及時(shí)間）
【授課對(duì)象】
業(yè)務(wù)支持部、數(shù)據(jù)分析部、系統(tǒng)設(shè)計(jì)部、系統(tǒng)開(kāi)發(fā)部、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
1、 每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
2、 便攜機(jī)中事先安裝好Python 3.9版本及以上。
3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫(kù)。
注：講師現(xiàn)場(chǎng)提供分析的數(shù)據(jù)源。
【授課方式】
建模流程+ 案例演練 + 開(kāi)發(fā)實(shí)踐 + 可視化呈現(xiàn)
采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問(wèn)題，展開(kāi)數(shù)據(jù)分析過(guò)程，全過(guò)程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過(guò)程中獲得能力提升。
【課程大綱】
1、 數(shù)據(jù)建模六步法
? 選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
? 屬性篩選：選擇對(duì)目標(biāo)變量有顯著影響的屬性來(lái)建模
? 訓(xùn)練模型：采用合適的算法，尋找到最合適的模型參數(shù)
? 評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用
? 優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化
? 應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
2、 數(shù)據(jù)挖掘常用的模型
? 數(shù)值預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
? 分類(lèi)預(yù)測(cè)模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
? 市場(chǎng)細(xì)分：聚類(lèi)、RFM、PCA等
? 產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等
? 產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
? 產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
3、 屬性篩選/特征選擇/變量降維
? 基于變量本身特征
? 基于相關(guān)性判斷
? 因子合并（PCA等）
? IV值篩選（評(píng)分卡使用）
? 基于信息增益判斷（決策樹(shù)使用）
4、 訓(xùn)練模型及實(shí)現(xiàn)算法
? 模型原理
? 算法實(shí)現(xiàn)
5、 模型評(píng)估
? 評(píng)估指標(biāo)
? 評(píng)估方法
? 過(guò)擬合評(píng)估
6、 模型優(yōu)化
? 優(yōu)化模型：選擇新模型/修改模型
? 優(yōu)化數(shù)據(jù)：新增顯著自變量
? 優(yōu)化公式：采用新的計(jì)算公式
7、 模型應(yīng)用
? 模型解讀
? 模型部署
? 模型應(yīng)用
8、 好模型是優(yōu)化出來(lái)的
1、 三個(gè)基本概念：SST、SSR、SSE
2、 三個(gè)方面評(píng)估：指標(biāo)、方法、過(guò)擬合
3、 擬合程度指標(biāo)
? 簡(jiǎn)單判定系數(shù)：
? 調(diào)整判定系數(shù)：
4、 預(yù)測(cè)值誤差指標(biāo)
? 平均絕對(duì)誤差：MAE
? 根均方差：RMSE
? 平均絕對(duì)誤差率：MAPE
5、 信息損失準(zhǔn)則指標(biāo)
? 赤池信息準(zhǔn)則：AIC
? 貝葉斯信息準(zhǔn)則：BIC
? HQ信息準(zhǔn)則：HQIC
6、 評(píng)估方法
? 原始評(píng)估法
? 留出法（Hold-Out）
? 交叉驗(yàn)證法（k-fold cross validation）
? 自助采樣法（Bootstrapping）
7、 其它評(píng)估
? 過(guò)擬合評(píng)估：學(xué)習(xí)曲線
? 殘差評(píng)估：白噪聲評(píng)估
問(wèn)題：如何選擇合適的屬性來(lái)進(jìn)行建模預(yù)測(cè)？如何做特征選擇/特征降維？
1、 屬性篩選/變量降維的常用方法
2、 影響因素分析常用方法
? 相關(guān)分析
? 方差分析
? 卡方檢驗(yàn)
3、 相關(guān)分析（衡量變量間的線性相關(guān)性）
問(wèn)題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？
? 相關(guān)分析簡(jiǎn)介
? 相關(guān)分析的三個(gè)種類(lèi)
2 簡(jiǎn)單相關(guān)分析
2 偏相關(guān)分析
? 相關(guān)系數(shù)的三種計(jì)算公式
2 Pearson相關(guān)系數(shù)
2 Spearman相關(guān)系數(shù)
2 Kendall相關(guān)系數(shù)
? 相關(guān)分析的假設(shè)檢驗(yàn)
? 相關(guān)分析的四個(gè)基本步驟
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷(xiāo)費(fèi)用會(huì)影響銷(xiāo)售額嗎
演練：網(wǎng)齡與消費(fèi)水平的關(guān)系
? 偏相關(guān)分析
2 偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
2 偏相關(guān)系數(shù)的計(jì)算公式
2 偏相關(guān)分析的適用場(chǎng)景
4、 方差分析(衡量類(lèi)別變量與數(shù)據(jù)變量的相關(guān)性)
問(wèn)題：哪些才是影響銷(xiāo)量的關(guān)鍵因素？主要因素是哪些？次要因素是哪些？
? 方差分析的應(yīng)用場(chǎng)景
? 方差分析原理
? 方差分析前提：齊性檢驗(yàn)
? 方差分析的三個(gè)種類(lèi)
2 單因素方差分析
2 多因素方差分析
2 協(xié)方差分析
? 方差分析的四個(gè)步驟
? 分析結(jié)果解讀要點(diǎn)
演練：終端擺放位置與終端銷(xiāo)量有關(guān)嗎
演練：客戶(hù)學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告形式和價(jià)格是影響終端銷(xiāo)量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷(xiāo)量有影響嗎
演練：尋找影響產(chǎn)品銷(xiāo)量的關(guān)鍵因素
? 多因素方差分析原理
? 多因素方差分析的作用
? 多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對(duì)銷(xiāo)量的影響因素分析
? 協(xié)方差分析原理
? 協(xié)方差分析的適用場(chǎng)景
演練：排除收入后，網(wǎng)齡對(duì)消費(fèi)水平的影響大小分析
5、 列聯(lián)分析/卡方檢驗(yàn)（兩類(lèi)別變量的相關(guān)性分析）
? 卡方檢驗(yàn)應(yīng)用場(chǎng)景
? 交叉表與列聯(lián)表
? 計(jì)數(shù)值與期望值
? 卡方檢驗(yàn)的原理
? 卡方檢驗(yàn)的幾個(gè)計(jì)算公式
? 列聯(lián)表分析的適用場(chǎng)景
案例：套餐類(lèi)型對(duì)客戶(hù)流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析
6、 屬性重要程度排序/篩選
7、 主成份分析（PCA）
? 因子分析的原理
? 因子個(gè)數(shù)如何選擇
? 如何解讀因子含義
案例：提取影響電信客戶(hù)流失的主成分分析
問(wèn)題：如何預(yù)測(cè)產(chǎn)品的銷(xiāo)量/銷(xiāo)售金額？
1、 常用數(shù)值預(yù)測(cè)的模型
? 通用預(yù)測(cè)模型：回歸模型
2、 線性回歸應(yīng)用場(chǎng)景
3、 線性回歸模型種類(lèi)
? 一元線性回歸
? 多元線性回歸
4、 線性回歸建模過(guò)程
5、 帶分類(lèi)變量的回歸建模
6、 回歸模型的質(zhì)量評(píng)估
7、 回歸方程的解讀
1、 基本概念
? 損失函數(shù)
2、 普通最小二乘法OLS
? 數(shù)學(xué)推導(dǎo)
? OLS存在的問(wèn)題
3、 梯度下降算法
? 梯度概念
? 梯度下降/上升算法
? 批量梯度/隨機(jī)梯度/小批量梯度
? 學(xué)習(xí)率的影響
? 早期停止法
4、 牛頓法/擬牛頓法
? 泰勒公式(Taylor)
? 牛頓法(Newton)
? 擬牛頓法(Quasi-Newton)的優(yōu)化
2 DFP/BFGS/L-BFGS
5、 算法比較-優(yōu)缺點(diǎn)
6、 回歸分析的基本原理
? 三個(gè)基本概念：總變差、回歸變差、剩余變差
? 方程的顯著性檢驗(yàn)：是否可以做回歸分析？
? 因素的顯著性檢驗(yàn)：自變量是否可用？
? 擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？
? 理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？
7、 欠擬合解決：多項(xiàng)式回歸
? 剔除離群值
? 剔除非顯著因素
? 非線性關(guān)系檢驗(yàn)
? 相互作用檢驗(yàn)
? 共線性檢驗(yàn)
? 檢驗(yàn)誤差項(xiàng)
案例：銷(xiāo)量預(yù)測(cè)模型優(yōu)化示例
8、 過(guò)擬合解決：正則項(xiàng)
? 嶺回歸（Ridge）
? 套索回歸（Lasso）
? 彈性網(wǎng)絡(luò)回歸（ElasticNet）
9、 超參優(yōu)化
? 手工遍歷cross_val_score
? 交叉驗(yàn)證RidgeCV/LassCV/ElasticNetCV
? 網(wǎng)格搜索GridSearchCV
? 隨機(jī)搜索RandomizedSearchCV
1、 自定義回歸模型
2、 模型參數(shù)最優(yōu)法方法
? 全局優(yōu)化/暴力破解brute
? 局部?jī)?yōu)化fmin
? 有約束優(yōu)化minimize
3、 好模型都是優(yōu)化出來(lái)的
案例：餐廳客流量進(jìn)行建模及模型優(yōu)化
4、 基于回歸季節(jié)模型
? 季節(jié)性回歸模型的參數(shù)
? 相加模型
? 相乘模型
? 模型解讀/模型含義
案例：美國(guó)航空旅客里程的季節(jié)性趨勢(shì)分析
5、 新產(chǎn)品預(yù)測(cè)與S曲線
? 產(chǎn)品累計(jì)銷(xiāo)量的S曲線模型
? 如何評(píng)估銷(xiāo)量增長(zhǎng)的上限以及拐點(diǎn)
? 珀?duì)柷€
? 龔鉑茲曲線
案例：預(yù)測(cè)IPAD的銷(xiāo)售增長(zhǎng)拐點(diǎn)，以及銷(xiāo)量上限
1、 客戶(hù)消費(fèi)金額預(yù)測(cè)模型
2、 房?jī)r(jià)預(yù)測(cè)模型及優(yōu)化
結(jié)束：課程總結(jié)與問(wèn)題答疑。
|
|
|
|
|
|
|
|
京公網(wǎng)安備 11011502001314號(hào)
(微信同號(hào))