主講老師: | 傅一航 | |
課時安排: | 1天/6小時 | |
學(xué)習(xí)費用: | 面議 | |
課程預(yù)約: | 隋老師 (微信同號) | |
課程簡介: | 1、 熟悉常見的機器學(xué)習(xí)的算法。 2、 掌握機器學(xué)習(xí)的算法原理,以及數(shù)據(jù)推導(dǎo)。 3、 學(xué)會使用Python來實現(xiàn)機器學(xué)習(xí)算法,以及優(yōu)化算法。 | |
內(nèi)訓(xùn)課程分類: | 綜合管理 | 人力資源 | 市場營銷 | 財務(wù)稅務(wù) | 基層管理 | 中層管理 | 領(lǐng)導(dǎo)力 | 管理溝通 | 薪酬績效 | 企業(yè)文化 | 團隊管理 | 行政辦公 | 公司治理 | 股權(quán)激勵 | 生產(chǎn)管理 | 采購物流 | 項目管理 | 安全管理 | 質(zhì)量管理 | 員工管理 | 班組管理 | 職業(yè)技能 | 互聯(lián)網(wǎng)+ | 新媒體 | TTT培訓(xùn) | 禮儀服務(wù) | 商務(wù)談判 | 演講培訓(xùn) | 宏觀經(jīng)濟 | 趨勢發(fā)展 | 金融資本 | 商業(yè)模式 | 戰(zhàn)略運營 | 法律風(fēng)險 | 沙盤模擬 | 國企改革 | 鄉(xiāng)村振興 | 黨建培訓(xùn) | 保險培訓(xùn) | 銀行培訓(xùn) | 電信領(lǐng)域 | 房地產(chǎn) | 國學(xué)智慧 | 心理學(xué) | 情緒管理 | 時間管理 | 目標管理 | 客戶管理 | 店長培訓(xùn) | 新能源 | 數(shù)字化轉(zhuǎn)型 | 工業(yè)4.0 | 電力行業(yè) | | |
更新時間: | 2023-09-01 11:33 |
【課程目標】
本課程為高級課程,專注于機器學(xué)習(xí)算法,原理,以及算法實現(xiàn)及優(yōu)化。
通過本課程的學(xué)習(xí),達到如下目的:
1、 熟悉常見的機器學(xué)習(xí)的算法。
2、 掌握機器學(xué)習(xí)的算法原理,以及數(shù)據(jù)推導(dǎo)。
3、 學(xué)會使用Python來實現(xiàn)機器學(xué)習(xí)算法,以及優(yōu)化算法。
4、 掌握scikit-learn擴展庫來實現(xiàn)機器學(xué)習(xí)算法。
【授課時間】
2-3天時間
【授課對象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。
【學(xué)員要求】
本課程只講算法實現(xiàn),不涉及完整的數(shù)據(jù)建模和模型使用,所以要求學(xué)員之前已經(jīng)掌握數(shù)據(jù)建?;A(chǔ),熟悉建模過程。
1、 每個學(xué)員自備一臺便攜機(必須)。
2、 要求有Python開發(fā)基礎(chǔ),事先安裝Python 3.9版本以上。
3、 要求有基本的數(shù)據(jù)分析和數(shù)據(jù)挖掘的知識。
注:講師現(xiàn)場提供開源的安裝程序、擴展庫,以及現(xiàn)場分析的數(shù)據(jù)源。
【授課方式】
機器學(xué)習(xí)任務(wù) + 算法原理 + 數(shù)學(xué)推導(dǎo) + Python實現(xiàn)
從任務(wù)出發(fā),了解算法原理,以及數(shù)學(xué)推導(dǎo)過程,全過程演練操作,讓學(xué)員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。
【課程大綱】
1、 機器學(xué)習(xí)簡介
2、 機器學(xué)習(xí)的種類
? 監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強化學(xué)習(xí)
? 批量學(xué)習(xí)和在線學(xué)習(xí)
? 基于實例與基于模型
3、 機器學(xué)習(xí)的主要戰(zhàn)挑
? 數(shù)據(jù)量不足
? 數(shù)據(jù)質(zhì)量差
? 無關(guān)特征
? 過擬合/擬合不足
4、 機器學(xué)習(xí)任務(wù)
? 監(jiān)督:分類、回歸
? 無監(jiān)督:聚類、降維、關(guān)聯(lián)規(guī)則
5、 機器學(xué)習(xí)基本過程
6、 機器學(xué)習(xí)常用庫
1、 建模的本質(zhì),其實是一個最優(yōu)化問題
2、 回歸模型的基礎(chǔ)
3、 基本概念:損失函數(shù)
4、 線性回歸常用算法
? 普通最小二乘法OLS
? 梯度下降算法
? 牛頓法/擬牛頓法
5、 最小二乘法
a) 數(shù)學(xué)推導(dǎo)
b) OLS存在的問題
6、 過擬合解決方法:正則化
? 嶺回歸(Ridge)
? 套索回歸Lasso
? ElasticNet回歸
? 各種算法的適用場景
7、 超大規(guī)模數(shù)據(jù)集的回歸模型:迭代算法
? 梯度概念
? 梯度下降/上升算法
? 批量梯度BGD/隨機梯度SGD/小批量梯度MBGD
? 學(xué)習(xí)率的影響
? 早期停止法
8、 梯度算法的關(guān)鍵問題
9、 牛頓法/擬牛頓法
? 泰勒公式(Taylor)
? 牛頓法(Newton)
? 擬牛頓法(Quasi-Newton)的優(yōu)化
2 DFP/BFGS/L-BFGS
10、 算法比較
1、 邏輯回歸基礎(chǔ)
2、 LR的常用算法
? 最大似然估計法
? 梯度算法
? 牛頓法
3、 最大似然估計法
? 似然函數(shù)/損失函數(shù)
? 數(shù)學(xué)推導(dǎo)
4、 模型優(yōu)化
? 迭代樣本的隨機選擇
? 變化的學(xué)習(xí)率
5、 邏輯回歸+正則項
6、 求解算法與懲罰項的關(guān)系
7、 多元邏輯回歸處理
? ovo
? ovr
? 優(yōu)缺點比較
8、 邏輯回歸建模實戰(zhàn)
案例:用sklearn庫實現(xiàn)銀行貸款違約預(yù)測
案例:訂閱者用戶的典型特征(二元邏輯回歸)
案例:通信套餐的用戶畫像(多元邏輯回歸)
1、 決策樹簡介
演練:識別銀行欠貨風(fēng)險,提取欠貸者的特征
2、 決策樹的三個關(guān)鍵問題
? 最優(yōu)屬性選擇
2 熵、基尼系數(shù)
2 信息增益、信息增益率
? 屬性最佳劃分
2 多元劃分與二元劃分
2 連續(xù)變量最優(yōu)劃分
? 決策樹修剪
2 剪枝原則
2 預(yù)剪枝與后剪枝
3、 構(gòu)建決策樹的算法
? ID3、C4.5、C5.0
? CART
4、 決策樹的超參優(yōu)化
5、 決策樹的解讀
6、 決策樹建模過程
案例:商場酸奶購買用戶特征提取
案例:客戶流失預(yù)警與客戶挽留
案例:識別拖欠銀行貨款者的特征,避免不良貨款
案例:識別電信詐騙者嘴臉,讓通信更安全
案例:電力竊漏用戶自動識別
1、 神經(jīng)網(wǎng)絡(luò)簡介(ANN)
2、 神經(jīng)元基本原理
? 加法器
? 激活函數(shù)
3、 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
? 隱藏層數(shù)量
? 神經(jīng)元個數(shù)
4、 神經(jīng)網(wǎng)絡(luò)的建立步驟
5、 神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
6、 BP算法實現(xiàn)
7、 MLP多層神經(jīng)網(wǎng)絡(luò)
8、 學(xué)習(xí)率的設(shè)置
案例:評估銀行用戶拖欠貨款的概率
案例:神經(jīng)網(wǎng)絡(luò)預(yù)測產(chǎn)品銷量
1、 判別分析簡介
2、 判別分析算法
? 中心和方差
? 類間散席Sb
? 類內(nèi)散席Sw
3、 特征值和特征向量
4、 多分類LDA算法
5、 算法實戰(zhàn)
案例:MBA學(xué)生錄取判別分析
案例:上市公司類別評估
1、 KNN的基本原理
2、 K近鄰的關(guān)鍵問題
? 距離公式
? 投票機制
3、 KNN算法實現(xiàn)
? Brute(蠻力計算)
? Kd_tree(KD樹)
? Ball_tre(球樹)
4、 算法比較
1、 貝葉斯簡介
2、 貝葉斯分類原理
? 先驗概率和后驗概率
? 條件概率和類概率
3、 常見貝葉斯網(wǎng)絡(luò)
4、 計算類別屬性的條件概率
5、 估計連續(xù)屬性的條件概率
6、 預(yù)測分類概率(計算概率)
7、 拉普拉斯修正
案例:評估銀行用戶拖欠貨款的概率
1、 支持向量機簡介
? 適用場景
2、 支持向量機原理
? 支持向量
? 最大邊界超平面
3、 線性不可分處理
? 松弛系數(shù)
4、 非線性SVM分類
5、 常用核函數(shù)
? 線性核函數(shù)
? 多項式核
? 高斯RBF核
? 核函數(shù)的選擇原則
6、 SMO算法
1、 模型的優(yōu)化思想
2、 集成模型的框架
? Bagging
? Boosting
? Stacking
3、 集成算法的關(guān)鍵過程
? 弱分類器如何構(gòu)建
? 組合策略:多個弱學(xué)習(xí)器如何形成強學(xué)習(xí)器
4、 Bagging集成算法
? 數(shù)據(jù)/屬性重抽樣
? 決策依據(jù):少數(shù)服從多數(shù)
? 隨機森林RandomForest
5、 Boosting集成算法
? 基于誤分數(shù)據(jù)建模
? 樣本選擇權(quán)重更新
? 決策依據(jù):加權(quán)投票
? AdaBoost模型
6、 GBDT模型
7、 XGBoost模型
8、 LightGBM模型
1、 聚類基本原理
2、 K均值聚類算法
? K均值算法
3、 距離計算公式
? 閔可夫斯基距離(Minkowski Distance)
? 曼哈頓距離(Manhattan Distance)
? 歐氏距離(Euclidean Distance)
? 切比雪夫距離(Chebyshev Distance)
? 余弦距離(Cosine)
? Pearson相似距離
? 馬哈拉諾比斯距離(Mahalanobis)
? 漢明距離(Hamming distance)
? 杰卡德相似系數(shù)(Jaccard similarity coefficient)
? 相對熵(K-L距離)
4、 K均值算法的關(guān)鍵問題
? 初始中心的選取方式
? 最優(yōu)K值的選取
5、 聚類算法的評價方法
? Elbow method(手肘法)
? Calinski-Harabasz Index(CH準則法)
? Silhouette Coefficient(輪廓系數(shù)法)
? Gap Statistic(間隔統(tǒng)計量法)
? Canopy算法
6、 算法實戰(zhàn)
案例:使用SKLearn實現(xiàn)K均值聚類
1、 關(guān)聯(lián)規(guī)則基本原理
2、 常用關(guān)聯(lián)規(guī)則算法
? Apriori算法
2 發(fā)現(xiàn)頻繁集
2 生成關(guān)聯(lián)規(guī)則
? FP-Growth算法
2 構(gòu)建FP樹
2 提取規(guī)則
3、 算法實戰(zhàn)
案例:使用apriori庫實現(xiàn)關(guān)聯(lián)分析
案例:中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
1、 協(xié)同過濾基本原理
2、 協(xié)同過濾的兩各類型
? 基于用戶的協(xié)同過濾UserCF
? 基于物品的協(xié)同過濾ItemCF
3、 相似度評估常用公式
4、 UserCF算法實現(xiàn)
? 計算用戶間的興趣相似度
? 篩選前K個相似用戶
? 合并相似用戶購買過的物品集
? 剔除該用戶已經(jīng)購買過的產(chǎn)品,得到候選物品集
? 計算該用戶對物品的喜歡程度,物品集排序
? 優(yōu)先推薦前N個物品
5、 ItemCF算法實現(xiàn)
? 計算物品間的相似度
? 篩選前K個喜歡的物品
? 合并與前K個物品相似的前L個物品集
? 剔除該用戶已經(jīng)購買過的物品,得到候選物品集
? 計算該用戶到候選物品的喜愛程度,物品排序
? 優(yōu)先推薦前N個物品
6、 關(guān)于冷啟動問題
7、 協(xié)同過濾算法比較
結(jié)束:課程總結(jié)與問題答疑。
京公網(wǎng)安備 11011502001314號