?人工智能? ?百戰程序員?① 快速入門?人工智能概念與本質?人工智能的時代 人工智能的應用 人工智能流程對比人類思考的過程 人工智能的流程與本質?人工智能基本概念與機器學習深度學習本質區別 回歸和分類任務的本質 聚類和降維任務的本質?KNN算法?KNN原理 Anaconda運行環境安裝 Pycharm開發環境配置安裝 KNN的python代碼實現 Scikit-learn模塊講解 KNN的sklearn代碼實戰?② 算法基礎?python基礎與科學計算模塊?Python基礎語法?循環控制 切片操作 數據類型 集合操作 常用內建函數 函數式編程 類與對象 繼承 裝飾器 生成器?科學計算模型Numpy?Numpy ndarray對象 Numpy數據類型 Numpy 數組屬性 Numpy創建數組 Numpy切片和索引 Numpy高級索引 Numpy廣播?Numpy數組操作 Numpy數學和統計函數 Numpy排序、條件過濾函數 Numpy線性代數?數據處理分析模塊Pandas?Pandas IO文件操作 Pandas索引和數據選擇器 Pandas合并、連接 Pandas缺失值數據處理 Pandas數據離散化 Pandas統計計算?數據可視化模塊?matplotlib繪圖基礎API 等高線圖的繪制 通過可視化剖析LR邏輯回歸損失 matplotlib畫餅圖、直方圖、盒圖?matplotlib畫風設置、各種柱狀圖以及顏色文字等設置?seaborn的style和color seaborn面對單變量和多變量的圖形繪制 seaborn_facetgrid?AI數學知識?微積分基礎?導數的定義 左導數、右導數、可導函數 導數幾何意義、物理意義 基本函數求導公式 四則運算法則 復合函數求導法則?神經網絡激活函數的導函數求解?高階導數 導數與函數單調性 極值定理 導數與函數凹凸性 一元函數泰勒展開?線性代數基礎?向量與其運算 行向量和列向量 向量加減、數乘、內積、轉置 向量范數 特殊向量 矩陣與其運算 方陣、對稱陣、單位陣、對角陣?矩陣加減、數乘、矩陣乘法、轉置 逆矩陣 行列式?多元函數微分學?偏導數 高階偏導數 梯度 雅可比矩陣 Hessian矩陣 極值判別法則?線性代數高級?二次型 特征值和特征向量 特征值分解 多元函數的泰勒展開 矩陣和向量的求導公式 奇異值分解 奇異值分解計算方式?奇異值分解性質?SVD用于數據壓縮 SVD用于PCA降維 SVD用于協同過濾 SVD用于矩陣求?逆?最優化?局部最小和全局最小 迭代法求解 梯度下降法推導 牛頓法推導 坐標下降法 數值優化算法的問題 凸集 凸函數 凸優化問題?拉格朗日乘數法 拉格朗日對偶 KKT條件?概率論?隨機事件和隨機事件概率 條件概率和貝葉斯公式 隨機事件的獨立性 隨機變量 數學期望和方差 常用隨機變量服從的分布 隨機向量?隨機變量獨立性 協方差與協方差矩陣 隨機向量的常見分布 最大似然估計?線性回歸算法?多元線性回歸?簡單線性回歸 最優解與最小二乘法 多元線性回歸判別式 多元線性回歸的數學假設 利用MLE推導出目標函數?對數似然推導出MSE損失函數?MSE求偏導得到參數解析解 多元線性回歸的python代碼實現 多元線性回歸的sklearn代碼實戰?梯度下降法?梯度下降法原理與公式 學習率設置的學問 GD應用于多元線性回歸的流程 全量梯度下降的原理與代碼實現?隨機梯度下降的原理與代碼實現?Mini-Batch梯度下降的原理與代碼實現 代碼實現增加MBGD數據的隨機性 代碼實現動態調整學習率?歸一化?歸一化目的與量綱 歸一化提高模型精度 最大值最小值歸一化與缺點 方差歸一化與好處 均值歸一化與好處?標準歸一化的代碼實戰與技巧?正則化?提高泛化能力與防止過擬合 正則化用于損失函數 L1與L2正則項與范數的關系 結合GD講解L1L2的幾何意義 透過導函數講解L1的稀疏性?透過導函數講解L2的平滑性?Lasso回歸?Lasso回歸原理與代碼實戰 ElasticNet回歸原理與代碼實戰 升維的意義?Ridge?Ridge回歸原理與代碼實戰?多項式回歸?多項式回歸進行升維原理 多項式升維代碼實戰?線性分類算法?邏輯回歸?Sigmoid函數特點 廣義線性回歸與邏輯回歸的數學假設 證明伯努利二項分布屬于指數族分布 推導出邏輯回歸判別式?推導出邏輯回歸損失函數log loss?推導出損失函數導函數用于最優化 邏輯回歸解決多分類問題OVR 邏輯回歸代碼實戰--鳶尾花數據集分類?Softmax回歸?Softmax函數特點 廣義線性回歸與Softmax回歸的數學假設 證明多項式分布屬于指數族分布 推導出Softmax回歸判別式?推導出Softmax回歸損失函數cross-entropy?證明邏輯回歸是Softmax的特例 剖析邏輯回歸多分類和Softmax多分類的本質區別 Softmax回歸代碼實戰--音樂曲風分類?SVM支持向量機?SVM與感知機關系 幾何距離和函數距離 SVM支持向量機算法原理 SVM的損失函數 硬間隔SVM的優化步驟 軟間隔SVM?非線性SVM與核函數?SVM在sklearn模塊中參數詳解 SVM人臉識別案例 SVM的概率化輸出 SVM的OVO多分類 SVM的hinge loss?SMO優化算法?SMO優化算法的子二次規劃問題思路 SMO把目標函數從二元函數變一元函數 SMO推導出新的α和舊的α關系 SMO對α進行剪裁?SMO優化SVM算法代碼實現?③ 機器學習實戰?無監督學習算法?聚類系列算法?相似度測量方法 K-means算法原理 K-means圖像應用案例 K-medoids算法 K-means++算法 Mini-batch K-means算法?Canopy聚類算法?Agnes層次聚類算法 Diana層次聚類算法 DBSCAN密度聚類算法 Spectral譜聚類 微博用戶聚類分析案例?PCA降維算法?特征選擇與特征映射 最大投影方差原理與推導 最小投影距離原理與推導 PCA過程的中心化 Kernelized PCA?SVD奇異值分解用于PCA?EM算法?Jensen不等式 EM算法的E-step EM算法的M-step EM在GMM公式推導中應用?GMM算法?單一高斯分布的參數估計 混合高斯分布的似然函數 GMM的計算流程 GMM之圖片前景背景分離代碼實戰?GMM之根據聲音判別性別代碼實戰 GMM之根據聲音判別用戶代碼實戰?決策樹系列算法?決策樹算法?決策樹的算法原理與數學表達 分裂指標_gini系數、信息增益、信息增益率 前剪枝、后剪枝 決策樹ID3、C4.5和CART?決策樹算法優略比較 決策樹之鳶尾花數據集分類案例 通過graphvis繪制決策樹模型?隨機森林算法?集成學習算法思想Bagging、Boosting、Stacking 用戶畫像集成學習方法案例 OOB數據集驗證隨機森林算法 隨機森林副產品之特征選擇?Adaboost算法?Adaboost算法原理 數據的權重與權重錯誤率 權重錯誤率調整到0.5訓練下一個弱分類器 計算每個樣本的權重Un?應用Adaboost算法做人臉識別?GBDT?函數空間的梯度下降與負梯度 推導GBDT回歸是擬合殘差 Shrinkage衰減系數的作用 推導GBDT分類亦是擬合殘差?GBDT二分類模型訓練和使用?GBDT多分類模型訓練和使用 GBDT副產品之特征組合用于降維 實現GBDT+LR架構代碼實戰?XGboost算法?XGBoost算法與決策樹集成學習關系 XGBoost目標函數與正則項 XGBoost目標函數用二階泰勒展開 推導簡化XGBoost目標函數引入gh?XGBoost目標函數加入樹的復雜度 推導出XGBoost目標函數最終形式和葉子節點表達式 詳解XGBoost算法參數與交叉驗證?XGBoost算法調用GPU顯卡資源加速?Kaggle實戰?藥店銷量預測案例?Rossmann藥店銷量預測_kaggle的介紹 對數據字段的介紹_導包 自定義損失函數 對數據里面的目標變量sales的一個分析?數據的預處理 模型的訓練_評估 kaggle競賽網站學習?網頁分類案例?Kaggle網頁分類競賽介紹 評估指標ROC和AUC 評估指標ROC和AUC 競賽其他相關提交成績排行榜 數據導入?MLlib對網頁分類競賽數據預處理?MLlib對網頁分類競賽數據預處理_模型訓練 MLlib對網頁分類競賽模型訓練_模型訓練評估_搜索最佳超參數?使用SparkML對網頁分類競賽數據預處理_模型訓練_交叉驗證調參?海量數據挖掘工具?分布式概念?分布式存儲和計算概念 Spark計算框架特點 分布式計算Shuffle流程 Spark RDD五大特性 PySpark模塊安裝與配置?代碼實戰WordCount計算和排序 代碼實戰蒙特卡洛計算圓周率Pi?spark分布式計算框架?算子操作Transformation和Action RDD持久化 寬窄依賴 Spark DAG優化 Spark架構運行剖析 讀取分布式HDFS數據與并行度設?置?sparkMlib模塊?MLlib的LocalVector之稠密向量和稀疏向量 MLlib的有監督學習數據類型LabeledPoint?sparkML模塊?ML中用到的DataFrame數據框操作 ML中用到的UDF函數 ML的pipeline流程思路?④ 深度學習實戰?概率圖模型算法?貝葉斯分類?樸素貝葉斯分類器 拉普拉斯估計 代碼實戰垃圾郵件分類?HMM算法?馬爾可夫過程 初始概率、轉移概率、發射概率 隱含馬兒可夫原理 維特比算法?最大熵模型?熵、條件熵、相對熵、互信息 最大熵模型算法原理 有約束條件的函數最優化問題 最大熵和最大似然估計關系 IIS算法?條件隨機場?條件隨機場的性質 條件隨機場的判別函數 條件隨機場的學習 條件隨機場的推斷 CRF與HMM關系?深度學習原理到進階實戰?神經網絡算法?從生物神經元到人工神經元 激活函數Relu、Tanh、Sigmoid 透過神經網絡拓撲理解邏輯回歸分類?透過神經網絡拓撲理解Softmax回歸分類?透過神經網絡隱藏層理解升維降維 剖析隱藏層激活函數必須是非線性的原因 神經網絡在sklearn模塊中的使用?水泥強度預測案例及繪制神經網絡拓撲?TensorFlow深度學習工具?TF安裝(包含CUDA和cudnn安裝) TF實現多元線性回歸之解析解求解 TF實現多元線性回歸之梯度下降求解?TF預測california房價案例 TF實現Softmax回歸?Softmax分類MNIST手寫數字識別項目案例 TF框架模型的保存和加載 TF實現DNN多層神經網絡 DNN分類MNIST手寫數字識別項目案例?Back Propagation反向傳播推導?BP反向傳播目的 鏈式求導法則 BP反向傳播推導 不同激活函數在反向傳播應用 不同損失函數在反向傳播應用?Python實現神經網絡實戰案例?TensorBoard模塊?Tensorboard模塊可視化?⑤ 圖像識別?圖像識別原理到進階實戰?卷積神經網絡原理?感受野與卷積 卷積的計算 權值共享 Stride步長 Padding模式 Pooling池化 TF實現CNN卷積神經網絡?CNN分類MNIST手寫數字識別項目案例?卷積神經網絡優化?梯度消失與梯度爆炸 Dropout防止過擬合 Relu激活函數變形 Xavier Glorot初始化 Optimizer優化器 Data Augmentation數據增強?Batch Normalization歸一化 Cifar10圖像識別案例?經典卷積網絡算法?LeNet AlexNet VGG16 InceptionV3 ResNet DenseNet MobileNet 皮膚癌醫療圖像檢測項目 GAN生成對抗網絡? 圖像風格遷移項目?OpenCV模塊?讀取IP攝像頭 RGB與HSV空間變換 直方圖均值化 邊緣檢測 人臉檢測 物體追蹤 車道線檢測 車牌識別案例?古典目標檢測?圖像金字塔 古典目標檢測架構 ROI、IOU、FPS、NMS、mAP IOU代碼實現 NMS代碼實現 特征金字塔 SPP net ROI池化?現代目標檢測?Fast R CNN Faster R CNN RPN網絡、Anchor boxes Mask R CNN SSD Yolo V1 V2 V3 Cascade R CNN 模型壓縮?上采樣_雙線性插值_轉置卷積?上采樣_repeat 線性插值 雙線性插值 轉置卷積_以及TF的API 雙線性插值作為轉置卷積核的初始參數 ROI Align?FPN思想與網絡結構 FPN應用于FasterRCNN_ResNetFPN?圖像識別項目?⑥ 語言處理?自然語言處理原理到進階實戰?詞向量與詞嵌入?TFIDF Word2Vec算法 Gensim模塊 Skip-gram TF代碼實現Word2Vec算法項目 FastText Word Embedding?深度學習用戶畫像項目?循環神經網絡原理與優化?Vanilla RNN Basic RNN實現MNIST手寫數字圖片識別 LSTM長短時記憶 GRU與雙向LSTM 電影評論情感分析案例 Seq2Seq?機器寫唐詩案例?CNN+LSTM+CRF POS tagging詞性標注案例 NER命名實體識別案例 孿生網絡 語義相似度分析案例?Transformer和Bert ?Attention注意力機制 Attention算法流程 Transformer Self-Attention機制 Multi-Head Attention Bert Bert as service開源項目?自然語言處理項目?詞向量?回顧了詞向量里面訓練的Topology Word2Vec項目代碼_加載數據_構建字典 Word2Vec項目代碼_構建一個個批次數據?Word2Vec項目代碼_正向傳播的Graph構建_NCE損失的計算本質?Word2Vec項目代碼_評估比較相似度_最后的訓練繪圖 Word2Vec項目代碼_總結串講?自然語言處理--情感分析?Keras實戰RNN以及詞嵌入來做情感分析 數據預處理 代碼講解?AI寫唐詩?AI寫唐詩_數據的讀取_字典的構建_文本的索引化 AI寫唐詩_訓練數據的構建 MultiRNNCell單元?AI寫唐詩_從詞嵌入到構建RNN再到輸出層概率輸出 AI寫唐詩_損失的計算_梯度的求解截斷和更新_最終的訓練代碼?AI寫唐詩_模型的使用_增加隨機性?Seq2Seq聊天機器人?從AI寫唐詩到Seq2Seq再到Encoder-Decoder Seq2Seq版Chatbot的數據預處理 Seq2Seq版Chatbot訓練和模型使用?實戰NER命名實體識別項目?回顧CRF訓練和使用過程 介紹代碼目錄結構 NER代碼讀取數據和預處理 feature進入BiLSTM進行正向傳播的過程?通過CRF層來計算Loss損失以及訓練?BiLSTM-CRF模型的預測代碼 CRF中的特征函數們 對比邏輯回歸_相比HMM優勢 補充標注偏置問題_HMM做分詞代碼結構?BERT新浪新聞10分類項目?BERT新浪新聞10分類項目?GPT2聊天機器人?GPT2閑聊機器人?⑦ 數據挖掘