机器学习

本章节的状态

这是本板块的大纲与阅读顺序。条目在写完后会作为独立页面加入左侧导航， 此页始终保持为该板块的入口和索引。

阅读顺序

机器学习的难点不在模型种类多，而在于每个模型都是「假设空间 + 损失函数 + 优化方法」三件事的一个具体选择。 按下面的顺序读，可以让后面的每个模型都落在同一套框架里，而不是记一堆互不相关的算法。

一、数学基础

• 线性代数：向量空间、投影与最小二乘、特征分解与 SVD 的几何含义
• 概率论：条件概率、期望与方差、常见分布族、极大似然与贝叶斯视角
• 最优化：凸性、梯度下降与收敛性、随机梯度与方差、约束优化与对偶

二、学习理论的底座

• 经验风险最小化与泛化误差分解（偏差–方差）
• 过拟合的成因，正则化为什么有效
• 交叉验证与模型选择中的常见陷阱（数据泄漏、选择偏差）

三、经典监督学习

• 线性回归与岭回归 / Lasso：从最小二乘到稀疏解
• 逻辑回归与广义线性模型
• 支持向量机：最大间隔、核方法与表示定理
• 决策树、随机森林、梯度提升（GBDT / XGBoost 的目标函数推导）

四、无监督与表示学习

• 聚类：K-means、层次聚类、高斯混合与 EM 算法
• 降维：PCA、流形学习、t-SNE 与 UMAP 的适用边界
• 概率图模型入门

五、深度学习

• 多层感知机与反向传播的完整推导
• 卷积网络：权重共享与平移等变性
• 序列建模：RNN、LSTM 的梯度问题
• 注意力机制与 Transformer 架构
• 生成模型：VAE、扩散模型、自回归语言模型

六、训练工程

• 初始化、归一化与学习率调度
• 混合精度、梯度累积与分布式训练策略
• 实验管理：如何让一次训练结果可复现

七、强化学习

• 马尔可夫决策过程与贝尔曼方程
• 值函数方法与策略梯度
• 从 REINFORCE 到 PPO