本文是PRML一书3.4-3.5节的笔记。
在线性回归模型中，模型复杂度是由基函数数量控制的。如果模型过于复杂就会造成过拟合，所以我们在对数似然函数上加上一个正则项，这样，模型的复杂度就可以由正则化系数来控制（尽管基函数的数量和形式对模型的行为仍有很大影响）。为了确定最合适的正则化系数，我们需要用交叉验证集来进行测试，选择最优的正则化系数。
然而，如果我们从贝叶斯角度去看模型选择，就可以直接利用整个数据集来确定正则化系数，既减少了在交叉验证集上的计算，也节省了数据。

补充一些零碎的知识点

本文主要是PRML一书2.5节的笔记。

本文主要是PRML一书2.3.3，2.3.4和2.3.6节的笔记。

本文主要是PRML一书7.1至7.1.2节的笔记。
支持向量机是一种十分流行的机器学习算法，可以解决分类、回归及异常检测等问题。支持向量机的一个重要性质就是确定模型参数等价于一个凸优化问题，因此任意一个局部最优解就是全局最优解。

本文主要是PRML一书2.3.1与2.3.2节的笔记。
多元高斯分布一个重要的性质就是：如果两组变量的联合分布是高斯分布，那么一组变量在观察另外一组变量后的条件分布也是高斯分布。同时，任何一组变量的边际分布也是高斯分布。

本文主要是PRML一书8.2节的笔记。
条件独立是概率图模型的一个重要概念，它既简化了模型的结构，也简化了学习(learning)、推断(inference)所需要的计算。

本文主要是PRML一书2.1与2.2节的笔记。

$\quad$

在机器学习中，误差是由偏差、方差和固有噪声三部分组成。偏差方差分解是从频率学派的角度对模型的复杂性进行一定的分析。