第2章　机器学习入门

本章汇总机器学习的基本概念及相关的数学原理，从机器学习中常用的概念出发，将其中的数学结构抽象出来，并梳理不同机器学习模型背后共同的数学原理，讲述其机制。为了便于读者理解，本章的讲解没有拘泥于固定的机器学习模型，因为实际上大多数模型都是不同数学理论的抽象与融合。本章的内容将为读者从数学的角度深入了解机器学习的原理、构建自己的模型夯实基础。

2.1节阐述多数模型都要用到的相似性度量的概念。因为不论模型的特征空间属于何种空间，最终都需要一种衡量相似度的标准，所以本章首先介绍不同空间衡量相似度的方法。

2.2节讲解矩阵基础，帮助读者复习矩阵论的知识。矩阵论是绝大多数机器学习理论的基础，一般而言，机器学习工程师能否快速地掌握新模型，多数情况下取决于其对矩阵论理解的透彻程度。

2.3节介绍空间理论，讲述了多个空间的概念，使读者了解不同模型的真正适用范围。如果在某些情况下使用一种模型总是难以获得好的效果，很有可能是因为你对模型适用空间的理解产生了偏差。这也是为什么笔者提出，没有不好的模型，只有不适用的抽象方式的原因。例如，将特征抽象成并不适用于此类空间中内积度量的方式，就会导致模型很难达到预期效果。

2.4节介绍常用机器学习方法所使用的数学结构。简单的结构总是容易被先发现。纵观机器学习的发展史，机器学习模型的结构从简单的线性模型、单层模型，发展到多层模型和网络模型。其实，模型的发展并非受限于人对于结构的想象，而是受限于数学领域对于复杂结构的研究与成果的普及（比如随机过程、贝叶斯网络等）。某个领域越成熟，研究人员的基数越大，其产出就会越多。因此，对数学和物理等基础学科的研究，永远是推动人类科技发展的动力。

2.5节介绍贝叶斯统计。该方法是网络结构、概率模型、概率图模型的基础。对其的简单应用已经可以抽象出很多机器学习策略或模型，如果再将它与其他结构相结合，还能够产出更多模型，如LDA（Latent Dirichlet Allocation，潜狄利克雷分布）、深度网络模型等。

2.6节讲述策略与算法，这是构建模型后最重要的步骤。如果一个复杂的模型没有已知的学习算法相佐，我们就无法得知其隐含的假设空间形式，以及如何最优化假设空间。数学是自然科学的理论基础，希望大家在构造模型的同时，都有敏锐的数学思维。如果本书能够提供一点指导性的方向，引领大家找到自己需要补足的知识，也就算达到了目的。

2.7节是笔者总结的一些经验，汇总了笔者和同行在机器学习实践中遇到的一些常见问题和处理问题的经验，希望对大家解决工程上的实际问题有所帮助。