感知机是二分类的线性分类模型，输入特征向量，输出±1。感知机旨在求出将训练数据线性划分的超平面，属于判别模型。
感知机模型
感知机定义
感知机$f(x)=sign(w \cdot x + b)$，$w \in R^n$为权值向量，$b \in R$为偏置
几何解释
线性方程$w \cdot x + b = 0$ 是特征空间$R^n$的一个分离超平面，位于其两边的点被分为正负两类
感知机学习策略
数据集的线性可分性
存在某个超平面S能够将数据集的正负实例点完全正确地划分，则称数据集为线性可分数据集。
学习策略
损失函数为误分类点到超平面S的总距离，任一点$x_0$到S的距离为：
则误分类点集合$M$到S的总距离为
那么感知机学习的损失函数为
感知机学习算法
感知机学习问题转化为$L(w,b)$的最优化问题。
原始形式
采用随机梯度下降法，任意选取一个超平面$w_0,b_0$，采用梯度下降法不断极小化损失函数，极小化过程中每次随机选取一个误分类点使其梯度下降，直至训练集中没有误分类点。
从几何意义上解释即每次调整$w,b$会是超平面向该误分类点侧移动，直至超平面越过该误分类点。
当训练集线性可分时，感知机学习算法原始形式迭代收敛，存在许多解，依赖于初值和选择顺序；线性不可分时，感知机学习算法不收敛，迭代结果发生震荡。
对偶形式
对偶形式中训练集仅以内积($x_j \cdot x_i$)出现。