在随机场分析以及机器学习的 PCA 主成分分析的过程中，我经常看到协方差和协方差矩阵这两个概念。
协方差：用于衡量两个变量的总体误差，方差(variance)是协方差的一种特殊情况，即两个变量完全相同。
假设有两组有限实数变量 $latex X$ 和 $latex Y$，那么他们各有一阶矩（矩的概念可以看一位朋友的博文 moment 矩）为：
$$ E(X)=\mu,E(Y)=\nu $$
那么协方差可以定义为：
$$ cov(X,Y)=E[(X-\mu)(Y-\nu)]=E(X\cdot Y)-\mu\nu $$
协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X 与Y 是统计独立的，那么二者之间的协方差就是0，这是因为：
$$ E(X\cdot Y)=E(X)\cdot E(Y)=\mu\nu $$
但是反之则不成立，如果X和Y的协方差为0，二者的独立性取决于协方差的相关性：
$$ \eta=\frac{cov(X,Y)}{\sqrt{var(X)\cdot var(Y)}}\ \ var(X):X的方差 $$
更准确的说是线性相关性，$latex \eta$ 是一个衡量线性独立的无量纲数，取值在[-1,1]之间。相关性 $latex \eta=1$ 时成为完全线性相关。
协方差矩阵：分别为m和n个标量元素的列向量随机变量X和Y，二者对应的期望值分别为 $latex \mu, \nu$，这两个变量之间的协方差定义为$latex m\times n$矩阵
$$ cov(X,Y)=E((X-\mu)(Y-\nu)^T) $$