漫谈相关与回归

老师不断提醒我要对统计学的基本概念、定义及背景反复思考，这样才不会本末倒置，迷失方向。但是这个做起来很难，因为那些概念定义等看起来实在“太简单”、“没什么东西”，可能还是不能够平心静气吧！

最近静下来看了David Freedman等著的《统计学》的“相关与回归”部分，以及一篇关于直方图的文章，不免有些感慨！其实统计学中的很多概念、工具、方法等的实际意义或作用可能要比我们认为的要大很多，同时，当我们从一些概念定义等中发现出一些新东西时我们总会欣喜若狂。世界上的很多事物又何尝不是如此，人们对事物的了解总易受到传统或他人的影响仅仅停留在表面，很少达到全面而深刻，而一旦我们获得了那种深刻的洞察力，才发现真实世界是何等的精彩！一直以为直方图很简单，无非是一些代表频数的柱状图的组合而已，感觉没什么作用，但是看了一篇关于直方图制作方面的论文时，才认识到直方图的威力。直方图其实是非参数统计中估计总体分布特征的一项重要工具，选择好适当的组距和边界点（组距和最小边界点是关键），随着样本量的增大，它可以非常接近地反映数据的真实分布情况。其实，在统计中使用一种工具方法的目的也应该是使现有的数据尽可能多地反映出真实的信息，而这项工作往往是一个无底洞（这时又要考虑到效率问题了）。

散点图亦是如此。散点图给出了所有数据点的信息，但是如何从这些数据中获得结论或拟合模型，甚至用来预测？面对一张散点图，相关和回归应该是最容易想到的吧！这里主要谈谈两个变量间的相关和回归。

在研究两个变量的关系时，一般会先看看它们的散点图，在图中两变量的关系还是比较直观的，大致可以判断是否线性相关及相关性大小如何，是否是非线性相关等。而到底什么是相关呢？相关其实就是知道一件事对了解另一件事的帮助的大小。实际中，如果对某一事物不太了解，但是对与其有一定联系的另一事物有所了解，如果这种联系很强，那我们对于那件不了解的事物就有了更多的信息，或者说对这个不了解的事物有了更大的自信去预测。其实这也是研究中的一种常用的方法。

关于两个变量间的相关系数的计算。我们都知道两个变量X与Y的相关系数的计算公式为$Cov(x,y)/(SD(x)*SD(y))$，然而这已经是一个结果性东西了，我更推崇David Freedman等著的《统计学》中计算方法：先分别对两个变量做标准化，比如对变量X做标准化$(x_i-\bar{x})/SD(x)$，然后对应的标准量相乘，最后加总再求平均. 这种求法反映到散点图中，相当于对散点图的坐标刻度标准化，从而使两个坐标轴具有了相同的刻度，同时在直观两个变量之间的相关性大小时不会受到各自的标准差大小的影响。这个新的坐标系把所有的点（数据对）分到了不同的象限，通过观察各个象限的点的个数和大致分布情况便可以对相关性的大小与正负有直观的了解，比如更多的点都分布在一、三象限且群集于一条直线周围，那么这两个变量的一般具有较强的正线性相关。

我们都知道相关系数是-1到1之间的一个实数，那么相关系数为0.8是不是表示百分之八十的点群集在一条直线的周围吗？当然不是，相关系数是基于全体数据的一个综合信息，它反映的是所有点与某一条直线的群集程度，而不是一部分的点。由此也不免想到，我们在用到一些概念或定义时，也必须清楚这个概念或定义是基于怎样的对象，或有哪些局限条件或假定，比如概率论中的“事件”， “事件”是基于特定条件的，在具体使用过程中大家对这些特定条件都太“熟悉”以至于很少关注到它们，所以一旦条件改变了，大部分的人认为还是指同一个东西。

相关与因果也是这样，我们都知道相关不能同因果划等号，但实际过程中人们总“自然而然”地得出一些结论。一般来说，体重和升高相关，那体重大是不是就因为身高高呢？除非有一个固定的身材标准，而所有人都是这个标准。（随便提个问题：如果两个变量严格线性相关，即相关系数为1，那是否可以说这两个变量中一个为因一个为果呢？）。其实两个变量的相关更经常的情况是它们同时受到另外的一个或多个因素的影响，在这里可以通过对照试验或观察研究来进一步研究。另外，相关是可逆的，而因果则不可以。所以我们分析相关时总是如此谨慎地说，某某变化，与此相关的某某“相应地”如何变化。研究发现，个人收入与教育水平相关，高教育水平是不是高收入的原因呢？实际情况是它们相互影响：教育水平高的人收入一般较高，收入高的一般也更有能力获得继续教育的机会。虽然相关不是因果，然而有时我们并不需要弄清所有的因果关系，盯住输入和输出，只要存在相关，即使不是因果关系也不妨碍人们利用这种关系来进行推断。比如利用公鸡打鸣来预报太阳升起，虽然公鸡打鸣绝对不是日出的原因(虽然打鸣发生在先）。

在对两变量的相关关系有一定了解后，接下来的自然想法便是拟合回归模型。“回归”这一词来自于高尔顿的父子两代身高的研究，身高较高的父亲其儿子的平均身高要比父亲矮些，身高较矮的父亲其儿子的平均身高要比父亲高些，用高尔顿的话说就是“回归到平常”。虽然现在统计学上的“回归”这一概念已经远远超出的当时的定义，但是回归的原始思想依然有着非常重要的作用。“回归”，个人认为其实就是向中心的回归。在知道某地区18-24岁男子的身高的大致情况时，如果没有其他信息，让我们估计该地区中某一特定区域18-24岁男子的平均身高时（当然不是侏儒或篮球运动员之类的人），自然是用平均数（包括中位数）去估计了，这便是回归，没有其它的辅助信息时我们总倾向于平均值，这当然是符合统计思想的。两个变量的相关系数绝对值为1时，那么知道一变量的值就立即知道了另一变量的值；相关系数为0时，那么知道一变量的值对预测另一变量没有任何意义，那么我们就估计其值为平均值；相关系数绝对值介于0与1之间时，相关程度越大，我们越不倾向于取平均值。其实回归模型也是基于平均意义的，让我们来看看回归的本质（暂以两个变量x和y为例），回归是对每一个x值的y的平均值的估计，所以用回归模型来预测或估计总是平均意义的（这也是回归的思想），而针对某个特别的个体的预测则就需要非常的慎重了。

有这样一个例子，某学前班在儿童入学和结业时均要做智商测验，结果发现前后两次测验的分数平均都接近于100分，标准差为15分。但是仔细观察发现入学分数低于平均值的儿童结业时分数平均提高了5分，相反入学分数高于平均值的儿童结业时分数平均降低了5分，难道学前班会使儿童的智商平均化？其实没那么夸张，这只是回归效应的一个表现，只要两次测验分数的散点图中所有点不在同一条直线（这条直线的斜率为1）上，那么就会存在回归效应。观察得到的数据并不是真实值，都有或大或小的、或正或负误差，在大多数对称的概率分布中，观察值大于平均值的往往是其真实值加上了一个正的机会误差，观察值小于平均值的往往是其真实值加上了一个负的机会误差。所以在那个学前班中，入学分数较平均分低的儿童其真实分数一般是大于观察值的，因此在结业时的分数一般是要比入学时高，因为在向观察值的平均值，即真实值回归。

相关与回归是一定范围内的相关与回归，超出范围没有任何意义（经常实践的人应该会很少犯此类毛病的吧）。回归其实并不能增加信息量，它是一种结论（结论的准确性还有待评价），或对数据以某一种方式的总结，超出范围的估计预测是没有任何意义的。收入与教育水平有关，无休止的教育显然不会带来收入的持续的增加，所以人为地改变一个变量，希望通过回归模型的“魔力”来改变另一个变量是很荒谬的。另外，变量也是有范围或区域限制的，因此在使用回归模型做预测时是要非常谨慎的。

现在研究的回归往往都是多元回归，往往比较复杂，其实这是符合实际情况的，因此往往要用多个变量作为因子来拟合，但是这些变量是不是考察某一方面的较好指标呢，比如收入与教育水平有关，还可能与父母的社会地位有关，那这个“父母的社会地位”这一因子又该如何度量呢？这又是一个问题，尽管多元回归是一种非常有用的技术，但是永远代替不了对数据间内在关系的了解。由此可见实践经验的重要性!