C.R.Rao: 统计学的一百年

编者按：本文首发于郭旭教授的个人公众号：郭老师统计小课堂。

近日，统计学知名期刊《International Statistical Review》发表了Nandini Kannan和Debasis Kundu撰写的《C. Radhakrishna Rao: A Century in Statistical Science》。说起C.R.Rao，学过统计的应该都知道C-R不等式和Rao-Blackwell定理。而在中文世界里，他的“在终极的分析中，一切知识都是历史；在抽象的意义下，一切科学都是数学；在理性的世界里，所有的判断都是统计学”这段话也非常出名。今天我们就跟随这篇文章一起品读C.R.Rao所经历的统计学一百年。

这篇文章概述了C. R. Rao这位百岁老人的传奇人生。他的一生经历了Pearson，Fisher也经历了大数据和人工智能。他的一生就是统计学的一百年。Rao现在还健在，他将继续见证统计学的第二个一百年！

1. Rao的早期时光

Rao出生于1920年9月10日，是家中的第八个孩子。他的父亲是一名巡警，很快认识到Rao在数学方面的天赋并鼓励他从事研究工作。他的母亲在Rao小时候每天四点喊他起床读书。这对他的非凡事业产生了深远的影响。在20岁时，Rao获得了数学硕士学位。由于战争的缘故，很难找到和数学相关的工作，Rao申请了军方调查局的一个职位。在这个过程中，他前往Calcutta，而这次旅行彻底改变了他的职业生涯。

在机缘巧合下，Rao和一个曾到Calcutta参加统计学培训项目的年轻人进行了一次交谈。在认识了印度统计研究所(ISI)的一些研究人员同时了解了一些正在进行的项目后，Rao确信这个统计学培训项目不仅能够提高他的就业前景还能提供一个继续做研究的机会。就这样，Rao带着妈妈给的每月30卢比在1941年1月1日进入了ISI。

传奇科学家、数学家和统计学家Prasanta Chandra Mahalanobis对Rao的一生产生了非常重要和深远的影响。Mahalanobis在ISI被特指为“Professor”。在剑桥读物理学时，Mahalanobis偶然看到了Biometrika的一期复印本（Biometrika是由Karl Pearson，Francis Galton和Raphael Weldon一起创建的，现仍是统计学领域最顶尖的四个期刊之一。）统计学在当时正逐渐成长为一门新的学科，而Mahalanobis很快就意识到统计学在很多应用领域的潜在显著影响。Mahalanobis回到印度之后在1931年创建了ISI。

Rao在这里结识了当时ISI非常杰出的研究人员，比如R. C. Bose, S. N. Roy, K. R. Nair,和A. Bhattacharya等。在刚刚加入ISI几个月后，Rao和K.R.Nair就发表了关于混淆设计的论文！在此期间，Rao以87%的最高得分记录获得了Calcutta大学的统计学硕士学位。

对于一个23岁的年轻人来讲，无论从哪个角度，Rao的硕士论文都是一个非凡的工作。这篇硕士论文有三部分，第一部分关于实验设计共有119页，第二部分的28页关于多元检验，最后一部分42页关于二元分布。实际上，他的硕士论文完全达到了博士学位论文的水准。他的论文有很多原创性的贡献，比如给出了挪威经济学家Ragnar Frisch所提问题的一个解决方案。而这部分成果在1947年发表在Econometrica！

2. 1945-创造传奇的突破性文章！

Rao在1945年发表的文章"Information and accuracy attainable in the estimation of statistical parameters" Bulletin of the Calcutta Mathematical Society, Vol.37, No.3, pp.81-91, 1945为他的传奇人生增添了重重的一笔。这篇只有10页的论文表述简洁论证优美，却呈现了统计推断中两个基础性的结果并且孕育了信息几何这个领域。

2.1 Cramer-Rao不等式-信息界

在20世纪20年代早期，R.A.Fisher引入了Fisher信息这一概念。Fisher信息$I(\theta)$可用来测量一个随机样本$X_1,\cdots,X_n$包含未知参数$\theta$的信息量。它测量对数似然函数的期望曲率；对数似然弯曲程度越大，数据就能提供更多关于参数的信息。Fisher证明对于极大似然估计的渐近方差存在一个下界。

在1945年的文章里，Rao证明对于任意无偏估计，它的方差都大于等于Fisher信息的倒数。这个结果通过巧妙地利用Cauchy-Schwarz不等式进行了论证。同一时期，瑞典数学家Harold Cramer也独立地建立了信息不等式并把该结果收录在他于1946年发表的书籍《统计学的数学方法》当中。

Cramer-Rao下界(CRLB)在几乎所有科学和工程领域都有重要的应用。文献当中有很多推广比如量子CRLB和贝叶斯CRLB。Dembo, Cover和Thomas(1991)综述了信息理论中的各种不等式及其和数学和物理等领域中的不等式的联系。他们进一步展示了Weyl-Heisenberg不确定性准则可以从Cramer-Rao不等式得到。

2.2 Rao-Blackwell定理

在1945年所著文章当中建立的第二个基础性结果涉及利用充分统计量来提高估计量的效率。Rao在文章中指出“如果对于参数$\theta$，存在一个充分统计量及一个无偏估计，那么最优无偏估计量一定是充分统计量的一个函数"。严格地，这个结果表明，如果$g(X)$是未知参数$\theta$的一个估计，那么将$g(X)$对充分统计量$T(X)$取条件期望能够有更小的均方误差。在1947年的一篇文章中，David Blackwell证明了同样的结果。这一结果被称为Rao-Blackwell定理，而将一个估计替换为相应的条件期望这一过程被称为Rao-Blackwell化。这一经典结果也有很多现代化的应用。Doucet et al. (2000)利用Rao-Blackwell化来提高不同动态贝叶斯网络粒子滤波的效率。Robert and Roberts(2021)则讨论了Rao-Blackwell化在Gibbs抽样以及更一般化的MCMC中的应用。

2.3 微分几何和统计：信息几何的开端

Rao在1945的文章提出了不同概率分布之间距离或者散度的概念。这是早期少数一篇利用微分几何来研究概率模型并创建了信息几何这一新的领域。Rao将参数族视为黎曼流形同时把Fisher信息矩阵看作是相应的黎曼度量张量。他提出用黎曼度量所诱导的测地线距离作为两个概率分布差异性的度量。黎曼测地线度量也被称为Fisher-Rao距离。

Efron(1975)关于统计曲率的研究使得微分几何方法在主流统计学研究中开始起到越来越重要的作用。而在近些年，信息几何在优化、机器学习和深度学习等领域的作用越来越大。

在此期间，剑桥大学的一位人类学家J. C Trevor向Mahalanobis询问能否委派ISI的一名专家到英国进行一些人类学方面的数据分析。由此命运的另一个转折将开启Rao的人生新篇章。

3. 剑桥——和Fisher一起的岁月

Rao于1946年到达英格兰并入读剑桥大学国王学院，跟随现代统计学的创始人Ronald Aylmer Fisher攻读博士学位。Fisher在1925的文章”统计估计的理论“构建了统计推断的基石。这篇文章当中引入了大量基础性的概念比如相合性、充分性、有效性、Fisher信息、极大似然估计和最优性。Efron (2003)在他的文章”统计世纪“中写道：”我把1925年看作是统计从巧妙的技术运用变成连贯的学科的一年"。

到了20世纪40年代，Fisher已到剑桥工作并被冠名为遗传学的Balfour讲座教授。Fisher同意作Rao博士论文的指导老师，但前提是Rao需要到Fisher的遗传实验室工作。于是Rao的一天被排满了：早上到考古学和民族学博物馆分析骨骼数据，晚上待在遗传学实验室，其他时间则用来攻读博士学位。

3.1 1948： 得分检验——第二篇突破性文章！

在Fisher的遗传学实验室工作过程中，Rao意识到同质性检验的必要性，而他同时也引入了一个新的基于得分函数和信息矩阵的统计量。

Rao回忆起当时的情景：他给Fisher看他写得得分统计量的手稿，但Fisher坚持要求Rao必须在实际数据上展示统计量的表现才行。根据Fisher的建议，Rao将得分统计量应用于报春花的关联数据当中并将文章投稿到Fisher所创办的期刊Heredity。而另一篇发展得分统计量的理论基础和性质的文章则在1948年发表于Proceedings of the Cambridge Philosophical Society。

Rao所提的得分统计量现今已成为每一个统计学家和实际工作者的工具。Neyman和Pearson的似然比，Wald统计量以及Rao的得分统计量经常被称为统计学的三位一体。

Rao在剑桥过得非常充实，不仅跟随Fisher学习遗传学，还从Bartlett学习随机过程，研习冯·纽曼和摩根斯坦的“博弈论与经济行为”，也参加辩论会。

尽管Fisher较少直接参与Rao的工作，他对Rao事业的影响仅次于Mahalanobis。和Mahalanobis一样，Fisher意识到数据和实际应用在统计方法发展中的重要性。Efron (2003)曾写到：“没人能比Fisher在统计学的内涵（数学基础）和外延（统计方法）以及它们的融合方面做得更好。他的理论框架总能天衣无缝地和重要的应用衔接起来。在Rao的100岁诞辰纪念文稿中，Efron写到”Rao在延续Fisher的统计传统方面，的确是Fisher的学生"。

Mahalanobis和Fisher都是非凡的人物，对工作极度热情，但又经常不知妥协。他们坚信统计研究应当受实际应用所驱动，他们理解应用是如何催生新的理论的发展，同时他们意识到数据质量的重要性。Rao认为他们是他人生道路上的引导力量。

Rao在1948年8月回到ISI并在1949年7月被授予教授职位。当时他还不到29岁！

4. 1950-1978: Rao和印度统计研究所

1947年印度从英国独立之后面临很多经济和社会挑战。Mahalanobis相信数据和统计方法是解决这些挑战的关键，能够帮助政府做出更合理的决策。印度第一任总理同时是Mahalanobis的朋友，尼赫鲁也这样认为并任命Mahalanobis担任印度政府的统计顾问。尼赫鲁的支持对于印度统计研究所ISI成为一个全国性重要研究所是非常重要的。

在Mahalanobis的领导下，ISI逐渐成为一个世界级组织。他能够识别人才并促使他们来ISI工作。同时他明确国际合作的价值，经常邀请知名专家来访问ISI。R. C. Bose和S. N. Roy前往美国之后，Rao已成为ISI实际上的第二号人物。

Rao回国后的第一个工作是完成他的著作“生物学研究中的高级统计方法“。这是一本关于多元统计方法及其应用的入门书籍。同时Rao开始指导博士生。他的第一个博士生是Basu。Basu从1950年开始读博士，1953年获得博士学位。在后来的岁月里，Basu将对统计推断做出基础性的贡献，其中包括众所周知的Basu定理。

在ISI期间，Rao基本保持同时指导5-6个博士生，而且涉及统计学完全不同的领域。其中包括抽样调查(A.C. Das, Des Raj)，多元分析(J. Roy)，质量控制(A. Mathai),特征化(R. G. Laha), 实验设计 (I. M. Chakraborti), 方向性数据 (J.S. Rao), 组合和图理论(U.S. R. Murthy, S. B. Rao)。基于他在剑桥所习得的知识和见解，他同时还指导学生从事统计遗传学(D. C. Rao, K. Dronamraju, Ranajit Chakraborty), 概率论和随机过程(S. R. S. Varadhan, V. Varadarajan, K. R. Parthasarathy)以及博弈论 (T. Parthasarathy, T.E.S. Raghavan)。在对他而言相对较新的领域，他会让学生仔细阅读相关文献并撰写综述。他非常善于在不同领域之间建立符合直觉的联系并提供独特的解决途径。

在以ISI为中心的印度统计学，1930-1960这段时期经常被指为统计学的”黄金年代“。ISI邀请了一系列知名学者来访，其中包括Norbert Weiner, Ragnar Frisch, John Kenneth Galbraith, J. B. S. Haldane, Walter Shewhart, A. N. Kolmogorov以及J. L. Doob。Rao鼓励研究所的老师和博士生要抓住这些难得的机会，去主动了解统计学和相关学科的新领域。这段时期的学术氛围可以说是非常活跃的。

为了满足政府和工业界的需求，Rao更新了ISI的培训项目，增加了关于统计质量控制和工业统计的课程。在1953年，ISI增加了一个新的统计质量控制的分会来给工业界提供咨询服务。这段时期的一位访问人员是日本的一位工程师和统计学家Genichi Taguchi。在二战后，他和Edward Deming一起帮助日本的公司采用了质量控制的原理。Rao关于正交表的工作对于稳健设计的发展以及工业试验标准的制定起到了非常关键的作用。

Rao同时还主导了国际统计教育中心的培训项目。他还参与了全国抽样调查的设计和规程的制定。

为了促进计量经济学和数量经济学的教学和研究，在1960年成立了印度计量经济协会。Rao是其中一个首创者。Ragnar Frisch是挪威经济学家，他在1969年和Jan Tinbergen共享了第一届的诺贝尔经济学家。同时他也是计量经济学在20世纪30年代创立时的其中一位创立者。Rao发表在Econometrica的文章对Frisch关于结构方程所提出的一个特征化问题提出了一个解决思路。Rao的很多工作都对经济学的发展起到了很大影响。

在1953年，Rao前往University of Illinois at Urbana-Champaign (UIUC)做了为期一年的访问研究教授。在此期间，Rao参加了编程课程。返回ISI后，Rao开始推广计算机在印度的使用。但由于很多人担心自动化会导致失业从而极大地延缓了计算机的使用。多年后，Rao说：“我们失去了基于复杂计算来发展统计方法的大好机会”。

尽管有很重的行政事务，Rao仍然坚持科研工作。他开始写一本统计学基础的新书。这本发表于1965年的书籍“线性统计推断及其应用”现今已成为统计学专业学生的必读书籍。同时Rao在Mahalanobis之后担任Sankhya期刊的主编。

Mahalanobis在1972去世后，Rao开始担任ISI的领导者。之后Rao被任命为“尼赫鲁教授”。在匹兹堡的另一次机遇将再次改变他的职业生涯。

5. 在美国的岁月

在1978年，Rao在匹兹堡大学担任Mellon冠名教授，后来又在俄亥俄州立大学担任访问教授。这两所大学都提供给他永久职位。Rao当时已接近60岁，而60岁在印度大多数机构是强制退休的年龄。接受美国大学的邀请能够使他精力集中在研究方面，并书写他的事业的新篇章。

碰巧，Rao的儿子Veerendra决定转学到匹兹堡大学去完成工程学士学位。于是Rao接受了匹兹堡大学的邀请，并于1979年秋天成为了数学和统计学系的教授。

尽管该系当时有很多顶尖的数学家，但在20世纪70年代统计学方面的教师却很少。为增强统计学方面教学和科研的实力，该系在1976年聘请了P. R. Krishnaiah。Krishnaiah是多元统计分析方面的权威。他在荣特-帕特松空军基地以数理统计学家的身份工作了多年。他是Journal of Multivariate Analysis (JMVA)的创刊主编，是统计手册丛书的主编，同时组织了多个国际会议。

在美国海空军的资助下，多元统计分析中心在1982年成立。Krishnaiah和Rao能够拿到美国空军的很多大型研究基金来资助多元分析、模式识别和信号处理等领域的基础和应用研究。他在匹兹堡大学吸引了大批学者前往匹兹堡进行交流访问。

Krishnaiah在1987年因为癌症去世。Krishnaiah去世后，Rao开始主持中心的事务以及JMVA的编辑工作。宾州州立大学统计系说服Rao作为第一个Eberly讲座教授加入统计系。Rao在1988年到了宾州州立大学统计系工作。

Rao从1988年一直到2001年退休一直担任统计系的Eberly讲座教授，并于2009年担任荣休教授。退休后，Rao担任Buffalo大学生物统计系的研究教授。

6. Rao的研究贡献

Rao开创性的贡献涉猎理论和应用统计学几乎所有领域以及很多包括经济学、电子工程、人类学和遗传学等众多学科。这里对Rao的一些工作进行概述。

6.1 概率分布的刻画

在某一天他偶然读到了H. V. Allen撰写了一篇文章，Rao开始对特征化问题产生兴趣。这篇文章对以下由Ragnar Frisch所提的问题给出了一个解决方案。该问题如下：若两个随机变量$X_1,X_2$满足

$$X_1=a\xi+\alpha, X_2=b\xi+\beta$$

在什么条件下，$X_1对X_2$的回归是线性的。这里$\xi,\alpha,\beta$是独立变量而$a,b$是未知常数。Rao的结果建立了允许$\xi，\beta$方差无穷的充分必要条件。这部分结果是Rao硕士论文的一部分，并于1947年发表在Econometrica。他在这方面的研究给出了Poisson, gamma, 一元多元正态，无穷方差稳定分布的重要刻画。

6.2 广义逆

Rao考虑了在正则方程中的矩阵奇异时最小二乘的一般性理论。在1955年的文章中，Rao提出了奇异矩阵伪逆的概念。同一年，Roger Penrose在Proceedings of the Cambridge Philosophical Society发表了”矩阵的广义逆“。Roger Penrose在2020年获得了诺贝尔物理学奖。尽管Rao所提伪逆不满足Moore-Penrose的限制，但Rao的伪逆对于最小二乘在一般情形下提供了一个答案。

6.3 多元统计分析

在Mahalanobis距离的计算中，涉及协方差矩阵的逆。在矩阵较大时，在当时是不易求解的。Rao对此提出了一种简化求解的方法。在跟随Fisher攻读博士学位期间，Rao将Fisher对分类问题的工作进行了推广。

在1948年，Rao将一元方差分析推广到多元情形。Rao发展了多元方差分析当中常用统计量Wilk $\lambda$ 的近似方法。

在分析一些二元数据时，Rao发现不管基于Mahalanobis距离还是Hotelling $T$统计量都没有显著性，但边际检验却有显著性。Healy将这种现象称为Rao悖论。这也反映了维数诅咒问题。

Rao将方差分析进行了推广，提出了多样性分析，在生态学、社会学和经济学等学科有很多应用。

Rao还研究了如何确定因子个数。

除此之外，Rao还对生长曲线分析、主成分分析、方差成分估计等都有很多基础性的贡献。由于在多元统计分析方面的贡献，Rao在1989年被授予Samuel S. Wilks纪念奖。

6.4 统计信号处理

在匹斯堡大学工作期间，Rao和Krishnaiah从美国空军获批了很多项目来从事信号处理方面的理论和方法研究。美国空军感兴趣于如何提出有效的统计方法来分析来自多个传感器的含噪音的信号。Rao带领他的团队发展了相应的参数估计、假设检验、模型选择以及有效算法等。

Rao的远见：大数据时代的统计

在长达接近80年的职业生涯中,Rao不仅见证了统计学逐渐发展成一门独立的科学学科，而且是为数不多的统计学基石的建立者之一。他明白，对于统计学来讲，要想维持一个有影响的学科，统计学必须适应不断变化的世界。

在二十世纪的前半部分，统计学的基础是通过运用强大的数学和概率论工具发展的。Efron在他的文章”统计世纪“中，把这段时期称为统计学理论的黄金年代。在这篇文章里面，Efron还写到“具有像Fisher, Neyman, Pearson, Hotelling, Wald, Cramer和Rao那样才智的人将统计学理论引向成熟”。

在和Mahalanobis以及Fisher的工作中，Rao意识到由实际应用驱动的研究的重要性。到了二十世纪50年代，Rao开始体会到计算机和计算方法在统计方法发展中的关键作用。作为一个具有极端预见性的科学家，Rao预见了大数据革命以及由数学、统计学和计算机科学所构成的交叉学科。在2007年，他建立了C.R. Rao数学、统计学和计算机科学前沿研究所(AIMSCS)。Rao持续拓展统计学的边界来解决大数据时代和人工智能中的挑战问题。