20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。确实，他对人类的贡献超过了一般的诺贝尔获奖者。回顾20世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。
??家庭背景
??克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。
??香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
??2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。
??攻读学位
??1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。
??1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”
??1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。
??在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。”
??特殊癖好
??大家从照片上看，可能以为克劳德·香农是一位文质彬彬的书生。事实上，他有许多爱好，特别令人难以置信的是香农可以熟练地玩一套杂技。不是在舞台上，而是在日常生活中，例如在贝尔实验室的走廊里。
??从MIT到香农宽敞的住宅只有几英里。他的住宅里放满了各种乐器，诸如有5台钢琴、30多种其他乐器，从短笛到各种铜管乐器应有尽有。童年时代，他热衷于装无线电收音机、练莫尔斯电报码、搞密码学等。在Gaylord 上中学时他还当过Western Union 的信使。
??在他的玩具室里，有一个杂耍杰作，由3个丑人一起玩11个环、7个球和5个棍子，通过钟表机构驱动。可见当他还是孩子时就喜爱杂耍，香农的一生都迷恋于平衡与控制稳定性。他的平衡兴趣与能力是十分有名的，一个脍炙人口的故事是他经常骑着独轮车(unbicycle)、手里抛着三个球来到贝尔实验室的大厅。有时他还踩着高跷骑摩托，使同事害怕不已。他发明过有两个座位的独轮车，不过恐怕没有人敢与他共享。他还把独轮车造成偏离地心的，骑在上面忽高忽低，像鸭子行走似的。
??他设计并建造了下棋机器、迷宫老鼠(左图)、杂耍器械以及智力阅读机。下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。他还建造了供孩子们到湖边玩耍的升降机，长约600英尺，设有座位。这些活动表明了香农的主张，即好奇心比实用性对他的刺激更大。他的名言是：“我感到奇妙的是事物何以集成一体。”
??参加工作
??1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。
??人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”
??香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。
??在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。
??信息理论
??1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。
??这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
??香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。
??在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。
??通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。
??熵的概念
??香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。
??众所周知，质量、能量和信息量是三个非常重要的量。
??人们很早就知道用秤或者天平计量物质的质量大小。然而，我们关于热、燃料、功与能的计量问题，迟至19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。
??然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。
??1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。
??但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：
??H=∑-pi log pi
??如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。
??事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。
??科学意义
??于是在20世纪中叶，人类终于对三个非常重要的概念：质量、能量、信息量都有了定量的计量办法。我们应该牢记，为阐明质量概念做出伟大贡献的是发现物体力学定律的牛顿(Sir Isaac Newton，1642-1727)，为阐明能量概念作出伟大贡献的是热力学第一定律的发现者们：迈耳(Julius Robert von Mayer，1814-1878)、焦耳(James Prescott Joule，1818-1899)、赫尔姆霍兹(Hermann von Helmholtz，1821-1894)、开尔文(Lord Kelvin，1824-1907)，而为阐明信息概念作出伟大贡献的就是香农。
??20世纪中期随着原子弹的出现，物理学成为最荣耀的科学学科。在随后的50年里，晶体管、人造卫星、集成电路、电脑的飞跃发展无不与物理学知识的应用有关。但是我们也惊奇地发现这些新技术都是为提高信息的处理能力服务。光荣的物理学家们忙了半个世纪，终于发现自己仅是给信息科学当仆人。信息量能进入物理学吗？但“信息不是物质”！在物理学的版图中人们不知道把信息论放到哪里合适。人类知识体现的这种新的混乱局面需要我们不断地澄清。
??后来，他在人工智能方面也做了许多工作。例如他设计了一个电子老鼠来解决迷宫问题。他还研究过四色问题。他设计了国际象棋程序，发表在1950年的论文《Programming a computer for playing chess》中。1956年在洛斯阿拉莫斯的MANIAC计算机上实现了一个国际象棋的下棋程序。这一年香农还发表论文说明通用图灵机可以仅用两个状态构建。
??荣誉奖项
??克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行立即通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。
??今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神，这是他获得成功的重要经验。
----------------------------------------------------------------
追忆信息论之父－香农博士
2001年2月24日，在步入新世纪仅仅2个月之后，当代最伟大的数学家和贝尔实验室
最杰出的科学家之一，香农（Claude Elwood Shannon）博士在与疾病顽强搏斗了5年之
后不幸与世长辞，享年84岁。
香农博士于1916年4月30日出生在美国密执安州的 Petoskey；1936年毕业于密执安
大学获数学和电子工程学士学位；1940年获得麻省理工学院数学博士学位和电子工程硕
士学位。从1941年起，他加入了贝尔实验室数学部，与当时贝尔实验室的许多著名科学
家们一起工作了十五年，他们当中有现代数字信号处理理论及实践的创始人和先驱者
Nyguist和Hamming博士。1956年之后，香农博士虽然被聘为著名的麻省理工学院的教授，
但一直与贝尔实验室保持着密切联系。
1948年6月和10月，由贝尔实验室出版的科技界著名杂志“贝尔系统技术（Bell
SystemTech）”连载了香农博士的文章———“通讯的数学原理”（Amathematical
TheoryofCommunication）”.从而奠定了信息基本理论的基础。在这篇文章中，他首先
严格定义了信息的位———“熵”（音同商）的概念。在此基础上，他又定义了信道容
量的概念，并给出在不同噪音情况下无失真通信的极限传输速率。这些贡献对今天的通
信工业具有革命性的影响。
下面，我们将通过简单的例子说明这两个现代通信中最基本的概念和原理。“熵”
的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概
率分布的理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如“太阳从东
边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。
下面用一个简单的游戏来说明这个概念及其应用。设有甲、乙两人玩猜谜游戏，甲
先想好一个人或物的名字，写在纸上，藏于盒中。乙问甲有关纸上内容的一系列问题，
例如“是人还是物？”、“是男人还是女人？”、“是不是张三？”……甲仅回答是或
否。乙试图用最少数目的提问就猜出甲所写的人或物的名称。现在的问题是，乙如何最
为有效地设计他（她）的提问？根据熵的概念，问题所分割的事物应该尽量有相同的概
率，也就是说，答案为“是”和“否”的概率应尽量相同，这样乙才能获得最大的信息
量。然后，乙方再根据对方的答案，设计新的问题，逐步缩小搜索范围。所以说，我们
上面列举的前两个提问都是比较好的，而第三个提问（“是不是张三？”）就不是提问
开始时应该问的问题。
在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了
一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导
出的为达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围
干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。
如今，这两个原理现在已广泛应用于信息处理和实际通信中。由于熵表达了事物所
含的信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为
所有无损压缩的标准和极限。
与很多伟人一样，香农有着极其广泛的爱好。他是最早致力于研究电动老鼠钻迷宫
和自动下象棋机器的科学家。正如他自己所说的：“我总是奇怪事物是怎样拼在一起的
？”正是这种好奇心驱使他不断地思考和创新。他非常幸运地在年仅25岁时就被当时的
贝尔实验室数学部主任 T．L．Fry看中，从而在这个世界一流的学术环境里成长，这是
他成功的一个关键。另一方面，贝尔实验室秉承了从古希腊亚里士多德的学院派到中世
纪文艺复兴时代西方现代文明的传统，不断为科学家们创造着开放式的兼容并包的自由
学术气氛，这也是香农得以做出这一划时代贡献的重要原因。
两年以前，贝尔实验室已开始塑造香农博士的塑像。他的塑像将与电话的发明人贝
尔的塑像一起耸立在贝尔实验室大厅入口处供人瞻仰。他的事迹已经载入贝尔实验室的
展览厅中，和数十名贝尔实验室所培养的世界一流大科学家们的事迹一起供人学习。他
们之中有十一名诺贝尔奖获得者，包括两名华人诺贝尔奖获得者崔琦和朱棣文。也有各
种国际工商界大奖的获得者，包括UNIX操作系统和C 语言的发明者。展览中囊括了贝尔
实验室在各个时期的重要发明，如第一台传真机、按键电话、数字调制解调器、蜂窝电
话、通信卫星、高速无线数据系统、太阳能电池、电荷耦合器件、数字信号处理器、单
芯片、激光器和光纤、光放大器、密集波分复用系统、首次长途电视传输、高清晰度电
视。在如此众多的发明之中，展览会突出的信息时代的两项最重要发明就是晶体管和信
息论，而香农博士正是信息论之父。
1998年，在香农还在世但已患老年痴呆症的情况下，国际电子工程师学会（IEEE）
举行了隆重的大会以纪念他的理论发表五十周年。来自世界各地的数百名顶尖科学家们
对他表示了深深的敬意。和世界各地一样，中国的科研工作者也很早就注意到香农的工
作。北京大学的江泽培教授在五十年代就翻译了有关香农理论的小册子；南开大学的胡
国定教授更是身体力行地建立了中国信息论的研究中心。
贝尔实验室正因为拥有诸多象香农这样的伟大科学家而享誉世界。尽管，朗讯科技
与其他高科技公司一样在发展过程中经历着起伏，但对于其创新机构———贝尔实验室
研究部门———的支持和保护却始终不变。正是这种支持使贝尔实验室能够为科研人员
提供一个稳定健康的研究环境，为培养像香农这样的科学家奠定了基础。目前，贝尔实
验室已在世界多个国家设立了研究机构，它的中国研究院在成立不到一年的时间里，已
经和中国广大科研工作者建立了良好的合作关系，并在自身的研究领域中取得了可喜的
进展。贝尔实验室基础科学研究院（中国）将谨守其对于中国的承诺，继续履行其在中
国的使命。研究院与中国科技教育界的合作不变；研究院在科研资金上的投入将比去年
同期有大幅度增长；研究院的规模及涉及的研究领域也将不断扩展。
在中国，从孔夫子的教育思想，春秋时代的百家争鸣，到五四运动时期科学与民主
的精神，以及北京大学蔡元培先生所提倡的兼容并包的办学方针，都有很多优秀的思想
值得借鉴。我们在深切怀念香农博士的同时，也祝愿贝尔实验室在中国的研究机构能结
合古今中外的优秀学术思想，持续地发展，不断地壮大，成为世界一流的研究机构。
（贝尔实验室基础科学研究院〔中国〕供稿）