大数据的幕后推手:麦特卡夫定律,大数据价值是用户创造的
在地球任意地方捡起一块石头,都可以验出铁元素。但是,说全世界遍地都是铁矿纯属扯淡(胡扯)。只有石头中铁含量超过一定比例,而石头数量又达到相当规模,这堆石头才能称为铁矿,人们才会对它产生投资开采的兴趣。只有铁矿石埋藏不是太深,开采和运输的成本不是太高,市场有长期稳定的购买需求,对铁矿开采的兴趣才会变成行动,成为一种有利可图的商业活动。
当这个世界还有人在为争一口面包吃而大打出手时,另一些人却早已将贪婪之口张向了另一种粮食——数据。人是铁,饭是钢——在这个时代,人们相信,储备了数据的公司或机构,就是最强大的钢铁组合。在这一轮的攻城略地中,它将碾过一切障碍,打碎一切枷锁,用数据打造一个全新的世界。这就是大数据时代,数据(奥巴马口中的“未来的石油”)就是它的能源。
如果埋藏在档案馆中,数据永远只是一堆数据;而如果放在开放平台上,就有可能被深度挖掘,变成有用的信息。人类历史上最早的一批城市都诞生在河边,河流为人类提供了食物、水和交通。而我们要做的,就是创造一条数据的河流,来滋养信息经济的发展。哦,多么痛的醒悟!
数据不仅在“量”上疯狂地增长着,而且在“源”上不断地丰富着。目前世界上产生的数据,有近80% 是由个人用户产生的。据估计,到2020年全球将有500 亿个设备连入网络,地理位置、网络浏览行为、健康数据甚至基因信息等,都将成为技术为个体服务的有效资源,这也意味着商家对每一个用户都将有精准的了解,真正做到与客户的“零距离”接触。正是这种巨大的商业利益的驱使,使得大数据成为国际一流企业竞相投入使用的竞争利器。
例如,国外的一家丹麦风力公司Vestas,通过使用超级计算机以及大数据模型解决方案,精确定位其风力发电机,以达到最大发电量,并减少能源成本。从全球天气系统中收集的数据,与公司现有发电机的数据结合,存储于风库中。目前,该公司的风库存储有2.8 PB数据,这些数据涵盖地面至 300 英尺高空的气温、气压、空气湿度、空气沉淀物、风向、风速以及公司的历史数据记录。另外,该公司还增加全球森林砍伐追踪图、卫星图像、地理数据以及月相与潮汐数据。
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1 MB,2000年是10 MB,2003年是100 MB,2008年是1GB(1 GB等于1 024 MB),2014年将是10 GB。2001年,互联网流量累计达到1 EB的时间需要1年;2004年,产生同样的网络流量仅需要1个月;2007年,达到这一目标的时间是1周;2013年,互联网1天产生的流量就超过1 EB,即一天产生的信息量可刻满 1.88 亿张 DVD 光盘。数据可以转变成金钱。开源分析机构Wikibon预计,2012年全球大数据企业营收为50亿美元,未来5年的市场复合年增长率将达到58%,因而2017年将达到500亿美元。
我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50 TB(1 TB等于1 024 GB),存储量40 PB(1 PB等于1 024 TB)。百度公司目前数据总量接近1 000 PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求和几十PB数据。一个8 Mbit/s的摄像头1h能产生3.6 GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
麦特卡夫定律可表述为:
网络价值以用户数量平方的速度增长,即网络价值等于网络节点数的平方,即 V=n2(V为网络总价值,n为用户数或节点数)。该定律表明:如果一个网络中有 n 个人,那么网络对于每个人的价值与网络中其他人的数量成正比,这样网络对于所有人的总价值与n×(n-1)=n2-n成正比。如果一个网络对网络中每个人价值是1元,那么规模为 10 倍的网络的总价值等于 100元;规模为 100 倍的网络的总价值就等于 10 000元。网络规模增长10倍,其价值就增长100倍。
许多人会问:“麦特卡夫是谁?”他是以太网之父,是3Com公司的创始人,如图1-24所示。麦特卡夫出生于纽约,父亲是位航空技师。小学四年级时,老师要每个人写一篇读书报告。交作业的前一天晚上,他才心急火燎地跑到父亲的地下室,书架上一本黑色的书吸引了他,这是 MIT (Massachusetts Institute of Technology,麻省理工学院)教授编写的电气工程手册。麦特卡夫看不懂,但也硬编出一份读书报告,而且还写道:“将来我要上MIT,要拿一个电气工程的学位。”结果报告得了一个高分。
果然,麦特卡夫以全校第二名的成绩考入了MIT,也果真拿到了电气工程的学位,另外还辅修了一个管理的学位。研究生阶段,麦特卡夫进入了哈佛大学。在那里,他先拿到了一个应用数学的硕士学位,接着还想拿一个计算机学的博士学位。当时麦特卡夫想亲手将学校连到刚刚新建的ARPA(Advanced Research Project Agency,美国高级研究计划署)网上,但哈佛校方认为一个研究生不知天高地厚,断然拒绝了他。于是麦特卡夫就到MIT找了一份工作,负责制作硬件,可将MIT的小型机联上ARPA网,这个硬件就是接口信息处理器(Interface Message Processor,IMP)。 麦特卡夫被ARPA网迷住了,他以此作为博士论文的课题。但奇怪的事情终于出现了。哈佛判了个不及格,说是工程过多,理论不够。 正巧,麦特卡夫的父亲离开坎布里奇去了纽约。他就对父母封锁消息,给PARC(Palo Alto Research Center,帕罗奥多研究中心)计算机实验室的主管鲍伯・泰勒打了个电话:“我的论文没通过。”泰勒的反应是:“过来吧,到这里继续你的工作。”
1972年,他加入了施乐公司PARC研究所。麦特卡夫一边在PARC工作,一边到华盛顿培训军事人员使用 ARPA 网。每次去华盛顿,他都住在老朋友史蒂夫・克洛克家。史蒂夫在国际部工作,是ARPA网的程序管理员。他家客厅里有一把睡椅,那是一把十分关键的睡椅。麦特卡夫躺在上面,无意中翻起一本 1970年信息处理协会的会议论文集,里面谈到一个基于无线电的分组无线电广播网络——Aloha 网,是由夏威夷大学开发的。麦特卡夫发现里面有不少错误。他找到并纠正了Aloha网模型中的错误,并作为论文修改后的一部分。由于学位论文理论性很强,因而他终于顺利拿到了哈佛的博士学位。
回到PARC,研究人员正在研制第一台个人计算机Alto和第一台激光打印机EARS。他们需要一个网络将PC与PC以及PC与打印机连接起来,要有每分钟传输60页、500点阵的信息量。这项任务交给了麦特卡夫。最初,麦特卡夫将该网络称为“Alto Aloha 网络”。后来他在更改名字时,运用了“流明以太”的概念,以太是科学家曾经推想的在太空中传递电磁波的介质。1973年5月22日,麦特卡夫永远不会忘记这个日子。这一天他发表了题为《Alto 以太网》的备忘录。里面有以太网如何工作的设计简图。那是 Ethernet (以太网)第一次作为一个完整的词出现。
他起名时想到了19世纪物理学家在解释光穿越空间时所构想的那类发光媒介,就叫以太。1973年11月11日,系统真正开始工作了。施乐制造了数百个以太网卡,用于在公司内部访问实验室的中央小型计算机,或者访问ARPANet、收发电子邮件、玩游戏以及共享文件。
20 多年来,以太网击败了IBM 令牌网等多种竞争技术,并且将传输速度从3 MHz提升到今天的1 GHz,一个最重要的原因就在于麦特卡夫的坚韧不拔以及他的个人魅力。他发明了以太网,但更重要的是他将以太网确立为开放的标准。1982年,以太网终于成为IEEE 802 标准。
1979年6月,他离开 PARC,创办了 3Com。3Com 代表“Computers(计算机)、Communication(通信)、Compatibility(兼容性)”。公司一开始的业务是替通用电气、德州仪器和Exxon等公司部署以太网。但不久,他就认识到公司应该生产自己的产品。1980年秋,他拿着商业计划书去找风险投资家。1981年2月,慧眼识马的Mayfield 基金很痛快地给了麦特卡夫120万美元,买下3Com公司三分之一的股份,而且给他物色了一位经验丰富的来自惠普的比尔・克劳斯帮助运作公司,后来比尔一度担任3Com的CEO(Chief Executive Officer,首席执行官)。
由于迟迟未决的标准之争,加上产品线定位不明,整个 20 世纪 80年代,3Com都在努力抗争,自然也引发公司内部的权力斗争。1990年,3Com 公司董事会发生了一场内战。结果麦特卡夫丢城失地,被迫出走。丢掉CEO乌纱帽的麦特卡夫接受了英国剑桥大学的荣誉,从事学术生涯。但只待了一年,他就厌倦了校园生活,杀回西海岸。“当时我想在《信息世界》开个专栏,主编却不给我。但他们需要一个出版人,我就走马上任,结果十分成功,两年半时间利润上升了两倍半。于是,我就可以写专栏了。当出版人是我得到专栏的唯一途径。”
麦特卡夫对出版颇有好奇心,他学得很快。也正是他的到来,迎来了《信息世界》的复兴。后来,他卸掉了出版人的角色,开始专心致志写文章,也开始更多地介入 IDG (International Data Group,国际数据集团)的策略。他担任了IDG 技术副总裁,并且成为IDG的董事。
有记者问他什么是未来网络计算的最终发展方向,麦特卡夫毫不犹豫地说:“无线宽带,永远在线(Wireless Broadband,Online Always)。”我们也真切希望,麦特卡夫的思想也能够“无线宽带,永远在线”。