大数据产生的原因

2020年11月2日08:54:32大数据产生的原因已关闭评论

大数据产生的原因

从字面上看,大数据就是数量巨大的数据,或者称为海量数据。实际上,大数据是一个较为抽象的概念,数量巨大只是其中的一个表面的特性。大数据是网络信息时代的客观存在,其产生的意义并不在于掌握庞大的数据量,而在于对这些数据进行专业存储和处理,并从中挖掘和提取所需要的知识和信息。

技术突破来源于实际的产品需求,如果将大数据比作一种产业,那么降低存储成本,提升运行速度和计算速度,以及对数据进行多维度的分析加工,实现并提升数据的价值,这是大数据这种产业实现盈利的关键,也是大数据产生的真正原因。

1. 存储成本的大幅下降

以往存储数据的成本非常高,许多大型的互联网公司各自为政,为了保证数据的存储安全性和传输通畅性,需要进行定期维护和数据清理,机房部署和人力成本昂贵。新型的数据存储服务出现后,衍生了很多新的商业模式,集中建设数据中心,大大降低了单位计算和存储的成本。现在建造网站已经不需要购买服务器,也不需要聘用管理人员,通过大数据云计算的商业模式即可获得资源,而存储成本的下降,也改变了人们对数据的看法,更愿意将久远的历史数据保存下来。有了这些数据的沉淀,人们才会想着如何加以利用,通过时间对比,发现其价值与关联。

2. 运行、计算速度的提升

20世纪90年代,传输一个20MB的文件需要花费约一天的时间,如今仅需数秒即可完成传输。分布式系统框架Hadoop、Spark、Storm,并行运行机制HDFS、MapReduce,为海量数据提供了计算的便利性,大大提升了对原始数据进行清洗、挖掘、分析的运行效率,使得数据的价值得到进一步提升。

3. 脑力劳动的解放

今天我们看到的AlphaGo的获胜,以及Siri、微软小冰等智能对话,其背后都有大数据的支撑。也就是说,大数据让计算机变得更加智慧,大数据为计算机灌输了人类的思想,大数据带来了智慧的价值,从而有效解放了人类的脑力劳动。

  • 版权声明:本篇文章(包括图片)来自网络,由程序自动采集,著作权(版权)归原作者所有,如有侵权联系我们删除,联系方式(QQ:452038415)。