Apache Flume的特点与工作原理 大数据

Apache Flume的特点与工作原理

Apache Flume的特点与工作原理 Apache Flume(http://flume.apache.org/)是一个分布式的海量数据收集系统,同时具备推送和拉取两种数据收集方式,还可以支持发送...
阅读全文
什么是网络爬虫:网络爬虫的工作原理 大数据

什么是网络爬虫:网络爬虫的工作原理

什么是网络爬虫:网络爬虫的工作原理 互联网的发明催生了互联网站,世界上第一个网站http://info.cern.ch/是由英国人蒂姆·伯纳斯-李(Tim Berners-Lee)于1991年8月6日...
阅读全文

查询分析计算模式:什么意思、特点特征

查询分析计算模式:什么意思、特点特征 查询分析计算模式是为了解决对大规模数据的关联与查询分析问题而产生的。 传统的数据查询分析以结构化数据为主,因此关系型的数据库系统可以一统天下。 但是,大数据时代往...
阅读全文

图计算模式:什么意思、特点特征

图计算模式:什么意思、特点特征 图计算模式是以图论为基础,用图结构表述现实世界,基于大规模图结构的计算模式。 大数据运算中的许多应用核心是关联性计算,图计算模式能够良好地表达数据之间的这种关联性。 现...
阅读全文

流式计算模式:什么意思、特点特征

流式计算模式:什么意思、特点特征 流式计算模式是针对流数据的高实时性计算模式。在一些应用中,数据价值随时间的流逝而降低,因此最好在事件出现时便立即对其进行处理,而不是缓存起来进行批处理。 2011年,...
阅读全文

批处理计算模式:什么意思、特点特征

批处理计算模式:什么意思、特点特征 批处理计算模式是通过并行计算方式实现针对大规模数据的批量计算的,其典型产品有MapReduce、Spark等,这些产品均提供庞大且设计精良的并行计算软件框架,可以自...
阅读全文

大数据的发展历程

大数据的发展历程 至今,人类社会经历过两次“数据爆炸”。东汉元兴元年(公元105年)宦官蔡伦改进造纸术,以及北宋庆历时期(1041—1048年)民间艺人毕昇发明活字印刷术,使得图书进入了普通百姓家,从...
阅读全文

大数据产生的原因

大数据产生的原因 从字面上看,大数据就是数量巨大的数据,或者称为海量数据。实际上,大数据是一个较为抽象的概念,数量巨大只是其中的一个表面的特性。大数据是网络信息时代的客观存在,其产生的意义并不在于掌握...
阅读全文

统计分析与数据挖掘的主要区别

统计分析与数据挖掘有什么区别呢? 从实践应用和商业实战的角度来看,这个问题并没有很大的意义,正如“不管白猫还是黑猫,抓住老鼠才是好猫”一样,在企业的商业实战中,数据分析师分析问题、解决问题时,首先考虑...
阅读全文

数据存储技术的发展历程

数据存储技术的发展历程 1951年:Univac系统使用磁带和穿孔卡片作为数据存储。 1956年:IBM公司在其Model 305 RAMAC中第一次引入了磁盘驱动器。 1961年:美国通用电气公司(...
阅读全文

Tableau的功能与特点

Tableau的功能与特点 Tableau是桌面系统中最简单的商业智能工具软件之一,它不强迫用户编写自定义代码,新的控制台可完全自定义配置。Tableau控制台灵活,具有高度的动态性,不仅能够监测信息...
阅读全文

QlikView的功能与特点

QlikView的功能与特点 QlikView是一个完整的商业分析软件,使开发者和分析者能够构建和部署强大的分析应用。QlikView应用使各种终端用户以一个高度可视化、功能强大和创造性的方式,互动分...
阅读全文

Power BI的功能与特点

Power BI的功能与特点 Power BI是一套业务分析工具,用于在组织中提供见解。它可连接数百个数据源,简化数据准备工作并提供专门分析。它可生成美观的报表并进行发布,供用户在Web和移动设备上使...
阅读全文

Intelligent Miner的功能与特点

Intelligent Miner的功能与特点 由美国IBM公司开发的数据挖掘软件Intelligent Miner是一个分别面向数据库和文本信息进行数据挖掘的软件系列,它包括Intelligent ...
阅读全文

数据挖掘和统计学的关系

数据挖掘和统计学的关系 数据挖掘并不是对统计学的代替。实际上,统计学是对数据挖掘的很好的补充。经典的统计学技术,如回归与数据挖掘技术、神经网络一起应用。统计学也可用于验证数据挖掘结论。 显然,统计学和...
阅读全文

数据挖掘与OLAP的关系

数据挖掘与OLAP的关系 在比较成熟的系统中,数据分析过程都是基于以数据仓库为基础,OLAP (On-Line Analytical Prolessing,在线分析处理)和数据挖掘相辅相成的分析模式。...
阅读全文

数据的稳定性和波动性:什么意思

数据的稳定性和波动性:什么意思 稳定性和波动性是一对反义词,在数据分析的很多领域,我们都更关注数据的稳定性,比如,在工业生产领域,我们关心产品质量的稳定程度,都不希望产品质量一会儿好一会儿坏。 同样,...
阅读全文

如何成为数据分析高手

在工作中接触数据比较多的朋友,由于提高工作效率的需要,或者考虑到职业发展前途,经常会关心一个问题:我怎么样成为一个数据分析高手?这种想法非常自然,如同一个下围棋的人经常会想“我怎么样成为围棋高手”一样...
阅读全文

什么是数据采集:数据采集的难度

什么是数据采集:数据采集的难度 数据采集指为了保证数据分析能够顺利展开而进行的数据采集工作。数据采集工作的难度、跨度非常大,有的采集工作非常简单,仅仅是几个简单的邮件、电话,就能够完成数据的采集工作;...
阅读全文
使用序列模型进行数据挖掘的例子 数据挖掘

使用序列模型进行数据挖掘的例子

使用序列模型进行数据挖掘的例子 下面介绍一个使用序列模型进行数据挖掘的例子。 图15-1所示的是超市购物信息数据集,第一列是交易时间,第二列是顾客编号,第三列是购买商品信息,例如,在1993年6月10...
阅读全文