数据管理技术的发展历程

数据管理活动是伴随着数据的产生而产生的。可以说,数据管理经历了一个漫长的过程。从技术角度来说,数据管理技术的发展大体可归为3个阶段。 人工管理阶段(20世纪50年代中期以前),计算机主要用于科学计算,...
阅读全文

Spark与Hadoop的比较

Spark是在借鉴了MapReduce之上发展而来的,继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷,具体如下: 首先,Spark把中间数据放到内存中,迭代运算效率高。MapRedu...
阅读全文
数据清洗的基本原理 大数据

数据清洗的基本原理

数据清洗是发现并纠正数据文件中可识别的错误的最后一道程序,包括对数据一致性的检查、无效值和缺失值的处理。 数据清洗的原理是利用有关技术如数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据(...
阅读全文

数据采集有哪些常用方法

(1)系统日志采集方法 很多互联网企业都有自己的海量数据采集工具,多用于系统日志采集,如Hadoop的Flume、Kafka的Sqoop等,这些工具均采用分布式架构,能满足每秒数百MB的日志数据采集和...
阅读全文
GeoGebra软件的数值类对象 大数据

GeoGebra软件的数值类对象

GeoGebra的数值类对象有数字、角度、布尔值,它们都可以看作是用一个单纯的数表示的。 1 数字 数字是GeoGebra中最基本的对象类型,包括整数、有理数、实数(GeoGebra不能直接表示复数,...
阅读全文
GeoGebra软件的几何类对象 大数据

GeoGebra软件的几何类对象

GeoGebra中的几何类对象是指欧式空间中的几何图形,其涵盖了平面几何和立体几何中的常见对象。几何类对象的操作是GeoGebra中最常用的功能。GeoGebra的工具栏提供了数量众多的几何工具图标,...
阅读全文
数据管理系统的发展历史 大数据

数据管理系统的发展历史

数据管理系统是人们用来组织、存储和检索数据的技术。人们管理和存储数据最早是使用“打孔卡”的方式来实现的。图1-1展示了在IBM 402上使用的穿孔卡片,其历史可以追溯到100多年以前。1890年,赫尔...
阅读全文

主数据管理(MDM)的具体内容

主数据管理主要包括数据建模、数据整合、数据发布和数据监控四个方面。 数据建模 数据建模阶段主要是完成以下几项工作。 ·创建结构:根据对主数据的设计,在系统中建立主数据的相关结构,包括主数据分类、主数据...
阅读全文