不平衡数据分类问题中的数据具有许多传统模式分类方法没有考虑到的特征，从而引发了一系列传统模式分类难以解决的问题。 1 数据稀缺问题 样本分布的不平衡容易导致样本的稀缺。具体地说，稀缺包括绝对稀缺和相对...
典型Web数据挖掘技术有哪些？
什么是Web数据挖掘 Web数据挖掘是数据挖掘在Web上的应用，它利用数据挖掘技术从与WWW相关的资源和行为中发现和抽取感兴趣的、有用的模式和隐含信息，是在分析大量数据的基础上，进行归纳性推理，从而预...
Web数据挖掘的类型及流程
1 什么是Web数据挖掘 Web数据挖掘是数据挖掘在Web上的应用，它利用数据挖掘技术从与WWW相关的资源和行为中发现和抽取感兴趣的、有用的模式和隐含信息，是在分析大量数据的基础上，进行归纳性推理，从...
回归分析的分类
1）线性回归 线性回归（Linear Regression）它是人们最为熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的少数几种技术之一。在该技术中，因变量是连续的，自变量（单个或多个）可...
Web多媒体挖掘的典型应用
随着互联网的高速发展，Web中的数据呈现趋势是多媒体数据越来越多。多媒体数据相比于文本数据能更加立体且直观地把信息传递给互联网用户，因此我们可以预见在未来多媒体数据将会取代更多Web页面中的文本内容。...
数据挖掘
什么是单位根检验（DF检验）？
单位根检验是通过构造统计量进行随机序列平稳性检验最常用的方法。根据平稳序列的性质，如果一个序列是平稳的，那么该序列的所有特征根都应该在单位圆内。由于单位根检验最早是由统计学家Dickey和Fuller...
数据挖掘
什么是自相关图检验？
平稳序列具有短期相关性的特性，只有近期的序列值对当前观测值有影响，间隔越远的历史观测值对当前值影响越小。也就是说，随着延迟期数 k 的增加，平稳序列的自相关系数会比较快地衰减到0，并且在0附近随机波动...
数据挖掘
什么是时序图检验？
图检验是根据平稳序列具有常数均值和常数方差这一性质，主观判断该序列是否具有平稳性。即平稳序列的时序图应该始终在一个常数附近波动，而且波动的范围有界。如果该序列有明显的趋势性或周期性，那么该序列就不是平...
数据挖掘
时间序列的3种类型
1.时间序列定义 通常，我们使用按照时间顺序排列的一组随机变量来表示一个时间序列，即 X 1 , X 2 ,…, X t ,… 其中， t 表示随机变量发生或采集的时间。通过对随机变量的观察，可以分析...
什么是统计分组的穷尽性原则和互斥性原则？
统计分组是对总体各单位的分类，是整理统计资料的方法，也是统计分析的基础。因此，除了在内容各方面必须反映各单位、各组之间的性质差异外，还要在方法上保证资料的完整性和真实性，这是对统计分组的最基本的要求。...
什么是描述型数据挖掘？什么是预测型数据挖掘？
数据挖掘的任务是从数据中发现模式，模式按功能分为描述型挖掘和预测型挖掘。 描述型挖掘是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。它是刻画目标数据中数据的一般性质，概括数据中潜在的联...
ALPPS手术的数据挖掘故事
疾病规律与统计学有先天的联系，这是因为科学的推理与演绎、归纳与总结都离不开大样本的数据支持。只有在大样本的数据支持下作为个案的成功才能被推广为疾病的规律。可推理、可重复、可实验是科学的三大必然要素，其...
什么是医学数据的七种模式识别方法？
模式识别是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。数据挖掘的本质就是模式识别...
什么是医学数据挖掘？
1 数据挖掘的定义 数据挖掘（Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（Knowledge-Discovery in Databases，KDD）中的一个步骤。数据挖掘一...
数据挖掘
决策树处理不同类型的属性时，表示属性测试条件的方法有哪些？
为了使决策树可以处理不同类型的属性，我们必须为每种属性提供测试条件及其对应的输出方法。 （1）二元属性。对二元属性的测试条件只可能产生两种输出，如图4-6所示。 图4-6 二元属性的测试条件 （2）标...
数据挖掘
分类模型的性能比较：如何绘制ROC曲线？
比较不同分类模型性能好坏时，最常用的一种方法是接受者操作特征（Receiver Operating Characteristic, ROC）曲线。ROC曲线是显示分类器真正率和假正率之间折中的一种图形...
数据挖掘
针对不平衡数据的性能度量有哪几种指标？
基于不平衡数据的混淆矩阵，通常会用到下列术语： 真正（True Positive, TP）对应 f 11 ，表示正确预测的正样本数。 假负（False Negative, FN）对应 f 10 ，表示...
分类模型的评估：几种划分原始数据集的方法
分类模型不仅要能够很好地拟合训练数据集，还希望能够很好地预测未知的类标号，于是在评估分类模型的时候，测试模型在检验集上的性能就变得十分有必要了。为了做到这一点，检验记录的类标号必须是已知的。因此，原始...
数据挖掘
数据挖掘中的分类是什么意思？
分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。分类任务的输入数据是记录的集合。每条记录用元组（ X ， y ）表示，其中 X 是属性的集合， y 是一个特殊的属性，是分类的目标属性，称为...
数据挖掘
数据挖掘技术的发展历史
数据挖掘的主要任务是从数据中提取可用的知识，其技术的根源可以追溯几个世纪之前应用数学的启蒙和发展。 大数据架构数据挖掘发展趋势如图1-2所示。 图1-2 大数据架构数据挖掘发展趋势 图1-2的左边展示...