随着Web的高速发展,互联网上的多媒体信息也在急速增加,人们对多媒体信息检索和挖掘的需求也就随之而来,Web多媒体挖掘的出现正好满足了这些需求。Web多媒体挖掘是指通过综合分析视听特性和语义,从大量的多媒体数据中发现隐含的、有价值的和可理解的模式,得出事件的趋向和关联,为用户提供决策支持。多媒体挖掘主要是针对图像、音频、视频以及综合的多媒体数据进行分析的,其包括图像挖掘、音频挖掘和视频挖掘等类型。
(1)多媒体挖掘的主要方法。
主要的多媒体挖掘方法包括多媒体索引和检索、多媒体数据泛化和多维分析、多媒体数据的分类与预测以及多媒体数据的关联分析等。
1)多媒体索引和检索。
多媒体索引和检索系统有两大类:一类是基于描述的检索系统,这种系统会根据多媒体的描述,例如根据关键字、标题、大小和创建时间等建立索引,从而进行相关的操作;另一种则是基于内容的检索系统,利用多媒体数据(如颜色、纹理、形状和对象等)进行检索。两种系统的不同之处在于第一种系统需要大量的人力进行抽取,而第二种系统可以利用可视化特征进行多媒体索引,并能根据特征相似性检索对象。
2)多媒体数据泛化和多维分析。
多媒体数据的挖掘在本质上是对多媒体数据库的挖掘。在对多媒体数据库进行操作时,我们需要设计多媒体数据立方,尤其是为大型的多媒体数据库进行多维分析的时候,这种设计的需求会更高。具体的方法和从关系数据库中设计传统数据立方相似,但多媒体数据立方还可以包含如颜色、纹理、形状等多媒体信息的附加维和度量。
3)多媒体数据的分类与预测。
在多媒体数据挖掘的过程中会使用分类与预测的方法。多媒体数据挖掘中的分类方法是按照事先定义的标准来对数据进行分类,主要分为决策树归纳法、规则归纳法、神经网络法等。在聚类方法上,根据某些属性,可以将多媒体对象的集合分组成若干类。经过聚类分析后,属于同一类数据之间的相似性尽可能大,而不同类别数据之间的相似性尽可能小。
4)多媒体数据的关联分析。
关联分析是用相关系数来度量变量之间的相关程度,用线性回归与非线性回归的数学方程来表达变量之间的数量关系。相关度计算公式如下:
从图像和视频数据库中可以挖掘关联规则。涉及多媒体对象的关联规则一般可以分为以下几类:图像内容与非图像内容特征之间的关联,没有空间关系的图像内容之间的关联以及有空间关系的图像内容之间的关联。
(2)多媒体挖掘系统的体系结构。
多媒体数据挖掘是一个较新的研究领域,其典型体系结构如图12-3所示。
图12-3 Web多媒体挖掘系统的典型体系结构
图12-3中多媒体挖掘系统的结构组成部分如下。
1)预处理。
多媒体数据挖掘中预处理的主要作用是利用内容处理技术,从大量的多媒体数据或多媒体数据库中提取有效的元数据。这步操作可以有效地筛除无用的数据,获取多媒体数据的有效特征,使数据便于挖掘算法处理。常见的多媒体数据结构化处理包括图像分割、音视频分割、视觉听觉特征提取和运动特征提取等。
2)多媒体数据库和元数据库。
多媒体数据库或大型的多媒体数据集包含的多媒体数据十分庞大,有的可能包含几十万张图片、上千小时的音视频甚至更多。它们之间的结构与元数据库中的描述相关联,便于可视化表示和存取。
3)挖掘引擎。
因为多媒体数据与传统数据在很多方面有着不同,除了预处理这种适合处理常规数据挖掘的方法外,还需要适合多媒体数据挖掘的方法。而挖掘引擎内含一组挖掘算法,可以对元数据库和多媒体数据库进行挖掘处理,如进行图像集、音频集的分类或聚类。
4)用户接口。
用户接口为用户提供与多媒体挖掘系统的交互接口。因为多媒体有视听特性,从元数据库中挖掘出的模式能够以可视化方式呈现,而且挖掘的过程也可以用可视化的导航方式来引导用户发现有价值的知识。