Web多媒体挖掘的典型应用

2024年4月2日10:42:43Web多媒体挖掘的典型应用已关闭评论

随着互联网的高速发展,Web中的数据呈现趋势是多媒体数据越来越多。多媒体数据相比于文本数据能更加立体且直观地把信息传递给互联网用户,因此我们可以预见在未来多媒体数据将会取代更多Web页面中的文本内容。目前在Web挖掘与应用的研究领域,对于多媒体数据的挖掘与利用的研究逐渐成为领域内的热点。在这里我们将分别介绍图像挖掘和视频挖掘的应用。

1)图像挖掘的应用。

原始的图像数据并不能直接用于图像挖掘,所以在开始图像挖掘之前,需要对图像数据进行预处理。预处理的结果是生成一个图像特征数据库,让该数据库中的内容可供高层的挖掘模块使用。图像挖掘技术有图像相似搜索、图像关联规则、图像的分类、图像的聚类。

图像相似搜索是一种需要从图像数据库中提取图像数据集来用于模式发现的技术。在20世纪70年代末就已经出现了基于文本的图像检索。那时的图像检索是使用文本对图像进行标注。随着图像数据规模的快速增长以及在图像标注时的主观性问题,在20世纪90年代初出现了基于内容的图像检索。这种技术利用颜色、纹理、形状等低层可视特征对图像进行相似检索。但基于内容的图像检索使用的图像特征是比较低层的特征,使用这些特征不能完全地表示图像的对象及结构。例如,两张图像的低层特征可能很相似,但实际上两张图像差别很大。为解决以上图像检索问题,出现了一种新的图像检索方法,即基于区域的图像检索方法。该方法用图像的低层特征来对每个对象进行描述,然后将图像用包含的对象作为特征来表示。但目前的图像检索系统尚未采用图像对象的空间关系特征。

图像挖掘涉及的另一项技术是图像关联规则。图像间关联规则的挖掘是在大型数据库中发现兴趣趋势、模式和规则的典型方法。与传统事务数据库中的关联规则相比,图像数据库中的关联规则具有以下特点。

a.以可视特征、图像对象、对象空间关系作为特征表示图像,对应于事务数据库中的项。图像中包含的对象是可以重复的。

b.图像之间的关联涉及对象间的空间关联,如分开、相切、相交、包含、上、下、左、右、环绕等。

c.图像中的关联关系复杂,包含不同层次特征间的关联。

d.可在不同的分辨率下对图像进行关联规则挖掘。例如,先在粗分辨率下对图片进行挖掘,在此基础上再对发现的频繁模式在细分辨率下进行挖掘。

图像的分类是基于图像内容,从大型的图像数据集中挖掘有重要价值信息的方法。图像的语义表示可以通过将图像与不同的信息类别相关联。图像分类是有监督的学习方法,分类的过程可以分为三步。

a.建立图像表示模型,提取样本图像中已进行类别标注的图像的特征,建立每一个图像的属性描述。

b.对每一类别的样本集进行学习,建立描述预定图像概念集或类集的模型,如规则或公式。

c.使用模型对未标注图像进行分类预测和标注。图像分类困难在于低层可视特征和高层语义分类间的映射。

常用的分类方法有判定树、贝叶斯方法、神经网络方法,其他方法包括K-近邻分类、遗传算法分类、粗糙集分类、基于关联规则分类等。

图像聚类是依据没有先验知识的图像,将给定的无类标签的图像集合分为有含义的多个簇,常用于挖掘过程的早期阶段。常用于聚类的特征属性是颜色、纹理和形状。目前已有许多可用的聚类算法,包括基于划分方法、基于层次方法、基于密度方法、基于网格方法、基于模型方法等。图像聚类的一般过程包括:图像表示、特征抽取和特征选择;建立适合于特定应用的图像相似度量;图像聚类;分组生成。

图像聚类完成后,需要专家对每个聚簇的图像进行检查,标注这个簇所形成的抽象概念。

2)视频挖掘的应用。

视频挖掘是对大量的视频数据的一种处理方式,强调对视频进行自适应、无监督的内容处理,试图从中获取有价值的信息,并挖掘视频数据内容及其高层语义隐含的模式或知识。视频挖掘技术不仅涉及计算机视觉和数据挖掘,还与图像处理、人工智能、模式识别等技术相关联。智能算法对视频数据内容的处理可以从很多帧的连续视频数据中提取出视频内容可能表达出的一些模式或知识,在这个过程中可能需要底层的目标识别技术来获得这些模式和知识。视频挖掘与这些学科的侧重点不同,传统的模式识别是把具体事物归入某一类别,而在视频挖掘的方法中,更强调算法的效用。

视频挖掘技术根据挖掘对象可以分为视频结构挖掘和视频运动挖掘。视频结构挖掘首先根据某些视频在内容构造上有结构的特性,以一定的规则算法将视频划分为视频帧、镜头或视频段、场景或镜头组、视频剪辑这样几个层次结构单元;然后提取每个层次结构的可用特征(视觉特征、运动特征或其他特征)和结构单元本身特征之间的特征;最后根据各层次单元的相似性或其他规则,获得视频结构的构造模式以及构造模式可能体现的语义信息,如在镜头内容随时间变化时,特征差别体现出的事件变化模式。视频运动挖掘就是从视频中分割并跟踪运动目标,在此过程中提取运动目标的本质特征和运动特征,以及这些特征之间(视频特征之间、视觉特征与听觉特征之间、目标本身属性与视听特征之间)的特征关联规则或者时空关系,得出运动对象特征的含义,或者运动对象行为趋向和事件模式,由此挖掘视频表达的高层语义信息。视频挖掘技术可广泛应用到知识获取、智能决策、安全管理等应用中,辅助政府机关、企业管理、军事情报和指挥、公共安全、国家安全等方面的指挥决策。

目前,视频挖掘已经成功应用于多个领域。例如视频挖掘可以对监控视频自动检测分析,检测公共场合的拥挤模式以便发现聚众闹事者;自动识别密集人群中的可疑分子或运动目标的非正常行为;自动检查并鉴别上车、乘飞机或进入公共场所的乘客;检测酒店、火车站、商场的客流模式、危险品携带及小偷等;检测交通模式,实时提取交通监控视频流的运动特征、交通状况和拥堵模式等。

  • 版权声明:本篇文章(包括图片)来自网络,由程序自动采集,著作权(版权)归原作者所有,如有侵权联系我们删除,联系方式(QQ:452038415)。