关键字 |
| 本体推理、多点触控、多用户应用程序 |
介绍 |
| 视频搜索引擎是进步的结果在许多不同的研究领域:视听特征提取和描述,机器学习技术,以及可视化、交互和用户界面设计。当前视频的搜索引擎是基于词汇的语义概念和执行基于关键字的查询。 |
| 这些系统不允许用户进行复合查询,可以包括时间概念和关系不允许寻找不在词典的概念。此外,桌面应用程序需要最终用户计算机上安装,不能使用在分布式环境中,而基于web的工具只允许有限的用户交互。 |
该系统 |
| 本文提供了一个完整的系统由我)一个视频搜索引擎,允许为不同领域语义检索的内容(可能与不同的本体建模)和查询扩展和本体推理;ii)基于web的接口交互查询com-position,档案浏览、注释和可视化;iii)多触摸实实在在的接口有一个协作自然交互的应用程序。 |
| 在图1中。后的本体建模动态丰富绘画的本体模型,包括概念和视觉概念原型。这些原型代表了不同的视觉形式的概念可以体现;他们可以选择由用户执行查询的例子,使用MPEG-7描述符(例如颜色布局和边缘直方图)或其他领域特定的视觉描述符。概念、概念关系视频注释和视觉概念原型定义使用标准的Web本体语言(OWL),本体可以很容易地重用和共享。 |
| 例如考虑查询工具”“找到照片:专门化扩张通过推理概念在本体结构允许检索车辆的照片注释,以及那些an-notated概念的专门化(如卡车,汽车,等等)。特别是,WordNet查询扩展,使用同义词,使用自由文本查询时是必需的,因为它是不可取的,迫使用户制定一个查询选择只有从一个预定义的词汇。 |
| 基于web的用户界面基于网络的搜索system3 Sirio,基于富Internet应用程序模式(RIA),不需要安装任何软件,非常敏感 |
| GUI接口允许也检查和使用本地视图本体的图,在构建查询时,为了更好地理解一个概念是如何与他人,因此建议用户可能查询的成分的变化。 |
| 为每个查询结果显示第一帧的视频剪辑。这些框架从视频服务器获得,并显示在一个小的视频播放器。用户然后可以播放的视频序列,如果感兴趣, |
| 这个接口是基于一些图形元素的典型web 2.0的接口,比如标签云。用户开始选择“标签云”概念,比本体描述视频导航领域,表现为与不同类型的关系图,并检查包含实例的视频剪辑的概念作为注释。用户可以选择一个概念从本体图建立一个高级搜索界面随时查询。 |
| 有形的用户界面MediaPick是一个系统,允许语义搜索和组织多媒体con-tents通过多点触控交互。它有一个高级用户为中心的交互设计、开发特定的搜索活动的可用性原则,它允许用户在桌面合作关于特定主题,可以探索,由于本体的使用,从一般到具体的概念。用户可以浏览本体结构以选择的概念和启动视频检索过程。之后他们可以检查结果一定由Orione视频搜索引擎并组织根据他们特定的目的。一些面试潜在的结束——用户的档案进行RAI,意大利公共广播,以研究工作流和收集建议和反馈;目前意大利广播电视公司记者和档案可以搜索公司dig-ital库通过一个基于web的系统。 |
| 这提供了一种简单的关键字搜索基于文本描述的存档视频。有时,这些描述不是很详细的或非常相关的视频内容,从而使文档很难找到。所需的认知负荷的有效利用系统往往使记者委托他们的搜索活动的档案可能是不熟悉的话题,因此很难选择正确的搜索关键词。MediaPick设计的目标是提供广播编辑人员直观和协作搜索界面,可视化和组织视频结果存档在巨大的数字图书馆与自然相互作用的方法。 |
| 用户界面采用一些常见的可视化原则来源于信息可视化的纪律和配备一组交互功能旨在提高终端用户系统的可用性。GUI由概念视图中,选择一个或多个关键字从本体结构和使用它们来查询数字图书馆,结果视图,显示从数据库返回的视频,这样用户可以导航和组织提取的内容 |
| 视图的概念包括两个不同的交互元素:本体图,上面,探索的概念及其关系,和控制器模块,保存选中的概念和切换到结果视图。用户选择从本体查询图的概念。图的每个节点包含一个概念和一组关系。可以选择的概念,然后保存到控制器,而关系可以列出触发相关的概念,又可以扩展和选择;然后一个循环的圆不断重复着。所示的相关的概念只是当触发一个精确的关系时,为了减少视觉元素的数量同时在接口中。 |
| 每个视频元素有三种不同的状态:闲置、回放和信息。在空闲状态的视频关键帧和标签可视化表示的概念用于查询。在回放状态的视频开始播放的帧选择概念注释。更长的接触视频元素的激活状态的信息,显示一个面板和一些元数据(相关的概念、质量、时间等的视频。 |
| 结果列表的底部有相关的所有概念视频的结果。通过选择一个或多个这些概念,是为了提高过滤返回的视频剪辑信息检索过程。用户可以从结果列表中选择任何视频元素,并将其拖动修筑。这个动作可以重复用于其他视频,返回的相同或其他查询。视频的列表可以放置在屏幕上移动时,调整大小或玩。一群视频可以通过收集创建两个或两个以上的视频元素来定义结果的一个子集。每组可以操纵单个元素通过上下文菜单:它可以扩展显示列表的元素或为了取消组发布的视频。 |
体系结构 |
| 系统后台和搜索引擎目前基于开放源码工具(例如Apache Tomcat和红色5视频服务器)或免费的商业工具(Adobe媒体服务器有一个免费的开发者版)。视频直播流媒体视频使用RTMP协议。搜索引擎是在Java开发的,支持多个本体和本体推理服务。本体结构和概念实例序列化设计,这样可以同时执行多个本体推理,没有减慢检索;这个设计可以避免创建查询时需要选择一个特定的本体与google的接口。发动机也被设计为适应面向服务的体系结构,以便它可以被纳入可定制的搜索系统,除了Sirio Medi-aPick, IM3I和euTV项目中开发的。视听概念是自动使用IM3I和euTV自动注释的引擎。搜索结果产生在RSS 2.0的XML格式,使用分页,这样他们可以被任何RSS阅读器工具用作饲料,可以订阅一个特定的搜索。基于web的界面和多点触控界面开发Flex + Flash,根据富互联网应用程序范例。 |
| 多点触控MediaPick利用多点触控技术中选择各种方法自2004年以来,我们的实验室实验[2]。我们的解决方案使用一个红外LED阵列作为一个覆盖标准LCD屏幕之上的能力全高清分辨率)。多点触控叠加可以探测手指和物体表面触摸使用TUIO协议并发送信息的速度每秒50包。MediaPick架构是由一个输入层经理与姿态槽服务器套接字通信框架和核心逻辑。后者负责连接到web服务和媒体服务器,以及在屏幕上呈现的GUI元素。 |
| 输入管理模块是由TUIO调度员:该组件负责接收和派遣TUIO消息发送的多点触控手势框架覆盖服务器套接字。这个模块是能够管理输入发送的事件管理器,将其转化为命令手势的框架和核心逻辑。 |
| 多点触控接口背后的逻辑需要字典的手势允许哪些用户执行。可以看到每个数字对象表面上像一个活跃的可触的区域;为每个活动区域的一组定义手势交互,因此是有用的链接每个联系的活动区域是封闭的。为此每个活跃的区域都有自己的触摸,并允许通过解释手势识别的相关行为。所有上面提到的用户界面的行为引发了自然手势选项卡。1所示。 |
| 手势动作 |
| ——选择的概念 |
| ——触发控制器模块 |
 |
结论 |
| 本文提出了两个语义视频搜索系统基于web和多点触控多用户接口。 |
| 未来的工作将进一步处理接口的发展,尤其是考虑到新的HTML5技术,广泛的测试的实实在在的用户界面和彻底的两个系统的比较。 |
数据乍一看 |
 |
 |
| 图1 |
图2 |
|
|
引用 |
- r s Amant和c·g·希利。可用性指南in-teractive搜索直接操纵系统。在Proc.国际联合会议上人工智能,卷2,页1179 - 1184,旧金山,CA,美国,2001年。摩根Kaufmann出版商公司。
- s . Baraldi a .女人和l . Landucci。自然交互桌面。多媒体工具和应用程序(MTAP) 38:385 - 405, 2008年7月。
- m·贝尔蒂尼a . Del男人g·塞拉,c . Torniai r . Cuc-chiara c·基粒和r . Vezzani。动态en-riched绘画的本体为数字视频库。IEEE MultiMe-dia, 16(2): 42-51, 4月/ 2009年6月。
|
菜单
