文档介绍：项目名称:
数字媒体理解的理论与方法研究
首席科学家:
李波北京航空航天大学
起止年限:
2010年1月-2014年8月
依托部门:
中华人民共和国工业和信息化部
一、研究内容
拟解决的关键科学问题
针对数字媒体理解存在的媒体对象复杂性、媒体数据规模化、应用需求多样化等挑战问题,本项目根据人类媒体认知的特点、媒体对象固有的特性和媒体计算应有的特征,凝炼出以下三个科学问题。
关键科学问题之一:媒体认知具有的层次性、整体性
──如何符合媒体认知的特点?
Marr理论认为,人类认知可分为底层特征、几何模型、语义描述等三层,具有鲜明的层次性。在微观方面,神经生物学发现从初级视觉皮层到高级视觉皮层具有显著的层次性,这揭示了复杂视觉对象如何自下而上地从基本特征开始逐步特征化、抽象化。然而,媒体理解所涉及的层次化描述与表征、结构化分析方法等方面研究不足,需要进一步深化。
Gestalt心理学理论在宏观上强调知觉组织的整体化效应。同时,神经生物学发现在视觉信息处理通路上存在自上而下的调控,以此实现对初级皮层信息处理过程的调整与结果的整合。然而,媒体理解在整体性感知的计算模型、语义融合与描述等方面研究不足,有待进一步加强。
然而,大量的形态学证据表明,大脑皮层间不仅存在着上行的前馈投射(提示层次性整合),还存在着大量从高级皮层向初级皮层的反馈投射(提示整体性调节),提示层次性与整体性两种机制在大脑皮层的认知过程中是密不可分、难以割裂的。目前涌现出来了一批新型光学成像技术,能够实时地研究大范围、多尺度、活体大脑皮层的功能与形态,提供了将层次性与整体性结合起来研究的技术手段。因此,当前是推进层次性与整体性结合研究的良好时机。
为此,本项目将媒体认知具有的层次性、整体性凝炼为第一个关键科学问题,将研究媒体的认知建模。
关键科学问题之二:媒体对象固有的多义性、多态性
──如何反映媒体对象的特性?
数字媒体底层特征与高层语义之间的“语义鸿沟”,是数字媒体理解面临的根本障碍,而其根源之一是媒体对象本身所固有的多义性。例如,一幅图像包含多个对象,不同的对象或对象组合可能承载了不同的语义;对不同的用户而言,其感兴趣并
“注意”的内容不同,因此,虽然这幅图像以相同的形貌呈现在用户面前,但不同用户对其语义的理解会不同。
数字媒体对象是典型的多模态数据,其固有的多态性使得分析单模态信息与综合多模态信息所产生的语义理解之间可能存在偏差,利用不同模态的相容互补性将有助于澄清仅考虑单模态所难以明辨的语义。然而,如何充分有效地对多模态信息加以关联利用,是一个尚未解决的难题。
为此,本项目将媒体对象固有的多义性、多态性凝炼为第二个关键科学问题,将研究媒体的信息表示。
关键科学问题之三:媒体计算应有的协同性、高效性
──如何满足媒体计算的需求?
媒体认知具有的层次性和媒体对象固有的多态性,一方面要求在同一层次上各模态之间通过横向融合实现多模态信息的有效补充与利用,另一方面要求每种模态在不同层次之间通过纵向关联实现特征间的映射与支持,从而形成规模化的立体数据处理。若在计算上缺乏有效的协同机制,则难以充分利用媒体对象的多层和多态信息。
对多模态高维异构媒体数据的处理涉及复杂的计算过程,需要较大的计算开销;加之媒体数据量往往巨大,进一步加重了计算的负担;而且在很多应用中对媒体数据的处理要求较高的实时性,这更加使得高效的计算过程极为重要。因此需要有媒体数据高效处理的计算方法,否则难以满足实际需求。
为此,本项目将媒体计算应有的协同性、高效性凝炼为第三个关键科学问题,将研究媒体的计算技术。
主要研究内容
针对媒体认知具有的层次性、整体性这一关键科学问题,本项目将基于初级与高级视皮层的层次性框架,揭示视觉表征自下而上的逐级抽象,以及整合后自上而下对初级皮层的调控机制,建立相应的计算视觉模型;研究媒体对象的层次化表示理论,建立整体性感知的计算模型,完善媒体对象层次化表达与描述框架。主要研究内容包括:
(1)复杂视觉刺激在视觉皮层的功能组织模式
(2)模拟皮层功能柱阵列的计算模型及其效能分析
(3)基于整体性认知机理的计算模型
(4)基于层次性描述的语义标注
针对媒体对象固有的多义性、多态性这一关键科学问题,本项目将分析媒体数据多义性的形成机理,建立面向多义性对象的机器学****理论与方法;研究多模态异构高维特征的内在规律,形成上下文关联的多模态高维异构数据描述模型,建立多模态高维异构数据的特征提取与描述的理论和方法。主要研究内容包括:
(1)多义性对象的表示与建模
(2)多义性对象的计算学****理论和高效算法
(3)高维异构特征数据的描述与处理
(4)多模态关联特征的提取与表达方法
针对媒体计算应有的协