多模态认知计算

来源 :中国科学:信息科学 | 被引量 : 0次 | 上传用户:mmtt001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类利用视觉、听觉等多种感官理解周围环境,通过整合多种感知模态,形成对事件的整体认识.为使机器更好地模仿人类的认知能力,多模态认知计算模拟人类的“联觉”(synaesthesia),探索图像、视频、文本、语音等多模态输入的高效感知与综合理解手段,是人工智能领域的重要研究内容,也是实现“通用人工智能”的关键之一.近年来,随着多模态时空数据的海量爆发和计算能力的快速提升,国内外学者提出了大量方法,以应对日益增长的多样化需求.然而,当前的多模态认知计算仍局限于人类表观能力的模仿,缺乏认知层面的理论依据.本文从信息论角度出发,建立了认知过程的信息传递模型,结合信容(information capacity),提出了多模态认知计算能够提高机器的信息提取能力这一观点,从理论上对多模态认知计算各项任务进行了统一.进而,根据机器对多模态信息的认知模式,从多模态关联、跨模态生成和多模态协同这3个方面对现有方法进行了梳理与总结,系统地分析了其中的关键问题与解决方案.最后,结合当前阶段人工智能的发展特点,重点思考多模态认知计算领域面临的难点与挑战,并对未来发展趋势进行了深入分析与展望.
其他文献
<正>序论1925年3月12日,孙中山于北京逝世。当时他已经在中国历史上留下了不朽的业绩。虽然他所志向的革命尚未完成,但是推翻了中国两千多年的封建统治,建立了亚洲最早的共和国。对于这一伟业,是不容置疑的。但值得注意的是,各界对于他逝世的反响,并不全是对他一生的赞赏之词。也就是说,他所留下的"尚未成功"的"革命",尤其是最后几年间他所推行的
会议
“两山”理念提升了我国各级各地政府对生态价值的认识和重视,自然资本核算在全球学界研究及应用已进入新的阶段。如何开展常态化的核算与应用,如何将科研分析转化为管理制度,成为该领域新的研究命题。深圳积极响应中央政府要求,开展生态系统服务价值核算,服务生态治理,在全国(乃至全球)率先制定了第一个政府GEP核算制度体系。介绍了深圳GEP核算制度体系的建设过程,描述了深圳GEP核算的主要特点,以及“十三五”期
黄河水资源是河南沿黄地区经济社会发展的重要支撑资源,为解决水资源总量不足、引黄水网工程体系不健全、水资源利用效率不高、体制机制不完善等问题,解析从“忧患之河”走向“幸福之河”的具体路径,提出遵循“十六字”治水思路根本要求,立足河南黄河实际,通过政府供给侧管理和市场需求侧管理“两手发力”,充分发挥生态系统生产总值(GEP)核心要素水资源的综合价值,推动河南早日建成黄河治理和生态保护示范区、水资源节约
本文运用文献资料法、逻辑分析法,在了解体育家庭作业的概念和特征以及学校体育改革的基础上,对体育家庭作业的价值意涵、实践探索进行分析,进而提出了体育家庭作业高质量发展的保障措施。研究认为:体育家庭作业具有培养三维健康人才、推动全民健身深化发展、贯彻"教会、勤练、常赛"理念的重要抓手三方面的价值意涵,从布置途经和内容设置、具体量度要求、评价阐述了体育家庭作业的实践,基于实践需求提出:加强顶层设计,学校
土石坝技术属于水利水电工程建设的主要技术,为满足水利水电工程建设需求,依靠石料压实方式进行高质量大坝的建设,技术水平和经济性能均比较高。分析指出:必须从土石坝施工的整体情况出发,明确土石坝技术在规划阶段、运输和挖掘阶段、压实阶段及筑坝阶段的施工要点,明确具体的施工流程和施工方式,规避施工过程中可能发生的问题,把握工程建设的整体工序和流程,提升土石坝技术的压实程度,优化防渗漏措施处理,以不断促进土石
本研究以中国某官方媒体网站上的一则关于HPV疫苗的科学新闻为基础,设计了以信息框架(增益框架、损益框架)和叙事类型(情节叙事、人物叙事)为核心的实验,对336名女性进行了问卷调查,以探讨不同信息框架和叙事类型下的科普效果。研究发现,当采用人物叙事的叙事类型时,增益框架的表达方式更能提高公众感知易感性的健康信念,进而更能促进人们采纳健康行为。研究结果加深了对健康科普内容有效性的理解,对提高公众的健康
我国体育文化历史悠久,在璀璨的历史长河中,中国体育文化绽放异彩。冰雪体育文化具有一定的特殊性,受到季节性因素、地域性因素与民族性因素的影响,在新的发展时期,加强对冰雪文化传播意义和路径的研究,成为了有关部门工作的重点。该文以冰雪文化传播相关策略进行具体分析。
<正>2020年1月6日,浙江万丰奥威汽轮股份有限公司(简称"万丰奥威")在互动平台表示,公司作为特斯拉全球一级供应商,主要为其供应镁合金部件,铝合金轮毂业务也在对接之中。目前万丰奥威三大业务主要为铝合金轮毂、镁合金压铸件和环保涂覆加工。万丰奥威一直致力于高端铝合金轮毂研发、制造、销售,通过不断
期刊
随着大数据技术的发展,企业的创建、生产和经营活动的全过程数据都得以记录。如何利用海量的企业数据,挖掘出有价值的企业信息,是企业经营者、政府机构、投资人等共同关心的问题。本文针对医药制造业A股上市公司,从多渠道收集企业数据,根据行业和企业特点建立企业评级指标进行企业画像,并在此基础上开展企业营业收入预测的研究。主要的工作内容如下:(1)首先设计企业画像框架,并将营收预测作为应用层融入设计框架中。随后
如何理解孝道、《孝经》,现代新儒家内部并不一致。与熊十力,徐复观强调孔孟孝道与《孝经》所陈孝道绝然不同,孔孟以及后来的宋明理学家都不是所谓孝治派,历史上所谓的孝治派实由《孝经》开其端。《孝经》“中于事君”的观念,混同了事亲与事君,从而造成了对孝道思想的歪曲。徐复观回应了“五四”时期的非孝思潮,肯定了孝道和家庭在现代生活中的伦理和政治意义。徐复观的探索有多方面的思想启示,在现代哲学的视域下,孝与家既