绑定机构
扫描成功 请在APP上操作
打开万方数据APP,点击右上角"扫一扫",扫描二维码即可将您登录的个人账号与机构账号绑定,绑定后您可在APP上享有机构权限,如需更换机构账号,可到个人中心解绑。
欢迎的朋友
检索详情页
首页 > 成果首页 > 句子语义的视觉表示研究
添加标签
×
已添加(0/5):

推荐标签:

句子语义的视觉表示研究
成果信息
立项支持
  • 公布年份:
    2013
  • 中图分类:
    H030
  • 关键词:
  • 成果简介:
    认知科学的研究表明,人类在语言习得过程中,视觉通道的信息具有重要的辅助作用,许多语言信息源于视觉感知,即所谓语言的视觉接地。该项目研究在视觉信息的基础上建立语言的意义,取得了如下成果:提出了一个基于图像信息的词汇语义习得模型ViMac。该模型建立了基于静态图像信息的词汇意义习得和表示方法,该方法主要关注名词、形容词和方位词。模型的核心部分包括基于Hellinger距离的语义关联度计算、基于混合度量的词聚类、基于多维Hellinger距离的视觉特征选择以及空间方向关系的形式化描述与模糊判定,由此来实现视觉特征和语言词汇的对应。进而,为了能对新图像特征值进行语言描述,提出了一种基于核心成分的视觉语义表征,基于这种表征方法提出了面向新图像特征值描述的复合词生成算法,该算法可生成训练数据中未出现到的复合词以描述训练集中未出现的新图像特征值。在此基础上,实现了一个为静态图像自动生成自然语言描述的系统。提出了一个基于视频信息的动词词汇语义习得模型ViMac-V。针对动词的特点,项目采用框架+论元的语言学结构来构建基于视频特征的动词语义,利用框架来组织视频情景中运动的各种认知属性,而论元则被框架支配来实现对具体运动属性的描述。项目首先基于视觉特征与词共现信息、词性信息以及最小编辑距离进行论元的词类划分,并利用二元语法模型进行动词框架的提取。进而,通过构建自组织神经网络组来实现动词语义与视频信息的关联。其中,基于学习矢量量化的框架激活机制将视频所凸显的反映运动信息的各属性结构与动词框架相关联;而对论元则通过SOM网络将其在视觉空间中范畴化。范畴化后的SOM网络连接了高维视频特征分布和论元词汇,再通过框架支配各个带词汇化标签的SOM子网络,组成不同的动词视觉语义。在该基础上,实现了一个为视频自动生成自然语言描述的系统。完成的ViMac和ViMac-V模型已经部署在机器人平台上。同时,也在模型车上实现了一个基于自然语言指令的车辆行驶控制演示系统,模型车能依据自然语言指令行驶。除了基于认知的语言接地的上述工作,基于语言意义习得的发展性,即语言意义是从儿童时起按某种特定顺序逐步习得的,视觉信息在语言发展中可以为儿童语言习得提供先验知识,该项目同时研究了基于儿童语言习得机理的语言习得计算模型,提出了一种阶段性儿童语言习得模型。
相关论文(与本文研究主题相同或者相近的论文)
我的标签
您可以为文献添加知识标签,方便您在书案中进行分类、查找、关联
请输入添加的标签
公   告

北京万方数据股份有限公司在天猫、京东开具唯一官方授权的直营店铺:

1、天猫--万方数据教育专营店

2、京东--万方数据官方旗舰店

敬请广大用户关注、支持!查看详情

手机版

万方数据知识服务平台 扫码关注微信公众号

万方选题

学术圈
实名学术社交
订阅
收藏
快速查看收藏过的文献
客服
服务
回到
顶部