收藏本站
《中国科学技术大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于神经网络的自然语言语义表达及推理方法研究

刘权  
【摘要】:认知智能旨在实现机器具备像人一样的理解、联想、推理等能力,是人工智能的重要领域。自然语言语义表达与常识推理是认知智能研究的关键任务。自然语言语义表达指的是将自然语言转换成机器可以处理的语义表征形式,是实现自然语言理解的基础。现阶段的语义表达方法主要基于统计分布假设,利用海量文本与统计建模,将自然语言中的语义信息表征为高维稀疏或低维稠密的向量形式。如何提高语义表征向量的精度仍然是当前语义表达研究的关键问题。常识推理关注机器对常识知识的运用以及推理能力。现阶段的常识推理方法仍以马尔科夫逻辑网络、贝叶斯网络等传统概率逻辑推理方法为代表。这些方法往往存在模型结构复杂、先验信息依赖性强、效率低、扩展性差等问题。本文围绕基于神经网络的自然语言语义表达及推理方法,在词语语义表达、面向常识推理的神经网络模型、常识知识库构建方法和自然语言推理系统等方面开展研究工作,具体包括:首先,研究了融合多源信息与神经网络建模的词语语义表达方法。现有词语语义表达方法单一依赖基于海量文本的统计分布假设,受文本噪声和歧义等影响,语义表达的精度不够理想。因此本文提出了融合海量文本与词汇语义知识的语义词向量构建方法和词性信息监督下的词性增强词向量方法,通过在神经网络训练过程中合理利用语义知识库、词性序列等多源信息,提高了单词语义表达精度,取得了多个自然语言理解任务上的性能提升。其次,研究了面向常识推理的神经网络建模方法。针对传统推理方法中存在的事件表达稀疏性与推广性问题,本文将连续语义空间表达引入常识推理,提出了神经联想模型。该模型将大量自然事件映射到连续语义空间中,利用深层人工神经网络实现对事件间联想关系的统一建模,最终完成基于事件联想的常识推理。在多个自然语言理解及推理任务上的实验结果表明,神经联想模型取得了优于现有模型的性能,并且具有良好的知识迁移学习能力。再次,研究了基于海量文本的常识知识库自动构建方法。针对常识知识库稀缺且人工构建代价高的问题,本文提出了基于海量文本的因果知识获取方法。该方法首先定义常用词语词典用于约束常识知识库的构建空间,然后在海量文本上进行核心句抽取与自动分析操作,最终得到大量具有因果关系的短语对作为常识知识库。基于以上方法,本文完成了包含五十余万条因果短语对的常识知识库的构建,为后续的自然语言推理系统构建提供了数据支撑。最后,设计实现了面向认知智能评测的自然语言推理系统。在上述语义表达、常识推理模型、常识知识库构建等研究工作的基础上,构建了面向Winograd Schema Challenge(WSC)评测任务的自然语言推理系统。针对常识推理子任务,设计实现了基于常识知识库和神经联想模型的因果推理系统,首次完成了 WSC因果子集上的自动常识推理;针对指代消解子任务,提出了基于知识增强语义模型的推理方法,采用语义词向量技术将常识知识融入词向量构建过程,实现了缺少任务相关训练数据情况下无监督的语义特征提取与推理,使用该方法构建的系统在2016年的WSC评测中取得了最优的性能表现。
【关键词】:认知智能 自然语言理解 语义表达 常识推理 知识库构建
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP391.1;TP18
【目录】:
  • 摘要5-7
  • ABSTRACT7-16
  • 第一章 绪论16-38
  • 1.1 研究背景及意义16-18
  • 1.2 国内外研究现状18-35
  • 1.2.1 语义表达技术现状18-24
  • 1.2.2 知识推理技术现状24-34
  • 1.2.3 发展趋势34-35
  • 1.3 本文主要内容及组织结构35-38
  • 1.3.1 主要内容35-36
  • 1.3.2 组织结构36-38
  • 第二章 融合多源信息与神经网络建模的词语语义表达方法38-60
  • 2.1 引言38-39
  • 2.2 融合海量文本与词汇语义知识的语义表达方法39-46
  • 2.2.1 语义表达机制39-41
  • 2.2.2 语义知识量化41-43
  • 2.2.3 SWE模型结构43-45
  • 2.2.4 模型训练及优化45-46
  • 2.3 词性信息监督下的语义表达方法46-49
  • 2.3.1 自然语言中的词性46-47
  • 2.3.2 PWE模型结构47-48
  • 2.3.3 模型训练及优化48-49
  • 2.4 实验49-58
  • 2.4.1 SWE实验49-55
  • 2.4.2 PWE实验55-58
  • 2.5 本章小结58-60
  • 第三章 面向常识推理的神经联想模型60-76
  • 3.1 引言60-61
  • 3.2 事件联想的典型特点61-63
  • 3.3 神经联想模型63-68
  • 3.3.1 NAM模型框架63-65
  • 3.3.2 DNN结构与训练方法65-66
  • 3.3.3 RMNN结构及优化66-67
  • 3.3.4 NAM模型的迁移学习策略67-68
  • 3.4 实验68-74
  • 3.4.1 通用实验配置68-69
  • 3.4.2 文本蕴含识别69-70
  • 3.4.3 知识三元组分类预测70-71
  • 3.4.4 常识知识问答71-72
  • 3.4.5 知识迁移学习72-74
  • 3.5 本章小结74-76
  • 第四章 基于海量文本的常识知识库自动构建76-86
  • 4.1 引言76-77
  • 4.2 基于海量文本的因果知识库构建77-81
  • 4.2.1 词典构建77-78
  • 4.2.2 目标知识确定78-79
  • 4.2.3 主要流程框架79
  • 4.2.4 潜在句子搜寻79-80
  • 4.2.5 因果知识抽取80-81
  • 4.3 实验81-83
  • 4.3.1 语料及实验配置81
  • 4.3.2 抽取结果81-83
  • 4.3.3 得分分布83
  • 4.4 本章小结83-86
  • 第五章 面向认知智能评测的自然语言推理系统86-108
  • 5.1 引言86-87
  • 5.2 Winograd Schema Challenge评测任务87-91
  • 5.2.1 Winograd Schema任务88-89
  • 5.2.2 Pronoun Disambiguation Problems任务89-91
  • 5.3 基于神经联想模型的因果推理系统91-95
  • 5.3.1 系统构建动机91-92
  • 5.3.2 系统框图92
  • 5.3.3 实验配置92-94
  • 5.3.4 实验结果94-95
  • 5.4 基于知识增强语义模型的推理系统95-106
  • 5.4.1 系统构建动机95-97
  • 5.4.2 系统框图97-98
  • 5.4.3 知识增强语义模型98-102
  • 5.4.4 PDP问题求解系统102-103
  • 5.4.5 实验配置103-104
  • 5.4.6 实验结果104-106
  • 5.5 本章小结106-108
  • 第六章 总结108-110
  • 6.1 本文的主要贡献与创新点108-109
  • 6.2 后续的研究工作109-110
  • 参考文献110-120
  • 个人简历及在读期间发表的学术论文120-124
  • 致谢124-125

【相似文献】
中国期刊全文数据库 前10条
1 王金夫;自然语言检索的语言逻辑论析[J];图书情报工作;2004年08期
2 谭俊明;;自然语言的理解综述[J];科技广场;2008年05期
3 何祖军;胡静;;自然语言的规范与转化——基于嵌入式系统的描述[J];计算机与现代化;2008年11期
4 刘海涛;关于自然语言计算机处理的几点思考[J];术语标准化与信息技术;2001年01期
5 刘三满,刘荷花;论计算机处理自然语言的新趋向[J];科技情报开发与经济;2002年04期
6 胡广朋;用于计算机辅助教学的自然语言接口[J];微计算机应用;2003年05期
7 张世红;胡佳佳;宋继华;刘会霞;琚文胜;;网络环境下的自然语言检索[J];医学情报工作;2005年06期
8 胡广朋;钱遥立;沈继峰;;一种应用规划识别建立自然语言接口的方法[J];江苏科技大学学报(自然科学版);2006年03期
9 杜津;杨一平;曾隽芳;;自然语言时间信息的模拟与计算[J];计算机工程与设计;2006年13期
10 张雪英;闾国年;宦建;;面向汉语的自然语言路径描述方法[J];地球信息科学;2008年06期
中国重要会议论文全文数据库 前7条
1 胡健;黄丽华;刘杰;;基于自然语言的智能决策支持系统人机接口[A];管理科学与系统科学进展——全国青年管理科学与系统科学论文集(第4卷)[C];1997年
2 盛新华;柳劲;;自然语言否定的语用功能与交际策略[A];改革开放以来逻辑的历程——中国逻辑学会成立30周年纪念文集(上卷)[C];2009年
3 李灵辉;林尔正;林玉婷;林丹红;;基于自然语言检索的中医中风康复古代文献数据库构建[A];福建省图书馆学会2011年学术年会论文集[C];2011年
4 谷明哲;孟小峰;周勇;;中文自然语言查询界面NChiql的Java设计实现[A];第十六届全国数据库学术会议论文集[C];1999年
5 周勇;孟小峰;刘爽;王珊;;数据库自然语言查询系统NChiql中语义依存树向SQL的转换[A];第十六届全国数据库学术会议论文集[C];1999年
6 万继华;;基于哲学本体论的真值演算系统——实现计算机理解自然语言的逻辑方法[A];逻辑学及其应用研究——第四届全国逻辑系统、智能科学与信息科学学术会议论文集[C];2008年
7 才让加;吉太加;;藏语语料库中词性分类代码的确定[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国博士学位论文全文数据库 前6条
1 田飞;用于自然语言分布式表达的联合学习方法研究[D];中国科学技术大学;2016年
2 于墨;自然语言句子级结构表示的建模与学习[D];哈尔滨工业大学;2016年
3 刘权;基于神经网络的自然语言语义表达及推理方法研究[D];中国科学技术大学;2017年
4 李虎;基于本体和规则的受控自然语言系统模型研究[D];华中科技大学;2010年
5 孟小峰;中文数据库自然语言查询处理研究[D];中国科学院研究生院(计算技术研究所);1999年
6 朱少楠;面向地理场景的“文—图—景”转换方法研究[D];南京师范大学;2013年
中国硕士学位论文全文数据库 前10条
1 石亚坤;自然语言的人类理解与机器“理解”对比研究[D];陕西师范大学;2011年
2 刘晓;面向高德地图的自然语言接口语义解析系统设计与实现[D];南京师范大学;2015年
3 孙婷婷;汉语搭配获取方法研究[D];江苏科技大学;2015年
4 徐娟;面向地图搜索领域的自然语言句子査询语义意图理解方法研究[D];复旦大学;2014年
5 杨潇;基于隐写编码的自然语言信息隐藏技术研究[D];长沙理工大学;2015年
6 柳劲;自然语言否定的逻辑思考[D];湘潭大学;2009年
7 裴君波;信息分发中自然语言订阅接口的研究[D];北京邮电大学;2015年
8 付胜博;基于自然语言的空间数据检索研究[D];西北工业大学;2007年
9 武睿峰;自然语言密写分析及密写量检测[D];西北大学;2014年
10 李霞;自然语言篇章中时间信息的研究及在产品设计领域中的应用[D];西安电子科技大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026