XJIPC OpenIR  > 多语种信息技术研究室
基于改进主题分布特征的神经网络语言模型
刘畅; 张一珂; 张鹏远; 颜永红
2018
发表期刊电子与信息学报
ISSN1009-5896
卷号40期号:1页码:219-225
摘要

在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大,该文提出一种使用文档主题概率改进当前词主题特征的方法,并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明,在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中,该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%;在WSJ数据集上的实验中,该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%,并且在eval92测试集上,改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。

关键词语音识别 语言模型 隐含狄利克雷分布 长短时记忆
DOI10.11999/JEIT170219
收录类别CSCD
CSCD记录号CSCD:6158980
引用统计
文献类型期刊论文
条目标识符http://ir.xjipc.cas.cn/handle/365002/5202
专题多语种信息技术研究室
作者单位1.中国科学院声学研究所语言声学与内容理解重点实验室
2.中国科学院大学
3.中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室
推荐引用方式
GB/T 7714
刘畅,张一珂,张鹏远,等. 基于改进主题分布特征的神经网络语言模型[J]. 电子与信息学报,2018,40(1):219-225.
APA 刘畅,张一珂,张鹏远,&颜永红.(2018).基于改进主题分布特征的神经网络语言模型.电子与信息学报,40(1),219-225.
MLA 刘畅,et al."基于改进主题分布特征的神经网络语言模型".电子与信息学报 40.1(2018):219-225.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于改进主题分布特征的神经网络语言模型.(749KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[刘畅]的文章
[张一珂]的文章
[张鹏远]的文章
百度学术
百度学术中相似的文章
[刘畅]的文章
[张一珂]的文章
[张鹏远]的文章
必应学术
必应学术中相似的文章
[刘畅]的文章
[张一珂]的文章
[张鹏远]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于改进主题分布特征的神经网络语言模型.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。