XJIPC OpenIR  > 多语种信息技术研究室
基于改进主题分布特征的神经网络语言模型
刘畅; 张一珂; 张鹏远; 颜永红
2018
Source Publication电子与信息学报
ISSN1009-5896
Volume40Issue:1Pages:219-225
Abstract

在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大,该文提出一种使用文档主题概率改进当前词主题特征的方法,并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明,在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中,该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%;在WSJ数据集上的实验中,该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%,并且在eval92测试集上,改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。

Keyword语音识别 语言模型 隐含狄利克雷分布 长短时记忆
DOI10.11999/JEIT170219
Indexed ByCSCD
CSCD IDCSCD:6158980
Citation statistics
Document Type期刊论文
Identifierhttp://ir.xjipc.cas.cn/handle/365002/5202
Collection多语种信息技术研究室
Affiliation1.中国科学院声学研究所语言声学与内容理解重点实验室
2.中国科学院大学
3.中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室
Recommended Citation
GB/T 7714
刘畅,张一珂,张鹏远,等. 基于改进主题分布特征的神经网络语言模型[J]. 电子与信息学报,2018,40(1):219-225.
APA 刘畅,张一珂,张鹏远,&颜永红.(2018).基于改进主题分布特征的神经网络语言模型.电子与信息学报,40(1),219-225.
MLA 刘畅,et al."基于改进主题分布特征的神经网络语言模型".电子与信息学报 40.1(2018):219-225.
Files in This Item:
File Name/Size DocType Version Access License
基于改进主题分布特征的神经网络语言模型.(749KB)期刊论文作者接受稿开放获取CC BY-NC-SAView Application Full Text
Related Services
Recommend this item
Bookmark
Usage statistics
Export to Endnote
Google Scholar
Similar articles in Google Scholar
[刘畅]'s Articles
[张一珂]'s Articles
[张鹏远]'s Articles
Baidu academic
Similar articles in Baidu academic
[刘畅]'s Articles
[张一珂]'s Articles
[张鹏远]'s Articles
Bing Scholar
Similar articles in Bing Scholar
[刘畅]'s Articles
[张一珂]'s Articles
[张鹏远]'s Articles
Terms of Use
No data!
Social Bookmark/Share
File name: 基于改进主题分布特征的神经网络语言模型.pdf
Format: Adobe PDF
All comments (0)
No comment.
 

Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.