XJIPC OpenIR  > 多语种信息技术研究室
基于对抗训练策略的语言模型数据增强技术
张一珂; 张鹏远; 颜永红
2018
发表期刊自动化学报
ISSN0254-4156
卷号44期号:5页码:891-900
摘要

基于最大似然估计(Maximum likelihood estimation,MLE)的语言模型(Language model,LM)数据增强方法由于存在暴露偏差问题而无法生成具有长时语义信息的采样数据.本文提出了一种基于对抗训练策略的语言模型数据增强的方法,通过一个辅助的卷积神经网络判别模型判断生成数据的真伪,从而引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.当生成模型的输出为离散值时,来自判别模型的误差无法通过反向传播算法回传到生成模型.为了解决此问题,本文将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,此外,由于判别模型只能对完整的生成序列进行评价,本文采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.语音识别多候选重估实验表明,在有限文本数据条件下,随着训练数据量的增加,本文提出的方法可以进一步降低识别字错误率(Character error rate,CER),且始终优于基于MLE的数据增强方法.当训练数据达到6 M词规模时,本文提出的方法使THCHS 30数据集的CER相对基线系统下降5.0%,AISHELL数据集的CER相对下降7.1%.

关键词数据增强 语言模型 生成对抗网络 强化学习 语音识别
DOI10.16383/j.aas.2018.c170464
收录类别CSCD
CSCD记录号CSCD:6254364
引用统计
文献类型期刊论文
条目标识符http://ir.xjipc.cas.cn/handle/365002/5396
专题多语种信息技术研究室
作者单位1.中国科学院声学研究所语言声学与内容理解重点实验室
2.中国科学院大学
3.中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室
推荐引用方式
GB/T 7714
张一珂,张鹏远,颜永红. 基于对抗训练策略的语言模型数据增强技术[J]. 自动化学报,2018,44(5):891-900.
APA 张一珂,张鹏远,&颜永红.(2018).基于对抗训练策略的语言模型数据增强技术.自动化学报,44(5),891-900.
MLA 张一珂,et al."基于对抗训练策略的语言模型数据增强技术".自动化学报 44.5(2018):891-900.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于对抗训练策略的语言模型数据增强技术.(1592KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[张一珂]的文章
[张鹏远]的文章
[颜永红]的文章
百度学术
百度学术中相似的文章
[张一珂]的文章
[张鹏远]的文章
[颜永红]的文章
必应学术
必应学术中相似的文章
[张一珂]的文章
[张鹏远]的文章
[颜永红]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于对抗训练策略的语言模型数据增强技术.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。