XJIPC OpenIR  > 多语种信息技术研究室
基于长度过滤和动态容错的SNM改进算法
刘雅思;  程力;  李晓
2017
发表期刊计算机应用研究
ISSN1001-3695
卷号33期号:1页码:147-150+155
摘要

数据仓库中相似重复记录的清洗对于数据质量影响很大,传统的基本邻近排序算法(sorted-neighborhood method,SNM)时间效率和准确率均不高。针对SNM算法的缺陷,提出了一种基于长度过滤和动态容错的SNM改进算法。根据两条记录的长度比例和属性缺失情况,首先排除一部分不可能构成相似重复记录的数据,减少比较次数,提高检测效率;进一步提出了动态容错法,校准字段相似度评判结果,解决了因属性缺失而误判的问题,提高了准确率。针对实际数据集的实验分析表明,在相同的运算环境下,优化算法在准确率和时间效率上有明显优势。

关键词数据挖掘 数据清洗 相似重复记录 Snm算法 动态容错 字段匹配
DOI10.3969/j.issn.1001-3695.2017.01.031
收录类别CSCD
CSCD记录号CSCD:5920233
引用统计
文献类型期刊论文
条目标识符http://ir.xjipc.cas.cn/handle/365002/4598
专题多语种信息技术研究室
作者单位中国科学院新疆理化技术研究所;新疆民族语音语言信息处理实验室;中国科学院大学计算机与控制学院
第一作者单位中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
刘雅思;程力;李晓. 基于长度过滤和动态容错的SNM改进算法[J]. 计算机应用研究,2017,33(1):147-150+155.
APA 刘雅思;程力;李晓.(2017).基于长度过滤和动态容错的SNM改进算法.计算机应用研究,33(1),147-150+155.
MLA 刘雅思;程力;李晓."基于长度过滤和动态容错的SNM改进算法".计算机应用研究 33.1(2017):147-150+155.
条目包含的文件 下载所有文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于长度过滤和动态容错的SNM改进算法.(989KB)期刊论文作者接受稿开放获取CC BY-NC-SA浏览 下载
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[刘雅思;程力;李晓]的文章
百度学术
百度学术中相似的文章
[刘雅思;程力;李晓]的文章
必应学术
必应学术中相似的文章
[刘雅思;程力;李晓]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于长度过滤和动态容错的SNM改进算法.pdf
格式: Adobe PDF
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。