XJIPC OpenIR  > 多语种信息技术研究室
基于NoSQL的数据混合存储的研究与实现
林启胜
学位类型硕士
导师王磊
2017-05-21
学位授予单位中国科学院大学
学位授予地点北京
学位专业计算机技术
关键词关系数据库 Nosql数据库 混合存储 优化设计
摘要

随着互联网+的兴起,各行各业的数据呈指数级增长,同时不同数据间也存在着某种程度的交集,因此越积越多的历史数据需要我们高效地进行处理和分析。数据的存储形式包括结构化数据、半结构化数据和非结构化数据。结构化数据一般是存储在关系数据库中,关系数据库具有读写实时性、高可靠性、支持复杂SQL查询、事务一致性等优点而被企业广泛使用。不过关系数据库对于处理高并发的读写请求,对非结构化数据存储能力不足,可扩展性也较差。NoSQL数据库则很好地弥补了关系型数据库的这些不足,并得到了广泛的应用。目前越来越多企业都采用关系数据库和NoSQL数据库结合使用来对业务数据进行存储。NoSQL数据库的引入解决了企业开发中大量非结构化数据的存储问题。但是如何确定哪些数据存储于关系型数据库,哪些数据存储于NoSQL数据库,是一个值得研究的问题。而且当项目中设计到对多种NoSQL数据库的操作,采用Spring Data框架屏蔽底层具体的数据库,使开发人员不关心底层具体的数据库而对数据进行操作的方法。在研究的基础上,本文提出了混合使用关系数据库和NoSQL数据库存储文献数据系统来验证混合数据存储的有效性。将数据根据不同特点存入不同数据库中。系统分为人员管理、文献管理、作者管理、数据统计四个模块。利用Spring框架的子项目Spring Data提供一致的编程模型,根据数据的概念模型,编写数据模型,实现数据对象模型的映射。定义对数据库的操作方法,实现对多种数据库增删改查操作,使得关系型数据库和NoSQL存储产品的使用变得更加的方便。可以更加专注于程序的业务逻辑。最后,通过添加索引、主从复制、添加缓存等机制来优化系统设计。采用公开的数据集,对比了MySQL和Mongodb数据库查询方面的性能差异。还对比了MySQL和Neo4j图数据库在进行相同的查询情况下性能方面的差异,证明了使用图数据库去展现数据间关系的良好性能,使用Mongodb存储文档型数据的良好性能。同时说明了根据数据不同阶段的特点去选择不同的NoSQL数据库的正确性及使用Spring Data框架作为解决方案的可行性和有效性。

其他摘要

With the rise of the Internet plus, all data is growing exponentially, and different data also exist to a certain extent, the historical data so the more we need efficient processing and analysis. Including structured data storage data, semi structured data and unstructured data. Structured data is stored in a relational database, relational database is read and write real-time, high reliability, support for complex SQL queries, the advantages of transactional consistency and is widely used by enterprises. But the relational database for processing high and read and write requests, lack of unstructured data storage capacity, scalability is poor.NoSQL database is very good to make up for these deficiencies in relational databases, and has been widely used.At present, more and more enterprises are using relational database and NoSQL database combined with the use of.NoSQL database to store introduction to service data solves the problem of storage for large amounts of unstructured data in the enterprise development. But how to determine which data stored in the relational database, where data is stored in the NoSQL database, is a problem worthy of study and when. The design of a variety of NoSQL to the operation of the database project, using Spring Data framework to shield the underlying specific database method enables developers to manipulate data and do not care about the underlying database. On the basis of the research, this paper presents a hybrid relational database and NoSQL database storage data system to verify the effectiveness of the hybrid data the data will be stored. According to the different characteristics in the different database. The system is divided into personnel management, document management The author, management, data statistics of four modules. The Spring framework project Spring Data provides a consistent programming model, according to the conceptual model of data, data model, data mapping object model. The definition of database operation method, to achieve a variety of database CRUD operations, and makes use of relational database NoSQL storage products becomes more convenient. The business logic can be more focused on the program.Finally, by adding a master-slave replication, add caching mechanism to optimize the system design. Using the public data sets, comparing MySQL and Mongodb database query performance differences. It also compares MySQL and Neo4j map database performance in the situation the same query under the difference, shows that the use of map database to show good the performance data of the relation between good performance using Mongodb for storing document data. At the same time that according to the characteristics of different stages of different data to select the correct NoSQL database and Spring Data framework as the solution's feasibility and effectiveness.

文献类型学位论文
条目标识符http://ir.xjipc.cas.cn/handle/365002/4936
专题多语种信息技术研究室
作者单位中国科学院新疆理化技术研究所
推荐引用方式
GB/T 7714
林启胜. 基于NoSQL的数据混合存储的研究与实现[D]. 北京. 中国科学院大学,2017.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
基于NoSQL的数据混合存储的研究与实现(1910KB)学位论文 开放获取CC BY-NC-SA浏览 请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[林启胜]的文章
百度学术
百度学术中相似的文章
[林启胜]的文章
必应学术
必应学术中相似的文章
[林启胜]的文章
相关权益政策
暂无数据
收藏/分享
文件名: 基于NoSQL的数据混合存储的研究与实现.pdf
格式: Adobe PDF
此文件暂不支持浏览
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。