当今是大数据与人工智能的时代。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，成为IT产业中很具潜力的蓝海。大数据存储是一门理论性和实践性都很强的课程。本书针对大数据、人工智能、信息管理、经济管理和其他相关专业学生的发展需求，系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库。全书具有较强的系统性、可读性和实用性。本书针对高等职业院校相关专业“大数据存储”“大数据存储与管理”“大数据管理”等课程设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的软件开发人员、管理人员参考和作为继续教育的教材。

当今是一个大数据和人工智能蓬勃发展的时代，大数据的力量正在积极地影响着我们社会的方方面面，它冲击着许多主要的行业，同时也正在彻底地改变我们的学习和日常生活，改变我们的教育方式、生活方式、工作方式。如今，通过简单、易用的移动应用和基于云端的数据服务，人们能够追踪自己的行为以及饮食习惯，还能提升个人的健康状况。因此，人们有必要真正理解大数据这个极其重要的议题。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的真知灼见。“以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。”
在大数据生态系统中，基础设施主要负责数据存储以及处理公司掌握的海量数据，应用程序则是供人类和计算机系统从数据中获知关键信息的程序。
在传统的数据存储、处理平台中，需要将数据从CRM、ERP等系统中，通过ELT工具提取出来，并转换为容易使用的形式，再导入像数据仓库和RDBMS等专门用于分析的数据库中。当管理的数据超过一定规模时，用现有的数据处理平台已经很难处理具备3V特征的大数据，即便能够处理，在性能方面也很难有良好的表现。对这些时时刻刻都在产生的非结构化数据进行实时分析，并从中获取有意义的观点，是十分困难的。为了应对大数据时代新的需求，需要从根本上重新考虑用于数据存储和处理的平台。
实际工作中的数据管理问题，促使数据库管理领域的专业人士和软件设计者开始研发NoSQL数据库。关系型数据库和NoSQL数据库是数据库演化过程中的两个里程碑。NoSQL数据库就是为了解决关系型数据库的局限而创设的。不同的应用程序需要使用不同类型的数据库，而这恰恰是数据管理系统在过去二十年间得到不断发展的动力所在。
■ 课程学习安排
对于大数据技术及其相关专业的大学生来说，大数据及其分析、处理和存储的理念、技术与应用是理论性和实践性都很强的必修课程。在长期的教学实践中，我们体会到，坚持因材施教的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是：理论联系实际，结合一系列了解和熟悉大数据存储的理念、技术与应用的学习和实践活动，把相关概念、基础知识和技术技巧融入实践当中，使学生保持浓厚的学习热情，加深对大数据存储技术的兴趣，促进学生进一步认识、理解和掌握。
本书是为高等职业院校相关专业，尤其是大数据、人工智能、信息管理、经济管理类专业开设“大数据存储”相关课程而设计编写，是具有丰富实践特色的教材，也可供有一定实践经验的IT应用人员、管理人员参考和作为继续教育的教材。
本书系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库，以及Redis键值数据库、MongoDB文档数据库、HBase列族数据库和Neo4j图数据库等NoSQL数据库的实例，共7个项目14个学习任务（见图0-1），具有较强的系统性、可读性和实用性。
结合课堂教学方法改革的要求，全书设计了课程教学过程，教学内容按“项目-任务”安排，要求和指导学生在课前阅读导读案例和课后阅读课文并完成相应的作业与实训，在网络搜索浏览的基础上，延伸阅读，深入理解课程知识内涵。附录中提供了课程作业参考答案、课程学习与实训总结等。


图0-1学习内容与顺序
教学进度设计请参考《课程教学进度表》，实际执行应按照教学大纲和校历中关于本学期节假日的安排，确定本课程的实际教学进度。
■ 本书编写要点
本课程的教学评测可以从以下几个方面入手：
（1）每项学习任务的导读案例阅读（14次）；
（2）每项学习任务的课后作业（14个）；
（3）每项学习任务的实训与思考（14次）；
（4）课程学习与实训总结（附录B）；
（5）结合平时考勤；
（6）任课老师认为必要的其他考核方法。
课程教学进度表
（20学年第学期）
课程号： 课程名称： 大数据存储 学分： 2 周学时： 2
总学时： 32 （其中理论学时： 32 课外实践学时： 22 ）
主讲教师：
序号校历周次章节（或实验、习题课等）名称与内容学时教学方法课后作业布置
11引言
任务1.1 了解大数据与分布式系统2导读案例


理论教学作业，实训与思考
22任务1.2 熟悉数据管理系统2作业，实训与思考
33任务1.3 熟悉数据管理技术的发展2作业，实训与思考
44任务1.4 熟悉NoSQL数据模型2
55任务1.4 熟悉NoSQL数据模型2作业，实训与思考
66任务2 关系型数据库2
77任务2 关系型数据库2作业，实训与思考
88任务3.1 掌握键值数据库基础2作业，实训与思考
99任务3.2 熟悉键值数据库的设计2作业，实训与思考
1010任务4.1 掌握文档数据库基础2作业，实训与思考
1111任务4.2 熟悉文档数据库的设计2作业，实训与思考
1212任务5.1 掌握列族数据库基础2作业，实训与思考
1313任务5.2 熟悉列族数据库的设计2作业，实训与思考
1414任务6.1 掌握图数据库基础2作业，实训与思考
1515任务6.2 熟悉图数据库的设计2作业，实训与思考
1616任务7 进入NewSQL数据库
总复习2作业，实训与思考
课程学习与实训总结


填表人（签字）：日期：
系（教研室）主任（签字）：日期：
本书是“十三五”（第二批）浙江省普通高校新形态教材项目“高职大数据技术与应用（系列教材）”的建设成果之一，是浙江安防职业技术学院2018年度课程建设项目“高职大数据系列教材”的成果之一。本书的编写工作得到温州市2018年数字经济特色专业建设项目“大数据技术与应用”的支持，得到浙江安防职业技术学院2018年度特色专业建设项目“大数据技术与应用专业”的支持。
本书的编写得到浙江安防职业技术学院、浙江商业职业技术学院、浙江大学城市学院等多所院校师生的支持。乔凤凤、陈培余、余强、王文等参与了本书的教材设计、教学规划、案例设计等工作，在此一并表示感谢！与本书配套的教学PPT课件等丰富教学资源可从中国铁道出版社有限公司网站 (http://www.tdpress.com/51eds/) 的下载区下载，欢迎教师与作者交流并索取为本书教学配套的相关资料：zhousu@qq.com，QQ：81505050。

项目1大数据存储基础1任务1.1了解大数据与分布式系统11.1.1大数据定义31.1.2开源技术的商业支援71.1.3分布式系统71.1.4Hadoop分布式处理技术81.1.5大数据的数据处理基础101.1.6大数据存储的技术路线12作业14实训与思考熟悉大数据存储基础16任务1.2熟悉数据管理基础181.2.1数据集成模式211.2.2关于数据湖241.2.3数据资产管理251.2.4数据管理从行动开始271.2.5分布式数据管理311.2.6CAP定理：一致性、可用性及分区保护性33作业33实训与思考熟悉数据管理的概念与功能35任务1.3熟悉数据管理技术的发展371.3.1早期的数据管理系统401.3.2文件数据管理系统401.3.3层次数据管理系统421.3.4网状数据管理系统431.3.5引发变革的关系型数据库441.3.6Web程序的4个特征461.3.7催生NoSQL数据库的动因分析48作业48实训与思考熟悉数据管理技术：SQL还是NoSQL49任务1.4熟悉NoSQL数据

张丽娜，浙江省高职高专学科带头人（大数据技术与应用）。2007年毕业于江南大学，硕士研究生学历。国家二级心理咨询师、国家创新工程师、工信部NTC（大数据库技术与应用）高级认证。浙江省教育厅职业教育师资专家库成员（教师培训）。温州科技专家库专家。温州市软件行业协会专家委员会专家。温州信息管理学会理事。 相关成果：第一作者（或通讯作者）发表国内核心期刊８篇、EI、ISTP收录论文多篇、其他论文十余篇，主持省部级项目4项、市厅级项目１０余项，横向课题多项。第一主编出版教材四本，发表软件著作、发明专利5项。曾被评为“教学骨干”、“教坛新秀”，曾获得浙江省微课竞赛二等奖，浙江省教学技能竞赛二等奖，浙江省“互联网+教学”优秀案例评选特等奖。 周苏，1982年华东水利学院计算机应用专业本科毕业，1986年由水电部研究所调入杭州大学计算机系任教，1991年破格晋升副教授，1999年调入浙江大学城市学院计算机系任教，2005年晋升教授。在杭州大学、浙江大学、浙江大学城市学院、浙江工业大学之江学院、温州大学城市学院、嘉兴学院南湖学院、温州职业技术学院等多所院校专/兼职任教，教学经验丰富。长期从

本书系统、全面地介绍了大数据存储与管理的基本知识和技能，介绍了大数据存储基础、关系型数据库、键值数据库、文档数据库、列族数据库、图数据库和NewSQL数据库，以及Redis键值数据库、MongoDB文档数据库、HBase列族数据库和Neo4j图数据库等NoSQL数据库的实例，共7个项目14个学习任务（见图0-1），具有较强的系统性、可读性和实用性。