本书分为 7 章，全面系统地对数据存储技术进行讲解，并采用大量案例完成实操，此提高教

师课堂教学的时效性，强化学生的动手能力，将行业与专业核心技术贯穿始终。

本书在深入企业调研的基础上，结合企业岗位需求，根据课程内容特点，采取任务驱动教学

模式，确立职业岗位工作过程中工作任务，将工作任务内容转化为学习领域课程内容，与企业合

作，共同完成对课程的设计和开发工作。本书内容贴近实际，按照学生职业能力成长的过程设计，

培养学生的基本职业技能和实际操作能力，从而为大数据技术的发展打通更广阔的就业路径，满

足专业岗位的需求。

本书适合职业院校大数据相关专业作为教材使用，同时也为本科院校学生专业课程的学习打

下基础，也适合作为数据存储技术爱好者的参考用书。

程序、作业级别参数和任务级别参数的调整优化进行了详述。

第 7 章通过大数据的应用实例，结合一些社会实际问题的背景，对大数据的功能性需求和非功

能性需求进行了详细描述，并逐步深入分析，将大数据的理论和新技术应用到了实践当中。

本书主要面向高职院校的学生，旨在为高职院校大数据技术的学习者们打开一扇理解大数据和

应用大数据技术的窗户，深入浅出地介绍了大数据、大数据的价值和应用、数据存储与分析技术和

大数据的应用等内容。

本书由付雯、李旭任主编，罗攀、吴焱岷、李俊翰、于鹏、于震宇任副主编。本书的编写分工如下：

重庆电子工程职业学院的付雯完成第 1 章的编写工作，李旭完成第 2 章、第 4 章的编写工作，罗攀

完成第 5 章、第 7 章和全书习题的编写工作，李俊翰完成第 3 章的编写工作，吴焱岷完成第 6 章的

编写工作，阿克苏职业技术学院于震宇和新华三技术有限公司于鹏负责全书案例的编写。

由于时间仓促加之编者水平有限，书中难免存在不妥之处，敬请指正。

编 者

2022 年 2 月

第 1 章 大数据概述 1

1.1 大数据存储技术简介 2

1.1.1 大数据的概念 3

1.1.2 大数据的特点 4

1.1.3 大数据的数据来源 5

1.1.4 大数据的结构类型 6

1.1.5 大数据的存储 6

1.2 大数据分析技术简介 7

1.2.1 大数据分析的概念 7

1.2.2 大数据分析的应用 8

1.2.3 大数据分析的过程 9

1.2.4 大数据分析的技术 10

1.2.5 大数据分析的难点 10

1.3 项目实战：HDFS 系统搭建 11

1.3.1 基础环境变量配置 11

1.3.2 配置 HDFS 11

1.3.3 配置 NameNode 节点 13

1.3.4 格式化 NameNode 和启动

HDFS 系统 13

小结 14

习题 14

第２章 大数据的存储与管理 16

2.1 项目需求 16

2.2 HDFS 设计 17

2.2.1 设计前提与目标 18

2.2.2 基本组件 19

2.2.3 文件系统的名字空间 20

2.2.4 数据复制 20

2.2.5 文件系统元数据的持久性 22

2.2.6 文件系统的通信协议 23

2.2.7 文件系统的健壮性 23

2.3 HDFS 数据管理 24

2.3.1 数据块 24

2.3.2 安全模式 26

2.3.3 文件权限 26

2.3.4 HDFS 优缺点 27

2.4 HDFS 存储原理 .28

2.4.1 存储原理

付雯，女，中共党员，教授，武汉大学硕士，北京大学访问学者。全国高校大数据教育“实践教学”年度人物获得者。“双师双能型”素质的专业骨干教师，学科专业群带头人。有良好的职业道德，为人师表，学风端正。先后承担了数十门专业课程的教学及教研工作。公开发表论文15篇，出版学术专著1部；主编教材2部，参编教材5部，实用新型专利7项；软件著作权6项；主研（负责）大数据技术与应用专业国家教学资源库项目建设，主研市级骨干专业-移动应用开发专业建设1个（已获批国家级骨干专业）；主研软件技术专业、移动应用开发专业国家教学资源库子项目3个。主持参与为企业开发“电磁环境及气象参数自动采集系统”项目、 “巫溪县‘互联网+教育’综合服务平台策划服务”等项目，产值达700万。受聘于多省市学术团体专家组成员。指导学生参加全国职业院校技能大赛“软件测试”赛项获一等奖，“大数据技术与应用”赛项获二等奖。同时获28项省部级行业赛奖项。,李旭，36岁，毕业于北京语言大学语言智能与技术专业，博士研究生，讲师，现任职于重庆电子工程职业学校人工智能与大数据学院教师。主要研究方向:机器算法、粗糙集应用。现为国家高等职业院校教学创新团队成员、重庆市创新研究群体主要成员;主持参与国家、省科研项目多项，其中主持省级纵向项目1项、校级项目1项。

全面系统地对数据存储技术进行讲解，并采用大量案例完成实操，此提高教师课堂教学的时效性，强化学生的动手能力，将行业与专业核心技术贯穿始终。配有丰富的微课资源。