本书为“十四五”职业教育国家规划教材，主要内容分为基于Hadoop和Spark的大数据平台技术与大数据分析案例两部分，前者包括大数据的有关概念、Hadoop概述、安装和配置虚拟机、Hadoop集群的部署与管理、HDFS、MapReduce及Hadoop生态的其他常用组件（ZooKeeper、HBase、Hive、Sqoop、Flume、Storm、Kafka）的工作原理、安装部署和使用方法，以及Spark集群的部署与管理；后者通过“基于云课堂的日志分析系统”项目完整展示了大数据分析的过程。 全书遵循理论够用，实践第一的原则，内容编排合理，表述深入浅出，所有操作命令全部按序列出，并配有解释和运行截图，指导性、实用性强，能使读者快速、轻松地掌握Hadoop和Spark大数据平台运维和分析的基本技术。 本书适合作为高等职业院校电子与信息大类各专业学习基于Hadoop和Spark大数据平台技术的教材，也可作为培训学校的培训教材，还可作为大数据爱好者的自学用书。

一、编写背景


本书第一版自 2019 年 9 月出版以来，以其“赛教一体、好学易用”的特点受到多所高等职业院校广大师生的好评，入选第一批“十四五”职业教育国家规划教材。近年来，大数据平台技术飞速发展，为了适应课堂教学、就业需求以及职教教材改革需要，在保持第一版教材特色的基础上，我们对全书内容做了修订。


二、修订内容


（1）增加了基于 Spark 大数据平台的内容，包括 Spark 概述、Spark 的工作原理、Spark 集群的部署与管理等。


（2）校企双方依托新的企业实践教学平台合作开发了新的企业级项目“基于云课堂日志分析系统”。


（3）将全书内容涉及的软件平台进行了升级，Hadoop 由 2.7.3 版升级到 3.3.6 版，Hadoop 生态各组件的版本也相应进行了升级，Spark 采用 3.4.4 版本。


（4）对各章节的内容依据升级后的软件版本进行了改写，并整合了部分内容，强化了思政元素，增加了部分习题和实训题。


（5）进一步丰富和更新了课程教学资源。本书附有主要实验部分的微视频和综合项目的源代码，可供随扫随学。所有课程教学资源都发布在配套的学习通课程平台和中国铁道出版社教育资源数字化平台（https://www.tdpress.com/51eds）上，可供免费下载使用。


三、本书特点


本教材以“立德树人为本、岗课赛证融通、产教深度融合、数字技术赋能”为编写原则；以“岗课赛证”四维融通为突破口，校企共同开发；以目前业界流行的、开源的大数据平台为基本技术架构，在对大数据运维和大数据分析岗位职业能力进行分析的基础上，有机整合 1+X 证书考核要点与全国职业院校技能大赛技术要求；以基于工作过程课程开发理论为依据，结合高职学生的学习特点，遵循从大数据初学者到大数据运维工程师和大数据分析工程师的职业能力发展过程和学生认知规律，形成以真实企业项目为主线、模块化的课程结构，便于教师开展理实一体化教学和模块化教学。


本书设计了一套低成本的大数据实践技术方案，只需要普通台式机便可开展相关实验，避免高额的硬件投入。所有实验循序渐进，都有完整的命令、代码、运行截图和微视频，以便于学生对照学习，实践指导性强，学生普遍反映能有效降低学习难度，提高学习效率。


全书共分 15 个单元，由武汉职业技术大学胡大威、武汉软件工程职业学院孙琳任主编；武汉城市职业学院王世刚、荆州职业技术学院孙重巧、湖北三峡职业技术学院陈文明、武汉唯众智创科技有限公司冉柏权任副主编；安徽工商职业学院黄梅娟参与编写。具体编写分工如下：胡大威编写了单元 1、3、4、5、6（部分）、7、8、9、14、15（部分），孙琳编写了单元 2、13，王世刚编写了单元 10，孙重巧编写了单元 11，陈文明编写了单元 12，冉柏权编写了单元 15（部分），黄梅娟编写了单元 6（部分）。全书由胡大威统稿和录制实验视频。限于编者水平和经验，书中疏漏之处在所难免，惟望广大读者不吝赐教，联系邮箱：hdw9678@sina.com。


编 者


2025 年 5 月于武汉

单元1认识大数据.11.1大数据的产生11.1.1大数据产生的原因11.1.2大数据的发展历程21.2大数据概述21.2.1大数据的概念.21.2.2大数据的特征.31.2.3大数据的构成.31.2.4大数据对思维方式的影响41.2.5大数据的意义.51.3大数据的处理流程61.4大数据技术71.4.1大数据的技术层面71.4.2大数据的计算模式71.4.3大数据的技术路线81.4.4大数据技术的应用81.5大数据与云计算、物联网的关系81.5.1云计算.81.5.2物联网.91.5.3大数据与云计算、物联网之间的关系10习题.10单元2Hadoop概述112.1Hadoop简介112.1.1Hadoop的起源及发展历史112.1.2Hadoop的设计思想和特性122.1.3Hadoop的体系结构132.1.4Hadoop的生态系统142.1.5Hadoop发行版本162

胡大威：武汉职业技术大学教授。主持完成了2项省级课题和1项中国电子教育学会课题，2项省级课题在研；公开发表独撰学术论文26篇，其中6篇在中文核心期刊上发表，9篇论文获得中国职业技术教育学会和中国高等职业技术教育研究会优秀论文奖；主编了包括1本普通高等教育“十一五”国家级规划教材（高职高专教育）在内的20本教材，总字数180万字。湖北省级精品课程负责人、湖北省品牌专业负责人。校学术委员会委员。指导学生参加2017年全国职业院校技能大赛高职组“大数据技术与应用”赛项获得一等奖，荣获“优秀指导老师奖”。指导学生参加“蓝桥杯”全国软件专业人才设计与创业大赛多次获得总决赛一、二、三等奖，指导学生参加第七届全国信息技术应用水平大赛ITAT全国总决赛获全国特等奖。孙琳：高级工程师，CCF会员。双师型教师，省级教学团队“软件技术”专业教学团队主要成员，一直在教学科研一线工作。工作以来，积极参与科研与教研活动，主持省市级教科研课题5项，其中CCF职业教育科研重点课题1项；编写教材十余本，其中主编教材3本，副主编教材7本；以第一作者在各级刊物上公开发布论文8篇篇；指导学生参加蓝桥杯全国软件设计大赛获得了全国总决赛二、三等奖。

本书获奖多次，资源丰富。