本书是将大数据基本理论与基本应用有机结合的教材，按照定义、特征、技术流程和典型案例分析的方式编写，抽丝剥茧，由易到难，有助于读者理解和掌握大数据技术。
本书的一大亮点是每章中都使用图表对大数据与传统数据处理方式进行对比。另外，本书注重启发式的学习策略，便于读者理解和掌握。全书在每一章均附有实际应用案例与关键词注释，方便读者查阅和自学，同时配备了习题和参考答案。
本书适合作为普通高校大数据技术的基础教材，也可以作为职业培训教育及相关技术人员的参考用书。

习近平总书记在党的十九大报告中提出要“推动互联网、大数据、人工智能和实体经济深度融合”，强调“贯彻新发展理念，建设现代化经济体系”。大数据、VR（虚拟现实）、AR（增强现实）和人工智能等信息技术必将为社会发展和时代进步注入新的生机和血液。
为此，本书围绕大数据应用，从理论、相关技术和实际应用三个层面进行简明扼要的阐述，目的是让广大师生对大数据的应用方法和相关知识有所了解，更好地把握科学发展的方向。
大数据技术教学在中国医科大学已经连续开展五年，已经成为大学计算机教育的重要组成部分。为国家培养了一批掌握新IT发展动态和技能的医学人才，同时也积累了一定的教学经验。
在编写原则上，本书注重知识的系统性、针对性、理论性和应用性。本书倡导启发式的学习策略，通过案例启发学生的学习兴趣，检验其学习效果，提高其学习能力。
本书内容包括12章：第1章大数据概论主要讲解了大数据技术概念、架构、整体技术；第2章大数据采集及预处理主要讲解了大数据采集的概念、数据来源和技术方法；第3章大数据分析概论主要讲解了大数据分析的方法、流程、主要技术；第4章大数据可视化主要讲解了大数据可视化的过程和可视化工具Tableau；第5章Hadoop概论主要讲解了Hadoop的架构；第6章HDFS和Common概论主要讲解了HDFS的体系结构、工作原理和Common模块；第7章MapReduce概论主要讲解了MapReduce的架构、原理和工作流程；第8章NoSQL概论主要讲解了NoSQL的基本知识和典型工具；第9章Spark概论主要讲解了Spark生态系统的组成；第10章云计算与大数据主要讲解了云计算的服务模式、部署模式；第11章典型大数据解决方案主要讲解了各种大数据解决方案；第12章大数据应用案例分析（医疗领域）主要讲解了大数据在医疗领域的应用案例。
本书由娄岩任主编，由徐东雨任副主编，郑琳琳、刘尚辉、李静、马瑾、丁林、曹阳、庞东兴、张志常、霍妍参与编写。具体编写分工如下：第1章由娄岩编写，第2章由郑琳琳编写，第3章由刘尚辉编写，第4章由李静编写，第5章由马瑾编写，第6章由丁林编写，第7章由徐东雨编写，第8章由曹阳编写，第9章由庞东兴编写，第10章由张志常编写，第11章、第12章由霍妍编写。
中国铁道出版社对本书的出版做了充分论证，精心策划。在此向所有参加编写的同事们、帮助和指导过我们工作的朋友们和参考文献的作者前辈们表示衷心的感谢！
由于编者水平有限，加之时间仓促，书中难免存在疏漏之处，恳请广大读者批评斧正！

娄岩
2018年6月

第1章大数据概论

1.1大数据技术简介

1.1.1IT产业的发展简史

1.1.2大数据的主要来源

1.1.3数据生成的三种主要
方式

1.1.4大数据的特点

1.1.5大数据的处理流程

1.1.6大数据的数据格式

1.1.7大数据的基本特征

1.1.8大数据的应用领域

1.2大数据的技术架构

1.3大数据的整体技术

1.4大数据分析的四种典型工具
简介

1.5大数据未来发展趋势

1.5.1数据资源化

1.5.2数据科学和数据联盟的
成立

1.5.3大数据隐私和安全
问题

1.5.4开源软件成为推动大数
据发展的动力

1.5.5大数据在多方位改善人
们的生活

本章小结

习题1

第2章大数据采集及预处理

2.1数据采集简介

2.1.1数据采集

2.1.2数据采集的数据来源

2.1.3数据采集的技术方法

2.2大数据的预处理

2.3数据采集及预处理的主要
工具

本章小结

习题2



第3章大数据分析概论

3.1大数据分析简介

3.1.1大数据分析

3.1.2大数据分析的基本
方法

3.1.3大数据处理流程

3.2大数据分析的主要技术

3.2.1深度学习

3.2.2知识计算

3.3大数据分析处理系统简介

3.3.1批量数据及处理系统

3.3.2流式数据及处理系统

3.3.3交互式数据及处理
系统

3.3.4图数据及处理系统

3.4大数据分析的应用

本章小结

习题3




第4章大数据可视化

4.1大数据可视化简介

4.2大数据可视化工具
Tableau

本章小结

习题4




第5章Hadoop概论

5.1Hadoop简介

5.1.1Hadoop简史

5.1.2Hadoop应用和发展
趋势

5.2Hadoop的架构与组成

5.2.1Hadoop架构介绍

5.2.2Hadoop组成模块

5.3Hadoop应用分析

本章小结

习题5
大数据应用基础
目录




第6章HDFS和Common概论

6.1HDFS简介

6.1.1HDFS的相关概念

6.1.2HDFS特性

6.1.3HDFS体系结构

6.1.4HDFS的工作原理

6.1.5HDFS的相关技术

6.2Common简介

本章小结

习题6

第7章MapReduce概论

7.1MapReduce简介

7.1.1MapReduce

7.1.2MapReduce功能、特征和
局限性

7.2Map和Reduce任务

7.3MapReduce架构和工作
流程

7.3.1MapReduce的架构

7.3.2MapReduce的工作
流程

本章小结

习题7

第8章NoSQL概论

8.1NoSQL简介

8.1.1NoSQL的含义

8.1.2NoSQL的产生

8.1.3NoSQL的特点

8.2NoSQL技术基础

8.2.1大数据的一致性策略

8.2.2大数据的分区与放置
策略

8.2.3大数据的复制与容错
技术

8.2.4大数据的缓存技术

8.3NoSQL的类型

8.3.1键值存储

8.3.2列存储

8.3.3面向文档存储

8.3.4图形存储

8.4典型的NoSQL工具

8.4.1Redis

8.4.2Bigtable

8.4.3CouchDB

本章小结

习题8

第9章Spark概论

9.1Spark平台

9.1.1Spark简介

9.1.2Spark发展

9.1.3Scala语言

9.2Spark与Hadoop

9.2.1Hadoop的局限与不足

9.2.2Spark的优点

9.2.3Spark速度比Hadoop快的
原因分析

9.3Spark处理架构及其生态
系统

9.3.1底层的Cluster Manager
和Data Manager

9.3.2中间层的Spark
Runtime

9.3.3高层的应用模块

9.4Spark的应用

9.4.1Spark的应用场景

9.4.2应用Spark的成功
案例

本章小结

习题9



第10章云计算与大数据

10.1云计算简介

10.1.1云计算

10.1.2云计算与大数据的
关系

10.1.3云计算基本特征

10.1.4云计算服务模式

10.2云计算核心技术




10.2.1虚拟化技术

10.2.2虚拟化软件及应用

10.2.3资源池技术

10.2.4云计算部署模式

10.3云计算应用案例

本章小结

习题10



第11章典型大数据解决方案

11.1Intel大数据

11.1.1Intel大数据解决
方案

11.1.2Intel大数据相关
案例

11.2百度大数据

11.2.1百度大数据引擎

11.2.2百度大数据+平台

11.2.3相关应用

11.2.4百度预测的使用
方法

11.3腾讯大数据

11.3.1腾讯大数据解决
方案

11.3.2相关实例

本章小结

习题11




第12章大数据应用案例分析（医疗
领域）
12.1大数据在临床领域的
应用

12.1.1基于大数据的比较效
果研究

12.1.2基于大数据的临床决
策系统

12.1.3医疗数据透明化

12.1.4病人的远程监控

12.1.5基于大数据的电子
病历分析


12.2大数据在医药支付领域的
应用

12.2.1基于大数据的多种
自动化系统

12.2.2基于大数据和卫生
经济学的定价计划

12.3大数据在医疗研发领域的
应用

12.3.1基于大数据的预测
建模

12.3.2临床试验及其数据
分析


12.3.3基于大数据的个性
化治疗



12.3.4基于大数据的疾病
模式分析

12.4大数据在医疗商业模式
领域的应用

12.4.1基于大数据的患者临床记录
和医疗保险数据集

12.4.2基于大数据的网络
平台和社区

12.5大数据在公共健康领域的
应用

本章小结

习题12


习题参考答案

参考文献