本书为“十四五”高等学校计算机教育新形态一体化系列教材之一。随着大数据时代的到来，数据成为第五大生产要素，也是发展新质生产力的优质生产要素。本书由浅入深、循序渐进地论述了培养复合型大数据专业人才所需要的数据意识、数据思维、数据伦理和数据能力等概念和理论。全书分为基础篇、技术篇、数据管理篇和应用篇四大部分，包括绪论、大数据技术概述、数据采集与数据预处理、数据存储与管理、数据分析与挖掘、数据可视化、大数据安全、大数据思维、数据开放与共享、大数据的法律政策规范、大数据应用、综合案例共12章。为避免理论论述的抽象，本书融入丰富案例，同时引入浪潮数据管理平台为拓展仿真实训平台，使读者转换学习场景，直观地理解相应理论的具体内涵。 本书适合作为高等院校数据科学与大数据及计算机专业的导论课程教材，也可以作为高等院校非计算机专业（尤其文科）数据科学类课程教材，亦可作为职业院校大数据类课程教材，还可供对大数据感兴趣的读者自学。

当前，数字化技术迅猛发展，数字经济成为推动全球经济增长的新引擎，数据也已经
成为第五大生产要素，科技创新、产业形态和应用格局已悄然变化，人类社会进入了大数
据时代。金融、医疗、交通、医学、安防、零售、政务、科研等多个领域都受到了大数据
的影响。从国家治理到企业运营，从经济生产到社会生活，从趋势预测到决策支持等，大
数据的身影无处不在，深刻影响和改变着人类社会的生产、生活及思维方式。


伴随着国家对数据要素价值的高度重视，数据的基础资源作用和创新引擎作用日益凸
显，在以创新为主要引领和支撑的数字经济新格局构建中，大数据人才的培养成为新一轮
科技较量的基础。



尽管各方都意识到了大数据人才培养的重要性，但是如何培养好大数据人才以满足社
会的需要，还是亟待解决的问题。大数据专业知识体系涵盖了计算机、数学、统计学等多
个学科，同时结合了诸多领域的理论和技术，包括模式识别、人工智能、数据存储、分布
式技术深度学习、数据可视化等复杂的专业知识体系。高等院校中除了计算机及大数据专
业，像数学、管理学、金融、应用化学等其他专业的学生以及有志于从事大数据方向的IT人员也需要系统了解大数据技术及其应用，因此编者根据高等学校数据科学与大数据计算
专业的培养目标和现状，基于企业多年的大数据应用的实际业务案例和在高校从事大数据
人才培养的实际经验，同时结合多年从事大数据前沿技术的研究和对社会发展的影响，从
导论的角度编写了本书。本书力图使读者通过学习，能够对大数据建立一个全局的认知，
包括专业知识体系、专业技能、应用领域等，并能基本理解大数据的关键技术、掌握大数
据技术并解决实际问题、了解大数据在各个行业的应用场景，同时建立起数据意识、数据
思维和数据伦理等复合型大数据人才的数据素养能力，更好地理解大数据对社会发展带来
的影响，同时也更好地掌握科学思维和方法。


大数据技术具有很强的实用性。本书坚持应用为先的原则，将基本概念与实例相结
合，由浅入深、循序渐进地对大数据的基础知识、大数据的处理流程以及大数据管理和大
数据应用进行了全面系统的论述。全书分为基础篇、技术篇、数据管理篇和应用篇四大部分共12章。第1章绪论，介绍了数据的基本知识、大数据时代的发展历程，以及大数据的
技术挑战和科学意义。第2章简述了大数据技术，包括基本流程和主要模式。第3章系统地介绍了数据采集及数据预处理的相关技术和原则等。第4章介绍了数据存储与管理，阐述
了从传统存储技术到大数据时代存储技术的变迁、常用的存储技术等。第5章介绍了数据分
析与挖掘的理论和方法，并简单介绍了几种常用技术的概念、处理流程、算法等。第6章介
绍数据可视化技术的概念、原则等，不同的可视化技术在不同场景的应用，以及几种可视
化工具的使用。第7章讨论了大数据的安全问题，包括大数据保护的基本原则、支撑技术、
策略等，全方位地介绍了国家对数据安全做出的努力。第8章介绍大数据时代新的思维方
式，并给出典型应用案例来加强认识思维变化对社会生活带来的变革。第9章介绍数据开
放与共享，大数据时代数据也成为一种资产，从政策、分类、平台等方面介绍保障数据的
交易。第10章介绍大数据的法律政策规范。第11章介绍大数据在各大领域的典型应用，包
括互联网、城市交通、物流、生物医学、金融、安防等领域。第12章介绍了大数据在企业
应用中的真实案例。


为了能够更加直观地体验大数据的应用，本书以浪潮数据管理平台为载体，以企业
真实案例为背景，让读者真实地感受数据采集、数据处理、数据存储、数据分析以及可视
化展示等各个环节的操作场景，揭开数据的神秘面纱。同时本书配有电子课件和课后习
题，读者可登录中国铁道出版社教育资源数字化平台https://www.tdpress.com/51eds获得相
关资源。



本书由刘爱芹、杜建彬任主编，闫乐林、周杨姊、侯燕、王相成、张明任副主编。


本书在编写的过程中，参考了大量的资料、国内外文献，在此谨向相关文献作者表示衷心
感谢。
由于编者水平有限，兼之时间仓促，书中免存在不足之处，恳请广大读者批评指正。


编 者


2024 年 4 月

第1章绪论.2 1.1数据2 1.1.1数据的定义2 1.1.2数据的类型2 1.1.3数据的组织形式3 1.1.4数据的生命周期4 1.1.5数据的价值5 1.1.6大数据的特征6 1.2大数据7 1.2.1大数据的发展历程8 1.2.2大数据时代9 1.2.3大数据时代的驱动力10 1.2.4大数据的影响11 1.3大数据的挑战和科学意义13 1.3.1大数据带来的思维模式的变革13 1.3.2大数据计算面临的挑战14 1.3.3大数据专业与职业15 1.3.4大数据与其他新兴技术的关系19 小结25 习题26 技术篇 第2章大数据技术概述28 2.1大数据处理的基本流程28 2.1.1数据采集与预处理28 2.1.2数据存储与管理28

刘爱芹，就职于齐鲁师范学院信息科学与工程学院副教授。主持山东省自然科学基金重点项目一项；参与国家863计划项目一项；主持或参与其他省级项目多项；主持教育部协同育人项目3项。杜建彬，2005年本科毕业于聊城大学计算机学院，获得计算机科学与技术专业理学学士；2009年毕业于山东大学网络信息安全所，获得计算机软件与理论工科硕士。就职于齐鲁师范学院信息科学与工程学院、人工智能学院院长，副教授。2005年参加教学管理和教学工作，承担计算机应用、计算机文化基础、大数据分析与应用、网络信息安全管理等课程教学工作。出版著作2部：《产学研用结合协同育人模式研究——以互联网金融人才培养为例》（ISBN：978-7-5688-8062-6），延边大学出版社，2019年9月；《大数据时代互联网金融信息安全》，新疆（伊犁）人民出版社，2015年9月第1版。发表教育教学论文多篇；《基于普通本科院校应用转型视角下“慕课”教学模式研究—以新建师范类本科院校为例》,齐鲁师范学院学报，2015（4）；《基于网络环境下本科生导师制探究_以计算机专业为例》，齐鲁师范学院学报，2014（6）；《谈跨学科通选课体系的构建_以高师院校为例》，齐鲁师范学院

本书由浅入深、循序渐进地论述了
培养复合型大数据专业人才所需要的数据意识、数据思维、数据伦理和数据能力等概念和理论。