本书为高等教育新工科信息技术课程系列教材之一,以应用型人才培养为主要目标。本书从大数据概念及特点切入,紧紧围绕大数据应用的技术框架这一主线展开,详细论述了大数据采集与预处理、大数据存储与计算处理、大数据分析、大数据可视化、大数据应用、大数据安全与伦理等内容。本书适合作为高等院校数据科学与大数据技术、软件工程等计算机类或电子信息类专业的大数据课程教材,也可作为其他读者深入了解大数据技术的参考书。

在当今数字技术飞速发展的背景下,大数据已成为推动社会进步和经济发展的重要力量,其重要性不言而喻,这也体现了科技发展对于社会变革的巨大推动作用。
中共中央、国务院印发的《数字中国建设整体布局规划》指出,建设数字中国是数字时代推进中国式现代化的重要引擎,是构筑国家竞争新优势的有力支撑。 加快数字中国建设,对全面建设社会主义现代化国家、全面推进中华民族伟大复兴具有重要意义和深远影响。
大数据的 “大” 在于其数据种类繁多、数据量巨大、数据流动迅速。 相关数据显示,仅2023年全球数据总量就达到了约120ZB,预计到2025年底将增长至180ZB 左右,同时数据中蕴含的价值也越来越受到人们的重视。大数据将成为新一轮产业革命的新动力、新引擎,它不仅推动了传统产业的转型升级,还催生了众多新的业态和商业模式,为经济发展注入了新的活力。相关预测表明,未来 5 年,大数据或者数据工作者的岗位需求将激增,其中大数据分析师的缺口将高达100万人。随着数字化转型的加速推进,企业对于数据分析和应用能力的要求越来越高,对大数据人才的需求不断攀升。需求驱动技术的发展。为了应对大数据及对其应用处理的要求,近年来,各类大数据技术层出不穷,如分布式计算技术、数据挖掘算法、机器学习模型等在大数据领域的广泛应用,为大数据的处理和分析提供了更加强有力的支持。
本书的宗旨是将大数据的思维、大数据的基础知识及基本技术介绍给读者,并帮助读者了解大数据的安全及伦理思想,使读者对大数据领域的知识及技术有初步的了解,起到引导思维、树立理念、明确概念、接触技术的作用,为读者以后深入学习大数据技术奠定基础,为开展大数据应用提供帮助。全书共7章。
第1章介绍了大数据概念的由来、大数据的特点及大数据技术带来的变革,介绍了大数据的应用及其技术框架,并特别介绍了“数据科学” “数据要素” “大语言模型”与大数据的联系。
第2章至第5章从构建大数据应用技术框架出发,分别介绍大数据采集与预处理、大数据存储与计算处理、大数据分析、大数据可视化等不同阶段中的基础知识、基本技术,以使读者对实现一个大数据应用的完整过程有比较深入的认识。
第6章介绍了互联网大数据、政务大数据、交通大数据、旅游大数据等不同领域的大数据应用及涉及的技术,帮助读者开启大数据应用的思路。
第7章介绍了大数据安全及伦理问题,帮助读者在接触、应用大数据技术时树立大数据安全及伦理观念。
本书图文并茂,尽量避免枯燥的概念陈述,每章后都设计了习题,以帮助读者更好地掌握知识内容。
本书是安徽工程大学质量工程“一流教材建设项目” (项目编号:2024yljc05)的建设成果。由大数据专业一线教师组织编写,第3章由冯富霞编写,第4章、第7章由杨磊编写,第5章由杨丹编写,其余章由陶皖编写,全书由陶皖统稿。 此外,第6章中政务大数据、交通大数据案例来源于上海德拓信息技术股份有限公司开发的实际应用项目。将项目转化为教学案例是与南京秉蔚信息科技有限公司和上海德拓信息技术股份有限公司校企合作的成果。全书的编写得到了中国铁道出版社有限公司和安徽工程大学计算机与信息学院的大力帮助和支持,在此表示诚挚的谢意。本书在编写过程中参考了很多优秀的教材、专著和网上资料,在此对所有引用资料的作者表示衷心的感谢。
由于编者水平有限,书中难免存在不妥之处,敬请广大读者批评指正。
编 者
2025年2月

第1章绪论11.1大数据的定义11.1.1“大数据”的由来11.1.2大数据的概念及特征41.1.3大数据的奥秘71.2相关术语81.2.1从数据到智慧81.2.2结构化与非结构化数据91.3大数据带来的价值、挑战与变革111.3.1大数据带来的价值121.3.2大数据带来的挑战121.3.3大数据带来的变革151.4大数据的相关技术161.5数据科学与大数据201.5.1数据科学的内涵201.5.2数据科学与大数据技术201.6数据要素与大数据211.6.1数据要素的内涵211.6.2数据要素与大数据的关系231.7大语言模型与大数据241.7.1大语言模型的内涵241.7.2大语言模型与大数据的关系26习题27第2章大数据采集与预处理282.1大数据来源与采集282.1.1大数据来源282.1.2大

陶皖，安徽工程大学教授。

（1）本书是高等学校省级质量工程项目成果教材。
（2）本书从大数据概念及特点切入,紧紧围绕大数据应用的技术框架这一主线展开,详细论述了大数据采集与预处理、大数据存储与计算处理、大数据分析、大数据可视化、大数据应用、大数据安全与伦理等内容。