实验在教学过程中占据十分重要的地位,特别是在大数据教学中尤为重要。本书针对高校在开设大数据课程过程中遇到的大数据实验指导专业师资不足、难以培养实用型人才、专业学习与实际应用脱轨等诸多问题,本着“有用、够用、实用”的原则,设计了大量的大数据实验项目,引导学生对大数据常用知识点进行探究。全书分为两部分(共11章):第一部分大数据概述及实验环境简介,内容包括大数据技术概述、实验相关组件介绍;第二部分典型案例实验,容包括销售信息查询实验、气象数据探索性分析实验、地震数据分析实验、信用卡逾期预测实验、电影推荐实验、社交网络推荐实验、航班图实验、自然语言处理实验、深度主题模型。通过学习本书,可使读者熟练掌握大数据环境下的案例开发,提高实际问题的分析和解决能力。 本书适合作为高等院校大数据及人工智能专业的实践课程教材,也可作为非计算机专业研究生学习大数据相关内容的实验指导手册。

数据科学是一门新兴学科, 强调培养具有多学科交叉能力的大数据人才。大数据人才应具有扎实的理论基础和丰富的实践能力。 培养这样的人才需要数学、 统计学和计算机科学等学科之间密切合作, 同时也需要产业界合作。 数据科学课程的开设需要采用新的模式, 即理论+实践相结合的模式。 其中, 实验平台和实验案例为大数据实践教学奠定了坚实的基础。


为了提高学生实践能力、 适应大数据人才培养需求, 内蒙古师范大学计算机科学技术学院整合全院大数据专业相关教师, 从大数据技术的实际应用案例出发, 以实验为驱动、 以案例为线索, 编写了这本旨在提高学生实际应用能力, 具有实验引导、 案例驱动特点的实验教材。 本书首先对大数据进行概述并且介绍大数据的实验环境, 其次对与实验相关的组件进行详细介绍, 之后通过销售数据查询、 气象数据探索性分析、 地震数据分析以及信用卡预期预测等典型案例的实验, 提高学生的动手及实际操作能力, 最终实现熟练掌握大数据环境下的案例开发, 提高实际问题的分析和解决能力, 从而培养学生学习计算机新知识、 新技术的能力。


编者具有大数据环境搭建及开发方面的经验, 根据 “有用、 够用、 实用”的原则, 按照学生习惯编排内容, 案例由浅入深, 详略得当。 其中, 每个案例都详细说明该案例所涉及的相关背景知识、 案例步骤及具体代码。 最后, 扩展介绍了多种深度主题模型, 为学生后续学习基于深度学习的大数据文本处理技术提供指导和帮助。


本书由内蒙古师范大学计算机科学技术学院柳林、 林民、 张树钧任主编,徐行健、 朱颖奇任副主编。 其中, 林民负责实验教材的整体规划与设计, 柳林编写了第一、 二、 四章, 张树钧编写了第五、 八、 十章, 徐行健编写了第六、九章, 朱颖奇编写了第三、 七、 十一章。 在本书编写过程中有许多老师及大数据从业工程师提出了宝贵意见, 硕士研究生赵晔辉、 张如琳参与了本书的文字校对及排版工作, 在此表示感谢。


由于时间仓促, 编者水平有限, 书中难免存在疏漏与不妥之处, 恳请读者予以指正。

第一部分大数据概述及实验环境简介 第1章大数据技术概述………………………………………………………………………2 1.1大数据概念及特征………………………………………………………………………2 1.2大数据的数据处理流程…………………………………………………………………3 1.3大数据的数据安全………………………………………………………………………6 思考题…………………………………………………………………………………………7 第2章实验相关组件介绍……………………………………………………………………8 2.1HDFS……………………………………………………………………………………8 2.2MapReduce………………………………………………………………………………11 2.3Hive……………………………………………………………………………………15 2.4HBase…………………………………………………………

柳林：男，汉族，工学博士，任职于内蒙古师范大学，副教授，硕士生导师；长期从事本科《大数据平台技术实践》等课程教学，主要研究领域为知识图谱构建与知识智能；现任内蒙古师范大学计算机科学技术学院专业实验中心主任，内蒙古自治区教育学会教育信息化专委会委员，内蒙古自治区文化和旅游标准化技术委员会委员；发表CCF推荐会议期刊论文、SCI、EI、CSCD及北大核心论文20余篇；主持参与国家级课题、内蒙古自然科学基金、教育部协同育人项目10余项。,林民：男，汉族，工学博士，教授，博士生导师。现任内蒙古师范大学计算机科学技术学院院长。研究领域为自然语言处理与文本挖掘、深度学习、蒙古文MOOC技术、汉字字形计算及软件技术。发表专业论文70余篇，主持国家自然科学基金项目3项，内蒙古自然科学基金项目4项，自治区科技计划项目2项，获发明专利1项，软件著作权5项。曾获国家档案局科技成果一等奖（排名第一）、内蒙古自治区青年科技奖、内蒙古自治区高等教育教学成果二等奖等。主讲研究生、本科《中文信息处理》、《机器学习》、《软件工程》、《人工智能》、《计算机图形学》等核心课程。兼任中国中文信息学会理事，蒙古文信息技术国家标准工作组成员，国家语言资

本书首先对大数据进行概述并且介绍大数据的实验环境, 其次对与实验相关的组件进行详细介绍, 之后通过销售数据查询、 气象数据探索性分析、 地震数据分析以及信用卡预期预测等典型案例的实验, 提高学生的动手及实际操作能力, 最终实现熟练掌握大数据环境下的案例开发, 提高实际问题的分析和解决能力, 从而培养学生学习计算机新知识、 新技术的能力。