本书是“高速铁路工程技术创新丛书”之一，“高速铁路工程技术创新丛书”由国家铁路局牵头组织铁路行业科研和工程技术人员编写，旨在全面梳理创新成果，系统总结建设经验，进一步厚植技术优势，持续推进高质量发展；集聚行业智慧，丰富教学载体，助力高铁专业人才培养，分享我国高铁科技创新成果，促进各国铁路合作交流，服务“一带一路”建设。
本书为其中之一，并入选“国家出版基金项目”。本书结合高速铁路大数据的实际特点，对大数据技术在高速铁路行业的研究与应用进行了系统深入的分析探讨，并基于主流的大数据平台工具与成熟的大数据技术方法给出了针对性的解决方案。本书的特色是注重理论与应用的深度融合，涵盖了高速铁路大数据的采集、存储、安全、分析及决策等全生命周期数据流程，并结合典型的实践案例给出了高速铁路大数据的应用解决方案，对促进以数据驱动为核心的高速铁路的智能化、绿色化发展，加快国家交通强国建设，增强经济持续增长动力具有重要意义。

目  录

１ 绪  论

１.１ 高速铁路大数据的来源

１.１.１ 高速铁路主要信息系统

１.１.２ 高速铁路主要数据构成

１.２ 高速铁路大数据的特点

１.３ 高速铁路大数据服务的总体框架与数据流程

１.４ 国外铁路大数据技术发展现状

１.４.１ 德  国

１.４.２ 美  国

１.４.３ 日  本

１.４.４ 其他国家

１.５ 高速铁路大数据应用场景

１.６ 高速铁路大数据发展趋势分析

１.７ 本书的组织结构

２ 大数据分布式存储技术

２.１ 数据存储概述

２.１.１ 数据存储分类

２.１.２ 分布式存储方案

２.１.３ 高速铁路大数据存储需求

２.２ 分布式文件系统HDFS

２.２.１ HDFS概述

２.２.２ HDFS体系架构

２.２.３ HDFS数据操作

２.３ 分布式列式数据库HBase

２.３.１ HBase概述

２.３.２ HBase体系架构

２.３.３ HBase数据操作

２.４ 分布式对象存储Ceph

２.４.１ Ceph概述

２.４.２ Ceph体系架构

２.４.３ Ceph数据操作

２.５ 高速铁路大数据存储案例分析

３ 大数据安全技术

３.１ 信息安全概论

３.１.１ 信息安全的定义

３.１.２ 信息安全的目标

３.１.３ 信息安全的发展

３.２ 信息安全主要分类

３.２.１ 物理安全

３.２.２ 网络安全

３.２.３ 主机安全

３.２.４ 应用安全

３.２.５ 数据安全

３.３ 密码学基础

３.３.１ 密码学概述

３.３.２ 对称加密技术

３.３.３ 非对称加密技术

３.３.４ 散列技术

３.３.５ 数字签名

３.４ 大数据安全分析

３.４.１ 大数据安全的背景与意义

３.４.２ 大数据安全问题

３.４.３ 大数据安全技术分类

３.４.４ 大数据安全标准

３.５ 高速铁路大数据安全实践

３.５.１ 高速铁路大数据安全保障

３.５.２ 监控大数据安全管理应用

４ 大数据分析技术

４.１ 数据分析概述

４.２ 数据分析流程

４.２.１ 数据挖掘流程

４.２.２ 大数据分析流程

４.３ 数据分析主要方法

４.３.１ 联机分析处理

４.３.２ 可视化分析

４.３.３ 机器学习

４.３.４ 深度学习

４.４ 大数据并行处理模式

４.４.１ 数据并行

４.４.２ 模型并行

４.４.３ 混合并行

４.５ 高速铁路大数据分析技术案例分析

５ 大数据分析平台

５.１ 大数据分析平台概述

５.１.１ 大数据分析平台概述

５.１.２ 高速铁路大数据分析平台

５.２ 基于Hadoop的大数据分析平台

５.２.１ Hadoop概述

５.２.２ MapReduce原理

５.２.３ MapReduce编程

５.２.４ 运行MapReduce作业

５.３ 基于Spark的大数据分析平台

５.３.１ Spark概述

５.３.２ Spark原理

５.３.３ Spark编程

５.３.４ 运行Spark作业

５.４ 基于TensorFlow的大数据分析平台

５.４.１ TensorFlow概述

５.４.２ TensorFlow原理

５.４.３ TensorFlow编程

５.４.４ 运行TensorFlow作业

５.５ 高速铁路大数据分析平台案例分析

５.５.１ 平台需求

５.５.２ 平台架构

５.５.３ 应用场景

６ 走行部大数据分析实践

６.１ 走行部概述

６.２ 走行部大数据分析

６.３ 走行部特征提取与分析

６.３.１ 基于EMD和模糊熵的走行部特征提取

６.３.２ 基于特征融合的高速列车振动信号特征分析

６.４ 走行部故障诊断

６.４.１ 基于多视图分类集成的走行部故障诊断

６.４.２ 基于深度信念网络的故障诊断

６.５ 走行部大数据分布式处理

６.５.１ 数据预处理

６.５.２ 分布式特征提取

６.５.３ 分布式故障诊断

７ 轨道检测大数据分析实践

７.１ 轨道检测大数据概述

７.１.１ 高速铁路轨道检测大数据质量现状

７.１.２ 高速铁路轨道检测大数据质量评价方法

７.１.３ 高速铁路轨道检测大数据质量优化

７.２ 轨道检测大数据预处理

７.２.１ 高速铁路轨道检测数据

７.２.２ 冗余点滤除

７.２.３ 间断性里程误差修复

７.２.４ 毛刺滤除

７.２.５ 里程漂移校准

７.３ 轨道不平顺状态分析

７.３.１ 轨道不平顺的类型

７.３.２ 轨道不平顺分析方法

７.４ 轨道不平顺状态预测

７.４.１ 灰度预测

７.４.２ SVM 预测

７.４.３ 组合模型预测

７.５ 车体振动加速度预测

８ 弓网异常检测大数据分析实践

８.１ 图像目标检测

８.１.１ 图像预处理

８.１.２ 图像边缘检测与图像分割

８.１.３ 图像特征提取

８.１.４ 图像目标分类和识别

８.２ 图像目标分割方法

８.２.１ 图像边缘检测算法

８.２.２ 阈值分割算法

８.２.３ 活动轮廓模型

８.２.４ 分水岭变换算法

８.３ 图像特征提取方法

８.３.１ 颜色直方图特征

８.３.２ 梯度方向直方图特征

８.３.３ 纹理特征

８.３.４ 形状特征

８.３.５ 特征选择

８.４ 图像目标检测方法

８.４.１ 基于模板匹配的目标检测算法

８.４.２ 基于统计模式的目标检测算法

８.４.３ 基于神经网络的目标检测方法

８.４.４ 目标检测评价指标

８.５ 图像大数据目标智能检测案例分析

８.５.１ 高速铁路接触网鸟巢检测

８.５.２ 高速铁路接触网零部件检测

８.５.３ 高速铁路接触网定位器检测

８.５.４ 高速铁路接触网绝缘子检测

９ 旅客出行大数据可视分析实践

９.１ 旅客铁路联程出行

９.１.１ 背景及意义

９.１.２ 可视化系统架构及开发环境

９.１.３ 数据表结构设计

９.１.４ 功能模块介绍

９.１.５ 整体效果及交互设计

９.２ 旅客空铁联运出行

９.２.１ 背景及意义

９.２.２ 可视化分析系统架构及开发环境

９.２.３ 数据表结构设计

９.２.４ 功能模块介绍

９.２.５ 整体效果及交互设计

参考文献

附录 TensorFlow 平台安装使用说明

李天瑞，西南交通大学人工智能研究院副院长，工学博士，教授，博导，综合交通大数据应用技术国家工程实验室副主任和四川省云计算与智能技术高校重点实验室主任。主要研究方向为人工智能、数据挖掘与知识发现、云计算与大数据、粒计算与粗糙集。主持国家重点研发计划课题、国家自然科学基金等国家级项目7项，出版编著6部，获得授权国家发明专利12项和软件著作权3项。李平，中国铁道科学研究院铁路大数据研究与应用创新中心主任，工学博士，研究员，博士生导师。现任中国铁道科学研究院大数据研究与应用创新中心主任，电子所副总工程师，智能交通协会轨道智能运输分委会副秘书长，中国人工智能学会智能服务专业委员会委员。等,西南交通大学（SouthwestJiaotongUniversity）简称“西南交大”，位于四川省成都市，是中华人民共和国教育部直属的全国重点大学，由教育部、中国铁路总公司、四川省和成都市共建，位列国家首批世界一流学科建设高校、211工程、985工程优势学科创新平台重点建设的研究型大学，入选2011计划、111计划、卓越工程师教育培养计划、国家大学生创新性实验计划、国家建设高水平大学公派研究生项目、新工科研究与实践项目、中国政府奖

本书可供计算机科学与技术、人工智能、交通运输、软件工程、自动化、控制科学与工程、管理科学与工程和应用数学等专业的科研人员、工程技术人员使用，也可供相关专业的教师、研究生、高年级本科生学习参考。

党的十八大以来,我国高速铁路快速发展,取得了举世瞩目的成就。为了全面梳理我国高铁工程技术创新成果、系统总结建设经验、推进高铁持续创新，国家铁路局组织一批具有深厚理论功底和丰富实践经验的科研和工程技术人员编写了“高速铁路工程技术创新丛书”，并请高铁工程领域资深权威专家全程指导、审定把关。丛书共31册,本书为丛书之一。

铁路是国民经济的大动脉和关键基础设施，也是新时代新经济的大动脉和大众化交通工具，已成为满足人民群众日益增长的美好生活需要的重要载体。随着国家交通强国战略的深化落实，铁路作为综合交通运输体系的骨干地位进一步被巩固，在货物运输、物资调配、旅客输送等方面有着不可替代的重要作用。特别是近年来中国高速铁路建设取得了举世瞩目的成就，截至2020年底,中国高速铁路营业里程数达到3.8万公里。“四纵四横”高速铁路网络全面贯通，不仅拉近了沿线城市的空间距离，促进了人口和资源的快速流动，更驱动了全国的经济脉搏，而且我国正在加密建成一张全面覆盖中西部地区的“八纵八横”高速铁路网络，中国高速铁路在一路领跑中不断提速升级,为经济发展持续提供新动能。

目前，我国不仅是路网规模最庞大的国家，也是全球范围内高速铁路技术体系最完善的国家。随着高速铁路基础设施建设的不断推进和未来高速铁路的规模的不断扩大，高速铁路的运行安全和效率等挑战会越来越严峻。我国铁路信息化历经近四十年的建设，围绕运输生产、经营开发、资源管理、建设管理、战略决策和综合协同等业务领域构建了多个覆盖全路的业务信息系统，产生并积累了海量的旅客出行、运营维护、安全监测和工程建设等相关数据，为我国高速铁路技术的持续领跑奠定了坚实的数据基础。因此，对这些数据进行准确地采集、存储、分析、处理、决策等是当前我国高速铁路的迫切需求。传统的数据分析处理手段面对加速爆炸的数据量日益显得无能为力，高速铁路的海量数据亟需新的分析手段与研究策略。

大数据是一种可以从海量数据中发现新知识、创造新价值、提升新能力的新一代信息技术,正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。因此,深化高速铁路大数据应用已成为推动高速铁路创新能力现代化的内在需要和必然选择。大数据为数据分析研究处理提供了一系列的理论、方法、工具与技术，在众多行业中得到了极为广泛的应用。将大数据方面成熟的技术应用于高速铁路行业，探讨大数据新的研究应用领域，并寻求高速铁路大数据新的分析解决方法，有助于提升高速铁路安全运营决策和风险防范能力，提高旅客服务质量和水平，推动跨领域、跨行业的数据融合和协同创新，探索形成协同发展的新业态、新模式，培育新的经济增长点等。

高速铁路行业的高质量发展急需兼顾理论与技术、注重应用与实践的高素质复合型人才。当前的一些高速铁路及大数据方面的图书大多将高速铁路与大数据隔离开来进行分析,缺乏二者结合的着力点。本书结合高速铁路大数据的实际特点,对大数据技术在高速铁路行业的研究与应用进行了系统深入的分析探讨,并基于主流的大数据平台工具与成熟的大数据技术方法给出了针对性的解决方案。本书的特色是注重理论与应用的深度融合,涵盖了高速铁路大数据的采集、存储、安全、分析及决策等全生命周期数据流程,并结合典型的实践案例给出了高速铁路大数据的应用解决方案,对促进以数据驱动为核心的高速铁路的智能化、绿色化发展,加快国家交通强国建设,增强经济持续增长动力具有重要意义。

本书是作者在多年教学与实践的基础上编写而成，由李天瑞、李平等编著,由香港中文大学(深圳)罗智泉教授主审。具体编写分工如下:第１章由李天瑞、李平、杨怀志、马小宁、曹鸿飞、封博卿编写；第２章由滕飞、李天瑞、李博编写；第３章由王明文编写；第４章由杜圣东、李天瑞编写；第５章由滕飞、李天瑞、李博编写；第６章由杨燕、李天瑞编写；第７章由龚勋编写；第８章由彭博编写；第９章由杨欢欢、李运隆、李天瑞编写；全书由李天瑞、李平统稿。

本书共分９章。第１章概述高速铁路大数据的来源和特点,给出了高速铁路大数据服务的总体框架与数据流程,梳理了高速铁路大数据技术的发展现状和应用场景,最后展望了高速铁路大数据的发展趋势；第２-５章分别介绍大数据分布式存储技术、大数据安全技术、大数据分析技术、大数据分析平台及其在高速铁路大数据方面的应用案例；第６-９章分别讨论高速列车走行部大数据分析实践、高速铁路轨道检测大数据分析实践、高速铁路弓网异常检测大数据分析实践和旅客出行大数据可视分析实践,反映了当前大数据技术在高速铁路领域中的典型应用。

本书在编写的过程中得到了国家铁路局的资助以及西南交通大学、中国铁道科学研究院和京沪高速铁路股份有限公司的大力支持，在此一并表示衷心的感谢!

由于编者能力有限，加之收集和组织材料还不够全面，未能涵盖我国高速铁路大数据技术最

新进展，书中难免存在疏漏和不足之处，敬请同行专家和广大读者批评指正。