大数据时代，数据呈现出诸如海量、高维、异构、多类型等新特征，对数据采集、存储、处理与学习等提出了新的要求与挑战。本书在统计学习理论框架下，以平衡学习性能与学习效率为主线，基于核方法建立一系列高效核学习机，并用以解决实际预测问题。本书首先探讨经典核学习模型性能的改进与优化，并构造相应学习机，进而探讨减少工作集规模的两种方法，构造局部学习机与稀疏学习机，最后引入在线学习模式，构造稳健、高效的自适应在线学习机。
高效率预测方法普遍适用于经管、金融、智能控制、智能交通、工程管控以及人文社会科学等领域，所得成果的应用并不限于预测，其构造思路与相关理论技术亦可自然拓展至模式识别或其他问题与领域，也为大数据背景下的数据分析与处理提供了一些具体思路与方法。
本书可供学习统计学习、数据挖掘、应用领域数据分析与处理的大学生、研究生及相关专业技术人员学习和参考。

大数据时代，数据呈现出诸如海量、高维、异构、多类型等新特征，对数据采集、存储、处理与学习等提出了新的要求与挑战。传统的数据分析与处理方法难以适应新的需求与变化，而统计学习、机器学习、数据挖掘、数据科学与大数据技术等新兴理论、方法与技术则不断发展，为数据分析与处理提供新的理论依据与技术支撑。本书在统计学习理论框架下，以平衡学习性能与学习效率为主线，基于核方法建立一套高效率的学习机，并用以解决实际预测问题。
高效率预测方法普遍适用于经管、金融、智能控制、智能交通、工程管控甚至人文社会科学等领域的相关问题。所得成果的应用并不限于预测，其构造思路与相关理论技术亦可自然拓展至模式识别或其他问题与领域，也为大数据背景下的数据分析与处理提供了新的思路与具体方法。
本书主体部分首先讨论经典核学习模型性能的改进与优化，并构造相应学习机，进而探讨减少工作集规模的两种方法，构造局部学习机与稀疏学习机，最后引入在线学习模式，构造稳健、高效的自适应在线学习机。
本书第1章为绪论，阐述本书所涉话题的背景与意义。第2章就作者理解，对统计学习理论与核方法的理论主线做必要回顾。本书涉及的基本概念、基本技术与必要理论结果均在本章给出。自第3章起本书所构造的每种学习机自成一章，全书共计7章，相关定理证明在附录中给出，引用定理的证明则可在相应参考文献中找到。
本书第3章探讨样本集上信息分布纵横两个方向上的不均匀性，构造几种简洁的动态参数，并引入多元尺度因子，构造多元核。在统一的框架下考虑参数的改进、优化与特征提取，所得学习机MO-SVR简明、高效。该学习机的性能在四个不同问题背景的数据集上得到了检验与肯定。其思想在后述几个学习机上也得到应用。
随之，本书第4、5两章探讨通过减少工作集规模来提高学习效率的新途径。第4章应用局部风险最小化原则，导出局部学习机的一般形式，分析其理论收敛界，秉承MO-SVR的优化思想，利用快速计算的留一误差或其误差界，由PS算法实现参数的自动优化，构造出具体的优化局部学习机。学习机的有效性在一个真实的时间序列上得到了验证与肯定。
第5章采用稀疏技术构造简化核回归机。通行做法是先用低阶矩阵或基函数逼近Gram矩阵，再求解近似后的学习机。求解近似学习机的常见方法是先转化原问题为对偶问题然后再进行优化求解。本书所拟思路则更为直接，规模递增地选择一列基函数逼近待学习的目标函数，使得该目标函数直接最小化风险泛函。试验结果验证了算法性能及其理论分析。
第6章研究在线高效学习模式，具体探讨显式更新与隐式更新两种学习方式， 从理论与实证两方面论证了隐式更新的优势。进一步，推广当前在线学习模式，提出约束随机元自适应学习方法，为高效学习提供了新思路，其理论分析与算法性能得到一系列实验的验证与肯定。
本书最后一章总结前述研究成果，分析其特点，并探讨后续研究工作与方向。较之当下的大数据问题，本书实验所涉数据集规模并不大，但并不影响本书所拟学习策略与具体算法在大规模学习问题上应用的有效性。
本书是基于作者前期部分研究工作及博士学位论文而做的系统回顾与总结。本书的出版得到了福建省自然科学基金（2016J01750）、福建省教育科学“十三五”规划2016年度重点课题（FJJKCGZ16018）以及福建工程学院研究生教育教学改革研究项目（GBYJ1608）的部分资助，特此表示感谢。衷心感谢中南大学博士生导师王志忠教授长期以来对本人研究工作的关心与指导，感谢中南大学数学与统计学院老师们的帮助，也感谢惠州学院蒋辉教授对本人研究工作的帮助。本书的出版也得到了福建省北斗导航与智慧交通协同创新中心、福建省大数据挖掘与应用技术重点实验以及福建工程学院数理学院的领导及多位老师的关心与支持。
特别感谢蒋新华先生、邹复民教授、廖律超副教授、刘建华教授、梁泉教授、张积林教授、王昆仑副教授、龙建辉副教授、蒋海斌副教授、王峰副教授、林江宏老师、闫同新老师等给予的建议与指导，在此表示衷心的感谢。
由于作者水平所限，书中难免有错谬之处，敬请专家与读者不吝批评指正。
作者
2017年10月

第1章绪论1


11研究背景与意义1

12本书内容及结构4

第2章统计学习理论与核方法7


21统计学习理论7

211经验风险最小化8

212不定积分方程12

213结构风险最小化18

22核方法21

221核与再生希尔伯特空间22

222正则化方法与表述定理25

223常用核学习机26

第3章综合优化的核回归机28


31引言28

32ModelOptimizing SVR30

321学习机参数的设计与改进30

322学习机参数的优化与选择34









323特征选择38

33实验结果与分析40

331GOVI数据集40

332Sunspot数据集46

333Mackey-Glass数据集48

334电力负荷数据集49

34本章小结50


第4章高效局部核学习机52

41引言52

42局部核学习机53

421局部风险最小化53

422局部核回归55

423KNN-SVR56

43模型优化57

431留一法57

432PS算法60

44实证分析62

441试验设置62

442实验结果与分析63

45本章小结67







第5章高效简化核学习机69


51引言69

52基于直接简化策略的核学习机71

521实现DS的Cholesky分解算法72

522实现DS的共轭梯度算法73

523简化学习的其他相关问题75

53基于非二次损失的简化学习机77

54实证分析79

541试验设置80

542实验结果与分析80

55本章小结84


第6章在线自适应核学习机86


61引言86

62在线核学习88

621在线学习的显式更新88

622在线学习的隐式更新90

63在线学习的SMD调节92

631SMD方法92

632基于SMD的学习率调节93

633隐式更新的SMD调节95

64在线学习的LSMD调节96








641推广的在线学习97

642基于LSMD的学习率调节99

643偏置项的自适应学习100

65实证分析101

651试验设置101

652在线学习的隐式更新102

653推广的在线学习103

654显式更新学习率的LSMD调节104

655隐式更新学习率的自适应调节107

656其他相关问题的验证与分析113

66本章小结114


第7章总结与研究展望116

71总结116

72研究展望118


附录本书相关定理证明121
附录A第4章相关定理证明121

定理421的证明121

定理431的证明122

附录B第5章相关定理证明123

命题523的证明123

附录C第6章相关定理证明125







定理623的证明125

定理641的证明127

定理642的证明128

定理643的证明129

参考文献131

插图索引142

附表索引143

贺文武，男，福建工程学院副教授，2008年5月毕业于中南大学，获得理学博士学位。2011年9月至2012年9月，香港科技大学计算机科学及工程系访学；2014年11月至2015年11月，美国密歇根大学统计系访学。研究方向为统计机器学习与大数据挖掘，近期兴趣集中于在线学习、稀疏学习与深度学习等。13290930180