本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，以图像分类、语义分割和姿态估计这些有代表性的视觉任务为例，研究使用迁移学习技术帮助模型用更低廉的数据学习更多的新类别，以及用更易得到的测试数据来保持模型的测试性能。本书分为八章，主要内容包括计算机视觉技术的现状与迁移学习方法的作用；计算机视觉与迁移学习技术的基础知识；基于相似度迁移的细粒度分类模型及其实验效果；基于相似度迁移的语义分割模型及其实验效果；如何使用迁移学习技术来降低深度学习模型对于测试样本收集的完整信息的依赖，从而让模型能够应用于那些难以获取某些信息的广阔场景中；如何学习可迁移的关键点及链接，从而实现对任意类别物体的姿态估计；如何学习可迁移的提示与关联,仅用微量样本来实现准确的姿态估计。本书内容先进，结构清晰，对关键的问题进行了详细的数学论述，并给出了大量的图示和性能对比表格，以易于读者理解。本书适合作为高等院校计算机科学与技术和其他相关专业“数字图像处理”和“计算机视觉”课程的教学参考书，也可供对迁移学习和计算机视觉领域感兴趣的人员参考。

近年来，计算机视觉和深度学习技术的不断进步，极大地推动了各种应用的发展和落地，自动驾驶和智能机器人等科幻梦想已经变为现实产品。但目前这个巨大的进步通常依赖于特定应用场景下充足的训练数据和完整的测试数据，并且这些数据大多需要高昂的成本来标注或收集。然而，现实世界中的应用场景多种多样，且在持续不断地发展，所以昂贵的训练数据和完整的测试数据便成了目前严重制约计算机视觉技术进一步发展的瓶颈。迁移学习技术是缓解数据瓶颈的有效手段，它旨在从已有精细标注的数据集中提炼通用的信息来帮助深度学习模型更好地应对缺少标注数据的训练场景或缺少完整数据的测试场景。基于此，深度学习模型可以在新的学习场景下减少对精细标注的训练数据或完整测试数据的依赖程度，从而有更低廉的拓展成本及更广阔的应用空间。
本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，以图像分类、语义分割和姿态估计这些有代表性的视觉任务为例，研究使用迁移学习技术帮助模型用更低廉的数据学习更多的新类别，以及用更易得到的测试数据来保持模型的测试性能。本书主要内容及贡献概括如下：
（1）提出基于相似度迁移的弱样本细粒度分类方法。该方法充分利用为基础种类已准确标注的训练数据学习语义相似度，并将其迁移来辅助模型从低廉易得的网络图片中学习新种类。提出使用样本权重和图正则化两个策略，通过迁移的相似度为网络图片去噪。同时，提出使用对抗损失代价函数进一步增强相似度的可迁移性。该工作可以用更低的数据成本更好地从基础种类拓展学习识别更多的新种类。
（2）提出基于双重相似度迁移的弱样本语义分割方法。该方法充分利用为基础种类已标注的带像素级语义标签的数据学习语义相似度，并将其迁移来帮助模型从低廉的仅带图片级标签的数据中学习分割新种类。提出使用迁移来的“区域和像素”相似度为新种类预测分割结果，使用迁移来的“像素和像素”相似度为新种类提供像素级监督。同时，提出一个补集代价函数帮助模型学习分割新种类。该工作可以用更低的标注成本更好地从基础种类拓展学习分割更多的新种类。
（3）提出基于双重注意力迁移的带特权信息的场景识别方法。该方法在训练阶段将模型注意力从深度模态迁移到RGB模态中，所以在仅有RGB模态的测试阶段也能预测深度模态的注意力，补足RGB模态中的信息，从而提升分类性能。并且，提出同时迁移并融合两种注意力机制以进一步增强模型的性能。该工作能够更好地应用于那些难以准确获取深度数据的广泛实际场景中。
（4）提出一种基于关键点和链接迁移的类别无关姿态估计方法，可直接预测物体的姿态，包括关键点坐标、坐标点可见度和坐标点之间的链接关系。并且，提出基于协同匹配的自适应监督，可增强关键点的语义一致性关系。该工作无须参考样本也可为新类别物体预测完整姿态。
（5）提出基于提示迁移与关联迁移的极小样本姿态估计方法，可在充分利用深度扩散模型的基础上，仅凭少量标注图像就能对新类别图像进行关键点定位。同时，利用新类别的无标注图像来提升姿态估计结果的准确性。
本书共八章，各章主要内容概括如下：第1章论述了计算机视觉技术面临的难题和迁移学习的概念及应用场景，并针对问题提出了基于迁移学习技术的解决方案。第2章论述了本书所提出的计算机视觉与迁移学习方法的必备基础知识，以便于在后续的内容中可以更紧凑地描述属于本书方法的创新点和贡献点。第3章论述了基于相似度迁移的弱样本细粒度分类。该工作充分利用现有的带准确分类标签的训练数据辅助深度学习模型从成本低廉的网络图片中学习识别新种类。在该学习模式下，提出了基于相似度迁移的模型算法。第4章论述了基于相似度迁移的弱样本语义分割。该工作充分利用现有的带像素级语义标签的训练数据来帮助深度学习模型从成本低廉的仅含图片级语义标签的训练数据中学习分割新种类。第5章论述了基于注意力迁移的带特权信息的场景识别。该工作将深度信息作为特权信息，并提出了基于双重相似度迁移的模型算法。第6章论述学习可迁移的关键点和连接方法，可估计任意物体姿态。第7章通过学习可迁移的关键点提示与迁移，实现极小样本条件下的姿态估计。第8章总结了本书的研究内容和实验结论，并讨论和展望了本书基于迁移学习的计算机视觉技术的未来方向与发展。
在撰写本书的过程中，参考了国内外众多研究者的文献资料，衷心地感谢他们对迁移学习和计算机视觉领域的贡献。同时，也非常感谢中国铁道出版社有限公司的支持和编辑团队的辛勤工作。本书受国家自然科学基金（批准号62402201）和江西省自然科学基金资助项目（项目编号20242BAB21006）资助出版。
最后，衷心希望本书能够给读者带来启发，引发更多有意义的研究工作。著者也相信，迁移学习与计算机视觉技术将得到进一步的发展，造福社会。
由于著者水平有限，疏漏与不妥之处在所难免，欢迎各位读者批评指正。


著者
2024年6月

第1章绪论11.1计算机视觉技术面临的难题11.2迁移学习的概念和应用场景31.2.1迁移学习概述41.2.2零样本图像分类和分割51.2.3小样本图像分类和分割91.2.4带特权信息的学习131.3基于迁移学习技术的解决方案14小结14第2章计算机视觉方法的基础知识162.1符号定义162.2常用模块172.2.1全连接层172.2.2卷积层172.2.3池化层182.2.4激活函数182.2.5代价函数192.3骨干网络212.3.1深度残差网络212.3.2特征金字塔网络222.4可变形和调节的卷积层232.5多头注意力模块24小结25第3章基于相似度迁移的弱样本细粒度分类263.1研究动机与方法简介263.2迁移学习与细粒度分类的相关工作293.2.1零样本和小样本学习293.2.2网络监督学习293.2.3弱样本学习303.2.4相似度迁移303.3基于相似度迁移的模型算法313.3.1阶段一：学习相似度网络31

陈俊杰，江西财经大学讲师，主要研究方向为计算机视觉、迁移学习、无监督学习等，主要教授软件工程、数字图像处理、计算机视觉等课程。主持国家自然科学基金青年项目1项、江西省自然科学基金青年项目1项，发表论文多篇。

本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，内容前沿。