迁移学习

• 动机
  • 在一个任务上学习模型，适用于相关的任务
  • 基于深度学习，大批量数据生成的特征网络
• 途径
  • 特征提取模块：word2vec, ResNet-50, I3D feature
  • 在相关任务上训练模型，直接作用于另外一个任务
  • 微调(Fine-Tuning)
• 相关领域
  • 半监督学习
  • zero shot / few shot：新任务没有样本/非常少的样本
  • Multi-task learning：不同任务的样本都少，但是相关，所以合并训练

计算机视觉里的微调

• 大量应用于计算机视觉
  • 利用大数据集上的学习特征作用于子集

预训练模型

• 神经网络划分
  • 编码器（抽取特征）
  • 解码器（线性分类器）：表编码器的输出预测出标号
• 预训练模型
  • 在大数据集上已训练好，有一定泛化能力

微调

• 在任务上构建新模型
  • 架构类似于预训练模型
  • 复制预训练模型的权重
  • 解码器随机（一个全连接层）
    • 因为标号的不同
  • 限制搜索空间
    • 避免过拟合
    • 一定程度上保持预训练模型特征
    • 对降低预测的泛化误差有好处
  • 最底层固定
    • 神经网络是层次化的学习
    • 底层是局部基本纹理，通用性强
    • 层数高是全局特征，针对性强（更靠近标号）
    • 底层学习率设为0

预训练模型查找

• Tensorflow Hub
• TIMM (PyTorch)

应用

• 主流方法
  • 检测、分割
  • 医学、为姓
• 加速收敛
  • 初始点不随机，更靠近最重点，也更加平滑，训练简单
• 提高精度

总结

• 通常在大数据集上预训练
• 初始化权重
• 微调