模型调参

手动调整超参数

• 高起步点，从论文、实验中借鉴
• 每次从一个超参数入手（控制变量法）
• 多次重复
  • 总结超参数的重要性
  • 模型对超参数的敏感性
  • 最优范围
• 实验数据管理
  • 做好笔记
    • 最简单的方式就是saving logs in text
  • 数据库
• 需要谨慎的实验设计
• 可重复性
  • 硬件和环境
  • 代码开发
  • 存在随机性

自动调整参数

• 根据摩尔定律，自动成本下降，人力成本上升
• 算法的训练次数只要足够高，就有大概率击败数据科学家手动调整
  • 更广义的Automated Machine Learaning (AutoML)
    • 每一步都自动化
    • HPO（超参数优化）
    • NAS（构建好的神经网络模型使适应数据）