一文让你掌握22个神经网络训练技巧

文章目录

• • 一文让你掌握22个神经网络训练技巧
  • 1.Overfit a single batch（单批次过拟合）
  • 2.Run with a high number of epochs（运行大量epoch）
  • 3.Set seeds（设置种子参数）
  • 4.Rebalance the dataset（重平衡数据集）
  • 5.Use a neutral class（使用中性类）
  • 6.Set the bias of the output layer（设置输出层偏差）
  • 7.Tune the learning rate（调整学习率）
  • 8.Use fast data pipelines（使用快速数据流程）
  • 9.Use data augmentation（使用数据增强）
  • 10.Train an AutoEncoder on unlabeled data, use latent space representation as embedding（在未标记的数据上训练AutoEncoder，使用潜在空间表示作为嵌入信息）
  • 11.Utilize embeddings from other models（利用来自其他模型的嵌入信息）
  • 12.Use embeddings to shrink data（使用嵌入来缩小数据）
  • 13.Use checkpointing（使用检查点）
  • 14.Write custom training loops（编写自定义训练循环）
  • 15.Set hyperparameters appropriately（设置合适的超参数）
  • 16.Use EarlyStopping（使用EarlyStopping）
  • 17.Use transfer-learning（使用迁移学习）
  • 18.Employ data-parallel training（采用数据并行训练）
  • 19.Use sigmoid activation for multi-label tasks（将sigmoid激活用于多标签任务）
  • 20.One-hot encode categorical data（One-hot编码分类数据）
  • 21.Rescale numerical inputs（重调整数值输入）
  • 22.Use knowledge distillation（使用知识蒸馏）