Understand deeper ： Why xxx is useful?

导言

明白设计(数据构造，模型设计, 训练流程)的有效性，是抓住问题核心的关键。有助于在众多的AI论文里筛选出有效结论。

• 一些AI大厂只是通过不断的微调，消融尝试，堆砌最新的trick方法达到SOTA，再提出一些听上去make sense的观点来发论文。但是其观点的可迁移性难以保障。
• 但是一些研究人员专注在AI的有效性，可解释性的探索：虽然难有直接产出，但是对AI技术的未来方向提供了宝贵的信息。（e.g., 研究模型参数和层的有效性，流程的必要性）

通过这些宝贵的信息，才能渐渐知道能被时间检验过的经验是什么。

本文将聚焦于归档 有效性相关的工作。

模型设计者追求效果，往往对有效性关注不足

• 当前端到端的AI设计，就难以评估网络是否学到了高纬空间的特征，或者是否有冗余内容。 因为设计者只能通过唯一的指标来评估：测试集的准确性。导致内部的推导是黑盒。
• 设计者的局限：在确定好大框架后，为了实现更好的效果，只能不断的调参，加部件，减部件尝试来提高最终精度，得出增大数据感知野的结论。但是对于是否有效难以判断。

🚧🚧🚧🚧🚧🚧🚧🚧🚧🚧🚧🚧🚧 –>

参考文献