共计 292 个字符，预计需要花费 1 分钟才能阅读完成。

关于 RL 训练中“简单样本”筛选的思考

在强化学习（RL）训练的过程中，将模型生成的 N 次全对样本视为“简单样本”并进行剔除，以此来提升后续训练的效率，已经成为一种普遍的做法。

然而，我对这一方法的适用性存在一些疑虑。在某些实际问题中，样本的“简单”与“困难”并非总能直接划分。不同样本可能存在于不同领域，比如在 RL 前的模型可能在领域 A 表现优异，而在经过训练后则在领域 B 更为擅长。若长时间未接触领域 A 的样本，模型可能会出现遗忘现象，导致在“简单”题目上反而表现不佳。

当然，这只是我个人的一种推测。想请教各位专家，您们在实际操作中是否曾遇到类似情况？或者说，是否可以毫无顾虑地剔除“简单样本”？