共计 1409 个字符，预计需要花费 4 分钟才能阅读完成。
新研究揭示AI在癌症研究领域的影响与挑战
美国癌症研究协会（AACR）最近的研究表明，预计在2024年提交的稿件中，有23%的摘要及5%的同行评审报告可能包含由大型语言模型（LLM）生成的文本。尽管AACR要求作者在投稿时披露人工智能的使用情况，然而，遵循这一规定的作者比例却不足四分之一。该研究结果在芝加哥举行的第十届国际同行评议与科学出版物大会上公布。
AACR利用AI工具Pangram对稿件进行AI痕迹的检测。Pangram分析了从2021年至2024年间提交给AACR旗下十种期刊的4.65万篇摘要、46021个章节和29544篇同行评审报告，发现自从ChatGPT于2022年11月正式发布以来，疑似AI生成文本的投稿和评审报告数量明显上升。
分析结果指出，截止2023年底，AACR禁止同行评审人员使用LLM后，AI文本在同行评审报告中的比例下降了50%。不过到了2024年初，该比例又翻了一番，并持续上升。
AACR期刊运营和系统主任Daniel Evanko指出：“尽管我们已禁止使用LLM进行同行评审，但其使用情况依然在上升，令人担忧。我们计划对所有收到的稿件和评审报告进行全面筛查。”
英国研究诚信公司Clear Skies的创始人Adam Day对该检测工具的整体表现给予肯定，但也提醒：“该工具在假阳性率方面可能存在尚未被发现的偏差，值得关注。”假阳性率是指将人类撰写的文本误判为AI生成文本的比例。
Pangram的训练数据包括2021年前的2800万份人类撰写文档，其中涵盖300万篇科学论文，以及模仿人类撰写风格的LLM生成文本。
Pangram的首席执行官Max Spero表示，新增的主动学习模式显著降低了假阳性率。他和团队对工具进行了多次训练，使假阳性率从约1%降至约0.01%。
在2024年发布的一篇预印本中，Spero及其同事表明，Pangram的准确率达到了99.85%，其错误率仅为市场上其他AI检测工具的1/38。
在ChatGPT问世之前，AI工具仅在文稿中标记了7篇摘要，且未发现方法章节或同行评审报告存在AI生成文本。Evanko表示：“此后，AI生成文本的检出量持续上升，增速超出预期。”
Pangram能够识别多种LLM，包括ChatGPT系列、DeepSeek、LLaMa及Claude。然而，当前版本尚未能区分“完全由AI生成的文本”和“经过AI编辑的人类撰写文本”。
AACR利用Pangram对2024年提交的11959篇摘要、11875个章节及7211篇同行评审报告进行了深入分析。结果表明，来自非英语母语国家的作者使用LLM的可能性是其他国家作者的两倍以上。
研究还发现，2025年提交的论文中，摘要被Pangram标记的稿件在同行评审前被期刊编辑拒绝的概率是未标记稿件的两倍。此外，章节被标记为存在AI生成文本的稿件，被拒绝的几率更高。
值得注意的是，该研究并未追踪标记稿件的最终发表情况。同时，研究显示，目前关于AI使用情况的披露政策效果有限。
美国西北大学范伯格医学院的Mohammad Hosseini指出，目前尚无法完全确认被标记的稿件确实使用了AI，但出版商应对违反政策的行为采取相应的措施。
