Блог

Sep 24, 2023

ИИ усиливает борьбу с «бумажными фабриками», которые производят фейковые исследования

Вы также можете найти этого автора в PubMed.

Вы также можете найти этого автора в PubMed Google Scholar.

У вас есть полный доступ к этой статье через ваше учреждение.

Инструменты искусственного интеллекта, способные генерировать реалистичные изображения и текст, затрудняют обнаружение фейковых исследований.Фото: Westend61/Alamy

Достижения в области искусственного интеллекта (ИИ) усложняют усилия издателей по решению растущей проблемы бумажных фабрик — компаний, которые производят фальшивые научные статьи на заказ. Генеративные инструменты искусственного интеллекта, в том числе чат-боты, такие как ChatGPT, и программное обеспечение для генерации изображений, открывают новые способы создания контента бумажной фабрики, который может оказаться особенно трудным для обнаружения. Это были одни из проблем, которые обсуждали эксперты по честности исследований на саммите 24 мая, посвященном проблеме бумажной фабрики.

Детектор на бумажной фабрике подвергнут испытаниям, чтобы искоренить фальшивую науку

«Способность бумажных фабрик генерировать все более правдоподобные необработанные данные с появлением ИИ будет стремительно расти», — говорит Дженнифер Бирн, молекулярный биолог и исследователь целостности публикаций в Патологии здравоохранения Нового Южного Уэльса и Сиднейском университете в Австралии.

«Я видела фальшивые микроскопические изображения, которые были только что созданы искусственным интеллектом», — говорит Яна Кристофер, аналитик целостности данных изображений в издательстве FEBS Press в Гейдельберге, Германия. Но доказать вне подозрений, что изображения созданы искусственным интеллектом, остается сложной задачей, говорит она.

Инструменты искусственного интеллекта, генерирующие язык, такие как ChatGPT, создают аналогичную проблему. «Как только у вас появится что-то, что может показать, что что-то сгенерировано ChatGPT, появится другой инструмент для шифрования этого», — говорит Кристофер.

Анна Абалкина, социолог из Свободного университета Берлина и независимый аналитик по вопросам честности исследований, подозревает, что может возникнуть задержка с тем, чтобы эти инструменты ИИ стали более заметными в академической литературе из-за продолжительности процесса рецензирования. Возможно, в ближайшие несколько месяцев «мы увидим первый поток документов», говорит она.

Бирн, Кристофер и Абалкина на прошлой неделе были участниками саммита UNITED2ACT, который был созван Комитетом по публикационной этике (COPE), некоммерческой организацией, специализирующейся на этике академических публикаций и базирующейся в Истли, Великобритания, и Международной ассоциацией научных работников. , Технические и медицинские издательства (STM), базирующиеся в Оксфорде. Саммит собрал международных исследователей, в том числе независимых аналитиков по вопросам честности исследований, а также представителей финансирующих организаций и издателей.

Борьба с фабриками по производству фальшивой бумаги, которые производят фиктивную науку

«Это был первый раз, когда группа людей собралась вместе и совместно разработала ряд действий, которые мы собираемся предпринять для борьбы с этой проблемой», — говорит Дебора Кан, попечитель COPE и консультант по вопросам честности исследований. , базирующаяся в Лондоне. Группа намерена в ближайшее время опубликовать план совместных действий.

Когда дело доходит до обнаружения работ на бумажной фабрике, «существует дополнительная проблема, связанная с синтетическими изображениями, синтетическим текстом и т. д.», — говорит Йорис ван Россум, программный директор STM Solutions, дочерней компании STM. «Существует общее понимание того, что существует вероятность того, что скрининг станет более трудным», - говорит он.

Кан говорит, что, хотя, несомненно, будет положительное использование ИИ для поддержки исследователей, пишущих статьи, все равно будет необходимо различать законные статьи, написанные с использованием ИИ, и те, которые были полностью сфабрикованы. «Нам нужно серьезно задуматься о том, как мы определяем эти вещи и как убедиться, что люди действительно провели исследование. И есть разные способы сделать это», — говорит она.

Одна из стратегий, обсуждавшаяся на саммите, заключалась в том, чтобы потребовать от авторов предоставлять необработанные данные экспериментов, возможно, с цифровыми водяными знаками, которые позволили бы издателям подтвердить подлинность этих данных.