Доклад "Маркеры значимости в аннотациях к научным статьям, написанных человеком и сгенерированных искусственным интеллектом"
На IV симпозиуме по корпусной лингвистике «Корпусная лингвистика и дискурс-анализ» обсуждали не только изучение корпусов, но и искусственный интеллект.
Докладчик
Исследования искусственного интеллекта крайне актуальны, и необходимость изучения использования в академических текстах ИИ не вызывает сомнений. Как лучше понять потенциал и ограничения ИИ как помощника по академическому письму, какие существуют приемлемые и корректные способы использования ИИ?
Дмитрий Сергеевич в своем докладе поделился следующими идеями относительно поставленных вопросов.
Презентация доклада
Появление широкодоступных генеративных ИИ-инструментов существенно повлияло на академическое письмо и написание текстов для научных публикаций. В растущем числе исследований академические тексты, написанные людьми, сравниваются с текстами, созданными ИИ.
И целью представляемого исследования стало выявление особенностей ИИ-письма, которые могут отличаться от принятых конвенций академического письма.
Настоящий доклад был посвящен маркерам значимости в аннотациях к научным статьям. Известно, что научные тексты склонны «превозносить» собственную значимость, и количество языка продвижения в аннотациях к статьям в различных дисциплинах увеличивается на протяжении нескольких десятилетий. Подчеркивают ли аннотации, сгенерированные ИИ, значимость исследования в той же степени, что и аннотации, написанные людьми? Чтобы ответить на этот вопрос, мы сравнили корпус из более чем 200 аннотаций к статьям, опубликованным в ведущих журналах в период с 2016 по 2020 год, с корпусом аннотаций к тем же статьям, сгенерированных ИИ-инструментом.
Анализ показывает, что, несмотря на отсутствие статистически значимых различий в количестве существительных и глаголов, обозначающих значимость, аннотации, созданные ИИ, характеризуются значительно большим количеством прилагательных (+66%) и наречий (+222%), выражающих значимость, по сравнению с текстами, написанными людьми. Детальный анализ демонстрирует выраженную склонность ИИ к использованию конкретных слов, обозначающих значимость, при этом положительные различия в частоте употребления этих достигают 500%. ИИ также использует маркеры значимости с большей вариативностью. В риторическом отношении между отличия в использовании маркеров значимости ИИ и людьми обнаружены не были.
Полученные результаты свидетельствуют о том, что аннотации, созданные ИИ, не просто следуют тенденции к более активному использованию языка продвижения — они, как правило, ещё больше преувеличивают значимость исследования. Практический вывод состоит в том, что авторам следует учитывать эту тенденцию и проявлять осторожность при использовании ИИ для написания аннотаций к статьям. В более широком контексте учащение использования маркеров значимости в аннотациях, созданных ИИ, подчёркивает потенциальный риск инфляции и искажения значимости исследований в опубликованных работах по мере распространения ИИ-помощников в академическом письме.