Будущее поэзии

«Напиши стихотворение о восходе солнца». Я спросил трех чат-ботов с искусственным интеллектом — ChatGPT-4 от OpenAI, Bard от Google и Claude от Anthropic — и себя — человека из 8-го класса. Затем я опросил группу из 38 экспертов по искусственному интеллекту и 39 английских экспертов, чтобы оценить результаты. ИИ умнее восьмиклассника?

И опрос говорит… ИИ не умнее восьмиклассника, по крайней мере, пока. Восьмиклассник занял 1-е место, причем с большим отрывом по оценке английских экспертов. Бард, ChatGPT-4 и Клод заняли 2-е, 3-е и 4-е места соответственно как по качеству письма, так и по своей способности обмануть судей, заставив их поверить, что их автором является человек. Самое поразительное, что английские эксперты гораздо лучше определяли, какие стихи были написаны ИИ: 11 английских экспертов против всего 3 экспертов по ИИ правильно угадали автора (человека против ИИ) всех четырех стихотворений. Это указывает на необходимость того, чтобы английские эксперты играли более важную роль в формировании будущих версий технологии искусственного интеллекта.

В условиях взрывной популярности больших языковых моделей (LLM) много было написано об ИИ, претендующем на роль людей-писателей, и, как следствие, о потере подлинного человеческого творчества. Лично я работаю над творческим писательским проектом — сборником коротких художественных произведений и стихов, некоторые из которых я отправил для публикации.

Недавно в ответ на один из моих материалов редактор ответил: «В этом стихотворении метр исключительно острый, что необычно для старшеклассников, не говоря уже о восьмиклассниках. Пожалуйста, подпишите это заявление, подтверждающее, что вы никоим образом не использовали искусственный интеллект для написания этого стихотворения». Я почувствовал странное сочетание польсти и пренебрежения, но больше всего — испуга.

Затем я решил добавить ответвление к моему текущему проекту творческого письма — я хотел поближе взглянуть на то, насколько хорошо ИИ может создавать аутентичные письма. В ходе учебы я решил сосредоточиться на поэзии. В отличие от других произведений, созданных ИИ, подлинное создание поэзии для ИИ значительно сложнее. Студентка Гарварда Майя Бодник обнаружила, что эссе, созданные с помощью ИИ, легко сдали все ее занятия на первом курсе. Но, в отличие от эссе, основным компонентом поэзии являются человеческие эмоции, которых у ИИ по сути нет. Кит Холиоак в MIT Press Reader пишет, что «поэзия может служить своего рода канарейкой в угольной шахте — ранним индикатором того, в какой степени ИИ обещает (угрожает?) бросить вызов людям как творцам произведений искусства».

Эксперимент
Насколько хорошо ИИ может писать стихи? В феврале 2023 года Уолт Хантер в журнале The Atlantic исследовал поэзию ИИ и пришел к выводу, что стихи ИИ являются клише и полны рифм, от которых можно поморщиться. Я хотел посмотреть, как изменились возможности ИИ примерно год спустя. В основном я хотел узнать больше о последствиях для будущего поэзии и творчества в целом. Меня интересовали три вопроса:

Тест Тьюринга: могут ли люди правильно определить, когда стихи генерируются ИИ?
Действительно ли стихи, созданные ИИ, являются качественными стихами?
Есть ли разница в суждениях между английскими экспертами и экспертами по искусственному интеллекту?
Чтобы проанализировать эти вопросы, в январе я опросил 38 экспертов по искусственному интеллекту (инженеров искусственного интеллекта, менеджеров по продуктам и руководителей OpenAI, Google, Apple, Amazon и т. д.) и 39 экспертов по английскому языку (преподавателей английского языка, профессоров, писателей, авторов и т. д.). 2024. В опросе были представлены четыре стихотворения, написанные 27 декабря 2023 года соответственно:

Клод 2.1 от Anthropic
Google Bard (Gemini еще не был выпущен)
Я, человек из 8-го класса (я не хотел выбирать уже существующее стихотворение, которое можно было найти или которое респонденты могли ранее встретить. Кроме того, я не особо старался и собрал стихотворение примерно за 15 минут)
ChatGPT-4 от OpenAI
(Полный текст стихотворений можно найти внизу статьи.)

В ходе опроса респондентов просили оценить каждое стихотворение по шкале от 1 до 10 с точки зрения воспринимаемого качества и того, считают ли они, что стихотворение было написано искусственным интеллектом или человеком. Они не знали, сколько стихов было написано ИИ или людьми, и не знали автора человеческого стихотворения.

Они также не знали, какую подсказку я предоставил трем чат-ботам с искусственным интеллектом. В качестве темы я выбрал восходы солнца, поскольку чат-боту с искусственным интеллектом казалось, что с ними относительно просто справиться.

Тест Тьюринга: могут ли люди правильно определить, когда стихи генерируются ИИ?
Большинство респондентов (89,6%) правильно определили, что стихотворение человека — человеческое. И большинство людей довольно хорошо понимали, для чего ИИ пишет стихи. 18,2% респондентов правильно определили автора 4/4 стихотворений. Более половины респондентов (58,4%) правильно угадали 3/4 авторов стихотворения. 18,2% правильно угадали 2/4 и 3,9% правильно угадали 1/4. Только один человек (1,3%) угадал все четыре неправильно.

В целом 33,8% респондентов ошибочно решили, что стихи ИИ — человеческие. Когда Бард был сломан чат-ботом с искусственным интеллектом, он обманул большинство людей. 46,8% респондентов считали, что стихотворение Барда было написано человеком, по сравнению с 29,9% для ChatGPT и 24,7% для Клода, как показано зелеными полосами на рисунке 1.

Рисунок 1
Действительно ли стихи, созданные ИИ, являются качественными стихами?
Афера с ИИ