Какие ИИ-модели умеют писать романы? Оценки и рекомендации для девяти моделей

Десять авторов веб-романов оценили английские фэнтезийные тексты девяти ИИ: Claude, Doubao, Kimi, Gemini, Grok, DeepSeek и GPT.

Какие ИИ-модели умеют писать романы? Наверняка вы задавались тем же вопросом. Оценка романа субъективна: нет единого стандарта, по которому можно определить, какие модели пишут хорошо, а какие плохо. Чтобы разобраться, мы провели сравнение, которое, надеемся, даст вам некоторый ориентир.

Мы выбрали девять моделей и дали им одинаковые материалы для создания одного англоязычного фэнтезийного романа и один и тот же prompt. Каждая написала три последовательные главы. Оставив исходные тексты без изменений, мы пригласили 10 авторов веб-романов оценить девять рукописей по десятибалльной шкале. Рейтинг отражает их субъективные оценки и служит лишь ориентиром; три главы не доказывают качество целого романа, а другой жанр, язык или prompt могут изменить результаты.

  1. Claude Opus 5.5: 6.5
  2. Claude Sonnet 5.5: 6.3
  3. Doubao Seed 2.1 Pro: 6.1
  4. Kimi K3: 6.0
  5. Gemini 3.8 Flash: 5.8
  6. Grok 4.6: 5.6
  7. DeepSeek Flash: 5.5
  8. GPT-6 Astra: 5.4
  9. GPT-6.1 Sol: 5.4

Эти баллы приведены лишь для ориентира. Когда мы отправили те же тексты нескольким другим людям на оценку, баллы в целом оказались немного ниже, а самая высокая оценка не превысила 6. Порядок моделей тоже слегка отличался.

Мы также проверили несколько специализированных моделей для программирования и небольших локальных моделей. Они в основном получили меньше 5 баллов, поэтому мы не публикуем их названия и оценки. На основе этого теста мы особенно не рекомендуем следующие модели для написания текстов:

Модели, специализированные на программировании

Они обучаются прежде всего для задач программирования, при этом обучающие данные из других областей удалены. Такие модели могут писать хороший код, но обычно плохо справляются с написанием прозы.

Flash, Lite и другие варианты с упором на скорость и низкую цену

Для длинного романа важнее качество прозы, техника письма и литературное мастерство. Модели нужны обширные обучающие данные, и модели, отвечающие этим требованиям, обычно не бывают маленькими.

Небольшие модели

Речь идёт о небольших моделях, запущенных локально на компьютере или в облаке. Длинный роман требует одновременно следить за персонажами, сюжетом и связностью между главами, а значит, определённой способности к рассуждению. Эти небольшие модели обычно не сильны в рассуждении. Поэтому мы не рекомендуем их для длинных романов.

Почему ИИ-модели обычно лучше справляются с программированием?

Современные большие модели обычно хорошо пишут код и выполняют автоматизированные задачи, потому что у кода есть формальный синтаксис, а также часто используются фреймворки и контракты интерфейсов. Автоматические тесты проверяют часть поведения и позволяют дать моделям чёткую обратную связь об ошибках. Большинство людей не умеют программировать, но могут что-нибудь написать. Поэтому многие ошибочно считают написание романа более простой задачей, чем программирование: для кода выбирают модели высокого класса, а для романов готовы платить только за модели начального уровня. Модель может проверить орфографию и грамматику романа, но нет единого стандарта приёмки для правдоподобия персонажей, эмоционального воздействия истории и последовательности событий между главами. Это и есть основная причина, по которой большие модели лучше программируют, чем пишут художественные тексты.