Какие ИИ-модели умеют писать романы? Оценки и рекомендации для девяти моделей
Десять авторов веб-романов оценили английские фэнтезийные тексты девяти ИИ: Claude, Doubao, Kimi, Gemini, Grok, DeepSeek и GPT.
Какие ИИ-модели умеют писать романы? Наверняка вы задавались тем же вопросом. Оценка романа субъективна: нет единого стандарта, по которому можно определить, какие модели пишут хорошо, а какие плохо. Чтобы разобраться, мы провели сравнение, которое, надеемся, даст вам некоторый ориентир.
Мы выбрали девять моделей и дали им одинаковые материалы для создания одного англоязычного фэнтезийного романа и один и тот же prompt. Каждая написала три последовательные главы. Оставив исходные тексты без изменений, мы пригласили 10 авторов веб-романов оценить девять рукописей по десятибалльной шкале. Рейтинг отражает их субъективные оценки и служит лишь ориентиром; три главы не доказывают качество целого романа, а другой жанр, язык или prompt могут изменить результаты.
- Claude Opus 5.5: 6.5
- Claude Sonnet 5.5: 6.3
- Doubao Seed 2.1 Pro: 6.1
- Kimi K3: 6.0
- Gemini 3.8 Flash: 5.8
- Grok 4.6: 5.6
- DeepSeek Flash: 5.5
- GPT-6 Astra: 5.4
- GPT-6.1 Sol: 5.4
Эти баллы приведены лишь для ориентира. Когда мы отправили те же тексты нескольким другим людям на оценку, баллы в целом оказались немного ниже, а самая высокая оценка не превысила 6. Порядок моделей тоже слегка отличался.
Мы также проверили несколько специализированных моделей для программирования и небольших локальных моделей. Они в основном получили меньше 5 баллов, поэтому мы не публикуем их названия и оценки. На основе этого теста мы особенно не рекомендуем следующие модели для написания текстов:
Модели, специализированные на программировании
Они обучаются прежде всего для задач программирования, при этом обучающие данные из других областей удалены. Такие модели могут писать хороший код, но обычно плохо справляются с написанием прозы.
Flash, Lite и другие варианты с упором на скорость и низкую цену
Для длинного романа важнее качество прозы, техника письма и литературное мастерство. Модели нужны обширные обучающие данные, и модели, отвечающие этим требованиям, обычно не бывают маленькими.
Небольшие модели
Речь идёт о небольших моделях, запущенных локально на компьютере или в облаке. Длинный роман требует одновременно следить за персонажами, сюжетом и связностью между главами, а значит, определённой способности к рассуждению. Эти небольшие модели обычно не сильны в рассуждении. Поэтому мы не рекомендуем их для длинных романов.
Почему ИИ-модели обычно лучше справляются с программированием?
Современные большие модели обычно хорошо пишут код и выполняют автоматизированные задачи, потому что у кода есть формальный синтаксис, а также часто используются фреймворки и контракты интерфейсов. Автоматические тесты проверяют часть поведения и позволяют дать моделям чёткую обратную связь об ошибках. Большинство людей не умеют программировать, но могут что-нибудь написать. Поэтому многие ошибочно считают написание романа более простой задачей, чем программирование: для кода выбирают модели высокого класса, а для романов готовы платить только за модели начального уровня. Модель может проверить орфографию и грамматику романа, но нет единого стандарта приёмки для правдоподобия персонажей, эмоционального воздействия истории и последовательности событий между главами. Это и есть основная причина, по которой большие модели лучше программируют, чем пишут художественные тексты.