Quelles IA savent écrire des romans ? Notes et recommandations pour neuf modèles

Quelles IA savent écrire des romans ? Vous vous êtes sans doute posé la même question. L’évaluation d’un roman est subjective : il n’existe pas de critère universel pour distinguer les modèles qui écrivent bien de ceux qui écrivent mal. Pour répondre à cette question, nous avons tenté une comparaison qui, nous l’espérons, vous donnera quelques repères.

Nous avons sélectionné neuf modèles et leur avons fourni le même dossier de création d’un roman de fantasy en anglais et le même prompt. Chacun a rédigé trois chapitres consécutifs. Sans modifier les textes originaux, nous avons invité 10 auteurs de romans en ligne à noter les neuf manuscrits sur 10. Le classement ci-dessous reflète leurs appréciations subjectives et sert uniquement de référence ; trois chapitres ne permettent pas de juger un roman entier, et un autre genre, une autre langue ou un autre prompt pourraient changer les résultats.

1. Claude Opus 5.5: 6.5
2. Claude Sonnet 5.5: 6.3
3. Doubao Seed 2.1 Pro: 6.1
4. Kimi K3: 6.0
5. Gemini 3.8 Flash: 5.8
6. Grok 4.6: 5.6
7. DeepSeek Flash: 5.5
8. GPT-6 Astra: 5.4
9. GPT-6.1 Sol: 5.4

Ces notes sont indicatives. En soumettant les mêmes textes à quelques autres personnes, nous avons obtenu des notes globalement un peu plus basses, la meilleure ne dépassant pas 6. Le classement variait lui aussi légèrement.

Nous avons aussi testé des modèles spécialisés en programmation et de petits modèles locaux. Leurs notes étaient généralement inférieures à 5 ; nous ne publions donc pas leurs noms ni leurs scores. Sur la base de ce test, nous déconseillons particulièrement les modèles suivants pour l’écriture :

Les modèles spécialisés en programmation

Ils sont principalement entraînés pour les tâches de programmation, les données d’autres domaines ayant été retirées de leur entraînement. Ils peuvent bien écrire du code, mais sont généralement peu doués pour la rédaction.

Les gammes Flash, Lite et autres modèles axés sur la vitesse et les prix bas

Pour un roman long, la qualité du texte, les techniques d’écriture et la maîtrise littéraire comptent davantage. Cela exige des données d’entraînement abondantes, et les modèles répondant à ces exigences ne sont généralement pas petits.

Les petits modèles

Il s’agit des petits modèles installés sur un ordinateur ou hébergés dans le cloud. Écrire un roman long demande de suivre les personnages, l’intrigue et la continuité entre les chapitres, ce qui exige une certaine capacité de raisonnement. Or ces petits modèles sont généralement peu doués pour le raisonnement. Nous ne les recommandons donc pas pour les romans longs.

Pourquoi les modèles d’IA sont-ils généralement meilleurs en programmation ?

Les grands modèles actuels savent généralement écrire du code et exécuter des tâches automatisées, car le code possède une syntaxe formelle et suit souvent des frameworks et des contrats d’interface. Les tests automatisés peuvent vérifier certains comportements et fournir aux modèles des retours précis sur leurs erreurs. La plupart des gens ne savent pas programmer, mais peuvent écrire quelques lignes. Beaucoup en viennent ainsi à croire, à tort, qu’écrire un roman est plus facile que programmer : ils utilisent des modèles haut de gamme pour le code, mais ne veulent payer que pour des modèles d’entrée de gamme en fiction. Un modèle peut vérifier l’orthographe et la grammaire d’un roman, mais il n’existe pas de critère de validation uniforme pour la crédibilité des personnages, l’émotion du récit ou sa continuité entre les chapitres. C’est la raison fondamentale pour laquelle les grands modèles sont meilleurs en programmation qu’en écriture littéraire.