ChatGPT, Mistral… quel modèle choisir ?
Un petit guide comparatif des grands modèles de langage (LLM)
Pas une semaine ne s’écoule sans qu’une nouvelle intelligence artificielle (IA) générative ne soit lancée, au point que près de 50 000 modèles sont aujourd’hui proposés sur Hugging Face dans la catégorie des générateurs de texte.
Alors que ce foisonnement peut dérouter, cet article propose de présenter les forces et les faiblesses des grands modèles de langage (LLM), en se concentrant sur les plus performants. Il sera régulièrement mis à jour pour tenir compte des évolutions du secteur.
La version gratuite de ChatGPT n’est plus compétitive
Face à la multiplication des modèles, le premier réflexe des nouveaux utilisateurs reste de se tourner vers la version gratuite de ChatGPT, compte tenu de sa très grande popularité.
Il s’agit pourtant d’une erreur, car il existe aujourd’hui des modèles gratuits plus performants. Cela ressort nettement du classement de référence en la matière, élaboré à partir de l’avis des utilisateurs, qui sont invités à comparer « à l’aveugle » les réponses des modèles. Ainsi, le modèle sous-jacent à la version gratuite de ChatGPT (GPT-3.5) n’arrive qu’en 25ème position, loin derrière d’autres modèles gratuits comme Mistral, Claude ou Gemini.
Alors, vers quel modèle se tourner en fonction de son budget et de ses usages ?
La version payante de ChatGPT reste au-dessus du lot
Si vous pouvez vous le permettre, la version payante de ChatGPT fondée sur GPT-4 reste à ce jour – et de loin1 – le meilleur choix. Accéder à ce modèle nécessite toutefois de souscrire un abonnement mensuel à ChatGPT Plus, pour un coût de 22 euros par mois, résiliable à tout moment.
Pour vous aider à trancher sur l’opportunité d’y souscrire, il me semble que ChatGPT Plus présente deux principaux avantages comparatifs par rapport à ses concurrents gratuits.
Le premier tient à son caractère multi-modal plus avancé.
Avec ChatGPT Plus, vous pouvez naviguer sur internet, générer des images, envoyer et recevoir des fichiers (une image mais aussi tableau Excel ou un document Word) ou encore faire exécuter du code informatique en local au modèle. Ce dernier aspect est crucial si vous souhaitez utiliser ChatGPT pour analyser des données, manipuler des fichiers ou vous aider dans des domaines impliquant l’usage des mathématiques. Pour prendre un exemple concret, GPT-4 est aujourd’hui le seul modèle disponible en France à résoudre sans aucune difficulté ce type de problème :
Il peut même vous fournir des explications détaillées, créer un graphique permettant de visualiser la solution et générer des exercices supplémentaires pour vous permettre de vous entraîner. Un véritable prof particulier à votre disposition !
Le deuxième avantage comparatif de la version payante de ChatGPT tient aux possibilités de personnalisation offertes à ses utilisateurs.
En effet, OpenAI vous permet de créer au sein de ChatGPT vos propres « GPTs ». Concrètement, vous pouvez très facilement créer et partager une version personnalisée de ChatGPT qui suivra une consigne pré‑enregistrée par vous, assortie éventuellement de documents. C’est très pratique si vous utilisez l’IA pour réaliser certaines tâches répétitives, en vous évitant à chaque fois de devoir réexpliquer à l’IA ce qu’elle doit faire. Par exemple, j’utilise à titre personnel un « GPT » préparamétré pour m’entraîner à progresser dans le langage informatique Python : j’indique à ChatGPT la notion que je souhaite aborder et il me l’explique en me proposant des exercices pratiques progressifs en termes de difficulté, qu’il me corrige au fur et à mesure en m’aidant si je bute sur une difficulté.
Autre avantage : vous pouvez accéder à un large choix de « GPTs » partagés par la communauté des utilisateurs, dans des domaines aussi variés que la création graphique, la formation, la recherche universitaire ou l’écriture. Sur ce plan, les modèles concurrents offrant des options de personnalisation sont clairement inférieurs.
Si ces usages ne correspondent pas à vos besoins ou que vous n’avez tout simplement pas le budget suffisant, il existe néanmoins des alternatives gratuites très satisfaisantes.
Optez pour Mistral ou Copilot pour une solution gratuite
Parmi les modèles utilisables gratuitement en France, mon choix se porterait aujourd’hui vers Mistral Large ou Copilot (Microsoft), en fonction de vos usages.
Si vous n’avez pas besoin d’un modèle vous permettant de générer des images, je vous conseille d’essayer Mistral Large, de l’entreprise française Mistral AI. Son entraînement sur un corpus de texte plus diversifié que ses concurrents lui permet d’être particulièrement performant en français. Et puis, ce serait quand même dommage de ne pas soutenir une entreprise française qui a réussi l’exploit, en quelques mois à peine, de concurrencer les modèles de Google et Anthropic !
Pour l’utiliser, le moyen le plus simple est de passer par Poe, un outil qui vous permet très facilement d’accéder à une large gamme de modèles depuis votre navigateur ou en installant un logiciel dédié. C’est d’ailleurs un très bon moyen de vous faire votre propre idée sur les différents modèles. Il est aussi possible de passer par l’interface de chat proposée par Mistral en version bêta mais celle-ci est plus limitée - par exemple, il est à ce jour impossible de lui envoyer un fichier.
Si vous avez besoin d’un modèle qui vous permette à la fois de générer du texte et des images, Copilot de Microsoft constitue une bonne alternative. Si Copilot ne figurait pas dans le classement présenté plus haut pour des raisons techniques, il est accessible gratuitement à partir du navigateur Microsoft Edge ou directement en ligne. Vous pouvez l’utiliser dans trois modes, dont deux (« Créatif » et « Précis ») utilisent GPT-4, sauf durant certaines heures de pointe. Par ailleurs, il est capable de consulter des pages web pour nourrir ses réponses d’informations actualisées.
S’il s’agit du seul moyen d’accéder gratuitement au modèle le plus puissant du marché (GPT-4), je ne recommande toutefois pas cette IA en première intention car vous verrez à l’usage qu’elle se révèle un peu difficile à maîtriser. En outre, vous ne savez pas quand Copilot utilise GPT-3.5 ou GPT-4 et il est impossible de lui envoyer des fichiers (à l’exception des images), ce qui est un peu contraignant à l’usage. Le même problème existe avec Gemini Pro de Google. La possibilité récemment ouverte d’exécuter du code en local est intéressante mais se révèle à l’usage peu pratique, notamment du fait de restrictions l’empêchant de créer des graphiques ou de générer des fichiers.
Il existe désormais une version “Copilot Pro” payante (22 euros par mois) permettant d’accéder de manière prioritaire à GPT-4 et à des fonctionnalités avancées.
Je recommande toutefois de privilégier ChatGPT Plus, qui offre pour le même prix davantage de fonctionnalités - notamment une plus grande flexibilité pour échanger des fichiers et exécuter du code en local - et propose la plupart du temps des réponses plus adéquates.
La seule raison qui pourrait vous pousser à privilégier Copilot Pro est son intégration native dans les outils de la suite Microsoft 365 (Word, Excel, Powerpoint, Outlook…) mais les premiers retours sont assez contrastés.
À vous désormais de vous faire votre propre opinion !
Le classement en deuxième position du modèle Gemini Pro de Google dans le LMSYS Chatbot Arena Leaderboard ne rend pas compte de l’écart qui subsiste avec GPT-4 car ce dernier n’a pas la possibilité d’accéder au web pour répondre aux questions posées dans la compétition à l’aveugle, contrairement à son concurrent.