On a passé le week-end avec Meta AI — et il n’est pas près de dépasser ChatGPT 4

Par Xuoan D. le 22/04/2024

Temps de lecture : 4 min

Une bonne alternative gratuite.

Jeudi soir, Meta annonçait la nouvelle version de son assistant IA, et les ambitions étaient fortes. Mark Zuckerberg fixait le cap : « Notre objectif est de bâtir l’IA leader au monde. » Exit ChatGPT (OpenAI), exit Google (Gemini) ou encore Mistral (cocorico) !

Pour y parvenir, Meta a intégré la dernière itération de son modèle open-source, Llama 3, en version « légère » à 8 milliards de paramètres – nous y reviendrons – dans ses différentes apps : WhatsApp, Instagram, Messenger, Facebook, et sur le site meta.ai.

Le plus bluffant dans la démonstration de Meta est la génération d’image en temps réel alors que le prompt est saisi. Ainsi, une modification de mots clés impacte directement l’image créée. Ce dont un Midjourney ou un Dall-E sont incapables, nécessitant de longues secondes ou parfois minutes d’attente.

Meta AI va aussi animer n’importer quelle image, et permettre d’en envoyer le GIF entre amis.

Citons également la possibilité de solliciter Meta AI directement depuis Messenger ou WhatsApp. Et qu’il sera utilisé dans toutes les barres de recherche des apps du groupe. Cette nouvelle IA va même débarquer dans le fil d’actualités Facebook et proposer des « prompts » contextuels en fonction du post affiché. Meta montre par exemple une vidéo d’un guitariste, et des suggestions de prompts allant des cours jusqu’à une liste de chansons à la guitare populaires.

Après ce passage en revue de ces petites choses qui pourraient – ou non – nous changer la vie, revenons-en aux ambitions affichées. Meta affirme que son IA générative est la meilleure, dépassant ses concurrents directs lors de différents tests :

Sur le gril, Llama 3 de Meta dans ses versions à 8 et 70 milliards de paramètres face à ses concurrents directs. Or, le nouveau modèle LLM de « Zuck » les dépasse dans quasiment tous les tests, qu’ils proviennent de Google (Gemma et Gemini), de Mistral ou d’Anthropic (Claude). On remarquera l’absence ici de GPT, dont la version 4 aurait entre 220 et 1700 milliards de paramètres. Désolé Mark, mais Sam ne boxe pas dans la même catégorie.

Ceci-dit, le nombre de paramètres ne fait pas tout, et un modèle plus malin pourrait – qui sait – avoir de meilleurs résultats avec moins de paramètres. Voilà pour la théorie.

Meta AI vient d’être déployé en anglais, même s’il se débrouille dans d’autres langues dont le français. Il n’est pour le moment disponible qu’aux États-Unis, en Australie, au Canada, au Ghana, en Jamaïque, au Malawi, en Nouvelle-Zélande, au Nigeria, au Pakistan, à Singapour, en Afrique du Sud, en Ouganda, en Zambie et au Zimbabwe. Et donc pas à Neuilly ou à Paris 10ᵉ. Mais pour y accéder, nous avons utilisé, comme on dit dans l’informatique, un contournement.

Voici quelques prompts soumis successivement à Meta AI (Llama 3 avec 8 milliards de paramètres) et à ChatGPT-4. N’y voyez rien de scientifique, simplement quelques tests variés.

Le meilleur publicitaire français ?

Meta AI :

ChatGPT :

Verdict : malgré quelques tentatives de prompts supplémentaires pour que Meta AI fasse la différence entre une agence et un publicitaire, rien n’y a fait. ChatGPT mise sur des grandes figures du secteur, et ne s’aventure sur des paris prospectifs. 1-0 pour ChatGPT !

Du code HTML simple

Meta AI :

La page codée.

ChatGPT :

La page codée.

Verdict : ChatGPT a bien respecté le brief et codé la page en 24 lignes. Meta AI n’a centré que horizontalement le titre. De plus, son code s’étend sur 30 lignes. 2-0 pour ChatGPT !

Un nouveau slogan pour la Réclame

Meta AI :

ChatGPT :

Verdict : hors-sujet total pour Meta AI. Et 1, et 2, et 3-0 pour ChatGPT ! (à écouter avec un air de samba)

Un nouveau slogan pour Nike

Meta AI :

ChatGPT :

Verdict : les slogans proposés par Meta AI semblent plus crédibles, quoique très très loin d’un « Just do it ». Ils iraient bien à des marques challengers sans grande inspiration. Les pistes proposées par ChatGPT semblent plus éloignées, ne s’adressant pas au consommateur. Et un point pour Meta AI. ChatGPT reste en tête à 3-1.

Humour humour

Meta AI :

ChatGPT :

Verdict : les deux méritent 0 tellement c’est dénué d’humour. Mais allez, un point chacun.
ChatGPT 4-2 Meta AI.

L’âge des présidents

Meta AI :

ChatGPT :

Verdict : Meta AI a du mal à classe par âge, et se trompe même pour certains présidents : Chirac avait bien 62 ans lors de son élection de 1995, et non 59 ans. Plus intéressant, ChatGPT détaille sa méthode, commence par calculer les âges lors de l’élection des président, et classe ensuite ces données. Son modèle « Data Analyst » lui permettant de vérifier les calculs.

ChatGPT vs Meta AI : 5-2, score final !

Certes, comparer une solution à 20$ / mois à une autre, gratuite, et qui sera bientôt accessible à 3,2 milliards de personnes, a quelque chose de déséquilibré. Un magazine auto ne va pas tester une Dacia Sandero face à un Cybertruck de Tesla. In fine, la promesse de leadership de Meta AI se concrétisera davantage en comptant son nombre d’utilisateurs qu’en évaluant la justesse de ses réponses.

News Scan Book

Spécial K : TOUJOURS LÀ AU K OÙ

1

2

3

4

5

Précédent Suivant