Dans un contexte où les avancées en intelligence artificielle redéfinissent constamment les limites de la technologie, nous avons choisi d’explorer et de développer notre propre solution d’IA. Retour d'expérience sur ce qui a été une vraie aventure !

Nous avons rencontré Alexandre Villeneuve, co-fondateur et responsable de l’IA, Frédéric Diaz, à la tête du Lab AI de JIN, et Oriane Grandclement, responsable de l’IA au sein des études, pour discuter de leur initiative ambitieuse.

Cette interview nous plonge dans leur aventure, de la naissance du projet “Brand Voice AI” à leurs défis et succès, en passant par leurs réflexions sur l’avenir de l’IA dans le secteur de la communication. Découvrez comment JIN s’efforce de repousser les frontières de l’innovation tout en valorisant la souveraineté numérique et la sécurité des données.

Pourquoi en pleine explosion de ChatGPT vous êtes-vous lancé dans le développement de votre propre IA ?

Alexandre : Jusqu’à 2020, nous éditions notre propre outil de veille, une version simple et hyper efficace. Nous avons même lancé Pitchboy une solution de formation au pitch par la conversation. Dans les 2 cas, nous avons été confrontés à la question de l’IA sémantique. Nous n’avions donc pas peur de nous lancer, mais surtout nous nous rendions bien compte du saut que venaient de faire les modèles de langages : Enfin, ils comprennent l’ironie, les messages négatifs, les thématiques semblables…

Nous avons donc tout de suite eu envie de “jouer”. Aussi, cela nous ennuyait d’envoyer la data aux USA sur les serveurs d’Open AI. Pour des questions RGPD et de sécurité déjà, mais aussi pour une certaine notion de souveraineté numérique, qui nous tient à cœur.

Quelle ambition aviez-vous pour votre solution IA ?

Alexandre : Nous avions beaucoup d’ambition et avions en tête de pouvoir réaliser tous types de productions éditoriales: réseaux sociaux, tribunes, discours, site web, script… en réalité les usages nous semblaient infinis. A l’époque, intégrer l’image nous semblait trop lointain, mais on voit que ChatGPT aujourd’hui n’a aucune difficulté de mixer texte et image, sans doute bientôt la vidéo avec l’arrivée de Sora.

Nous l’avons appelé “Brand Voice AI” car nous imaginions que l’IA nourrie/entraînée des données de l’entreprise devait devenir la voix de la marque, garante de sa tonalité et de son style.

Pourquoi démarrer avec les communiqués de presse ?

Oriane : L’aide à la création des communiqués de presse aurait représenté un gain de temps substantiel pour nos équipes et nos clients.

Nous disposions aussi d’une base de données importante et facilement accessible, qui nous offrait un volume suffisant de textes à analyser, ce qui est crucial pour l’entraînement d’un modèle d’IA. De plus, les informations contenues dans les communiqués de presse sont destinées à être publiques et cela simplifiait donc les problématiques liées à la gestion des droits et à la confidentialité.

Nous imaginions que le fait que les communiqués de presse possèdent une structure formelle standardisée faciliterait leur reproduction par un modèle d’IA, que ce soit au niveau du format du texte, mais aussi de l’organisation de l’information.

Comment démarrer un projet d’IA comme celui-ci ?

Frédéric : Nous avons envisagé plusieurs options pour constituer une équipe de spécialistes de l’Intelligence Artificielle. Nous devions faire face à 2 difficultés majeures.

Tout d’abord la jeunesse de la technologie. Aujourd’hui celle-ci suscite un engouement exceptionnel et de nouvelles vocations, mais quand nous avons lancé le projet il y a 1 an, il y avait très peu d’acteurs ayant une expérience significative dans l'entraînement de LLM.

Nous avons donc dû écarter la piste de l’internalisation par le recrutement d’un expert.

Nous souhaitions aussi aller vite afin de nous positionner rapidement, et c’est ce qui nous a conduit à abandonner les projets de partenariat avec des universités pourtant en pointe sur ces nouvelles technologies.

Nous avons découvert le dispositif PackIA, proposé la région Ile de France, et qui permet à une PME de bénéficier d’un financement à hauteur de 50% d’un projet limité à 3 mois dans l’IA en collaboration avec des SSII spécialistes de la data-science (Kernix de noter côté).

C’est un vrai travail d’équipe, évidemment Oriane et moi-même avons travaillé sur la conception technique et le paramétrage du modèle (jeu de tests en particulier), mais nous avons aussi eu besoin d’experts de relations médias pour définir les règles de bonnes pratiques des communiqués de presse.

Comment avez-vous choisi le bon modèle ?

Oriane : Au moment où nous avons commencé, le choix de modèles était moins vaste qu’aujourd’hui, mais il y avait déjà de nombreux modèles disponibles, ce qui représentait un premier défi. Nous avons donc procédé à des tests sur plusieurs modèles que nous avions sélectionnés parce qu’ils avaient été entraînés sur des données en français et qu’ils étaient disponibles sans licence pour une utilisation commerciale : BLOOMZ-560m, Llama2, BloomChat, Llama2Chat, Mistral et Mistral-ORCA.

Il fallait aussi choisir une méthode de fine-tuning parmi les différentes existantes, pour déterminer les méthodes d’apprentissage et les valeurs d’hyperparamètres les plus appropriées.

L’une des difficultés était d’anticiper les coûts d’entraînement et de fonctionnement lors du fine-tuning : le choix du modèle optimal devait tenir compte de l’équilibre entre la taille du modèle et la consommation de ressources serveur.

Notre stratégie a été d'abord de commencer avec des petits modèles pour voir si un modèle relativement modeste pouvait générer un début de communiqué de presse après un entraînement ciblé. Les résultats initiaux ont été positifs, ce qui a encouragé des tests avec des modèles plus gros. Cette approche graduelle nous a permis de calibrer notre utilisation des ressources tout en optimisant la performance du modèle.

Quelle a été la principale difficulté ?

Oriane : A notre grand étonnement, constituer le corpus d'entraînement.

Initialement, nous pensions que récupérer les communiqués de presse serait une tâche relativement simple, mais une partie des archives était enregistrée au format PDF, un format qui n’est pas directement exploitable pour notre besoin.

Pour surmonter ce problème, nous avons dû recourir à la technologie OCR (reconnaissance optique de caractères) pour extraire le texte de ces documents. Malheureusement, cette méthode a introduit des erreurs de transcription qui ont affecté la qualité des données sources : des problèmes de ponctuation et d’orthographe, qui ont par la suite impacté l'apprentissage initial du modèle.

Cela nous a montré l'importance d'avoir des données de haute qualité pour l'entraînement des modèles d'IA, même si cela oblige à investir plus de temps et de ressources dans la préparation et le nettoyage des données.

Avez-vous finalement réussi à entraîner le modèle et comment ?

Frédéric : L’IA générative a besoin d’être entraînée à partir de plusieurs centaines de questions/réponses. Pour faire simple, elle génère une réponse en rapprochant la question posée dans le prompt à celle du jeu d’entraînement.

Notre objectif était de pouvoir générer un communiqué de presse à partir de quelques points clé fournis par l’utilisateur. Il a donc fallu “transformer” tous nos communiqués de presse en fichiers de questions contenant des points clés et donc faire le travail à l’envers en extrayant les points clés des communiqués existants.

Et paradoxalement la meilleure solution pour le faire à été d’utiliser une IA générative.
Nous avons soumis nos centaines de communiqués à l’API d’OpenAI pour que la machine fasse l’extraction des points clés et constitue elle-même le jeu d’entraînement du modèle que nous allions entraîner sur un autre modèle.

En résumé, nous avons utilisé une IA générative pour entraîner une autre IA générative et cela a parfaitement fonctionné.

Avez-vous été satisfait des premiers résultats ?

Oriane : Nos premiers résultats ont été mitigés. Nous avions fixé des objectifs précis, notamment en termes de correction de la forme, pour que le modèle adopte la ligne éditoriale et le ton de la marque, ainsi que la pertinence du fond, c'est-à-dire la transmission d'informations exactes. Sur le plan de la forme, nous avons été satisfaits : le modèle a bien réussi à capturer et à reproduire le style et le ton de notre communication.

Par contre, nous avons rencontré des difficultés significatives concernant la précision du contenu. Nous espérions que le modèle serait capable de générer un texte complet à partir de quelques points clés fournis dans un prompt, mais la longueur typique des communiqués a poussé le modèle à générer de nombreuses hallucinations pour “combler le vide”. Ceci est particulièrement problématique pour un communiqué de presse où l'exactitude de l’information est requise.

Pour atténuer ce problème, nous avons dû ajuster la correspondance entre la longueur des entrées fournies au modèle et la longueur attendue des communiqués de presse, réduisant ainsi le risque d'erreurs.

Nous avions aussi espéré que le modèle serait capable de recouper les informations avec les données présentes dans les autres communiqués de presse sur lesquels il a été entraîné, mais en pratique, la nature souvent nouvelle des informations dans un communiqué rend l'historique peu utile.

Quel est l’avenir de ce projet ?

Frédéric : Avec le recul, le choix de démarrer avec les communiqués de presse, n’a sans doute pas été le meilleur. Pour les raisons déjà évoquées mais aussi parce que nous avons compris que plus le texte à générer est long et qualitatif, plus les gros modèles sont pertinents.

Ces 2 points, l’investissement humain pour constituer le jeu d'entraînement, et les coûts des serveurs (totalement disproportionnés par rapport à des appels à l’API ChatGPT par exemple) nous ont conduit à arrêter le projet Brandvoice.

Mais cette expérience nous a littéralement mis le pied à l’étrier de l’IA générative.

Nous avons compris que pour la génération de textes longs nécessitant une haute qualité de rédaction, l'entraînement de “petits” modèles n’était pas la bonne option. Les modèles GPT4 et Claude 3 par exemple sont aujourd’hui imbattables sur ce plan, pourtant sans avoir reçu d'entraînement spécifique à la production de CP.

Les petits modèles sont en revanche particulièrement adaptés à l’entraînement de micro-tâches spécialisées, nous les utilisons d’ailleurs pour l’analyse de données.

Aujourd’hui nous travaillons avec tout un panel de solutions IA en sachant beaucoup mieux arbitrer entre les innombrables technologies.

Quelles sont les perspectives IA pour l’agence ?

Alexandre : En parallèle, nous avions d’autres projets d’IA, notamment sur la data (social listening en particulier). Notre enjeu est de trouver le bon compromis puissance/coût et actuellement nous développons des usages plus précis d’analyse. Nous avons notamment développé une capacité d’analyse sémantique sur la donnée Linkedin, un parent pauvre historique de l’analyse. Les cas d’usages pour la communication dirigeants et sans la santé sont vraiment intéressants.

Au-delà de ces développements spécifiques, de nombreux outils apparaissent pour tous les usages, nous avons donc un gros travail de veille technologique pour détecter et mettre en place les meilleures solutions pour nos consultants ou experts. Les designers en particulier voient leur métier changer rapidement, où une grosse partie de la création est maintenant assistée par l’IA.

Dans cette foulée, nous avons d’ailleurs lancé l’AI Academy pour accompagner les services communication de nos clients dans ces changements.

Les perspectives semblent tellement vastes et mouvantes que nous avons même du mal à nous fixer une roadmap IA sur 6 mois.