Lors d’un récent test de sécurité, un chatbot bancaire d’IA générative conçu pour aider les clients à faire des demandes de prêt a été manipulé pour divulguer des informations financières sensibles. Les testeurs ont contourné les contrôles de sécurité et ont extrait une liste complète d’approbations de prêts, y compris les noms des clients.

Cette histoire met en évidence un problème fondamental : l’IA générative peut révolutionner des secteurs entiers, mais, sans protocoles de sécurité solides, elle peut aussi conduire à des résultats désastreux. Les modèles de sécurité traditionnels ne suffisent plus. Les technologies transformatrices comme l’IA générative exigent une nouvelle approche holistique de la cybersécurité.

L’aviation fournit un modèle utile. Tout comme les avions supersoniques, l’IA générative est une technologie transformatrice dotée d’un immense potentiel. Mais en l’absence d’opérateurs formés, de systèmes bien conçus et de protections solides, le risque de défaillance catastrophique est trop important pour être ignoré. En adoptant des protocoles de sécurité rigoureux, le transport aérien est devenu l’un des modes de transport les plus sûrs. De même, le potentiel de l’IA est indéniable, mais son avenir dépend de la prise en compte des risques de sécurité. Une étude récente du BCG, par exemple, a révélé que les trois quarts des dirigeants d’entreprise considèrent la cybersécurité comme un obstacle majeur à l’expansion de l’IA.

Contrairement aux logiciels traditionnels, l’IA générative repose sur des probabilités, ce qui peut conduire à des résultats imprévisibles. Les grands modèles de langage (LLM) introduisent des comportements indéterministes, ce qui crée des angles morts en matière de cybersécurité. En outre, leur dépendance à l’égard des entrées en langage naturel, de l’apprentissage adaptatif et des intégrations étendues avec d’autres outils et services les rend particulièrement vulnérables.

Tout comme l’aviation nécessite une approche globale et multidimensionnelle de la sécurité, la cybersécurité doit être intégrée à chaque couche de l’IA, de son architecture à la gestion des données et à la surveillance humaine. Sans cette base, l’avenir de l’IA restera incertain.

L’une des principales vulnérabilités des systèmes d’IA est l’attaque par injection de données, qui consiste à manipuler un modèle pour qu’il révèle des données sensibles ou modifie sa logique de prise de décision. Le récent test d’un chatbot bancaire a mis au jour un risque tout aussi alarmant : l’escalade des privilèges. Les testeurs se sont fait passer pour un administrateur, ont approuvé des prêts non autorisés et ont modifié des données de base.

Les assistants IA dans le domaine de la santé ont été compromis de la même manière, des chercheurs en sécurité ayant réussi à extraire des dossiers confidentiels de patients en reformulant subtilement leurs requêtes. Au lieu de demander directement les antécédents médicaux, les attaquants ont formulé leurs questions de manière à ce qu’elles ressemblent à des demandes légitimes de la part de médecins. Ce faisant, ils ont révélé une autre faiblesse : l’IA privilégie souvent la logique linguistique au détriment des contrôles d’accès.

Ces vulnérabilités dépassent le cadre des banques et des soins de santé. De nombreuses applications d’IA s’appuient sur des systèmes agentiques, qui récupèrent des données en temps réel pour prendre des décisions de manière autonome, créant ainsi des opportunités pour les attaquants. Par exemple, une évaluation de la sécurité d’un chatbot de service à la clientèle, alimenté par l’IA, a montré que les attaquants étaient en mesure d’exploiter une faible validation de l’interface de programmation d’application (API) pour manipuler un LLM afin qu’il révèle des codes de réduction internes et des détails d’inventaire.

La capacité d’adaptation de l’IA peut également être exploitée par ce que l’on appelle « l’empoisonnement contextuel ». En façonnant progressivement les réponses d’un modèle au fil du temps, les attaquants peuvent orienter ses réponses vers des recommandations incorrectes ou dangereuses. Lors d’une expérience, le chatbot d’un spa a été exposé de manière répétée à des données présentant des ingrédients dangereux aussi bien que bénéfiques. Il a fini par recommander des produits de soin de la peau nocifs.

Lorsque les systèmes d’IA submergent l’infrastructure traditionnelle de requêtes automatisées, ils peuvent entraîner une défaillance du système – un phénomène connu sous le nom de legacy contamination (« contamination de l’héritage »). Pour éviter ce résultat, les organisations doivent mettre en œuvre un entraînement contradictoire, en exposant continuellement les modèles d’IA à des entrées trompeuses afin d’améliorer leur résilience.

La détection des anomalies en temps réel – à la fois automatisée et manuelle – permet d’identifier les comportements inhabituels de l’IA avant que les données manipulées n’affectent les réponses. Tout comme les systèmes de contrôle de vol s’appuient sur des sauvegardes indépendantes, la sécurité de l’IA générative doit s’appuyer sur des protections en couches, notamment la détection automatisée des anomalies pour signaler les activités irrégulières, la validation redondante des accès pour empêcher les interactions non autorisées avec le système, et des mécanismes de retour en arrière en temps réel pour annuler les changements néfastes.

Les analystes prévoient que les dépenses mondiales en matière d’IA dépasseront 631 milliards de dollars d’ici 2028. Nombre de ces investissements auront du mal à produire des résultats significatifs si les défis fondamentaux en matière de cybersécurité ne sont pas relevés. Plus important encore, la sécurité de l’IA doit passer du statut de « complément » à celui de fonction essentielle intégrée aux architectures des systèmes, à la gestion des données et à la surveillance humaine. Un cadre de sécurité efficace doit être fluide, adaptable, résilient et intégré aux systèmes existants.

Même les leaders de l’industrie sont confrontés à des problèmes de conception, ce qui souligne la nécessité de renforcer les mesures de sécurité. En mars 2023, OpenAI a découvert un bug dans une bibliothèque open-source qui a exposé par inadvertance les informations de paiement des utilisateurs de ChatGPT en envoyant des courriels de confirmation aux mauvais destinataires.

La sécurité de l’IA doit évoluer au même rythme que les systèmes qu’elle vise à protéger. Mais une gestion efficace des données ne se limite pas à fortifier les pipelines et à sécuriser les ensembles de données d’entraînement. Elle nécessite une stratégie bien définie qui traite les données comme un avantage concurrentiel et évalue soigneusement les données à exposer et celles que les entreprises devraient être en mesure d’exploiter.

La supervision opérationnelle est tout aussi essentielle. La cybersécurité ne doit pas être confinée à un silo de spécialistes. Elle doit être intégrée dans chaque service et dans chaque flux de travail, avec des outils de surveillance en temps réel et des boucles de rétroaction adaptatives qui aident les organisations à garder une longueur d’avance sur les menaces et les vulnérabilités émergentes.

Au-delà des technologies de pointe, la cybersécurité exige de cultiver une culture de la vigilance. Selon un rapport de Verizon datant de 2024, 68 % de toutes les violations de données impliquent un élément humain, comme le fait d’être piégé par des attaques de phishing ou d’ingénierie sociale. Pour atténuer ces risques, les employés doivent non seulement identifier les menaces, mais aussi apprendre à y répondre de manière appropriée. Même des mesures simples, comme une formation régulière à la sécurité et des mécanismes de signalement transparents, peuvent faire une grande différence.

Tout comme l’aviation a gagné la confiance du public en adoptant des mesures de sécurité rigoureuses, l’industrie de l’IA doit mettre en place des protections pour prévenir les hallucinations, la manipulation, le piratage et les problèmes de latence avant qu’ils ne causent des dommages dans le monde réel. Cela nécessite une approche globale qui intègre l’architecture, l’ingénierie, la stratégie des données et l’IA responsable. Les entreprises qui intègrent la sécurité à tous les niveaux de leur stratégie d’IA prospéreront, tandis que celles qui s’accrochent à des modèles de sécurité dépassés prendront inévitablement du retard.

Sylvain Duranton est responsable mondial du BCG X. Vanessa Lyon est responsable mondial du risque cybernétique et numérique au BCG.

Project Syndicate, 2025.
www.project-syndicate.org