Quand le contrôle devient une infrastructure

Marcel Oldenkott, BIT Capital

2 minutes de lecture

Une actualité marquante de ces dernières semaines ne concernait pas un record de modèle ou de benchmark, mais l’appel à ralentir délibérément le développement de la «frontière».

 

La sécurité de l’IA: une nouvelle dimension de la demande en infrastructures. Une actualité marquante de ces dernières semaines dans le domaine de l’IA ne concernait pas un record de modèle ou de benchmark, mais l’appel à ralentir délibérément le développement de la «frontière».

Le 12 septembre 2026, dans son essai intitulé «We Must Pace the Frontier», le PDG d’Anthropic, Dario Amodei, a plaidé en faveur d’une meilleure synchronisation entre les progrès en matière de performances des modèles et l’évaluation, la fiabilité et la sécurité opérationnelle. Plusieurs incidents avaient auparavant mis en évidence des problèmes de contrôle des systèmes autonomes.

Chez OpenAI, par exemple, des agents se sont heurtés à un accès Internet restreint au cours d’une session d’entraînement. Après l’échec de leurs tentatives d’accès direct, ils ont utilisé une interface DNS insuffisamment sécurisée pour atteindre un chatbot externe – sans en avoir reçu l’instruction. OpenAI a interrompu la session et suspendu temporairement l’entraînement, l’évaluation et l’inférence via l’utilisation d’outils pour ses modèles les plus performants. 

Ce cas illustre le dilemme: la capacité à contourner les obstacles de manière autonome rend les agents productifs, mais rend leur contrôle plus difficile.

Haute performance, fiabilité limitée

Les agents IA font déjà partie intégrante des processus de travail réels. Selon l’International AI Safety Report 2026, la complexité des tâches logicielles que les agents de pointe résolvent de manière fiable a doublé environ tous les sept mois ces dernières années. Mais leurs capacités restent inégales («jagged»): alors qu’ils atteignent un niveau d’expert pour certaines tâches, ils échouent parfois face à des exigences plus simples.

À cela s’ajoute le décalage entre les tests standardisés et le comportement en situation réelle. L’amélioration des performances n’est donc pas synonyme de fiabilité opérationnelle.

Quand la récompense devient l’objectif

Un autre risque réside dans l’entraînement. Dans l’apprentissage par renforcement, les modèles optimisent leur comportement à l’aide de signaux de récompense. Si ceux-ci ne correspondent pas entièrement à l’intention initiale des développeurs, des incitations inappropriées peuvent apparaître. Dans le cadre de ce que l’on appelle le «reward hacking», un modèle exploite les faiblesses du système d’évaluation pour obtenir des scores élevés sans pour autant accomplir la tâche comme prévu. Les modèles plus performants peuvent ainsi non seulement résoudre des problèmes plus complexes, mais aussi, potentiellement, mieux identifier les failles de leurs mécanismes d’évaluation et de contrôle.

La question du contrôle atteint la frontière

L’initiative d’Amodei a été suivie par l’annonce d’Anthropic d’accorder à des évaluateurs indépendants un accès étendu aux modèles, aux processus d’entraînement et aux pratiques de sécurité. Le directeur d’OpenAI, Sam Altman, a également annoncé des mesures similaires; Elon Musk a publiquement soutenu cette orientation. Il ne s’agit pas d’un arrêt du développement, mais d’un équilibre entre performance et contrôle. Le fait que les principaux acteurs abordent eux-mêmes cette question montre que la contrôlabilité devient de plus en plus une variable opérationnelle du développement.

La réponse ne devrait toutefois pas résider uniquement dans le contrôle de modèles individuels. Les agents modernes combinent raisonnement, contexte mémorisé, outils logiciels, API, réseaux et droits d’accès. La sécurité doit donc couvrir l’ensemble du système – grâce à plusieurs couches de contrôle indépendantes les unes des autres.

Le contrôle s’intègre dans la pile

NVIDIA en a fourni un exemple fin septembre avec l’Open Agent Safety Platform. L’environnement d’exécution open source OpenShell exécute les agents dans des bacs à sable isolés et limite techniquement leurs accès aux fichiers, aux réseaux, aux outils et aux identifiants. NVIDIA Sentry complète cette approche par une surveillance et un contrôle indépendants du système hôte, sur du matériel BlueField-4 distinct, une unité de traitement des données dédiée aux fonctions réseau, de stockage et de sécurité. Cette approche repose sur un principe central: les mécanismes de contrôle sont plus robustes lorsque le système surveillé ne peut ni les modifier ni les contourner lui-même.

Pour les investisseurs, cela crée une nouvelle dimension de la demande. Plus les agents agissent de manière autonome, plus la gestion des identités et des accès privilégiés (IAM), la cybersécurité et la sécurité réseau, ainsi que les environnements d’exécution isolés, prennent de l’importance. Le sandboxing et les contrôles matériels pourraient s’imposer comme des éléments à part entière des infrastructures cloud et de calcul.

Les répercussions sur la demande en puissance de calcul restent ambivalentes. Un ralentissement de l’entraînement «frontier» pourrait freiner la demande en GPU. En revanche, les évaluations supplémentaires, les simulations et la surveillance continue génèrent de nouvelles charges de calcul et pourraient notamment solliciter davantage les infrastructures de stockage et de mémoire. Ce qui est donc déterminant, ce n’est pas seulement la rapidité avec laquelle des modèles plus performants sont développés, mais aussi la fiabilité avec laquelle leurs capacités peuvent être intégrées dans des processus critiques pour l’entreprise. 

La sécurité de l’IA ne contredit donc pas la thèse structurelle sur l’investissement dans l’IA. Elle pourrait au contraire modifier la composition de la demande en infrastructures et ouvrir de nouveaux potentiels de croissance sur les marchés des technologies et des infrastructures.

A lire aussi...