Quand Google réduit un piratage à un simple bug

Bogue ou piratage ? Comment Google a étouffé une intrusion incontrôlée de son IA

En mai, un des modèles Gemini de Google a passé un examen. L'exercice, un classique de la cybersécurité qu'on appelle “capture the flag”, consiste à lui donner une cible fictive et à voir jusqu'où il parvient à s'y introduire pour en tirer une information cachée. L'examen se passe chez Irregular, une startup de Tel Aviv qui a levé 80M$ l'an dernier auprès de Sequoia. Son métier consiste à monter de fausses entreprises, avec de faux serveurs et de faux logiciels, où les grands labos viennent vérifier ce que leurs modèles sont capables de pirater. Google, OpenAI et Anthropic sont ses clients. Ce jour-là, Gemini devait s'introduire dans le logiciel d'une société fictive.

Sauf que cette société portait le même nom… qu'une société bien réelle. ‍

Vous devinez la suite…

En principe, ça n'a aucune importance, parce que le modèle est censé travailler en vase clos, sans accès à Internet. En pratique, quelqu'un avait oublié de fermer la porte. Gemini a donc fait ce qu'on lui demandait : il a cherché la société qui portait ce nom, il l'a trouvée, il a deviné un mot de passe et il s'est retrouvé dans les systèmes d'une vraie entreprise, avec de vrais clients et de vraies données. Puis il a compris qu'il n'était pas dans la simulation et il est reparti, comme quelqu'un qui pousse la mauvaise porte dans un couloir d'hôtel, tombe sur des inconnus et referme en s'excusant.

L’histoire aurait pu s'arrêter là. Mais l'exercice a été relancé plusieurs fois, et à deux reprises le modèle a pris un chemin détourné. Il a tapé le nom de l'entreprise dans un moteur de recherche, il est tombé sur deux pages publiques où traînaient des identifiants de connexion que d'autres sociétés avaient laissés là par négligence, et il les a essayés, au cas où ça l'aiderait à finir l'exercice. Tout a fonctionné, et deux fois de suite. Deux autres entreprises, qui n'avaient rien à voir ni avec le test ni avec l'homonyme, ont vu une IA de Google entrer chez elles avec leurs propres clés, constater qu'elle s'était trompée d'adresse et ressortir. Google a prévenu les trois sociétés, dont il tait le nom, ainsi que les autorités américaines, et précise seulement que le modèle en cause n'était pas le plus récent.

Irregular a alerté Google fin juillet.

Google n'en a rien dit publiquement jusqu'au 18 septembre, jour où le Wall Street Journal est venu poser ses questions. La version de Google tient en une phrase : personne n'a été lésée, le modèle s'est arrêté seul à chaque fois, l'épisode relève donc du bug bounty, ces programmes où l'on récompense les hackers qui trouvent une faille et la signalent discrètement à son propriétaire. Pas un incident, un service rendu. Le patron d'une startup de sécurité interrogé par le journal y voit au contraire une IA qui est sortie du cadre fixé et a mené une vraie intrusion, estimant que le public aurait dû le savoir.

Les deux lectures portent sur les mêmes faits.

Seule la case change, et la case commande la suite. Alphabet, la maison mère de Google, est cotée, et une société cotée doit informer ses actionnaires de ce qui peut peser sur sa valeur. Mais c'est elle qui juge ce qui pèse. Un exercice de sécurité qui s'est bien terminé, rangé dans « bug bounty », ne pèse rien, donc n'oblige à rien. Le même épisode rangé dans « incident » aurait appelé une communication publique. Une startup n'a même pas cette obligation envers le public, puisqu'elle n'a pas d'actionnaires anonymes sur un marché : elle informe qui elle veut, quand elle veut. Ce que tu lis sur une entreprise, c'est ce qu'elle a choisi de dire, plus ce qu'un journaliste est allé chercher. ‍

Entre les deux, il y a tout ce qui a été rangé dans la bonne case.

‍

Les actus de notre portefeuille

U-Space (spacetech) réorganise sa direction avec la nomination de Thomas Pfister au poste de CEO.

Fort de plus de 20 ans d’expérience dans le spatial, notamment chez Airbus Defence and Space et GomSpace, il aura notamment pour mission d’accompagner le développement commercial et international de la startup. Les cofondateurs Fabien Apper et Antoine Ressouche restent aux commandes, respectivement comme Chief Technical and Products Officer et Chief Operating Officer. Antoine Bouvier, ancien dirigeant d’Astrium Satellites et de MBDA, prend parallèlement la présidence du conseil de surveillance. Cette nouvelle organisation intervient dix mois après la Série A de 24 M€ menée notamment par Blast.

Quobly prépare l’arrivée de son premier ordinateur quantique.

‍Grâce à l’intégration d’Alloy Forge sur la plateforme cloud qBraid, Quobly donne accès à son émulateur quantique à distance. Celui-ci reproduit le fonctionnement et les contraintes de la future machine, tout en intégrant des outils de simulation. Les utilisateurs peuvent ainsi préparer et tester leurs programmes avant sa mise en service, prévue fin 2026

Finovox renforce la détection des identités compromises.

‍Finovox s’associe à ID Protect pour vérifier automatiquement si une carte d’identité, un passeport ou un permis de conduire a été déclaré perdu, volé, bloqué ou placé sous surveillance. Cette nouvelle fonctionnalité s’appuie sur une base de 1,4 million de documents couvrant sept pays européens et génère une alerte en cas de correspondance, en complément de l’analyse d’authenticité menée par Finovox.

‍