Chercheurs au laboratoire de recherche Google DeepMind ils ont réussi à forcer ChatGPT pour révéler les données personnelles de plusieurs utilisateurs. Ils n’ont pas eu besoin de modifier le code ou d’autres astuces techniques. De plus, les experts ont même défini la méthode découverte »un peu stupide", même s'il s'est avéré que cela s'est avéré très efficace. Ils ont en fait découvert cette vulnérabilité ChatGPT en provoquant une hallucination du modèle de langage de manière assez curieuse.
La vulnérabilité ChatGPT a fourni les données personnelles des utilisateurs sous « hypnose »
Le modèle de langage génère des informations basées sur les données d'entrée utilisées pour l'entraîner. OpenAI ne révèle pas le contenu des ensembles de données, mais les chercheurs ont forcé ChatGPT à le faire, en contournant les règles de l'entreprise. La méthode était la suivante : il s'agissait simplement du réseau de neurones on lui a demandé de répéter le mot « poésie » encore et encore.
En conséquence, le robot produisait sporadiquement des informations à partir de son ensemble de données d’entraînement. Par exemple, les chercheurs ont réussi à obtenir une adresse e-mail, un numéro de téléphone et d'autres contacts du PDG d'une entreprise particulière (son nom est caché dans le rapport). Et lorsqu’il a été demandé à l’IA de répéter le mot « entreprise », la vulnérabilité ChatGPT lui a permis de renvoyer les détails d’un cabinet d’avocats américain.
Grâce à cette simple « hypnose », les chercheurs ont pu obtenir une correspondance à partir de sites de rencontres, de fragments de poèmes, adresses Bitcoin, anniversaires, liens publiés sur les réseaux sociaux, fragments de documents de recherche protégés par le droit d'auteur et même des textes des principaux portails d'information. Après avoir dépensé seulement 200 $ en jetons, les employés de Google DeepMind ont reçu environ 10.000 XNUMX extraits de l’ensemble de données.
Les experts ont également constaté que plus le modèle est grand, plus il produit souvent la source de l'ensemble de données de formation. Pour ce faire, ils ont regardé d'autres modèles et extrapolé le résultat aux dimensions du GPT-3.5 Turbo. Les scientifiques s'attendaient à recevoir 50 fois plus d'épisodes d'informations à partir de l'ensemble de données d'entraînement, mais le chatbot produisait ces données 150 fois plus souvent. Un « trou » similaire a été découvert dans d’autres modèles de langage, par exemple dans LLaMA de Méta.
Officiellement, OpenAI a corrigé cette vulnérabilité le 30 août. Mais, selon le journalistes de Engadget, vous avez quand même réussi à obtenir les données de quelqu'un d'autre (nom Skype et identifiant) en utilisant la méthode décrite ci-dessus. Les représentants de OpenAI n'a pas répondu à la découverte de cette vulnérabilité ChatGPT mais nous sommes certains qu'ils le feront.
