OpenAI cadeaux le concept de Super alignement, une avancée significative dans la gestion des risques associés à la superintelligence. La superintelligence, présentée comme la technologie la plus percutante jamais inventée par l'humanité, pourrait aider à résoudre bon nombre des problèmes les plus importants au monde. Cependant, l'immense pouvoir des superintelligence cela pourrait aussi être très dangereux, conduisant à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
OpenAI présente Superalignment : la tentative d'« aligner » l'intelligence artificielle sur l'intention humaine
Bien que la superintelligence puisse sembler lointaine, OpenAI pense qu'elle pourrait arriver cette décennie. La gestion de ces risques nécessitera, entre autres, nouvelles institutions pour la gouvernance et la résolution du problème d'alignement de la superintelligence: Comment des systèmes d'IA beaucoup plus intelligents que les humains peuvent-ils s'assurer qu'ils suivent l'intention humaine ?
Actuellement, il n'existe aucune solution pour guider ou contrôler un système de superintelligence. Techniques actuelles d'alignement de l'IA ils s'appuient sur la capacité des humains à superviser l'IA, qui ne sera pas extensible à la superintelligence. L'objectif d'OpenAI est de construire un chercheur automatisé d'alignement au niveau humain. Pour atteindre cet objectif, des méthodes de formation évolutives doivent être développées.
Lire aussi: IA et AGI : le PDG de Google, DeepMind, prédit une percée imminente
OpenAI rassemble une équipe des meilleurs chercheurs et ingénieurs en apprentissage automatique pour travailler sur ce problème. 20% de la puissance de calcul disponible sur les quatre prochaines années seront dédiées à la résolution de ce problème. L'objectif est de résoudre les principaux défis techniques de l'alignement des superintelligences en quatre ans. OpenAI invite tous ceux qui ont réussi dans l'apprentissage automatique à concentrer leur attention sur l'alignement. Les fruits de cet effort seront largement partagés, et l'alignement et la sécurité des modèles non-OpenAI sont importants. Il convient de noter que l'entreprise s'efforcera également d'améliorer la sécurité des modèles actuels et de traiter d'autres risques liés à l'IA.
Résoudre l'alignement de la superintelligence nécessite les meilleurs esprits du monde. Ouvrir l'IA encourage la collaboration interdisciplinaire et un engagement actif sur les questions sociotechniques liées à l'alignement des superintelligences.
