画像はOpenAIブログより
2023年7月5日、対話型AI「ChatGPT」を開発するOpenAIは、人間をはるかに超えた「超知能」のリスク管理に焦点を当てた新たな研究チーム「Superalignment」の設立を発表した。OpenAIの共同創設者であるIlya Sutskever氏、アラインメントのトップであるJan Leike氏の連名だ。
超知能が人間よりより賢いAIシステムを監視した場合、現時点では暴走を防ぐ確実な方法がない。この問題に対処するため、OpenAIは新たなガバナンス体制と超知能のアラインメント（調整）を解決するための技術開発に注力する。
Superalignmentチームの目標は、今後4年間で超知能のアラインメントにおける技術的課題を解決することだ。具体的な研究方針としては、スケーラブルな訓練方法の開発、モデルの検証、アラインメントパイプラインのストレステストなどが挙げられる。
また、OpenAIはこの目標に向け、計算リソースの20%を次の4年間でこの問題に投じると表明。チームの構成員については、既存の研究者やエンジニアのほかに、新たに機械学習の専門家を募集する予定という。これらの取り組みは、現在のモデルの安全性向上と並行して行われ、その結果は広く共有される。
OpenAIは5月、核兵器規制におけるIAEAのような国際機関が超知能のガバナンスにおいても必要とブログで表明している。
