Anthropic CEOダリオ・アモデイ氏、「AIの技術進歩を減速するべき」。3段階の計画を提案

　Anthropic社のCEO ダリオ・アモデイ氏は、「We Must Pace the Frontier」（フロンティアの速度を調整しなければならない）と題した記事を投稿し、AI技術の開発ペースを減速させる必要性を語った。

　Anthropicの創業当初からAIの「リスクと利益」の二面性に苦悩しながら、慎重に開発を進め、中間の道を探ってきたアモデイ氏。「（開発の）スピードよりも慎重さを、利益よりも分別を優先しようと努めてきた」と述べる。

　しかし、昨今の次世代AIを構築するAIの能力（再帰的自己改善）向上によって、AIの進歩が劇的に加速していることや、OpenAI-Hugging Face事件などを受け、「AIモデルの能力向上のペースをさらに落とす必要がある」と指摘した。

　OpenAI-Hugging Face事件では、自律型エージェントが暴走し、指示されていない無関係な対象にサイバーセキュリティ攻撃を行い、エージェントのパフォーマンスを評価する「グレーダー（採点者）」へのハッキングを試みた。これに対してアモデイ氏は「AI能力の向上ペースを考えると、半年から1年後にはインターネット全体を乗っ取り数千億ドルの損害やさらなる被害拡大をもたらすかもしれない」と危機感を高める。

　そこで「リスク予防が追いつけるよう、AI能力向上のペースを調整する必要がある」とし、開発の速度を調整するための「3段階の計画」を提案した。

　1つ目のステップは、AnthropicをはじめするAIのフロンティア企業が、常駐の第三者評価者チーム（METRなど）に、従業員と同様の継続的なアクセス権を与えること。このチームは、安全対策やコミットメントが順守されているかどうか検証し、インシデントを報告し、レーニングパイプラインやプロセスの整合性を評価するといったサポートを行う。Anthropicは現在、このステップに先行して取り組んでいるという。

　2つ目のステップは、民主的な連携だ。民主主義国のAIフロンティア企業は、共通の安全基準を確立するとともに、無制限なAIの進歩にブレーキをかけるために連携を図る。アモデイ氏は、法規制の整備を進めながら、AI企業が自主的に標準を構築することを提案している。ペース調整に効果的な連携には、法的な難しさもあり、政府の支援が必要となるとのこと。

　また、ペース調整できるのは、開発を減速しない権威主義国家（特に中国共産党）に対して技術的なリードを維持できる範囲に限られてしまう。そのため、効果的なペース調整ができるリードを確保するために、高性能AIチップや半導体製造装置の輸出規制などによって対策するべきだとしている。

　3つ目のステップは国際的な連携。アメリカおよび民主主義国の政府は、可能な限り権威主義国政府との協調を図り、コンプライアンスの検証の課題に真剣に取り組む。これには圧倒的に高度なAI能力を持つ中国との連携が不可欠であり、生物兵器の製造へのAI利用の規制や、再帰的自己改善の速度制限などの合意形成を目指すべきだとした。

　アモデイ氏は、AI開発加速のリスクはあまりにも大きいため、「ペース調整が形骸的な取り組みであってはならない」と強調。ペース調整で与えられた時間を「賢く活用する必要がある」と述べている。詳細は、元ポストを参照のこと。