エージェントに対してできることは、共に実験を重ねることだけ
それでも、まだ解決していない課題は多い。マルチエージェント間の引き継ぎの評価、完全に自動化された自己改善ループ、ユーザー満足度は必ずしも正しさと同じではないという事実、ベンチマークには賞味期限があるという現実、そして評価もAssistant自身も今のところ英語にしか対応していないこと。van der Hoeven氏は、日本語で話しかけられたときにAssistantと評価の両方がどう変わるのか、正直まだ分かっていないと認める。行き着く先は「自分たちは本当に正しい問いを立てられているのか」という問いだ。
最後にvan der Hoeven氏は、まだ誰も乗り越えられていない6つ目の疑い──疑う自分たち自身への疑い──に触れ、講演を締めくくった。エージェント（もっともらしさは正しさではない）、テスト（できることは信頼できることではない）、ジャッジ（判定者にも判定が必要）、スコア（数字は診断にならない）、疑いそのもの（ベンチマークは自分を甘やかしうる）、そして疑う者自身（自分たちの問いは、ユーザーの問いと同じとは限らない）。この最後の一列だけは、あえて空欄のまま示された。
Nicole van der Hoeven氏は、大いなる疑いを講演の最後にもう一度、映画「プロジェクト・ヘイル・メアリー」に重ねる。異なる生物学を持ち、決して触れ合うことも、言葉を交わすこともできない主人公グレースと異星人ロッキーが、それでも互いを信頼するようになったのは、「信頼してほしい」という主張によってではなく、共に検証できる小さな実験を積み重ねた結果だった。
信頼は主張されるものではなく、測定されるものだ。人間には完全には尋問できない知性と働くという点で、今のAIエージェントを前にした自分たちも同じ状況にいると同氏は語る。エージェントに説明を求めて、それを鵜呑みにすることはできない。できるのは、共に実験を重ねることだけだ。
