人工知能：ボードゲームDiplomacyで意思疎通と協力を実現するAIエージェントの設計

交渉して合意を形成する能力を持つ人工知能（AI）エージェントが、Diplomacyというボードゲームのプレイヤーになった場合に、この能力を持たない他のエージェントを打ち負かしたことを報告する論文が、Nature Communicationsに掲載される。今回の研究で得られた知見は、ゲームをプレイする際に他の人工エージェントと意思疎通して、協力し合い、共同計画を策定できるエージェントをモデル化するための深層強化学習法を実証した。

エージェント間の協力や意思疎通を実現できるAIを開発することが重要になっている。Diplomacyという人気の高いボードゲームは、このような行動を検証する有用な試験台と言える。このゲームには、AIにとって長年の課題となっているプレイヤー間の複雑な意思疎通、交渉や同盟関係の形成が関係するのだ。Diplomacyで勝者となるには、ともに参加しているプレイヤーの将来計画、プレイヤー間の約束、そしてプレイヤーが誠実に協力するかどうかに関する論理的思考を必要とする。これまでに開発されたAIエージェントは、プレイヤーが1人のゲームやプレイヤー間の意思疎通がない1対1の対戦ゲームで成功を収めてきた。

今回、János Kramár、Yoram Bachrachたちは、エージェントが同盟関係や共同計画を交渉できるようにする深層強化学習法を設計した。今回の論文著者は、ゲームの各プレイヤーをモデル化し、他のチームの戦略に対抗しようと試みるチームを形成するエージェントを作成した。この学習アルゴリズムにより、エージェントは、将来の動きに関する合意を形成することができるようになり、将来のゲーム状態に関する可能性を予測することで有益な取引を特定できるようになった。そして、論文著者は、人間レベルのパフォーマンスの実現に向けて、エージェントが一旦結んだ合意から逸脱してエージェント間の約束を破った複数の事例を検討して、誠実な協力が実現するための条件を調べた。

以上の知見は、AIエージェントが自らの戦略を自らの環境に適応させるための柔軟な意思疎通機構の基盤作りに役立つ。さらに、これらの知見は、協定を破った仲間を制裁したいという傾向が、そのような逸脱者の優位性を劇的に低下させ、当初は合意からの逸脱に有利に働くような条件があっても、おおむね誠実な意思疎通を強化するために役立つことを示している。

doi: 10.1038/s41467-022-34473-5

「注目の論文」一覧へ戻る