「交渉するAI」Agentの研究：Facebookの論文

「交渉する」AI Agentや、２体ないし３体以上のAI Agentどうしが「交渉しあう」世界に向けて、「自動交渉」アルゴリズムの研究が進められています。

一時期、Facebook社の人工知能研究センターであるFacebook AI Research Centerが公開した１篇の論文「”Deal or not deal ?”論文」が、論文の主題であった「交渉しあうAI Agentが効率的に交渉しあうための交渉言語の最適条件」を探るというテーマとは異なる、実証実験の過程で、AI Agentどうしが、人間が理解できない英単語の羅列を使って交渉し始めた現象に注目があたってしまうという不本意な形で、アメリカを始め、日本を含む世界中のAIエンジニア界隈で話題の的となったことがあります。

そのような珍事がありながらも、Facebook社のAI Research Centerによる「交渉」を行うAI Agentや、他のテクノロジー企業や大学研究機関による「自動交渉」アルゴリズムの研究の潮流について、一般のAIエンジニアたちからのまとまった関心が寄せられるまでには、まだ至っていないのではないかと思われます。

そこで、AINOW上で掲載いただいた拙・連載記事「IBM Debaterの陰にWatsonあり？ 〜 IBMの技術の系譜を探る」で主題に取り上げた「ディベートを戦うAI Agent」とは別に、今回、新たに「『交渉を行うAI』の研究状況を追う」と題して、新たに連載記事を立てることを思いつきました。

IBM Debaterの陰にWatsonあり？ 〜 IBMの技術の系譜を探る （第１回目）

「討論」・「交渉」を行うAIは、今後、Personal Assistantアプリなどの戦略サービスの基幹技術の有望株

AINOWで「IBM Debater」の仕組みと関連情報を取り上げる記事を発信したり、今回新たに、「交渉」を行うAIの学術研究動向について「これまで」と「現在」と「これから」を考察する記事を発信する目的は、何でしょうか。

それは、「討論を行うAI」のアルゴリズムや、「交渉を行うAI」のアルゴリズムが、討論の闘士AI Agentや、交渉官AI Agentとして、そのままの形で世に出てくるのではなく、SiriやAmazon EchoやCortanaやGoogle Nowのように、一見、「討論」や「交渉」を行うために開発された技術が使われているとは気づかないようなアプリケーションやサービスの衣装をまとって、人間のユーザ（「ご主人様」）に、ある生活場面・ある生活状況において行動Aと行動Bを選択した場合の利害得失を提示したり（物事の選択肢（Resolution）の利点と欠点を探索する工程は「討論」（Debate）で求められる作業そのもの）、Facebook AI Research Centerの研究員が”Deal or No Deal ?”論文に結実した研究プロジェクトの目的として、インタビューで明かしたように、人間ユーザ（「ご主人様」）になり代わって、（Personal Assistant AIが）生活用品を良い価格条件や納品条件で購入するために売り手と「交渉」してくれる、そんなPersonal Assistant AIとして、商品化されて世に出てくる日が、とても近いように感じられるからです。

日本でも話題を呼んだ、スコット・ギャロウェイ (著)・渡会 圭子 (翻訳)の著書『the four GAFA 四騎士が創り変えた世界』（東洋経済新報社、2018年7月27日刊行）でつづられているように、Amazonは、（米）Walmart Inc.や（米）Costco Wholesale Coirporationを始め、世界の小売最大手の業者の売り上げを、大きく切り崩しました。その結果、これら世界の小売最大手の企業各社が、過去数年間、毎年、損益計算書（P/L,）に計上してきた全売上げ金額の数十パーセントは、Amazonというたった１社の企業に、すべて吸い上げられることになりました。

同じように、今後は、個人消費者とのファースト・コンタクトのインタフェースを仕切るかもしれない、これらのPersonal Assistant AIが、各国のGDPの過半数を占める個人消費のマーケットの「パイ」を独占ないし寡占する戦略商品となる可能性が出てきました。

その意味で、「討論」を行うAIアルゴリズムや、「交渉」を行うAIアルゴリズムについて、話題になった１篇の論文や商品を、「孤立した１つの事象」として、一過性の流行の「話題」として追いかけて、忘却するのではなく、氷山の一角として話題に上った論文や商品の前後に存在する公開論文や商品の時系列連鎖を、芋づる式にたぐりよせて、ある程度、体系的にそれらの関連情報を整理して、そこから「意味」をつかみとる努力を行う必要があるのだと思います。

個々の事象を、「点」として追いかけるのなく、「点」と「点」を結びつけて「線」となし、「線」と「線」を結びつけて、「面」となす。

そのようにすることで、「点」として、私たち生活者の目に飛び込んでくる、個別のAI関連の技術情報や商品情報から、マーケティング戦略を立てるマーケティング分析者や、（社会にインパクトを与える「実学」志向の研究を世に出したい）AIアルゴリズム研究者や、マーケットの時流を捉えた上で、次に戦力となる技術者をライバルに先んじて採用して囲い込みたい企業経営者や企業や官庁の人事政策担当者にとって、「次の一手」を決める際のよりどころとなる戦略情報（インテリジェンス）の「仮説」を導き出すことが初めて可能になる。そのように考えたことが、この記事を発信するに至った動機であり、目的です。

Facebook “Deal or not deal ?”論文

メタ・データなどを人力でアノテーション付けする作業を施していない、「生」の「人間と人間の交渉のやりとり」データを「学習データ」にすることで、交渉相手の「効用関数」（”reward function”）が見えない（”cannot observe”）条件下で、しかも、さまざまな交渉課題（”on a multi-issue bargaining task”）の戦略を立てる方策を学びとることができる”end-to-end models for negotiation”モデルの構築を目指すとする意欲的な論文が、2017年6月、Facebooks社のリサーチ・ブログと、国際的に著名な論文誌ACLに掲載されました。

・ [公式ブログ記事] Facebook Code （2017年6月14日付）Deal or no deal? Training AI bots to negotiate
・ [ACL版論文] Deal or No Deal? End-to-End Learning for Negotiation Dialogues 
・ [Arxiv版の論文] Deal or No Deal? End-to-End Learning for Negotiation Dialogues
・ [GitHubコード] facebookresearch/end-to-end-negotiator

この論文は、２体のAI Agentどうしが、目の前にある商品（「財」）を、互いに納得いくわけ型で、２人で上手に山分けするために、「うまく交渉すること」を、問題設定＝課題（Task）として設定した上で、その課題に、ニューラルネットワーク・ベースのモデルで取り組んだものです。

後に述べるように、「交渉」をAIが自動（自律的）に行うためのアルゴリズムを研究する学術領域では、遺伝的アルゴリズムやアニーリング法などのさまざまなアプローチを取り入れたモデルが提案されており、2010年からは、ANAC（Automated Negotiating Agents Competition）と呼ばれる競技大会が、「価格交渉」などを交渉課題に設定した上で、マルチ・エージェント・シミュレーションの国際研究学会であるAAMSと並行して開催されてきました。

FacebookのAI研究所とジョージア工科大学の共同研究の成果をまとめた上記の”Deal or No Deal ?”論文は、このような「交渉」を自動化するアルゴリズムの研究に取り組んできた長年の技術蓄積の成果に立脚しつつ、上記の模式図やアルゴリズム手順に表現されているような、ニューラルネットワーク・モデルのアプローチで「交渉戦略」の学習モデルの構築に取り組んだ研究として、位置づけることができます。

「交渉」と「ディベート」との違い

ところで、「交渉」（Negotiation）とは、何でしょうか。

「交渉」は、「討論」（Debate）とも「議論」（Discussion）とも異なるコミュニケーション行為です。動機も目的も、行為の手順と構造も、互いに異なります。

まずは、この「交渉」について、一面的で断片的ではありますが、簡単におさらいしておくところから論を起こしたいと思います。

まず第一に、「交渉」とは、相手(彼)の主張が拠り所とする論拠を論理的につきくずして、自分(我)の主張が論理的に正しいことを客観的に証明させることをゴールとするディベート・討論 debateとは目的を異にします。

「交渉」は、互いに異なる利害得失のうち、共通認識として互いに共有できる地点を双方の努力によって洗い出して、互いに共有できる共有利益を双方の協力によって両者で分け合うことを合意することをゴールとした二者間ないし複数者間の対話です。

利益が衝突しあう部分については、互いに自己犠牲を受け入れるか、今後、状況が変わった際に別の解決策の機会が出現するまで問題の取り扱いを棚上げすることを合意します。

人間には理解不能な「未知の言語」に注目が集まった同論文

ところで、”Deal or No Deal ?”論文は、アメリカや日本のオンラインTech系媒体記事では、交渉しあう２体のAI Agentどうしが、次第に「人間が理解できない」「AI語めいたもの」を話しはじめた部分にAIコミュニティの注目が集まった感があります。

これまで、Fcebookの”Deal or No Deal ?”論文をめぐっては、「交渉を行うAI」ないし「AIどうしでなされる交渉」の研究といった本来の文脈で注目されるのではなく、（同論文の）実験の過程で、人間の目から見て、理解不能な英単語の羅列が、交渉をおこなっているAI同士では「交渉が成立している状態」として持続したという（思わぬ）出来事の出現に注目が集まっていたように思います。

この事象を捉えて、AIが、人間の言葉である英単語を用いながらも、人間には理解できない暗語（暗号）を用いて意思疎通（＝交渉）をおこなったのではないか、と評価した発言が注目を集めて、人間が統御（制御）できないAIは怖い、といった恐怖感に結びついたセンセーショナルな議論に飛躍してしまった感があります。

同論文にまとめられた実験に立ち会ったとされるFacebookのAI研究所所属のエンジニアリング・マネージャーのアレクサンドル・ルブリュン氏は、C|Net誌によるインタビューのなかで述べたところによると、実験の過程で、人間に理解できない英単語の羅列が発生したのは、同論文で報告されているAIは、最適化アルゴリズムで動いており、価格交渉で自分側が得る利益を最大化させる「最適化」アルゴリズムどうしが作用した結果、交渉を効率化させるための（あたらしい）言語として、なんらかの単語の並びの規則が生じた可能性が考えられるが、そこには「人間に理解できない言語をうみだそう」といったAI側の意図も戦略も感情も生じてはいないはずだ、という見解を述べています。

C|Netによるインタビューでは、具体的に次のように述べています。
以下、C|Net Japan誌の記事「『2つのAIが”独自言語”で会話』の真相—FacebookのAI研究開発者が明かす」より抜粋して引用します。

「この2つのAIエージェントは、使用言語の変更が許されており、当初は英語をしてコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が序々に変化していったのだという。
ただ、この点についてルブリュン氏は、『研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ』と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。
そして、”実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については『彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない』と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。
ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は『私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自の言葉を作り出した”と飛躍的な解釈をしたのではないか』との見方を示す。その上で、AIの本質について次のように語った。
『AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言といえる』（ルブリュン氏）」

このため、”「人間に理解できない言語をうみだそう」といったAI側の意図も戦略も感情”を恐れる必要は、少なくともこの論文を材料にした議論としては、不要なようです。

もちろん、そうしたAI側の意図や心理の存在を持ち込まずに、結果として、人間には理解できない英単語の並び(“to me”の羅列など）でも、AIどうしでは交渉が成立しうるような「なんらかの英単語の出現規則」が、同論文のAIのアルゴリズムから自己発生的に出現しえたのだとしたら、それ自体は、注目すべき事実です。

残念ながら、「人間が理解しうる言葉で交渉を行うAI」を目指していたFacebookのAI研究所の実験では、目的から外れるために、これ以上の実験は中断されたとのことですので、このとき「自己発生」していたのかもしれない（委細は未検証）「なんらかの言語規則」が、どのような「言語規則」によって、AI Agentどうしの「交渉」を可能にしていた「規則」なのか、その「言語」の内部構造については、つっこんだ洞察や実験的な検証はなされなかったようです。

「未知の言語」に取り組む分野は別にある：Language Evolutionという領域

なお、人間が理解しない、人間にとって「未知の言語」を、AI Agentどうしが共同的につむぎ出す研究は、Language Evolutuonないし、Emergent Languageという名前の研究領域が別途あるようです。

この”Language Evolution”という分野では、Google DeepMindが数々の先端的な論文を公表しているようです。

このあたりは、以下のスライドで、詳しく紹介されています。

• 「Thinking Machineに向けて -DeepMindのLanguate evolution論文を中心に-」

上記のスライドに取り上げられているものの他に、米国のOpenAI財団が公開しているブログの2017年3月16日付けの記事も目を引きます。

• Learning to Communicate

このブログでは、”new OpenAI research in which agents develop their own language”（AI Agentたちが、彼ら自身の独自（オリジナル、固有 “own”）の言語を構築するに至るAI Agent（複数形）をめぐるOpenAIのあたらしい研究プログラム）について解説しています。

複数のAI Agentどうしが、「人間にとって未知の言語規則（＝文字の使用規則）」を共同的につむぎ出していくLanguage Evolution (Emergent Language）の研究に取り組んでいる論文は、以下の舞台設定（課題設定）を踏襲する例が多い印象を受けます。

•  一方のAI Agent（仮にAgent Aとします）が「いま、どの物体を見ているのか」を、もう片方のAI Agent（Agent B）に「任意の文字の並び」によって言語的に伝達する。
• そのメッセージ（記号列）を受け取ったもう片方のAI Agentは、統計的にその記号列の意味する内容を推定し、Agent Aが見ている物体を推定する。
•  Agent Bの推定結果が当たっていたか、外れていたのかの「結果」を、AI Agent Bは、フィードバックとして事後的に受け取る。
•  フィードバックを受けて、AI Agent Bは、AI Agent Aが発した記号列について、「形状や色、位置など、物体を特定するのに必要な個々の情報は、受け取った記号列の中のどの部分記号列に、どのような記号出現規則で表現されているのか」についてのみずからの理解（統計学的な推定モデル）を、じょじょに洗練させていく。
•  ある回数、（AI Agent Aが見ているものをAI Agent Bが推定する）ゲームを繰り返した後、AI Agent Bは、AI Agent Aが発した記号列の（未知の）文法や（未知の）語法を理解し、２体のAgents (AとB)は、ひとつの言語を「共有資産」として「共有する」に至る。

このようなLanguage Evolution（「言語創発」）の研究としては、DeepMind所属の研究者以外の研究者の手になる論文もあります。 一例として、（”Deal or No Deal ?”論文の研究者が所属する）Facebook AI Research Center (FAIR)からは、以下の論文が出ています。

• Diane Bouchacourtほか, How agents see things: On visual representations in an emergent language game (https://arxiv.org/pdf/1808.10696.pdf)
•  [上記論文の解説ページ] Deep Learning Monitor (2018年9月13日付け）How agents see things: On visual representations in an emergent language game (https://deeplearn.org/arxiv/47017/how-agents-see-things:-on-visual-representations-in-an-emergent-language-game)

“Deal or No Deal ?”論文を公開したFAIRは、上記の例に見られるように、Language Evolution (Emergent Language)研究にも取り組んでいるようです。

このように、Language Evolution研究の世界では、「いま見ている物体がなにかを当てる」課題設定の下、Language Evolution (Emergent Language）の過程を、シミュレーション的に研究しています。

この研究領域の全体像については、先に紹介したスライドのほかにも、以下のスライドが参考になります。

• [スライド] Andre Cianflone, Emergent Communication with Entangled Input

他方で、DeepMindの次の論文では、２体のAI Agentたちが、物（財）の配分「交渉」を行うという課題設定のもと、Language Evolutionの様子をシミュレーションした結果が報告されています。

AI Agentどうしが「交渉」を行う過程で、AI Agentたちが、「人間の言葉とは異なる記号（Symbol。文字）の利用規則（出現規則。文法・語法）」を編み出す可能性について、取り組んだ研究としては、Facebook AI Research Center（FAIR）の”Deal or No Deal ?”論文ではなく、DeepMind社のこの論文に注目するべきではないでしょうか。

この論文は、ICLRという人工知能研究の国際学会のなかでも最高峰（論文の査読を通過する難易度が最も高い）の学会の論文誌に、（査読を通過して）掲載された論文です。

2018年度のICLR論文誌に掲載されました。ケンブリッジ大学の研究者とDeepMindの研究チームとの共同執筆論文です。

• Kris Cao（ケンブリッジ大学）& Angeliki Lazaridou（DeepMind）, Emergent Communication through negotiation, ICLR 2018 

Facebook論文の主題は「交渉するAI」

”Deal or No Deal ?”論文の主題は、「交渉しあう２体のAI」の相互作用です。

Facebook論文以後の研究史：同論文を引用する後続の論文群

Google Scholarで”Deal or No Deal ?”論文を引用している論文の一覧を見ることができます。

この中で、交渉（Negotiation）を主題とした研究に取り組んでいる論文としては、以下があるようです。

いずれの論文も、深層学習（Deep neural network）モデルや深層強化学習（Deep Reinforcement Learning）を用いたモデルを提案しているようです。

•  Prosocial learning agents solve generalized Stag Hunts better than selfish ones 
•  Maintaining cooperation in complex social dilemmas using deep reinforcement learning 
•  Hierarchical text generation and planning for strategic dialogue 
•  Learning Against Non-Stationary Agents with Opponent Modelling & Deep Reinforcement Learning 
•  Maintaining cooperation in complex social dilemmas using deep reinforcement learning 
•  Decoupling Strategy and Generation in Negotiation Dialogues 

2010年から、「自動交渉」の国際競技大会が開催されている

なお、交渉の自動化を担うAI Agentを研究する研究者が交流する場としては、2010年から開催されている国際技術競技大会として、ANAC（Automated Negotiating Agents Competition）という集まりが存在するようです。

同大会の公式ウェブページは以下になります。

• Ninth International Automated Negotiating Agents Competition
•  The Ninth International Automated Negotiating Agent Competition (ANAC 2018)

このANACの概要については、以下の英語論文で紹介が参考になります。

•  The annual International Automated Negotiating Agents Competition (ANAC)
•  Automated Negotiating Agents Competition (ANAC)

日本語で書かれた紹介文書としては、（日本の）人工知能学会（JSAI）誌に採録された以下の論考があります。以下の論考では、ANACは「国際自動交渉エージェント協議会」と訳出されています。

（なお、「エージェント」とは、周囲の状況の変化に関する情報をセンサー等で情報取得した上で、自らがどのように振る舞うのかを自律的に判断しながら自動で稼動するロボットや計算機上のシミュレーション内の個体のことです。「エージェント」研究の世界では、複数の「エージェント」どうしが互いに相手の状況を理解しながら、協調したり競合しながら動作させる「マルチ・エージェント・シミュレーション」（MAS）とよばれる分野が、古くから行われてきました）

上記の藤田ほか（2016）の論考によると、ANACは、2009年にブタベストで開催されたAAMAS（「自律エージェントとマルチエージェントに関する国際会議」, International Joint Conference on Autonomous Agents and Multi-Agent Systems）で開催されていた、自動交渉に関するワークショップACAN（Agent-based Complex Automated Negotiation。藤田氏らが主宰）において、立ち上げが提起されて、創設された国際競技大会であり、「毎年5月にAAMASに合わせて開催されている」ようです。

創設が問題提起された背景について、藤田ほか（2016）は、当時、「交渉に関する研究は個々の研究者が独自の実験設定を想定していて、具体的に研究の成果を積み上げていくことが難しかった」という状況が研究者の間で認識されており、「ある一定の評価基準で評価できるようなテストベットを設け」る必要性が共有されていたことが紹介されています。

さらに、「各大会で著者らを含めた主催者間の議論により、これまでの競技会の状況や自動交渉の研究状況を考慮した毎大会ごとに競技会のルールや評価指標などを決定」されてきたことが解説されています。具体的には、藤田ほか(2016)の表１に掲げられているように、以下のあたらしい「要素」が交渉の課題設定に導入されたようです。

• 2011年大会での「割引効用」の導入 (制限時間いっぱいまで相手の譲歩を引き出そうとする戦略に、コストを付与するのが目的。早く交渉妥結に至ると双方が得る得点が増える「時間価値」を導入した)
•  2012年大会での「留保価格」の導入（双方が交渉妥結に至らずに制限時間いっぱいになるか、どちらか一方が交渉を放棄・交渉から離脱しても、一定の得点を双方が得られるようにした。無理やり交渉妥結に至る「焦り」を取り除いた）
•  2013年大会での「交渉履歴」の導入（過去の交渉過程を「学習データ」として活用できるようにした）
•  2014年大会での「非線形効用関数」の導入（交渉空間を凹凸の大きい非線形空間にした。交渉空間のなかの最適解を探索する際の演算量を増大させた）
•  2015年大会での「三者間交渉」の導入

このように、ANACは、各年の競技大会で用いる統一ルールや統一の評価指標を、「自動交渉」研究コミュニティの技術の進歩をつねに反映させたものに更新していくことで、毎年のANAC大会の開催を通じて、この分野の研究者たちが着実に技術を蓄積していくことができるよう、研究の土台となる問題設定や各アルゴリズムや各プロトコルの評価手法などを整備することで、研究コミュニティを牽引してきたことが明かされています。

各年度の大会で、優勝したモデルが採用した「交渉戦略」の変遷を見るとき、各年度の大会で設定された「交渉課題」の「課題設計」の移り変わりが、反映されていることを見て取ることができます。

再び、藤田ほか(2016)によると、最初の３大会の結果とその勝因分析の評価結果は、以下のとおりです。

• 2010年大会（ANAC初開催の年）：「歩み寄りに基づく協調型のデージェントであり、制限時間直前で合意を目指す」名古屋工業大学の「AgentK」が優勝した。背景として、「本大会では、割引効用のルールがなく、合意すること自体が難しかったために、協調型かつ制限時間をできる限り使って合意を目指す戦略が有効であった」と考えられる。
•  2011年大会：「交渉の制限時間直前まで歩み寄らない強固な交渉戦略」を採用し、「S.S Fatimaのテイ名した理論[Fatima 02]に基づいた」デルフト工科大学の「HardHeaded」が優勝した。勝因として、「今回は協調的なエージェントが増加したため、逆に強固な戦略のほうが強調的なエージェントを損する直前まで歩み寄らせることができるため有効であった」。
•  2012年大会：「環境適応型のエージェントであり、相手の戦略や効用のタイプを予測して、それに対して有効な戦略を選択する」The Chinese University of Hong Kongの「CUHKAgent」モデルが優勝した。勝因は、「本大会は交渉ドメインと交渉エージェントが多様であるため、どのような対戦相手、ドメインに対しても対応できる交渉戦略が有効であった」。

 自動交渉シミュレータ「GENIUS」を前提とした研究蓄積がある

なお、「自動交渉」に関する論文を読んでいると、実験環境として、「GENIUS」という名前のシミュレータを用いている事例に多く遭遇しますが、この「GENIUS」も、ANACの第一回目の競技大会で公式のシミュレータとして採用されたものであったようです。

（「GENIUS」の正式名称は、”General Environment for Negotiation with Intelligent multi-purpose Usage Simulation”で、オランダのデルフト工科大学（Delft University of Technology:TU Delft。）で開発されたものです）

藤田ほか (2016)によると、この「GENIUS」では、２体のAI Agentが提案（”Offer”）の提示と反対提案（対案、(Counter-)”Offer”）の提示を、交渉が妥結するか、どちらか一方が（合意に至らないまま）交渉を終了（放棄、離脱）するまで、交互に繰り返した「交渉」の履歴を、２次元グラフで表示できるシステムです。

「GENIUS」はJava言語のAPI仕様が公開されており、「自動交渉」AI Agentを開発するにあたって、APIとしてメソッドが公開されているchooseActionメソッド（「相手の提案を受託する」Accept, 「相手の提案を拒否し、こちらから別の対案を提示する」Offer, 「交渉から離脱する」EndNegotiationのいずれを選択するかを決定スルメソッド）をオーバーライドして、Java言語で、独自に定義する交渉決定戦略をコード実装するやり方で、（「自動交渉」AI Agentを）開発するということです。

「GENIUS」では、「Bid情報とその評価値を保存するクラス BidDetailsや相手の予測した効用関数と自身の効用関数からパレートフロントなどを解析できるBidSpaceクラスなど戦略を記述する際に頻繁に使用されるメソッドやクラスがすでに定義されている」とのことです。

この「GENIUS」では、交渉ゲームが終了した後に、各回の交渉ラウンドにおける交渉の出来栄えを評価する際に使い勝手のよい２次元グラフも提供されているようです。

その２次元グラフ上では、ゲーム理論や交渉理論で研究されてきた学術上の概念である「パレートフロント」や「ナッシュ交渉解」・「カライ・スモルディンスキー解」・「交渉の基準点」や「交渉の理想点」等が、記号で図示される作りとなっており、これらの記号で表示された各ポイントと、２体のAI Agentが各ラウンドの結果、実際に妥結した交渉合意点とのグラフ空間内での「距離」を定量的に算出した値が自動的に表示されることで、各回の交渉の良し悪しを、容易に事後評価できる環境が提供されています。

以下、藤田ほか(2016)より、図４と図５を転載して掲載します。

「GENIUS」については、デルフト工科大学の研究員による以下の紹介論考があります。

• Koen Hindriksほか (2009), “GENIUS – Negotiation Environment for Heterogeneous Agents“
•  Raz Linほか, “Genius: an integrated environment for supporting the design of generic automated negotiaters“

以下、Koen Hindriksほか (2009)よりFigure 1を転載します。

 マルチ・エージェント研究における自動交渉研究の位置づけ

以上、ANACの設立経緯について、藤田ほか(2016)による解説を紹介してきました。

なお、マルチ・エージェント・シミュレーション研究における「自動交渉を行うAgent」アルゴリズム研究の位置づけについて、藤田ほか(2016)は、「（マルチ・）エージェント」研究における「自動交渉」アルゴリズム研究の位置づけについては、「個人合理性をもつエージェントが協調作業をするためには、個々の利益や効用を最大化しながら、社会やグループの利益も最大化できるように合意を得る必要がある」ことから、交渉は、「マルチエージェントシステムの研究を行う限り必ず考慮する必要があ」るという考えを提示しています。

そして、「自動交渉」の研究領域におけるこれまでの取り組みについて、「エージェント間の交渉プロトコルおよび交渉メカニズムの設計、個々のエージェントの交渉戦略の設計、交渉問題そのものの設計、交渉結果の評価方法、交渉における学習機構など、多くの研究が展開されてきた」と総括しています。

なお、ANACで競われるのは、交渉エージェントのなかで、「Multi-issue Closed Negotiation（効用非公開状況下での複数論点交渉）」を専門にする交渉エージェントであるようです。藤田ほか(2016)によると、この「Multi-issue Closed Negotiation」は、「互いの効用情報が公開されない交渉問題」であり、「現実世界に近い設定であり、交渉のクラスとしては重要かつ現実的である」としています。

こう述べる藤田ほか(2016)は、ANACの今後の課題として、（2016年当時の認識として）「今後、競技会の成果を活用して、売買の値段交渉や電力売買交渉など現実世界の交渉に近い交渉問題をモデル化」することを目標にしたいとしています。

2017年に、自然言語AIの学術研究学会として著名なEMNLP（Conference on Empirical Methods in Natural Language Processing）誌に査読掲載されたFacebook AI Research研究所とGeorgia Institute of Technologyの共同研究論文 “Deal or No Deal ?”論文が取り組んでいた交渉課題も、２体の（交渉）AIが「価格交渉」を行う「課題」でした。

同論文を報じた各種テクノロジー・オンライン誌や経済誌によると、Facebook社は、パーソナル・アシスタント・アプリなどで、主人である人間ユーザに成り代わって、物を買う際の価格交渉を行う場面などを見越して、FacebookのAI研究所がこの論文に結実した研究にとりくんでいたなどの内情がとりあげられていますが、「価格交渉」といった課題設定は、ANAC競技大会を中心とした「自動交渉」研究コミュニティのなかでも、中心的な研究課題設定であったようです。

そもそも、「交渉を行うAI AGENT」それ自体が、人間が日々の生活のなかでおこなう交渉を、AIも自律的に行うことができるようなることを目標にしており、その人間が行う交渉のなかで、「価格交渉」がもともと（人間生活のなかで）大きな比重を占めていたことから、Facebookとジョージア工科大学の共同論文が「価格交渉」しあうAI Agentを研究テーマにとりあげて、「交渉言語」の条件を緩めて、どのような「交渉言語」がAIどうしによる交渉をもっとも「効率化」させるのかを検証するに至った研究設計も、「交渉するAI」という研究分野そのものの来歴と目的を視野に含めて考えると、腹落ちします。

2014年大会ではシミュレーテッド・アニーリングモデルと遺伝的アルゴリズムが上位入賞

なお、2010年以降、毎年開催されていたANAC競技大会で提案されてきた交渉アルゴリズムは、必ずしも（深層）ニューラルネットワークや深層強化学習モデルなど、ニューラルネットワークモデル（「コネクショニズム」モデル。「コネクショニズム」については、Wikipedia日本語版「コネクショニズム」を参照のこと）に基づくものではありませんでした。

その例として、2014年に開催されたANAC大会では、シミュレーテッド・アニーリングモデル（SAモデル）を採用した名古屋工業大学のモデル「AgentM」が優勝しており、２位以下の上位成績を収めたモデルも、SAモデルか、遺伝的アルゴリズムを用いたモデルを引き連れて大会に臨んだチームであったようです。
この背景として、藤田ほか(2016)は、2014年大会では最適な交渉戦略を推定（探索）するための演算量の大きい非線形効用空間が導入されたことから、「高速に準最適解を発見することが重要」であり、その能力に優れたSAモデルや遺伝的アルゴリズムが、他のモデルを採用した他チームに対して、優れた成績を収めたのではないか、という見方を提出しています。

“Deal or No Deal ?”論文は深層学習モデルに基づくモデルに取り組んでいる

他方で、Facebook AI Research & Georgia Institute of Technology(2016) ”Deal or No Deal ?”論文を引用している後続の研究論文は、深層ニューラルネットワークモデルや深層強化学習など、いわゆる「ディープ・ラーニング」の学習法（誤差逆伝播法と損失関数の定義によって学習と推論が行われる）に立脚した「交渉」モデルが提案されています。

今年のANAC大会は（2018年）7月にストックホルムで開催済み

直近では、今年7月に第9回目の国際ANAC競技大会が、ストックホルム（スウェーデン）で開催された模様です。
（国際人工知能学会（IJCAI：International Joint Conference on Artificial Intelligence）主宰のコンペティションとしての開催）

•  藤田 桂英ほか「ANAC：Automated Negotiating Agents Competition（国際自動交渉エージェント競技会）」, 人工知能31巻2号(2016年3月）

また、日本語では、「自動交渉」という用語が専門用語して確立されているようで、（日本の）人工知能学会の学会誌をはじめとして、和文の論文も数多く存在します。

この記事では、こうしたANACや「自動交渉」領域で提案されてきた「交渉プロトコル」や「交渉アルゴリズム」が、上記の深層学習や深層強化学習のアプローチを採用したプロトコルやアルゴリズムと、どのように異なるのかに注目してみます。

「自動交渉」研究の論考事例

以上、「自動交渉」研究に取り組んでいる世界中の研究者が、問題設定の枠組みとして準拠しつつあるANAC国際競技大会の各年の大会で提示されている課題設定と、それらの課題のもとで、各「交渉AI Agent」モデルのパフォーマンスの優劣を競い、評価するために用いられているシミュレータ環境としての「GENIUS」について、藤田ほか(2016)を引用して概観してきました。

この「自動交渉」研究については、ANAC競技大会に出場したAgentモデルを含めて、一例として以下の和文論文があります。

• 「人工知能間の交渉・協調・連携」産業競争力懇談会 ２０１７年度 プロジェクト 中間報告
• 「論点間に依存関係が存在する交渉問題を対象とした自動交渉プロトコル実装に関する研究」
• 「自動交渉における交渉相手との対立度に基づく譲歩の実証的分析」
• 「歩み寄り戦略に基づく自動交渉エージェントの交渉過程の解析と評価」
• 「マルチエージェントの自動交渉モデルとその応用」
• 「複数同時交渉のための Hypervolume に基づく協調度」

また、英語論文としては、一例として、以下があります。

• 【AAAI2012】“Negotiating Agents” 
•  【AAAI 2002】”An Extended Alternating-Offers Bargaining Protocol for Automated Negotiation in Multi-agent Systems“
•  “Defeasible Logic for Automated Negotiation“
•  “DR-NEGOTIATE – A System for Automated Agent Negotiation with Defeasible Logic-Based Strategies“
•  “Automated Negotiation: Prospects, Methods and Challenges“
•  【AAAI2000 Technical Report】”Automated Negotiation from Declarative Contract Descriptions“
•  【AAAI1995】”Issues in Automated Negotiation and Electronic Commerce: Extgending the Contract Net Framework“
•  “Designing Conventions for Automated Negotiation“

Google DeepMind社による「マルチ・エージェント」と「ゲーム理論」に関する研究実績

自律的に稼動する複数のAgentの集団が、互いに競合と協調を繰り広げながら、全体としてどのように振る舞うのかを研究する取り組みとしては、Google傘下のDeepMind社が、複数の論文を公開しています。

DeepMind社が研究の対象とするAgentは、互いに交渉（という言語）ゲームを行うAgentのみにとどまるのではなく、仮想の3次元空間上で、対戦しあったりするAgentなど、幅広い対象（主題）を取り扱っています。

「交渉」というテーマそのものからは足を踏み出してしまうかもしれませんが、既出の節「マルチ・エージェント研究における自動交渉研究の位置づけ」で触れたように、「交渉」を可能にするAIのアルゴリズムは、「マルチ・エージェント・シミュレーション（MAS）」研究の１サブカテゴリという位置づけを持ちます。この文脈で、多少脱線しますが、本連載では、DeepMind社の以下の論文を簡単に取り上げて、眺めてみたいと思います。

本連載シリーズのなかで中身に立ち入って紹介したいと思う論文としては、例えば以下があります。初出のここでは、筆頭執筆者と論文タイトルを掲載先のURLへのリンクを添えて掲載するのみとします。

• DeepMindブログ Game-theory insights into asymmetric multi-agent games 
•  [上記ブログが取り上げている論文] Karl Tuylsほか（2018） Symmetric Decomposition of Asymmetric Games
• DeepMindブログ A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
• [上記ブログが取り上げている論文] Marc Lanctotほか (2017) A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
• DeepMindブログ Understanding Agent Cooperation
• [上記ブログが取り上げている論文] Joel Z.Leiboほか (2017) Multi-agent Reinforcement Learning in Sequential Social Dilemmas 
• DeepMindブログ A Generalised Method for Empirical Game Theoretic Analysis
•  [上記ブログが取り上げている論文] Karl Tuylsほか (2018) A Generalised Method for Empirical Game Theoretic Analysis

SingularityNETに「交渉AI」が組み込まれる可能性

この「自動交渉アルゴリズム」が、アメリカを代表するAI業界の牽引車 ベン・ゲーツェルらが展開中の分散台帳（ブロック・チェーン）上のAIアルゴリズム部品の大規模分散連携協調システム「SingularyNET」に搭載された場合、以下のことが可能になります。

それは、個別の機能に特化した（個別機能特化型の）AI Agentたちが、人間のユーザが求める情報やサービスを（最終的に）導き出す上で、自分が演算できる機能だけでは不足している場合、必要なほかの一連の機能を（SingularityNETマーケット上で）提供してくれている他のAI Agent(s)から、それぞれ価格と納入条件を自動交渉して、サービスの提供を受けることで、ご主人様（人間）が求める最終アウトプットを導出するまでの一連の問題解決の連続（バリュー・チェーン）を解決するという、AIアルゴリズムの自動売買マーケットの実現です。

以下、次のスライドから、「SingularityNET」のWhite Paperの図表を引用します。

「SingularityNETのWhite Paperを読み解く」

今後は、ロビーイング（Public Affairs）戦略ストーリーを立案AIにも道が開けるか？

ところで、これまで見てきた「交渉を行うAI Agent」とも、AINOWのほかの連載記事「IBM Debaterの陰にWatsonあり？ 〜 IBMの技術の系譜を探る」で主題に取り上げた「ディベートを戦うAI Agent」とも異なり、今後は、これら２つのAI Agentを開発するために培われた技術を独自に組み合わせて、「ロビーイングを行うAI Agent」や「（政府）渉外を（Public Affairs, Government Affairs）を行うAI Agent」が生まれるかもしれません。

IBM Debaterの陰にWatsonあり？ 〜 IBMの技術の系譜を探る （第１回目）

電力会社や製薬会社、証券会社や都市銀行など、その事業環境が政府と議会が定める業界規制（業界業法）の影響を受けて大きく様変わりする業界の大手企業は、日本語では「政府渉外」や「渉外」・「社会環境担当」などと和訳されるPublic Affairs（ないしGovernment Affairs）という部署を、本社の社長室直轄等の中枢部署として備えています。IBMやGoogle、Facebookなども、こうした部署の担当者を通年募集しています（Regulatory affairsやgovernment affairsといたjob titleで求人情報を検索すると求人情報がウェブ上でてきます）。

この「政府渉外」は、「交渉」とも「討論」とも異なる目的を帯びたコニュニケーション行為なのですが、「交渉」で求められるスキルと、「討論」で求められるスキルを、独自に組み合わせることで、例えば、「政府渉外・ロビーイングの作戦ストーリーを描くAI Agent」を設計することが、できるのではないかと考えられます。

その「政府渉外」や「ロビーイング」（Lobbying）とは、財務省や厚生労働省・国土交通省や警察庁など、それぞれの政策領域において、業界規制や業界監督規制を新設・改廃する権限をもつ主務官庁に対して、それら官庁が行う規制に服する側の業界企業や業界団体が、監督官庁（主務官庁、主管官庁）に対して、みずから積極的に行うコニュニケーション活動です。

具体的には、まず、当局者の政策目的に賛意を示した上で、その政策目的を最大限、短期間に首尾よく貫徹するためには、我の描く手順段取りに沿って政策を発動するのが最善の策であると論理的に、客観的な根拠をあげて示しながら、相手の気づかぬうちに、提案する手段段取りに、我の利益が実現する筋道を秘かに忍び込ませる術です。

このような目的を持つため、以下の手順を踏みます。

【 ステップ１ 】

彼我の追求する立案がよってたつ根拠の違いを分析して整理するステップ。
→ ディベートに共通するスキル

【 ステップ２ 】

異なる双方の利益の狭間にたって、双方の利益のうち、両立可能な部分領域を定義するステップ。
→ 交渉（negotiation）に共通するスキル。

【 ステップ３ 】

彼（規制当局＝Government）の（規制）目的・政策目的を実現するための最良の方策でありつつ、我の利益を実現する方策でもあるような「方策」を定義して、彼に提案・助言（アドバイス）する。（助言する「方策」が我の利益の実現する「方策」でもあることは敢えて表に出さない）

以上、３つのステップです。

ここで、最後の「ステップ３」について捕捉すると、Public affairsは、交渉のように、お互いがWin-Winの結論に至る妥協点を探るゲームではありません。あくまでも、相手（「彼」）である規制当局者が意図している（政策）目的の実現を助けるために、「我」は助言役・補助者に徹するように「彼」に対して見えるようにしながら、密かに、「我」の目的や利益「も」達成されるような助言（方策）を「彼」に「採用させる」ゲームです。「彼」には、自分の利益が部分的にしか実現できないような「妥協点」にまで降りる気もありませんし、「我」はそれを「彼」に求めるようなそぶりを見せてはいけません。

あくまでも「主人公」は、「彼」＝「規制当局者」であるというのが、「政府渉外」の特徴です。
この部分が、相手の論拠よりも自分の論拠のほうが客観的に見て妥当性と説得性に優れていることを審判者に対して立証することで、相手の主張を潰して自分の主張を生かす討論（debate）と「政府渉外」との相違点です。

また、彼我双方の目的や利益の一部を、彼我双方が部分的に犠牲にする代わりに、彼我双方の「残りの部分」の「部分利益」がWin-Winに同時に実現することを、互いに受け入れ可能な「妥協点」として、双方協力して見出すのが「交渉」（negotiation）でした。この点で、“「主人公」は、「彼」＝「規制当局者」である”・“主人公は自分の利益の一部たりとも犠牲にはしない”「政府渉外」は、「交渉」ともその目的を大きく異にしています。

しかし、「相手の利益」がよってたつ「根拠」と「自己の利益」がよってたつ「根拠」をまず整理して可視化したうえで（「討論」で求められるスキル）、双方の「利益」がWin-Winで同時成立しうる部分領域を発見ないし創出・構想し（「交渉」で求められるスキル）、その上で、そのWin-Winの「方策」から、相手（「彼」）が自己の利益を（部分的に）犠牲にしている（妥協している）と受け止められる部分を削除した上で、あくまでも、相手（「彼」）の目的と利益をもっともよく（効果的に、効率的に）実現する「方策」とであるかのように、発見・創出・考案した「方策」を相手に助言する。これが「政府渉外」です。こうしてみると、「政府渉外」とは、「討論」のスキルと「交渉」のスキルを土台にした総合技芸であるとみることもできます。

となると、Ainowで解説中の「IBM Debater」で蓄積されてきた技術と、あらたにこの記事で取り上げる「Deal or No Deal ?」論文やその後続論文と、「自動交渉」領域の論文がとりくんでいる「交渉するAI」の技術蓄積とを独自に組み合わせることで、ロビーイングするAI、政府渉外のストーリーを描くAIも、将来的には道が開けてくるかもしれません。

なお、「交渉」については、日朝交渉を率いてきた元外務省アジア太洋州局長・田中 均氏の著書『プロフェッショナルの交渉力』（講談社、2009年初刊刊行）が参考になります。

また、「政府渉外」については、西谷 武夫『パブリック・アフェアーズ戦略』（東洋経済新報社、2011年刊行）と株式会社パブリック・アフェアーズ事業部『ロビイングのバイブル』（プレジデント社、2016年刊）が参考になります。

筆者：伊藤 俊斎

統計数学や機械学習に関心を寄せる下町・長屋暮らしの一職人。

本業は、金魚すくい屋。長屋のはす向かいに住む幼馴染（おさななじ
み）の坂東 萬作さん（ばんどう まんさく。浮世絵師（兼）和傘職
人）と、数年前に、いつのもように、しょうゆ団子を片手に、カルタ
遊びに興じていたところ、携帯ラジオから、「AIが人から仕事を奪う
時代がやってくるかもしれない」と声が聞こえてきて、金魚すくいや
花火師も、商売を召し上げられるのかと慌てふためき、２人で新宿に
ある紀伊国屋書店（南店）に駆け込んでAIについて調べ始める。

もともと、古来より日本に伝わる占い術を、和算や西洋数学（統計
学）で裏付けることが２人の趣味であり、数学の稽古は積んでいたこ
とから、数式が並ぶ機械学習や統計的学習理論の本は、さくさく読み
進めることができたころから、AIを学ぶ習慣が付いた次第です。

金魚がゆらゆらと水のなかをたゆたう姿を見ていると、うっとり時が
過ぎるのを忘れてしまう。だから、いくらＡＩに詳しくなっても、予
備校講師や「ＡＩ塾」を主宰して日銭を稼ぐ商売を替える気はさらさ
ら起きないのであろう。