HOME/ AINOW編集部 /そのスタートアップは責任を持ってAIを使っているだろうか?
2020.07.15

そのスタートアップは責任を持ってAIを使っているだろうか?

著者のGanes Kesari氏はMediumに多数のデータサイエンス記事を投稿しているデータサイエンティストであり、それらのいくつかはAINOWの翻訳記事で紹介してきました(同氏の詳しい業績はこちらを参照)。同氏がMediumに投稿した記事『そのスタートアップは責任を持ってAIを使っているだろうか?』では、AIバイアスを緩和するために企業が行うべき施策が解説されています。

 

AIバイアスについては2019年頃からさかんに論じられるようになり、AINOWでも『「AIによる差別」の現状とは?事例、原因、世界各地の取り組みを紹介』という特集記事を公開しました。こうしたAIバイアスの影響を緩和したり、さらにはその発生を予防したりする施策として、同氏は以下のような5項目を提案しています。

  1. データサイエンスチームに社会学者や心理学者のような多様な職種を追加する。
  2. 処理プロセスに人間を組み込む(マン・イン・ザ・ループシステム)。
  3. データサイエンスチームに倫理的責任を負わせ最高倫理責任者を設ける。
  4. AIは完璧ではない」ことの周知。
  5. 慣習を絶対視しないで変化に対応できる好奇心と意志を企業内で奨励する。

以上の施策は、AI企業の意識改革とAIユーザの積極参加をうながす内容となっています。AIバイアスの発生原因がAIモデルの技術的欠陥ではなく学習データの不備やAIへの誤解にある以上、AIバイアスの緩和と予防にはAIの作り手と使い手の双方における変化が求められるのです。

AIの作り手と使い手の双方の変化を求めるAI倫理は、ちょうどインターネットビジネスが勃興・普及した後にITセキュリティが周知されていったように、2010年代の第三次AIブームをうけて2020年代には整備されていくでしょう。

なお、以下の記事本文はGanes Kesari氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。

モデルの公平性と説明可能性だけでは不十分な理由

人工知能テクノロジーが活用され始めて以来、ハイテク企業はその非倫理的な使用について多くの非難を受けてきた。

その一例として、Alphabet傘下のGoogleは、アフリカ系アメリカ人のスピーチに白人よりも高い「毒性スコア」を割り当てるヘイトスピーチ検出アルゴリズムを作成した、というものがある(※訳註1)。

ワシントン大学の研究者たちは、アルゴリズムによって「攻撃的」または「憎悪的」と判断された数千のツイートのデータベースを分析した結果、黒人向けの英語の方がヘイトスピーチとしてレッテルを貼られる可能性が高いことを発見した。

(※訳註1)ワシントン大学の研究チームが発表した黒人向けの英語に対するAIバイアスの詳細は、同チームによる論文『ヘイトスピーチ識別における人種的バイアスのリスク』を参照のこと。

画像出典:UnsplashMika Baumeister

以上の事例は、AIアルゴリズムから浮上するバイアスの無数の例のひとつだ。当然ながら、これらの問題は多くの注目を集めている。倫理やバイアスに関する会話は、最近のAIに関するトップテーマのひとつとなっている。

産業界のあらゆる組織や関係者たちは、公平性、説明責任、透明性、(運命的)倫理を通じてバイアスを排除するための研究に取り組んでいる。しかし、モデルのアーキテクチャやエンジニアリングだけに焦点を当てた研究では、限られた結果しか得られないことが予想される。では、どのようにしてこの問題に対処すればよいのだろうか?

AIバイアスに対抗するために誤解を解消する

画像出典:UnsplashMarkus Spiske

AIバイアスの根本原因はモデルにあるわけではないので、それを修正するだけでは不十分である。AIバイアスの是正に関して、どんな対処法がより良い結果をもたらすかを知るためには、まず本当の理由を理解しなければならない。そして、こうしたバイアスに取り組むために現実の世界で何がなされているかについて研究することによって、潜在的な解決策を見つけることもできる。

AIモデルは、過去のデータからパターンを研究して洞察力を得ることによって、学習する。しかし、人間の歴史(と現在の私たち)は完璧とは程遠い。それゆえ、こうしたAIモデルが訓練に使われたデータに潜むバイアスを模倣し、増幅してしまうのは当然のことなのだ。

以上のAIバイアスのメカニズムは誰の目にも明らかだ。それでは私たちがいる現実世界では、このような内在的なバイアスをどのように処理しているのだろうか。

現実世界では、バイアスに対抗するためにバイアスを導入する必要がある。

あるコミュニティや一部の人々が不利益を被る可能性があると感じた場合、私たちは過去の事例だけに基づいて結論を出すことは避けようとする。時には、さらに一歩踏み込んで、そのような不利益を被っているセグメントに機会を提供して、そのセグメントを内包しようとする。こうした行動は、不利益を生む傾向を逆転させるための小さな一歩なのだ。

以上のようなバイアスの是正は、モデルを訓練しながら、まさに私たちが行わなければならないステップである。では、モデルに内在する「学習された」バイアスに対抗するために、人力で是正バイアスを注入するにはどうすればよいのだろうか?以下では、是正バイアスを導入するためのいくつかのステップを示す。

1.データサイエンスチームに多様な職種を追加する

画像出典:UnsplashDenisse Leon

責任あるAIモデルを構築するためには、チームメンバー全員がテクノロジーの枠を超えることに目を向ける必要がある。データサイエンスの専門家をデータプライバシーについて教育することは重要だが、それだけではメリットは限られている。社会科学や人文科学の人材をチームに入れることで、AIモデル内の潜在的なバイアスを緩和するためのスキルセットや専門知識を得ることができる(※訳註2)。

社会科学や人文科学を背景に持つ人々は、ユーザや倫理的配慮をよりよく理解し、形成された洞察に対して人間的な視点を提供することができる。人類学者や社会学者は、モデルを作成したデータサイエンティストが見過ごしてしまったかもしれないモデルの中にあるステレオタイプを見抜き、データに潜むバイアスを修正することができる。

データサイエンスチームの行動心理学者は、ユーザとテクノロジーの間のギャップを埋め、モデルが出力する結果の公平性を確保するのに役立つのだ。

責任あるAIモデルを構築するためには、チームメンバー全員がテクノロジーの枠を超えることに目を向けなければならない。

データサイエンスチームを結成するにあたっては、多様なスキルセットを評価するだけでなく、性別、人種、そして国籍の異なるメンバーを通常よりも多く参加させることも重要だ。多様なチームは新鮮な視点を提供し、時代遅れの規範に疑問を投げかけ、チームが集団思考の罠に陥るのを防ぐことができる(※訳註3)。

例えば、iOSのYouTubeアプリを開発したGoogleのチームは、動画をスマホにアップロードする機能を追加した際に、左利きのユーザを考慮していなかった(※訳註4)。というのも、開発チームの全員が右利きだったからだ。

以上のようなアプリ設計は、左利きの人の視点で録画された動画が逆さまに見えることを意味する。開発チームに左利きの人が数人いれば、世界人口における10%の人のYouTubeアプリが格段に使いやすくなっていただろう。

(※訳註2)本記事著者のKesari氏が執筆したほかのAINOW翻訳記事『すべてのデータサイエンスチームが雇うべき3つの見落とされがちな役割』では、データサイエンスチームに行動心理学者を参加させることの効用が論じられている。AIシステムは入力データから何らかのパターンを抽出することができるが、そのパターンを解釈することは人間に委ねられている。抽出されたパターンを人間の行動傾向に即して解釈するのに役立つ人材が、人文科学や社会科学をバックグラウンドにもつ行動心理学者である。
AIシステムが抽出したパターンのなかには、バイアスのあるものも含まれる。どんなパターンがバイアスと見なされるのかを解釈するのも、データサイエンスチームに参加している行動心理学者の役割である。
(※訳註3)集団思考とは、ある集団が不合理あるいは危険な意思決定に陥ってしまう時のその集団の思考パターンを指す。集団思考に陥る原因のひとつとして「組織の構造的な欠陥」が挙げられ、そうした欠陥のひとつとして「集団構成員のアイデンティティの均一性」がある。バックグラウンドが同じ人材ばかりの集団では同調圧力が過度に働くことがあり、その結果、問題を多角的に検証せずに危険な意思決定に陥る可能性がある。
(※訳註4)iOS版YouTubeアプリの設計における欠陥に見られるような人材の多様性の欠如から生じる「無意識のバイアス」に対して、2014年9月、Googleはバイアスに関する教育プログラム『Unconscious Bias @ Work』を発表した。

2.人間をループに組み込む

画像出典:UnsplashScience in HD

どんなに洗練されたモデルであっても、人間が介入するように設計する必要がある。人間はフェイルセーフ・メカニズムの一部になれる。さらにはデータサイエンスチームが人間の判断をAIシステムの基礎に継続的に取り入れられるようになると、モデルを徐々に豊かにできるというメリットもあるのだ(※訳註5)。

人の健康や命に関わる重要な分野でもAIが使われている以上、重要分野で使われるAIシステムは許容範囲ゼロのミッションクリティカルなものと考えるべきである。それゆえ、ダウンタイムやエラーは当然として、バイアスも考慮すべきなのだ。AIを健全なものに保つ唯一の方法は、AIバイアスを回避できるように人間が業務に参画することである。

ダウンタイムやエラーだけでなくバイアスも含めて、モデルの許容範囲をゼロにする計画を立てるべきなのだ。

フロリダ州ジュピターにある病院の医師たちは、AIアルゴリズムを盲目的に信用してはいけないことを例証した。彼らは、致命的な結果をもたらす可能性のある癌治療をすすめるIBM Watsonの提案を却下したのだ。データサイエンスチームは、より良いモデルと誰でも使えるシステムを構築しようと常に挑戦している。

しかしながら、データサイエンスチームがどんなに努力しても、人間をシステムから排除できるわけではないのだ。少数ではあるが、うまくいかない場合もある。意思決定のプロセスに人間を組み込むことで、うまく行かない場合も含めてすべての状況をコントロールできるようにしなければならないのだ。

(※訳註5)人間とAIの協働について研究しているスタンフォード大学の人間中心的な人工知能のための研究所(Institute for Human-Centered Artificial Intelligence:HAI)が2019年10月に公開したブログ記事『ヒューマン・イン・ザ・ループ:AIシステムとのインタラクティブなデザイン』では、人間による判断を処理プロセスに組み込んだAIシステム「ヒューマン・イン・ザ・ループシステム」のメリットが以下のような4項目指摘されている。
  1. 処理プロセスの透明化:AIシステムの完全ブラックボックス化を回避できる。
  2. ヒューマンフレンドリーなシステム設計:精度や効率性だけではなく、使用する人間ユーザの嗜好や主体性を重視した設計が可能となる。
  3. 「完璧なアルゴリズムの呪縛」からの解放:すべてのタスクを高精度で実現するAIシステムの構築という非現実的な目標から解放される。
  4. 「人間とAIの協働」の優位性:AI単独のシステムより人間とAIが協働するそれのほうが、柔軟な機能を実現できる。

3.データサイエンスチームに説明責任を負わせる

画像出典:UnsplashShane Avery

ほとんどのビジネスデータサイエンスチームの主な目標は、より多くの収益を上げること、最も精確なモデルを設計すること、プロセスを自動化して最大限の効率化を図ることだ。しかし、これらの目標は、誰か(または複数の人)が「正しい」ことが行われていることを確認しなければならないことを無視している。

データサイエンスチームは、成果に対する説明責任を問われ、解決しようとしているビジネス上の問題が倫理規定を犠牲にして達成されていないことを確かめなければならない。次にように自問自答してみてみよう。データサイエンスチームは、収益とタイムスケジュールからインセンティブを得ていないだろうか。それとも、責任ある製品の使用と公正な成果を、プロジェクトの不可欠な成功基準と見なしているのだろうか。

前者であれば、チームを牽引する目標を見直す必要がある。

責任あるAI利用を確保するためには、データサイエンスチームの倫理的資質を高める必要がある。

責任を持ってAIを使用することを約束するには、データサイエンスチームの倫理的資質を高める必要がある。そのためには、積極的なAI保全と継続的なAI教育が必要となる。さらに、最高倫理責任者倫理委員会など、製品の道徳的番人となるような上級者の役割も計画する必要がある(※訳註6)。

しかし、倫理的上級職を設けることで関係者全員が責任を負う必要がなくなるわけではない。あらゆるレベルの職位が責任を負わなければならないのだ。例えば、Paula Goldmanは Salesforce の初代最高倫理・人道的使用責任者に就任した。

AIソリューションの品質や社会全体への影響について継続的に会話をすることで、トップから責任感を植え付け、チームの残りの部分へトリクルダウン効果的な責任感の波及を確かなものにできるのだ(※訳註7)。また、Googleが提供しているようなベストプラクティスやガイドラインも利用することができる。

ビッグ・テックには一般的にAIの倫理上の失態が多く見られるが、いくつかの正しい措置が取られているのも見受けられる。MicrosoftIBMは、両社とも自社のプログラムとサードパーティのプログラムの両方でバイアスに取り組むことを公言している。

(※訳註6)US版Forbesが2019年3月に公開した記事『最高倫理責任者の台頭』によると、調査会社大手デロイトが2018年にAIに精通した企業幹部1,400人を対象とした調査を実施したところ、32%の企業幹部が倫理的問題をAIに関する上位3つのリスクのうちのひとつと考えていることがわかった。こうした問題意識をうけて、近年急速に最高倫理責任者を設ける企業が増えていることを指摘している。さらに調査会社Cognizantが発表したレポート『21の未来の仕事』では、「最高信頼責任者」が「量子機械学習アナリスト」や「ゲノムポートフォリオディレクター」とともに未来のおける重要な仕事として挙げられている。
また、US版ハーバード・ビジネス・レビューの2019年11月に公開された記事『企業のイニシアティブを保全するために倫理委員会を作る』では、AIシステムが企業に普及する過程でAI倫理委員会を設置することの重要性が指摘されている。そのうえで、同委員会が取り組むべき問題として、以下のような3項目を挙げている。
  1. AIガバナンスの徹底:AIシステムの適切な運用を徹底する。バイアスが認められる場合は、そのバイアスを打ち消す逆向きのバイアスを導入することも検討する。
  2. AIバイアスの調査:利用しているデータやAIアルゴリズムにバイアスがないかどうか、調査・監視する。
  3. AIバイアスへの対処:AIバイアスの存在が認められた場合、その事実を報告する簡単な手段を設ける。
(※訳註7)トリクルダウン効果とは本来は経済理論に関する用語で、富裕層に対して経済支援を行えば経済活動が活性化して、活性化された経済活動の恩恵を低所得層も受けることができる、という理論である。なお、「トリクルダウン(trickle down)」は「滴り落ちる」の英語表現である。
本記事の文脈では、最高倫理責任者を設けて企業トップが倫理的責任を重視する態度を示せば、そうした態度が次第に企業の末端にまで行き渡る、という意味で使われている。

4.AIは完璧ではないことをユーザに知ってもらう

多くの企業とそこから広がるより多くの消費者コミュニティは、AIの能力や欠陥を理解することなく、AIに過度の信頼を置いている。ビジネスリーダーはこうしたAIに対する過度の信頼を見落としがちであり、さらにはすべての消費者が今日のAIがもつ将来性を理解していることを期待できないのだ。

人々はAIが驚異的な働きをすると思い込んでいるが、データ、人材、または適切なプロセスがなければ、AIは失敗する運命にある。チームメンバーや消費者に、AIはまだ初期段階にあり、そのように扱われるべきであることを教育することは、悲惨な結果やより大きな失望をもたらす盲目的な信頼を避けるために不可欠なのである。

AIソリューションはユーザに情報を提供するためにあるのであって、ユーザ自身に命令するためにあるのではないことを理解しなければならない。

AIアルゴリズムの能力に対する期待は、現実的なものであり続けなければならない。混雑した道路で車を自動運転モードで走らせることに消極的になるのと同じように、今日におけるAIの限界を理解しなければならない。AIソリューションは、自動運転と同じように限界あるものとして見なされるべきだということを理解する必要があるのだ ― AIはユーザに情報を提供するために存在するのであって、ユーザに命令するためにあるわけではないのだ。

5.確信を問いただし、変化に対して柔軟な好奇心と意志を促進する文化の構築

画像出典:UnsplashJoseph Rosales

最終的には、AIの責任ある利用を実現するためには、組織のコアに特定の属性を埋め込む必要がある。文化は何年もかけて形成されていくものであり、何かを変えるのは非常に難しいものだ。データ駆動型文化の定着を目指す組織は、文化の核となる部分に特定の属性を持っていなければならない。それゆえ、文化の核となる種は数年後ではなく、スタートアップが初期段階にあるときに蒔くべきなのだ。

それでは、責任ある倫理的なAI利用のために必要不可欠かつ重要な属性とは何だろうか。

それは自問自答をうながす好奇心である。すべてのチームメンバーは、必要となる答えを見つけるために必要なステップを試すことを厭わないだろうか。それとも、お膳立てされたステップとプロセスを実行することに満足しているだろうか。好奇心旺盛なチームは、AIを結果に応じて機能させる方法を見つけるだろう。

次の属性は、確信を問いただす意志だ。あなたの会社には、チームが既成の慣習に疑問を抱くことができる健全な環境があるだろうか?上司は部下に耳を傾け、挑戦的なフィードバックを奨励しているだろうか。AIが組織の理想に沿っていない方法で実装されているのを見た時には、その状況について発言できるオープンな文化がチームになければならない。

最後に、企業文化は変化に対する柔軟性を促進しなければならない。テクノロジーやデータサイエンスを扱う仕事には、当然ながら、ソリューションの作成とその採用の両方に関連して生じる多くの変化が伴う。チームは、好奇心を持って既定のプロセスに疑問を投げかけることで発見したことに基づいて、進んで変化に適応しようとしているだろうか。

画像出典:UnsplashSean Stratton

正しい企業文化を持つことは、倫理的なAI利用の基礎を築くことになる。Facebookは「早く動いて物を壊す」という文化を推進していることで知られている。同社がユーザのプライバシーに関するスキャンダルに見舞われ、ユーザデータの濫用にも直面したことを考えると、このカルト教団の戒律のようなモットーが健全なAI利用につながっていなかったことは明らかだ(※訳註8)。

AIの責任ある利用は、モデルに多少の調整を加えただけでは生じない。

AIの責任ある活用は、一朝一夕に生じるものではなく、モデルに一度の調整を加えて奇跡的な結果を期待するだけで確実なものにできるわけでもない。

現在テック業界を席巻している「倫理的洗浄(Ethics Wash)」(※訳註9)という非難の波が見受けられる。しかし、AIバイアスと戦うことをその主張を裏付ける行動を伴わずに宣言したとしても、AIバイアスは除去されないだろう。

AIバイアスの回避は、さまざまな段階においてさまざまな方法で人間のインプットを加えることによってのみ可能となる。データサイエンスチームを多様化し、プロセスに人間を組み込み、チームに説明責任を持たせ、AIの能力に現実的な期待値を設定し、最後におそらく最も重要なことだが、正しい企業文化を構築することで、組織におけるAIの倫理的な使用への道を切り開くことができるのだ。

(※訳註8)アメリカ大手メディアCNBCは2019年1月、Facebookの社風とケンブリッジ・アナリティカが関与した個人情報不正利用事件の因果関係を考察した特集記事『Facebook内部は「カルトライクな」職場だった。そこでは異議申し立ては憚られ、社員はいつも幸せなふりをしていた』を公開した。その記事によると、「速く動いて物を壊す」という創業時のモットーに象徴されるように、Facebookは成長を急ぐあまり上司や会社の方針に意義を唱えることが難しい職場環境になっていた。同社を辞めた元社員の証言によると、職場では「いつも幸せであるふり」をしていなければならなかった、とのこと。こうした雰囲気に拍車をかけたのが、同僚どうしによる相互評価システムであった。この評価システムにより、同調圧力が強化された。
以上のようなカルト教団的な職場環境が醸成された結果、ケンブリッジ・アナリティカによるFacebookユーザの個人情報不正利用に対して発言することが半ばタブー視された、と同社元社員は語っている。
なお、翻訳文の「カルト教団の戒律のようなモットー」の原文は「mantra(マントラ)」である。マントラとは密教における祈りを象徴する短い言葉を意味する。文脈を鑑みて、説明的な翻訳を行った。
(※訳註9)US版MITテクノロジーレヴューは2019年12月、2019年はAI倫理が活発に議論されるようになった「AI倫理洗浄」の年と総括した記事『2020年にはAIの倫理洗浄を止めさせよう。そして実際に行動するのだ』を公開した。しかし、そうしたAI倫理の洗浄は具体性に乏しいAI倫理規定を定めるにとどまり、AIバイアスを緩和さらには除去する行動が伴っていない、と糾弾される。そのうえで、2020年はAI開発を再調整する「具体的なボトムアップ的ならびにトップダウン的な変化」を生む年となることを希望したい、と述べている。

・・・

この記事は、US版TechCrunchのメンバーシップ・エディション「ExtraCrunch」に最初に掲載されました。初出記事にイラストを追加しました。トップ画像はUnsplashMatthew Henryが出典です。


原文
『Is Your Startup Using AI Responsibly?』

著者
Ganes Kesari

翻訳
吉本幸記(フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得)

編集
おざけん

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

社員とAIに必要なフィードバックの重要性

GPT-4は間もなく登場。それについて私たちが知っていること。

スマートチャネル時代の「ヒト」と「AI」のコミュニケーションとは|株式会社トゥモローネット

あなたにおすすめの記事

社員とAIに必要なフィードバックの重要性

GPT-4は間もなく登場。それについて私たちが知っていること。

スマートチャネル時代の「ヒト」と「AI」のコミュニケーションとは|株式会社トゥモローネット