AIバイアスについては2019年頃からさかんに論じられるようになり、AINOWでも『「AIによる差別」の現状とは？事例、原因、世界各地の取り組みを紹介』という特集記事を公開しました。こうしたAIバイアスの影響を緩和したり、さらにはその発生を予防したりする施策として、同氏は以下のような5項目を提案しています。
- データサイエンスチームに社会学者や心理学者のような多様な職種を追加する。
- 処理プロセスに人間を組み込む（マン・イン・ザ・ループシステム）。
- データサイエンスチームに倫理的責任を負わせ、最高倫理責任者を設ける。
- 「AIは完璧ではない」ことの周知。
- 慣習を絶対視しないで変化に対応できる好奇心と意志を企業内で奨励する。
以上の施策は、AI企業の意識改革とAIユーザの積極参加をうながす内容となっています。AIバイアスの発生原因がAIモデルの技術的欠陥ではなく学習データの不備やAIへの誤解にある以上、AIバイアスの緩和と予防にはAIの作り手と使い手の双方における変化が求められるのです。
AIの作り手と使い手の双方の変化を求めるAI倫理は、ちょうどインターネットビジネスが勃興・普及した後にITセキュリティが周知されていったように、2010年代の第三次AIブームをうけて2020年代には整備されていくでしょう。
なお、以下の記事本文はGanes Kesari氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。
目次
モデルの公平性と説明可能性だけでは不十分な理由
人工知能テクノロジーが活用され始めて以来、ハイテク企業はその非倫理的な使用について多くの非難を受けてきた。
その一例として、Alphabet傘下のGoogleは、アフリカ系アメリカ人のスピーチに白人よりも高い「毒性スコア」を割り当てるヘイトスピーチ検出アルゴリズムを作成した、というものがある（※訳註1）。
ワシントン大学の研究者たちは、アルゴリズムによって「攻撃的」または「憎悪的」と判断された数千のツイートのデータベースを分析した結果、黒人向けの英語の方がヘイトスピーチとしてレッテルを貼られる可能性が高いことを発見した。
画像出典：UnsplashのMika Baumeister
以上の事例は、AIアルゴリズムから浮上するバイアスの無数の例のひとつだ。当然ながら、これらの問題は多くの注目を集めている。倫理やバイアスに関する会話は、最近のAIに関するトップテーマのひとつとなっている。
産業界のあらゆる組織や関係者たちは、公平性、説明責任、透明性、（運命的）倫理を通じてバイアスを排除するための研究に取り組んでいる。しかし、モデルのアーキテクチャやエンジニアリングだけに焦点を当てた研究では、限られた結果しか得られないことが予想される。では、どのようにしてこの問題に対処すればよいのだろうか？
AIバイアスに対抗するために誤解を解消する
画像出典：UnsplashのMarkus Spiske
AIバイアスの根本原因はモデルにあるわけではないので、それを修正するだけでは不十分である。AIバイアスの是正に関して、どんな対処法がより良い結果をもたらすかを知るためには、まず本当の理由を理解しなければならない。そして、こうしたバイアスに取り組むために現実の世界で何がなされているかについて研究することによって、潜在的な解決策を見つけることもできる。
AIモデルは、過去のデータからパターンを研究して洞察力を得ることによって、学習する。しかし、人間の歴史（と現在の私たち）は完璧とは程遠い。それゆえ、こうしたAIモデルが訓練に使われたデータに潜むバイアスを模倣し、増幅してしまうのは当然のことなのだ。
以上のAIバイアスのメカニズムは誰の目にも明らかだ。それでは私たちがいる現実世界では、このような内在的なバイアスをどのように処理しているのだろうか。
現実世界では、バイアスに対抗するためにバイアスを導入する必要がある。
あるコミュニティや一部の人々が不利益を被る可能性があると感じた場合、私たちは過去の事例だけに基づいて結論を出すことは避けようとする。時には、さらに一歩踏み込んで、そのような不利益を被っているセグメントに機会を提供して、そのセグメントを内包しようとする。こうした行動は、不利益を生む傾向を逆転させるための小さな一歩なのだ。
以上のようなバイアスの是正は、モデルを訓練しながら、まさに私たちが行わなければならないステップである。では、モデルに内在する「学習された」バイアスに対抗するために、人力で是正バイアスを注入するにはどうすればよいのだろうか？以下では、是正バイアスを導入するためのいくつかのステップを示す。
1．データサイエンスチームに多様な職種を追加する
画像出典：UnsplashのDenisse Leon
責任あるAIモデルを構築するためには、チームメンバー全員がテクノロジーの枠を超えることに目を向ける必要がある。データサイエンスの専門家をデータプライバシーについて教育することは重要だが、それだけではメリットは限られている。社会科学や人文科学の人材をチームに入れることで、AIモデル内の潜在的なバイアスを緩和するためのスキルセットや専門知識を得ることができる（※訳註2）。
社会科学や人文科学を背景に持つ人々は、ユーザや倫理的配慮をよりよく理解し、形成された洞察に対して人間的な視点を提供することができる。人類学者や社会学者は、モデルを作成したデータサイエンティストが見過ごしてしまったかもしれないモデルの中にあるステレオタイプを見抜き、データに潜むバイアスを修正することができる。
データサイエンスチームの行動心理学者は、ユーザとテクノロジーの間のギャップを埋め、モデルが出力する結果の公平性を確保するのに役立つのだ。
責任あるAIモデルを構築するためには、チームメンバー全員がテクノロジーの枠を超えることに目を向けなければならない。
データサイエンスチームを結成するにあたっては、多様なスキルセットを評価するだけでなく、性別、人種、そして国籍の異なるメンバーを通常よりも多く参加させることも重要だ。多様なチームは新鮮な視点を提供し、時代遅れの規範に疑問を投げかけ、チームが集団思考の罠に陥るのを防ぐことができる（※訳註3）。
例えば、iOSのYouTubeアプリを開発したGoogleのチームは、動画をスマホにアップロードする機能を追加した際に、左利きのユーザを考慮していなかった（※訳註4）。というのも、開発チームの全員が右利きだったからだ。
以上のようなアプリ設計は、左利きの人の視点で録画された動画が逆さまに見えることを意味する。開発チームに左利きの人が数人いれば、世界人口における10%の人のYouTubeアプリが格段に使いやすくなっていただろう。
AIシステムが抽出したパターンのなかには、バイアスのあるものも含まれる。どんなパターンがバイアスと見なされるのかを解釈するのも、データサイエンスチームに参加している行動心理学者の役割である。
2．人間をループに組み込む
画像出典：UnsplashのScience in HD
どんなに洗練されたモデルであっても、人間が介入するように設計する必要がある。人間はフェイルセーフ・メカニズムの一部になれる。さらにはデータサイエンスチームが人間の判断をAIシステムの基礎に継続的に取り入れられるようになると、モデルを徐々に豊かにできるというメリットもあるのだ（※訳註5）。
人の健康や命に関わる重要な分野でもAIが使われている以上、重要分野で使われるAIシステムは許容範囲ゼロのミッションクリティカルなものと考えるべきである。それゆえ、ダウンタイムやエラーは当然として、バイアスも考慮すべきなのだ。AIを健全なものに保つ唯一の方法は、AIバイアスを回避できるように人間が業務に参画することである。
ダウンタイムやエラーだけでなくバイアスも含めて、モデルの許容範囲をゼロにする計画を立てるべきなのだ。
フロリダ州ジュピターにある病院の医師たちは、AIアルゴリズムを盲目的に信用してはいけないことを例証した。彼らは、致命的な結果をもたらす可能性のある癌治療をすすめるIBM Watsonの提案を却下したのだ。データサイエンスチームは、より良いモデルと誰でも使えるシステムを構築しようと常に挑戦している。
しかしながら、データサイエンスチームがどんなに努力しても、人間をシステムから排除できるわけではないのだ。少数ではあるが、うまくいかない場合もある。意思決定のプロセスに人間を組み込むことで、うまく行かない場合も含めてすべての状況をコントロールできるようにしなければならないのだ。
- 処理プロセスの透明化：AIシステムの完全ブラックボックス化を回避できる。
- ヒューマンフレンドリーなシステム設計：精度や効率性だけではなく、使用する人間ユーザの嗜好や主体性を重視した設計が可能となる。
- 「完璧なアルゴリズムの呪縛」からの解放：すべてのタスクを高精度で実現するAIシステムの構築という非現実的な目標から解放される。
- 「人間とAIの協働」の優位性：AI単独のシステムより人間とAIが協働するそれのほうが、柔軟な機能を実現できる。
3．データサイエンスチームに説明責任を負わせる
画像出典：UnsplashのShane Avery
ほとんどのビジネスデータサイエンスチームの主な目標は、より多くの収益を上げること、最も精確なモデルを設計すること、プロセスを自動化して最大限の効率化を図ることだ。しかし、これらの目標は、誰か（または複数の人）が「正しい」ことが行われていることを確認しなければならないことを無視している。
データサイエンスチームは、成果に対する説明責任を問われ、解決しようとしているビジネス上の問題が倫理規定を犠牲にして達成されていないことを確かめなければならない。次にように自問自答してみてみよう。データサイエンスチームは、収益とタイムスケジュールからインセンティブを得ていないだろうか。それとも、責任ある製品の使用と公正な成果を、プロジェクトの不可欠な成功基準と見なしているのだろうか。
前者であれば、チームを牽引する目標を見直す必要がある。
責任あるAI利用を確保するためには、データサイエンスチームの倫理的資質を高める必要がある。
責任を持ってAIを使用することを約束するには、データサイエンスチームの倫理的資質を高める必要がある。そのためには、積極的なAI保全と継続的なAI教育が必要となる。さらに、最高倫理責任者や倫理委員会など、製品の道徳的番人となるような上級者の役割も計画する必要がある（※訳註6）。
しかし、倫理的上級職を設けることで関係者全員が責任を負う必要がなくなるわけではない。あらゆるレベルの職位が責任を負わなければならないのだ。例えば、Paula Goldmanは Salesforce の初代最高倫理・人道的使用責任者に就任した。
AIソリューションの品質や社会全体への影響について継続的に会話をすることで、トップから責任感を植え付け、チームの残りの部分へトリクルダウン効果的な責任感の波及を確かなものにできるのだ（※訳註7）。また、Googleが提供しているようなベストプラクティスやガイドラインも利用することができる。
ビッグ・テックには一般的にAIの倫理上の失態が多く見られるが、いくつかの正しい措置が取られているのも見受けられる。MicrosoftとIBMは、両社とも自社のプログラムとサードパーティのプログラムの両方でバイアスに取り組むことを公言している。
また、US版ハーバード・ビジネス・レビューの2019年11月に公開された記事『企業のイニシアティブを保全するために倫理委員会を作る』では、AIシステムが企業に普及する過程でAI倫理委員会を設置することの重要性が指摘されている。そのうえで、同委員会が取り組むべき問題として、以下のような3項目を挙げている。
- AIガバナンスの徹底：AIシステムの適切な運用を徹底する。バイアスが認められる場合は、そのバイアスを打ち消す逆向きのバイアスを導入することも検討する。
- AIバイアスの調査：利用しているデータやAIアルゴリズムにバイアスがないかどうか、調査・監視する。
- AIバイアスへの対処：AIバイアスの存在が認められた場合、その事実を報告する簡単な手段を設ける。
本記事の文脈では、最高倫理責任者を設けて企業トップが倫理的責任を重視する態度を示せば、そうした態度が次第に企業の末端にまで行き渡る、という意味で使われている。
4．AIは完璧ではないことをユーザに知ってもらう
多くの企業とそこから広がるより多くの消費者コミュニティは、AIの能力や欠陥を理解することなく、AIに過度の信頼を置いている。ビジネスリーダーはこうしたAIに対する過度の信頼を見落としがちであり、さらにはすべての消費者が今日のAIがもつ将来性を理解していることを期待できないのだ。
人々はAIが驚異的な働きをすると思い込んでいるが、データ、人材、または適切なプロセスがなければ、AIは失敗する運命にある。チームメンバーや消費者に、AIはまだ初期段階にあり、そのように扱われるべきであることを教育することは、悲惨な結果やより大きな失望をもたらす盲目的な信頼を避けるために不可欠なのである。
AIソリューションはユーザに情報を提供するためにあるのであって、ユーザ自身に命令するためにあるのではないことを理解しなければならない。
AIアルゴリズムの能力に対する期待は、現実的なものであり続けなければならない。混雑した道路で車を自動運転モードで走らせることに消極的になるのと同じように、今日におけるAIの限界を理解しなければならない。AIソリューションは、自動運転と同じように限界あるものとして見なされるべきだということを理解する必要があるのだ ― AIはユーザに情報を提供するために存在するのであって、ユーザに命令するためにあるわけではないのだ。
5．確信を問いただし、変化に対して柔軟な好奇心と意志を促進する文化の構築
画像出典：UnsplashのJoseph Rosales
最終的には、AIの責任ある利用を実現するためには、組織のコアに特定の属性を埋め込む必要がある。文化は何年もかけて形成されていくものであり、何かを変えるのは非常に難しいものだ。データ駆動型文化の定着を目指す組織は、文化の核となる部分に特定の属性を持っていなければならない。それゆえ、文化の核となる種は数年後ではなく、スタートアップが初期段階にあるときに蒔くべきなのだ。
それでは、責任ある倫理的なAI利用のために必要不可欠かつ重要な属性とは何だろうか。
それは自問自答をうながす好奇心である。すべてのチームメンバーは、必要となる答えを見つけるために必要なステップを試すことを厭わないだろうか。それとも、お膳立てされたステップとプロセスを実行することに満足しているだろうか。好奇心旺盛なチームは、AIを結果に応じて機能させる方法を見つけるだろう。
次の属性は、確信を問いただす意志だ。あなたの会社には、チームが既成の慣習に疑問を抱くことができる健全な環境があるだろうか？上司は部下に耳を傾け、挑戦的なフィードバックを奨励しているだろうか。AIが組織の理想に沿っていない方法で実装されているのを見た時には、その状況について発言できるオープンな文化がチームになければならない。
最後に、企業文化は変化に対する柔軟性を促進しなければならない。テクノロジーやデータサイエンスを扱う仕事には、当然ながら、ソリューションの作成とその採用の両方に関連して生じる多くの変化が伴う。チームは、好奇心を持って既定のプロセスに疑問を投げかけることで発見したことに基づいて、進んで変化に適応しようとしているだろうか。
画像出典：UnsplashのSean Stratton
正しい企業文化を持つことは、倫理的なAI利用の基礎を築くことになる。Facebookは「早く動いて物を壊す」という文化を推進していることで知られている。同社がユーザのプライバシーに関するスキャンダルに見舞われ、ユーザデータの濫用にも直面したことを考えると、このカルト教団の戒律のようなモットーが健全なAI利用につながっていなかったことは明らかだ（※訳註8）。
AIの責任ある利用は、モデルに多少の調整を加えただけでは生じない。
AIの責任ある活用は、一朝一夕に生じるものではなく、モデルに一度の調整を加えて奇跡的な結果を期待するだけで確実なものにできるわけでもない。
現在テック業界を席巻している「倫理的洗浄（Ethics Wash）」（※訳註9）という非難の波が見受けられる。しかし、AIバイアスと戦うことをその主張を裏付ける行動を伴わずに宣言したとしても、AIバイアスは除去されないだろう。
AIバイアスの回避は、さまざまな段階においてさまざまな方法で人間のインプットを加えることによってのみ可能となる。データサイエンスチームを多様化し、プロセスに人間を組み込み、チームに説明責任を持たせ、AIの能力に現実的な期待値を設定し、最後におそらく最も重要なことだが、正しい企業文化を構築することで、組織におけるAIの倫理的な使用への道を切り開くことができるのだ。
以上のようなカルト教団的な職場環境が醸成された結果、ケンブリッジ・アナリティカによるFacebookユーザの個人情報不正利用に対して発言することが半ばタブー視された、と同社元社員は語っている。
なお、翻訳文の「カルト教団の戒律のようなモットー」の原文は「mantra（マントラ）」である。マントラとは密教における祈りを象徴する短い言葉を意味する。文脈を鑑みて、説明的な翻訳を行った。
・・・
この記事は、US版TechCrunchのメンバーシップ・エディション「ExtraCrunch」に最初に掲載されました。初出記事にイラストを追加しました。トップ画像はUnsplashのMatthew Henryが出典です。
原文
『Is Your Startup Using AI Responsibly?』
著者
Ganes Kesari
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
