最終更新日：
人間とAIシステムの類似性について長らく考察してきたMechrez氏は、社員を成長させるためにはマネージャーによるフィードバックが不可欠なように、AIシステムにおいてもフィードバックが重要であることに気づきました。AIシステムにおけるフィードバックとは同システム稼働後から収集される性能情報の推移を意味しており、とりわけ予測の間違いや性能劣化のような改善をうながす情報こそが重要となります。
Mechrez氏によると、性能劣化に関連するデータは非常に価値があります。というのも、間違った予測のような性能劣化に関するデータを収集したうえで学習データとして再利用すれば、AIシステムを再訓練して改善できるからです。こうしたデータの再利用によるAIシステムの改善は、「フィードバックループを閉じる」と表現されます。
フィードバックループを閉じてAIシステムを継続的に改善できるようになると、メンテナンス費用も次第に節約できるようになり、さらには投資利益率も向上します。こうしたデータ活用のサイクルを重視するマネジメント方法論は、「データ中心のAI」とも呼ばれます。この方法論に関してMechrez氏は「最初から完璧な社員が存在しないように、最初から完璧なモデルもまた存在しない」とも語り、継続的な改善の重要性を説いています。
なお、以下の記事本文はRoey Mechrez氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。
以下の翻訳記事を作成するにあたっては、日本語の文章として読み易くするために、意訳やコンテクストを明確にするための補足を行っています。
フィードバック！私たちはそれを必要としている、機械も同様だ（画像出典：Shutterstock）
目次
前書き
AI企業のCEOとして、私は常にテクノロジーと人材の交差点にいることを実感している。一方は他方なしには運営できない。人工知能の枠組みを進化させる最先端にいる私は、しばしば人間の知性に立ち返って比較し、（人工知能との）相関を見出している。今回は、その相関のひとつであるフィードバックについて、社員へのアプローチの仕方や、AIによるフィードバックの複雑なプロセスを親しみやくシンプルに説明する方法について考えていこうと思う。
経営者と社員の関係において重要な要素としてのフィードバック
個人の成長を考えるとき、そのプロセスには必ずフィードバックが不可欠な要素として語られる。フィードバックとは、私たちが学び、他人が私たちとその仕事をどのように見ているかを理解するための基本的なメカニズムである。フィードバックとは何であるかを理解するのは非常に簡単だが、それを習得するのは容易ではない。私が想像する良いマネージャーとは、それは私の自我を押しつぶすことなく、また私のミスをしつこく非難するのでもなく、率直な方法で自分の考えを伝えらえる人、しかし、はっきりとそれを言うような人だ。
2022年のテクノロジー業界における共通の課題は、従業員の減少とエンゲージメントだ。フィードバックはツールとしても価値としても、この問題に対処するために組織全体を活性化するので、採用すべき非常に重要な側面がある。しかし、私がここ数ヶ月で出会った経験豊富なマネージャーの多くは、直接的なフィードバックを与えることに苦労している。「ラディカル・キャンダー（徹底的なホンネ）」（Kim Scottの著書とウェブサイトを参照）（※訳註1）の文化を構築することは、簡単なことではないことがわかったのだ。優れたフィードバックには、たとえ率直なものであっても四半期ごとに任意に行われるものではなく、規範となるような強固な信頼関係の基盤を築くことが求められる。こうしたフィードバックを「継続的なフィードバック」と呼ぶ人がいる一方で、あらゆる会議や社内コミュニケーションにおいて、一緒に働く人たちに対してオープンであることに重点を置く人もいる。はっきりしているのは適切なフィードバックなしに仕事してもうまくいかないので、フィードバックのループを閉じることが必要だということだ。
AIで博士号を取得した後（※訳註2）、フィードバック全般、特にスタートアップ環境でのフィードバックについてもっと知りたいと思った若い経営者として、私はこのテーマについてできる限りの本を読み始めた。多くの魅力的なアプローチや視点に出会ったが、私の考えは以下のような正しい質問をすることに重点を置く、というものにいたった。
フィードバックとは何か。
どのようにフィードバックを与えるべきか。
いつフィードバックするのか。
なぜフィードバックをするのか。
これらの問いに答えるのは簡単ではないし、その答えは組織やマネージャー、社員によって異なるものであることも私にはわかった。しかし、「フィードバックは人間にとって重要である」という点では共通している。個人の成長が社員にとって非常に重要であり、専門性の向上が社員の満足度を左右する世界において、フィードバックが非常に重要であることは驚くことではない。
ラディカル・キャンダーにもとづいたマネジメント理論に関しては、邦訳書『ＧＲＥＡＴ ＢＯＳＳ（グレートボス） ―シリコンバレー式ずけずけ言う力』（2019年3月東洋経済新報社出版）がある。また、ニューズウィーク日本版は、2017年8月8日に同理論に関する記事を公開した。
インテリジェンスシステムも同様
社員に関するフィードバックというアイデアを探求するのに相当な時間を費やした後、私はテクノロジー、特にAI/MLモデルに立ち戻った。AI/MLモデルは、人間と同様に改善するのにフィードバックを必要としている。モデルのパフォーマンスに関する情報は、モデルの学習に不可欠なものである。モデルに対してそのような（パフォーマンスに関する）知識を活用すると、汎化の問題をより良く達成できる。
1000個のデータサンプルを使って基本的なモデルを訓練する（新しいモデルの初期構築のタスクに関する）簡単なシナリオを想定してみよう。訓練したばかりのモデルはバージョン1.0であり、それから製品として実装され、何かを予測するためにデータを処理したとしよう。例えば、あるモデルが（CRMシステムからのデータを使って）販売機会が閉じるかどうかを予測するように訓練されたとしよう。数週間後、コンバージョンを達成した販売機会もあれば、失われたものもあった。予想通り、モデルはほとんどのケース（の予測）で正しかったのだが、いくつかのケースでは間違っていた。フィードバックループを閉じるとは（訓練では使われなかった）新しいデータを活用することを意味する。特にモデルが間違っていた部分を取り込み、最初のモデル、バージョン1.0を改善するためにデータを使うのだ。1000サンプルのデータセットではなく、1000＋100サンプルの追加サンプルを使って、バージョン2.0のモデルを訓練できるというわけである。
単純に聞こえるかも知れないが、このようなプロセスをAIシステムに持たせることは決して簡単なことではなく、難しい開発が必要となる。社員へのフィードバックのコンテクストで前述した4つの問いは、AIシステムのコンテクストにおいても関係しているものだ。
フィードバックとは何か
この質問は簡単に答えられるものではない。この質問に対する私の答えの概要は、フィードバックとはモデルの訓練に使える新しいラベル付きデータである、というものだ。どのようにサンプリングするのか。どのようにアノテーションするのか。十分なフィードバックデータとは何だろうか。こうした更なる質問に対する答えは様々だろう。
どのようにフィードバックを与えるか
良好なプロセスにおいては、フィードバックの責任はドメインの専門家に与えられ、彼らはたいてい技術の専門家ではない。それゆえ、（ドメイン専門家が行う）フィードバックの方法は、データサイエンスチームとビジネスユニットがコラボレーションして決定する必要がある。ノイジーデータの存在はモデルの訓練プロセスにおいて大きな課題となるため、アノテーションの定義を明確にすることが重要である。
いつフィードバックを与えるか
経験則に従えば、頻繁かつ定期的にフィードバックを行うべきだ。また、データが変化したり、分布が遷移したりするようなドリフトが生じた場合は、モデルの再トレーニングを開始する必要がある（※訳註3）。基本的な（AIシステムに対する）監視機能は、フィートバックがとりわけ「いつ」必要になるかを知るために役立つアラートを上げる。
なぜフィードバックをするのか
その答えは極めて明白だ。フィードバックは、モデルが長期にわたって適切かつ効果的であるようにするために行う。それはモデルを改善するだけでなく、常に変化する環境においてモデルを適切に維持するのだ。フィードバックメカニズムの基礎を築くことで、企業は「モデルを軌道に乗せる」ことができ、退屈なメンテナンス活動をより効果的に行える。そうすることで、組織全体で総コスト（TCO）を削減して、AIによる投資利益率（ROI）を高められる。
従業員からAIモデルまで、フィードバックはビジネスを前進させる強力なツールだ。（画像出典：UnsplashのJhon Schnobrichより）
本番環境の持続可能性のためにデータ中心になる
ユーザーと（AI）モデルのあいだのループを閉じるとは、要するに、フィードバックを行動に移すことである。つまり、現場から得た重要な情報を使って、新しいデータに焦点を当てることでシステムを後押しするのである。このプロセスの副産物として、魔法のようなことが起こる。本番環境がデータ中心的になるのだ。どのようにしてそうなるのか。適切なフィードバックメカニズムがあれば、シンプルなモデルを本番環境に移し、運用プロセスから得られるより良いデータでモデルを改善できる。この絶え間ないフィードバックと成長のプロセスによって、理想的で確実なモデルを作るのに投資すべき研究時間と資金を節約できる。最初から完璧な社員が存在しないように、最初から完璧なモデルもまた存在しないのだ。
データ中心のAIとは、AIシステム開発においてコーディングではなくデータを重視する開発姿勢を意味する。周知の通り、優れたAIシステムを構築するには高品質な学習データが不可欠である。逆に言えば、整備が不十分な学習データを訓練に使うと、アルゴリズムを改善しても高性能を実現できない。データ中心のAIにおいては、（外れ値の除去やデータラングニングのような）学習データの整備に多くの工数を割り当てる。
データ中心のAIを解説したLanding AIのウェブページによると、データ中心のAIを採用したことで、以下のような成果が得られた。
Landing AIが達成したデータ中心のAIによる改善事項
|
まとめ
社員からAIモデルまでに関して、フィードバックはビジネスを前進させる強力なツールである。人間レベルではそれをマスターし、適切なフィードバックプロセスを構築することで、組織全体の人間に力を与えられる。デジタルトランスフォーメーションのレベルでは、このユーザーエクスペリエンスの要素が生産性向上の旅を後押しし、その結果、幅広い採用、より大きなスケーリング、より良いROIを実現するのだ。
原文
『The Importance of Feedback for Employees and AI』
著者
Roey Mechrez
翻訳
吉本幸記（フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得）
編集
おざけん
