HOME/ AINOW編集部 /危険にさらされるAI −増大するAIセキュリティの重要性
2020.07.22

危険にさらされるAI −増大するAIセキュリティの重要性

最終更新日:

こんにちは、AINOWライターのゆーどーです。

AIの進化により、私たちの生活が豊かになると共に、AIをターゲットにしたサイバー攻撃が増加しています。もし、AIをターゲットにしたサイバー攻撃が成功してしまえば、自動運転車を自由に操作したり、AIの判断基準を変更するなど、社会に膨大な被害をもたらしてしまう可能性があります。AIが操作するロボットのセキュリティに脆弱性があれば、SFの世界のようにロボットを使った悪事を働くことも可能です。

そのようなサイバー攻撃からAIを守るため、AIのセキュリティを強化する重要性が高まっています。取り組んでいます。

今回は、世界最高レベルのAIのセキュリティ技術を開発・提供するChillStackの代表取締役である伊東氏に、AIのセキュリティについてインタビューしました。

1995年生まれ。法政大学大学院理工学研究科修士課程修了。AIセキュリティに関する研究に従事し、IEEE CSPA 2018 Best Paper Award受賞やセキュリティキャンプアワード2018最優秀賞を受賞。セキュリティやインフラの大会である「SECCON」、「ICTトラブルシューティングコンテスト」など様々な大会を運営。公益財団法人クマ財団第2期生に選抜。在学中にChillStackを創業し、AIを用いてセキュリティ人材の不足や対策の高コスト化、AIを標的とする新しいサイバー攻撃など既存のセキュリティにおける社会課題に取り組んでいる。

高まるサイバーセキュリティの需要

サイバー攻撃のパターンが複雑化しています。

ITの歴史においては、過去、いくつものセキュリティ問題が発生してきました。

企業の情報が流出するだけではありません。2018年には、国内で巨額の仮想通貨が流出する事件が起こりました。

過去の問題を踏まえて、サイバーセキュリティに力を入れる企業も増えています。

▼社会で活用されるAIについてまとめた記事はこちら

IDC(International Data Corporation Japan)が発表したレポートによると、2019年では、世界中のサイバーセキュリティへの支出が1,000億ドルを超えているといいます。より多くの企業がセキュリティーの分野に興味を示し、安心安全なシステム構築に意欲を示していることがわかります。

AIで守り、AIを守るChillStack

セキュリティの重要性が高まる今、ChillStackはAIを活用し、セキュリティの信頼度をさらに挙げるサービスを運営しています。また、AI自身も守るセキュリティシステムを作り、社会に貢献すべく技術開発を進めています。

ーーどのようなサービスを提供されていますか?

伊東氏

私たちは、「世界中の人が安心して新たなサービス・技術を作り、提供し、利用できる社会」を実現するため、世界最高のAIセキュリティ技術を開発・提供しています。

世界最高レベルのAIセキュリティ技術を保有する企業として、既存のサイバーセキュリティ技術をAIで進化させます。さらに、AI自身を含めた新しい技術を守り、社会の発展を加速させるため、実現できるように貢献します。

ーーセキュリティソフトというと、一見、AI(機械学習)と関連があるように思えません。今、セキュリティ分野ではAIがどのように活躍しているのですか?

伊東氏

機械学習技術はさまざまなセキュリティソリューションで利用されています。

古典的な例だとスパムメールフィルタが昔から自然言語処理(テキスト処理)の技術を用いています。最近だとマルウェアの検知やサイバー攻撃の通信検知など、さまざまな既存のセキュリティシステムに取り入れられています。

ですが、基本的にAIは100%正しい結果を導くという保障はありません。そのため、AIのみを使って安全な空間を提供するのではなく、主に既存のセキュリティシステムにAIを上乗せして強化をするという活用方法が取られています。

マルウェア:悪意ある目的や不正な目的で作られたソフトウェアや、コードの総称

ーーChillStackのサービスは従来のセキュリティシステムに比べてどの点が優れているのですか?

伊東氏

従来のシステム、例えばWAFでは事前に攻撃の通信パターンを記憶し、新しく来る通信と攻撃の通信パターンが同一か調べ、通信を遮断します。

ここでは、事前に定めた攻撃パターンをすり抜ける新規の攻撃や、既存の攻撃を少し改変した亜種攻撃は従来のシステムでは防げません。

そこでAIを導入すると、単純なパターンマッチングとは別の指標による攻撃検知を行うため、従来のシステムと重ねて使うことで新規の攻撃や亜種攻撃を防げる可能性が各段に向上します。

WAF:Web Application Firewallの略称。アプリケーションのやりとりを把握・管理することで、外部からの不正アクセスや不正な侵入を防ぐことができるフェイアウォールのこと。

ーーまた、ChillStackは、不正なオンラインユーザを検知するシステムも提供しています。「不正ユーザ」検知システムについて教えてください。

伊東氏

現在オンラインゲームやECサイト、CtoC プラットフォームなど様々なサービスで悪意を持って行動するユーザの対策が課題となっています。

一言に不正ユーザといってもさまざまなパターンがあります。

例えば

  • 暴言を吐きまわるユーザ
  • 開発者の意図しない行動で他ユーザを妨害するユーザ
  • 転売の自動化などを行うユーザ

があります。

これらのユーザはルールベースでの発見が非常に困難で、今までは簡易的なルールベースでのパターンマッチングと組み合わせて人力で監視している例が多いです。

ChillStackが提供するサービス”Stena”は、自然言語処理技術や異常検知技術を組み合わせ、世界トップレベルの不正検知精度を誇るAIをサービス毎にチューニングしています。

そうすることによって従来の人力監視をある程度、自動化することができます。さらに従来のパターンマッチングや人力監視では見落としてしまう不正ユーザを検知することが可能になります。

ーーAIはどのように不正ユーザと判定しているのですか?

伊東氏

サービスによってさまざまな種類の不正ユーザがいる中で、サービス毎に不正ユーザの行動ログから”特徴”を抽出し、不正かどうか判定しています。

また、1つの行動だけを見るのではなく、特定の時間内における一連の行動を時系列データとして扱うことにより、Stenaを騙して不正をすることが非常に難しくなっています。

例えば、「この行動だけしなければ引っかからなくなるでしょ?」と考える不正ユーザや「明らかに不正な行動はしていないがずっと繰り返し同じ行動を自動化している」BOTユーザなどを検知することが可能です。

AIが危機に晒されている?

サイバー攻撃からAIを守る

ChillStackはAIを活用してセキュリティソフトの精度を高めるだけでなく、AIのサイバー攻撃から守る技術開発も行っています。

ーーなぜ今、AIを守る必要があるのでしょうか?

伊東氏

AIは現在私たちの暮らしを根本から変えるほどのパワーを持った存在です。

空港では顔認証により入出国がスムーズになり、スピーカーに話しかけるだけで電気やテレビを操作できます。また、自分に相性のいい商品や映画や音楽が自動でピックアップされます。

さらに、泥棒はカメラで自動で発見され、車に目的地を入力すると全自動で連れて行ってくれるようになります。

そんなAI社会ができつつある中、AI自体が簡単にハッキングされたらどれほどの被害が出るか容易に想像ができます。

IoTがそうだったように、新しい技術は普及すると必ずサイバー攻撃の対象になります。AIも例外ではありません。

AIが被害にあった具体例 −AIに誤認識させることも可能?

ーー具体的にAIが被害にあった例はありますか?

伊東氏

例えばAIを活用したマルウェア検知製品としてCylancePROTECTという製品がありますが、AIを誤認識させる形にマルウェアを少し変更することで検知されなくなる(バイパスできる)脆弱性が報告されています。

他にも、自動運転技術のひとつで車線認識機能を提供しているTesla Autopilotに対して、道路にステッカーを貼ったりドローンで映像を投影することで意図的に車線を変更できる脆弱性が報告されています。

また、AIを扱う企業は非常にセンシティブなデータを保有していることが多く、攻撃対象になりやすいです。例えば、顔認識を開発する Clearview AI が不正アクセスを受けて情報流出被害がでています。

CylancePROTECT:サイランスプロテクトと呼び、AIを利用したモデルにより、リアルタイムで不正な攻撃を検知し、影響を及ぼす前に阻止する製品。

▼参考記事はこちら



ーー例えば、AIを作る上でどのフェーズで脅威があるのでしょうか?

伊東氏

AI開発では、大きく以下のようにフェーズを分けることができます。
  1. Project Design(企画)
  2. Data Preparation(データの準備)
  3. Model Fitting(モデルの作成)
  4. Deployment(実装)

例えば、Data Preparationフェーズではネット上にあるデータを収集する際に悪意のあるデータを合わせて収集してしまい、脆弱性を作りこんでしまう危険性があります。

Deploymentフェーズでは実行環境の不備による任意コード実行(RCE)であったり、入力データの偽装による誤認識の誘発が行われる危険性があります。

ーーその上で、AIを守るためにはどのような心がけが必要なのでしょうか?

伊東氏

理想は、AI開発者が全てのフェーズで脆弱性を作りこむサイクルを知識として知っていて、脆弱性を作りこまないようにすることです。

現状AIの脆弱性がまとまっている資料がありませんでしたが、ChillStackがガイドラインを作成しています。

ChillStackがAIを守る

ーー実際にどのようなAIを守るセキュリティシステムを開発されているのですか?

伊東氏

まずは、全てのAI開発者が安全にAIを提供できる技術を身につけられるハンズオントレーニングを提供していきます。

また、開発したAIが安全かどうかを検査するシステムを開発中です。

ハンズオントレーニング:専門家の元で直接体験しながら学習するスタイルのこと。

ーーChillStackの三井物産セキュアディレクションとの提携によって、今度はどのようなことに注力していくのでしょうか?

伊東氏

三井物産セキュアディレクション様と連携して、ハンズオントレーニング開発やAIを安全に開発するためのガイドライン制定などを行っていく予定です。

▼参考記事はこちら

まとめ

近年、私たちの暮らしや仕事は、AIと密接に関わる機会が増えています。AIの開発により、生活や仕事の質は向上しているのではないでしょうか。

しかし、不正アクセスやサイバー攻撃により、数億円もの被害額が発生していることも事実です。

私たちはAIサービスが展開されることで、より活用しやすいAIや学習効率が高いAIを求めるようになるでしょう。

その時は、AIを安心して使うために開発者はもちろん、それを活用する私たちもセキュリティの面にも目を当てる必要があるのかもしれません。

今後、ChillStackにより、全8回にわたりAIセキュリティのガイドラインを掲載していく予定です。AINOW編集部でも随時紹介するので、お楽しみに!

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

「AIはチャレンジを乗り越える大きな鍵である」菅総理が語ったAI戦略【AI/SUM 2020レポート】

事業に結びつく研究が少ない – 東大とソフトバンクが組むBeyond AI 研究推進機構が目指すAI研究の事業化

先週のAI関連人気ツイートTOP20!【2020/10/19更新】

DIVE INTO CODE がG検定の模擬問題を無料公開!10月29日に記念セミナーも開催も

【機械学習の解釈可能性】テック専門家に聞く:機械学習モデルはどのように自らを説明するのか?【Google公式ブログ】

チャットボットの8つのユースケース

【完全版】DX(デジタルトランスフォーメーション)を0から解説!定義からスキル、推進法まで網羅

Pairsに高水準のAIを活用した顔認証機能が導入

未知のデータを未知と認識し、AIの汎用性を大幅に向上するモデルの共同研究が開始

あなたにおすすめの記事

「AIはチャレンジを乗り越える大きな鍵である」菅総理が語ったAI戦略【AI/SUM 2020レポート】

事業に結びつく研究が少ない – 東大とソフトバンクが組むBeyond AI 研究推進機構が目指すAI研究の事業化

先週のAI関連人気ツイートTOP20!【2020/10/19更新】

DIVE INTO CODE がG検定の模擬問題を無料公開!10月29日に記念セミナーも開催も

【機械学習の解釈可能性】テック専門家に聞く:機械学習モデルはどのように自らを説明するのか?【Google公式ブログ】

チャットボットの8つのユースケース

【完全版】DX(デジタルトランスフォーメーション)を0から解説!定義からスキル、推進法まで網羅

Pairsに高水準のAIを活用した顔認証機能が導入

未知のデータを未知と認識し、AIの汎用性を大幅に向上するモデルの共同研究が開始