HOME/ AINOW編集部 /圧倒的低レイテンシの実現|エッジAI分野を切り開くEdgeCortix
2022.08.08

圧倒的低レイテンシの実現|エッジAI分野を切り開くEdgeCortix

最終更新日:

会社概要

2019年7月にファブレス半導体設計会社としてEdgeCortixをシンガポールで設立し、同年9月に東京研究開発本部を設立しました。現在、エンジニアの多くが東京オフィスを拠点に、開発の大部分を行っています。

EdgeCortixは、「ハードウェアとソフトウェアの協調設計」と呼ばれる特許技術を使って、AI専用の再構成可能なプロセッサを一から設計しながら、ソフトウェアファーストのアプローチをとる、という斬新な考えのもと開発に取り組んでいます。また、高度なコンピュータビジョンアプリケーションを第一ターゲットとし、FPGAやカスタムASIC設計などの既存のプロセッサ上でソフトウェアIPを使用することで、防衛、セキュリティ、航空宇宙、スマートシティ、インダストリー4.0、自律走行、ロボティクス等にわたり、急速に成長しているAI半導体分野を積極的に開拓しています。

成長の経緯

創業時の理念は、ソフトウェアファーストのアプローチを採用し、人工知能(AI)に特化したプロセッサ・アーキテクチャを一から設計するという斬新な考えでした。当社では、この方法を「ソフトウェアとハードウェアの協調探索」と呼んでいます。この「協調探索」技術は、当社の製品の基本的な構成要素として特許を取得しました。このように、当社ではソフトウェアの堅牢性を第一に考えながら、プロセッサ(ハードウェア)アーキテクチャを設計しています。これは、過去数十年のプロセッサ設計が、新しいハードウェアチップを市場に投入することを第一に考え、コンパイラを含むソフトウェアが後回しにされてきたことを考えると対照的です。EdgeCortixでは、パフォーマンスとエネルギー効率で10倍以上のアドバンテージを達成するために、現世代のAI/機械学習ソフトウェア、またはディープニューラルネットワークとCPUやGPUなどの既製のハードウェアプロセッサとの根本的な不一致を克服し、「クラウドレベルに近いパフォーマンスをエッジのあらゆる形態のデバイスにもたらし、桁外れに優れたエネルギー効率と処理速度を実現し、精度を犠牲にすることなく運用コストを劇的に削減すること」というコアミッションを推進します。

そして、現在はクラウドレベルに近いパフォーマンスを、エッジデバイスや車両、カメラ、ロボットシステム、ドローン等のインフラのエンドポイントに直接提供することができるようになりました。つまり、データのキュレーションと意思決定を同時に、かつ低消費電力で行うことができ、環境にも優しく、高効率なソリューションを提供できます。

代表について

EdgeCortix 創設者兼CEO サキャシンガ・ダスグプタ氏

サキャシンガ・ダスグプタ博士は、EdgeCortixグループ会社の創設者兼CEOです。

人工知能(AI)および機械学習の研究者、エンジニア、起業家であり、10年以上にわたり、さまざまな産業分野で最先端のAI研究をアイデア段階からスケーラブルな製品に発展させた経験を持ちます。マイクロソフト、IBM Research / 日本IBMなどのグローバル企業や、理化学研究所、ドイツのマックス・プランク研究所などの国立研究所でチームを率いた後、日本やシンガポールの半導体技術、ロボット・自律走行車、フィンテック分野でリーンスタートアップを駆使して技術部門の設立と指導に携わり、その後ブレインインスパイアード・コンピューティング、ロボティクス、CV(コンピュータビジョン)、半導体上のAIアクセラレーション、ウェアラブルデバイス、IoT、金融やヘルスケアにおける機械学習など多様な分野の研究開発に10年以上携わった後、高効率なエッジインテリジェンスの実現に焦点を当てたファブレス半導体設計企業として、2019年にEdgeCortixを設立しました。また、EdgeCortix設立以前はMIT Sloan School of Managementで起業家精神を学び、ドイツ・マックスプランク研究所で複雑系物理学の博士号を取得。全世界で15件以上の特許を取得しており、その研究の引用回数は800回以上にのぼります。

 

SAKURA AIコプロセッサについて

EdgeCortix SAKURAは、TSMC 12nm FinFETコプロセッサ(アクセラレータ)で、エッジ人工知能(AI)推論において業界最高レベルのコンピュータ効率とレイテンシを実現します。SAKURAには、すべての計算エンジンをつなぐランタイムで再構成可能なデータパスを内蔵したEdgeCortix独自のニューラル処理エンジンである、Dynamic Neural Accelerator® (DNA) IPをシングルコアで搭載しており、40TOPSの演算性能を実現します。DNAは、EdgeCortixにとって最初のであるSAKURA AIコプロセッサにおいて、優れたTOPSを維持しながら、超低レイテンシで複数のディープニューラルネットワークモデルを同時に実行することを可能にします。この独自の特性は、SoC(システムオンチップ)の処理速度、エネルギー効率、寿命を向上させ、顧客に優れたTCO(総保有コスト)を提供する鍵となります。SAKURA AI プロセッサは、ストリーミングデータや高解像度データの推論用に最適化されています。

SAKURAは以下のようなハードウェアの特徴を備えています 

  • 最大40 TOPS(シングルチップ)/200 TOPS(マルチチップ) 
  • PCI-eデバイスのTDP @10W~15W 
  • 代表的なモデルの消費電力 ~5W 
  • 2×64 LPDDR4x – 16GB 
  • PCIe Gen 3 – 最大16GB/sの帯域幅 
  • 2つのフォームファクタで利用可能 : デュアルM.2カード、ハーフハイト/ハーフレングスPCIe カード 

どのように低レイテンシーを実現したか?

SAKURAは、低レイテンシに最適化されたDNA IPとMERAソフトウェアスタックを採用しています。DNA IPは、独自の再構成可能なデータパスを活用しており、エッジデバイスで重要なキーとなる、低バッチサイズのワークロードにおいて最大の利用率を達成しています。現在の多くのニューラルネットワークは、上位層から下位層に向かって演算子の次元が変化する構造になっています。そのため、ある層から別の層へ、あるいは、異なるニューラルネットワーク間で並列処理を効率的に行うために柔軟性が必要です。SAKURAでは、特許取得済みの再構成可能なデータパスにより、ニューラルネットワークの演算処理をIP演算ユニットに粗い調整を行い、各演算子の最も有効な並列化次元を利用することや、演算ユニットがオンチップメモリのバンド幅をストールすることなく最適に利用することが可能になります。

MERAソフトウェア内の低レベル最適化、およびスケジューリングアルゴリズムは、この過程をハードウェアアーキテクチャと協調し、SAKURAの計算順序を静的に計画し利用可能なコンピュート使用率を高めるためにリソースの割当を行う一方、これらの技術を組み合わせることで、GPUや他のAIチップと比較して、大幅に低いレイテンシと効率を達成することができます。

また、AIコプロセッサであるSAKURAは、高度なコンピュータビジョン(CV)を中心とした人工知能(AI)推論を通して、改革や再創造を行う産業に特化しています。

コンピュータが物理的な世界を見て理解できるようになることは、AIの次世代イノベーションと合わせて、最も重要なステップの一つです。

SAKURAを使った当社の主なユースケースを導入しているのは、以下のような事業分野です。

インテリジェント交通システム/自動運転車

自動車だけでなく、LiDARのような自律走行車に力を与えるインテリジェントなサブシステム

商業用ドローン&ロボット(UAV,UGV,UUV)

防衛/セキュリティ

軍事用ドローン、空中または衛星ベースのカメラ、信号処理機能、スマートAR / VR機能

スマートマニュファクチャリング / ロボティクス

製造検査と品質保証に特化

EdgeCortixのソリューションは、製品の品質検査の精度を向上させると同時に、製造速度を向上させることが可能(低レイテンシソリューションのため)

倉庫用ロボット、自律型フォークリフト

スマートシティ(セキュリティと監視、交通管理、廃棄物管理などの側面を含む)

高度な交通監視と交通管理、駐車場管理、セキュリティシステム/監視、廃棄物管理/監視

スマートリテール(カメラを備えた実店舗インテリジェンスを含む)

スマートカメラに基づく来店者分析、スマートな在庫管理、キオスク端末の自動化

AIコプロセッサの需要は高まっているが、扱っている企業は少ない原因

エッジAIの巨大な市場規模に動機づけられ、AI向けの半導体製品という観点からエッジAIアクセラレーションの専用ソリューションをターゲットにしている企業は他にもありますが、私たちはAI市場で最も支配的なプロセッサであるGPUの現状に注目すべきだと考えています。

理由としては、多くの企業が機械学習の推論を導入するに当たって、演算能力を可能にするためにより多くのGPUを投入しているのみで、ソリューションの電力、スループット、コストの非効率性に関しては静かに耐えている、という現状が挙げられます。そのような状況になっているのは、エッジAIのエコシステムが開発途上にあること、また問題解決に向けたアプローチが知られていないことが理由であると考えます。

EdgeCortixの目標は、顧客にエッジAI向けのトータル・ソリューションと「Go-to-market」戦略メッセージを提供し、当社の製品の性能・電力効率・ソフトウェアの堅牢性が非常に優れており、さまざまな問題解決の糸口になるという認識を効果的に広め、それを実現していくことにあります。

EdgeCortixの特徴として、エンドユーザーへの価値の提供方法である以下の2点が挙げられます。

1つ目: 

前述したように、EdgeCortixは独自の「ソフトウェアとハードウェアの協調設計」によるソフトウェアファーストのアプローチを適用するという考えのもとで設立されました。

オープンソースのMERAコンパイラとソフトウェアスタックによるこのアプローチによって、顧客は既にお持ちのヘテロジニアスハードウェア環境にて機械学習アプリケーションを動作させることができます。

2つ目:

当社独自のニューラル処理エンジン(Dynamic Neural Accelerator – DNA)は、特許取得済みの「ランタイムで再構成可能な」技術を用いており、当社のMERAコンパイラと組み合わせることにより、当社独自のSAKURAアクセラレータSoC、サードパーティーのFPGA、あるいは他のカスタム設計ASIC等、あらゆるハードウェアプラットフォームで、(プロセッサの計算リソースの使用効率を最大限に高めることで)より低い電力で、高いスループットと低いレイテンシの両方を実現できるようになります。これにより、EdgeCortixではソフトウェアとハードウェアを駆使して、パフォーマンス、エネルギー効率、およびTCOの観点から、GPUに対して客観的な対抗策(業界トップの電力効率 – inferences/sec/watt)を提供することができます。

エッジAIの動向について

市場機会に関しては、多くの有力アナリストによって、エッジが「デジタル変革の次の波を引き起こす」と言われています。

IDCなどのアナリストによると、「エッジ」はグローバルな観点から見ても急速に成長し、今後2年間で世界のエッジコンピューティング市場のTAMが2,500億ドルに達すると予測されています。(「New IDC Spending Guide Forecasts Double-Digit Growth for Investments in Edge Computing」、2022年1月)Valuates Reportsの分析によると、エッジAIハードウェアの市場規模は2030年までに、18.8%のCAGR(年平均成長率)で成長し、380億ドル以上に達するとされています。

また、Allied Market Researchの報告書によると、日本においても、エッジAIのハードウェアとソフトウェアを合わせた市場規模は、2020年の80億ドルから2030年には408億ドルに成長すると予測されています。 Omdia Researchの調査(2020年5月)によると、コンピュータビジョン市場の売上高は2025年までに335億ドルに達すると予測されています。中でも、ディープラーニングは最適な技術とされており、コンピュータビジョンアプリケーション用の新しいチップセットやソフトウェアの需要が高まっています。市場機会の分析をどのように評価するかに関わらず市場は好調で、家電、製造、防衛・セキュリティ、ロボット、自動車の各分野の複数のビジネスに影響を与え、異例の速度で成長しています。いずれの場合も、AIを活用したソリューションをそれぞれのエンドデバイスやエッジアプリケーションに組み込んでいます。

EdgeCortixが現在提供しているソリューション

EdgeCortixでは、3つの主要な製品ラインを通じてソリューションを提供しています。

Dynamic Neural Accelerator®️(DNA)

DNAは、EdgeCortix独自のニューラル・プロセッシング・エンジンで、1つのコア内のすべてのコンピュート・エンジンをつなぐ特許取得済みの「ランタイムで再構成可能なデータパス」を搭載しています。

DNAはヘテロジニアス・ソリューションであり、当社のカスタムASICやサードパーティ・ベースのFPGAソリューション(AMD-XilinxやIntelを想定)が、優れたTOPS利用率を維持しながら、複数のディープニューラルネットワークモデルを同時に超低レイテンシで実行できるようにするものです。

このランタイム再構成可能なデータ・パスは、TOPSを高めるものであり、SoCの処理速度、エネルギー効率、寿命の向上、およびTCO(総所有コスト)の向上に大きく貢献する鍵となります。

DNA IPは、ストリーミング(Batch-1)や高解像度データ(リアルタイムビデオや信号処理など)を用いた推論に特に最適化されています。

MERA™️

MERAは、当社独自のニューラル・プロセッシング・エンジン(通称DNA)を用いて、ディープニューラルネットワークのグラフコンパイルと推論を可能にするコンパイラとソフトウェア・ツールキットです。

Apache TVMやMLIRなどのオープンソースフレームワークのサポートが組み込まれているMERAは、簡単なキャリブレーションと量子化ステップの後、事前にトレーニングされたディープニューラルネットワークを展開するために必要なツール、API、コードジェネレータ、ランタイムを提供します。

MERAは、PytorchやTensorflowLiteなどの深層学習フレームワークで直接モデルを量子化することに対応しています。

MERAのポイントは、ソフトウェアエンジニアやデータサイエンティストが、基礎となる半導体を扱うことなく、ニューラルネットワークモデルの価値を活用できるようにすることです。

MERAのフロントエンドはEdgeCortixによってオープンソース化されており、利用することが可能です。

SAKURA™️

SAKURAは、TSMC 12nm FinFETコプロセッサ(アクセラレータ)ASICで、エッジAI(人工知能)推論において業界最高レベルの計算効率とレイテンシを実現します。SAKURAの最初のモデルは、40TOPSのシングルコアDynamic Neural Accelerator®(DNA)IPを搭載しています。DNA、すべての計算エンジンをつなぐランタイムで再構成可能なデータパスを内蔵したEdgeCortix社独自のニューラル・プロセッシング・エンジンです。

SAKURAは、特にGPUと比較した場合、TDP15W以下、主な推論実行では5W以下という非常に低い消費電力を実現しています。

DNA(前述)は、新しいSAKURA AIコプロセッサが、卓越したTOPSを維持しながら、超低レイテンシで、複数のディープニューラルネットワークモデルを同時に実行することを可能にします。

この独自の特性は、システムオンチップの処理速度、エネルギー効率、寿命の向上に大きく貢献し、優れたTCO(総保有コスト)をもたらします。

今後の展望について

私たちは、以下の2つの大きな要因の組み合わせにより、当社の将来性を感じております。

  1. エッジAIの豊富な成長機会(上述の通り)
  2. EdgeCortixの真に差別化されたビジネスメリット:
  • 顧客の既存のヘテロジニアス環境下で動作する省電力・低レイテンシ・低コストのML推論ソリューションを提供する能力
  • オープンソース化し、世界の機械学習・AIエンジニアコミュニティで容易に評価・開発できるようにした堅牢で柔軟なソフトウェアスタック
  • EdgeCortixのソリューションは単なる計画ではなく、コンセプトや一連のロードマップ項目でもなく、「β版」でもないということ。ソリューションは実在し、競合他社とのベンチマークを実施した上で実運用に投入しており、今日の幅広いエッジAI市場において顧客の抱える問題点を解決するために利用可能なものであるということ。

当社は現在、その成長市場を開拓し、ターゲット層にメッセージを伝え、顧客や見込み客のニーズを満たすフォームファクターで自社のソリューションを提供することに注力しています。

エッジAI推論において真に問われるのは、ヘテロジニアスの環境下での性能です:

ソフトウェアエンジニアは、多様なMLフレームワーク(PyTorch、TensorFlow、ONNXなど)を使ってモデルを作成します。 ハードウェアソリューションは複雑で、さまざまな種類のホストプロセッサ(ARM、Intel、AMD x86、RISC-Vなどを想定)を搭載することが可能です。

ホストと組み合わせることで、現在のAIアクセラレーションは、FPGA(AMD-XilinxやIntelを想定)やGPUから新しいドメイン特化のASICまで、プログラミングが難しいさまざまなハードウェアプラットフォームで実現できる可能性があります。

EdgeCortixは、今日まで複数の主要なビジネス分野のエンドユーザーと連携してきました。当社のソフトウェアとプロセッサIP(MERA + DNA)は、FPGA(AMD-Xilinx / Intel)のようなサードパーティのハードウェアやマイクロプロセッサ(ASIC)にデプロイされており、2022年第3四半期には、当社が最近発表した業界トップクラスの高効率なエッジAIコプロセッサ、「SAKURA」を顧客の環境に合わせて提供する予定です。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

基調講演だけではない。OpenAI、Microsoft、Metaもビジョンを語ったGTC2024セッションまとめ

ChatGPTもGeminiも忘れて、これらの(信じられない)次世代AIツールをチェックしてみよう!

「Yahoo!知恵袋」でも活用、LINEヤフーの生成AI活用戦略

あなたにおすすめの記事

基調講演だけではない。OpenAI、Microsoft、Metaもビジョンを語ったGTC2024セッションまとめ

ChatGPTもGeminiも忘れて、これらの(信じられない)次世代AIツールをチェックしてみよう!

「Yahoo!知恵袋」でも活用、LINEヤフーの生成AI活用戦略