最終更新日：
医療×VR×AIの仙人、谷口さんにインタビューしてきました。※私が勝手に言っているだけです
谷口 直嗣
CGスタジオのR&D部門を経てフリーランスに、3Dプログラミングを軸にコンソールゲーム、インタラクティブ展示、スマートフォンアプリ、ロボットアプリケーション、VRアプリの企画開発を行う。2016年10月にVR/MRを使った医療向けサービスを提供するHoloEyes株式会社を設立。2012年にGood design award “Cool share”、2017年にはMicrosoft innovation award of excellence受賞。
人体構造をそのまま3Dで直感的に体感できる世界
医療×VR×MR×DeepLearningのスタートアップ、Holoeyesが注目されています。2017Microsoft innovation award of excellence受賞をはじめ、テレビ東京「ワールドビジネスサテライト」の『ゲーム・エンタメだけじゃない！ 私たちの役に立つVR 』で取り上げられたほど。
テレビ東京ビジネスオンデマンドより ゲーム・エンタメだけじゃない！ 私たちの役に立つＶＲ 2017/03/10(金)23:00 http://txbiz.tv-tokyo.co.jp/wbs/newsl/post_128148/
HoloEyesは人体構造をそのまま3Dで直感的に体感でき、医療画像データをAIで解析、モデリング、3Dの人間をVRでそのまま3Dで情報共有ができるようにし、様々な症例の3Dライブラリを構築するサービス…なぜこのようなサービスができたのでしょうか。
我々は医療の分野でVRやMRを活用するサービスを提供します。
なぜなら、現在のCTスキャンのデータはこのようにパッと見ても非常にわかりにくいものです。
実際の体は3Dですから、いちど脳内で3Dに組み立てて、また2DのCTに戻すイメージをしたりしながら医師は診断をしたり、手術の計画を立てたりします。
体の3Dイメージもしながら判断したり話をしたりするんですから、ものすごく高度ですね。
CTスキャンデータのサンプル※HoloEyes提供
それを3Dの形で把握できるのがHoloEyesのソリューションだそう。
CTスキャンのデータから作成された3D VRアプリ画面※HoloEyes提供
どういった使い方がされるのでしょうか。
Holoeyesでは、患者個別のCTスキャンのデータから3D VRアプリを作成し、VR空間の中でコミュニケーションできるツールを開発しました。
これは言わば体内の3Dの地図となります。例えば我々のツールを使って肝臓がんの部分切除の検討ができます。
肝臓には太い血管が通っており、がんの周りを切除する際に血管を結んだり、焼いたりして出血を防ぐ必要があります。
肝臓の中の血管は非常に複雑な３次元構造をしており、Holoeyesのツールを使うことにより医師は正確な3Dの位置を把握することができ、それをチーム間で共有することができます。
イメージがしやすくなるだけでなく、コミュニュケーションをツール内で行い医療チーム全体で共有することも特徴だそうです。
3D VRアプリ画面を使い術前検討をする様子※HoloEyes提供
また、もうひとつの大きな特徴がこの3Dデータの共有プラットフォーム。
3Dのデータがたくさん集まるとどんないいことがあるんでしょうか。
VRを使うことによって外科手術の体験をデジタル化できます。デジタル化することによって、体験をシェアしたり、アーカイブしたり、検索したり、巻き戻したり、マッシュアップすることが可能となります。次にMixed RealityについてMixed Realityを使うとデジタルの体験をその場とリンクすることが可能になります。
実際の画面はこのようなイメージになります。
HoloLensで撮影した画像 ※HoloEyes提供
その映像は静止画で見ているだけでも驚くほどリアルです。
HoloLensを使って人間の肝臓を表示する様子※HoloEyes提供
HoloLensを使って人間の肝臓を表示して、人間の肝臓だったらこのようになるというイメージを持ってトレーニングをすることが可能となります。教育上の効果は大きいでしょうね。あとは途上国などデータが手に入らないところでも3Dデータを使って症例の検討などができます。また、HoloLensではジェスチャーコントロールが使えるので将来はHoloLensを使って手術中に3D構造の確認をすることが可能となります。
世界規模でデータが利用できればその効果はすごそうですね。
Microsoft Azureをベースとして3Dデータはクラウド上に置き、ニーズに応じてHTC ViveなどのVR HMD、HoloLensのようなMRデバイス、スマートフォンVRを使えるようなソリューションを提供します。
モバイルWebから3DのデータにHoloLensでアクセスします。クラウドでデータを管理することによって、Slack等のグループウェアからもアクセスを可能にさせます。
Holoeyesは医療、医療教育に向けてVRやMRを使ったサービスを提供し、さらにそれらの3Dデータをライブラリ化をして閲覧できるサービスをスマートフォンでも提供するそう。
スマートフォンを使って3Dデータを表示する様子※HoloEyes提供
AINOWなので「AIってどこに使ってるの」と意地悪な質問をしてみました。
CT画像からの部位の切り出しをDeep Learningを使って自動化しています。安定して実現できると加速度的にデータベースが充実するので注力して取り組んでいきます。日本はCTのデータが世界一ある国ですから、私たちの役割は大きいと思います。
社会的意義も高く、AIの果たす役割が大きそうなサービスになりそうで楽しみです。
編集後記
おしん記者
日本初「人工知能スタートアップ特化型」育成投資
