HOME/ /決定木
2017.07.13

決定木

決定木

決定木とは

データをもとに、図のような樹木状のモデルを作成し、意思決定をする手法。木は簡潔でわかりやすいため、様々な応用に用いられます。 パターン認識 の分野でも木構造は重要なモデルで、分類や回帰に用いられる木は決定木と呼ばれます。特に分類で用いられる決定木を分類木、回帰で用いられる決定木を回帰木と呼びます。決定木は、クラスや目的関数の予測だけでなく、重要な属性やその値の範囲などを解析するためにも役立ちます。

分類木と回帰木

特徴ベクトルをx=(1,x₁,・・・,xd)T=(1,xT)T及び目的変数yについて考えます。

もし目的変数yがクラスを表すなら分類問題、目的変数yが実数であれば回帰問題となります。

まず分類問題から考えていきましょう。

次の図に、d=2のデータの例を挙げました。

横軸に特徴量x₁、縦軸に特徴量x₂を取っています。

出典)後藤正幸、小林学 「入門 パターン認識と機械学習」 コロナ社p73を参考に作成

このデータを見て見ると、

x₁<θ₁ →クラスA

x₁≧θ₁かつx₂<θ₂ →クラスB

上記以外のデータ →クラスC

というように分けられています。

このように特徴量の大小によってデータのクラスを決める場合には分類木を用いるのが有効です。

下の図は上記のデータを分類した分類木です。

出典)後藤正幸、小林学 「入門 パターン認識と機械学習」 コロナ社p73を参考に作成

木構造に関する用語は、図の通りです。

補足
ノードから下に直接枝で結ばれたノードを子ノードといい、その元のノードのことを子ノードから見て親ノードと呼びます。

この分類木では、あるデータに対してx₁<θ₁を満たす場合はYes、満たさない場合はNoをたどります。ここでYesをたどった場合、このデータはクラスAに分類されます。また、Noをたどった場合はx₂<θ₂のノードにたどり着き、またこの条件に対してYesかNoか判定します。このときYesをたどるとクラスBに、NoをたどるとクラスCに分類されることになります。

このように、分類木では根ノードから始まり、中間ノードで特徴量の大小で分岐、葉ノードでクラス分けを行います。

次に回帰木について考えます。

この回帰木と分類木の違いは、葉ノードのラベルのみです。

分類木における出力はクラスでしたが、回帰木における出力は目的変数yの具体的な数値の予測値になります。ですから、回帰木の葉ノードには目的変数の推定値が入ります。

出典)後藤正幸、小林学 「入門 パターン認識と機械学習」 コロナ社p73を参考に作成

このように、決定木を使うことで入力されたデータを素早く分類または回帰を行うことができます。

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する

あなたにおすすめの記事

Appleの新しいM1チップ搭載MacBookは機械学習に関するビーストマシンだ【後編】(TensorFlowでの比較)

ZホールディングスとLINEの経営統合が完了|サービス拡充のため、AIに5年間で5,000億円を投資

【流通・小売業界×DX】生き残るための鍵「所有から利用へ」とは?

Appleの新しいM1チップ搭載MacBookは機械学習に関するビーストマシンだ【前編】(CreateMLでの比較)

AIが活用するデータは誰のもの?AIビジネスで見落とす法的な観点を紹介

2020年のAI研究ランキング:アメリカは中国をリードし続けられるのか?【後編】(米中覇権争いの行方)

2020年のAI研究ランキング:アメリカは中国をリードし続けられるのか?【前編】(各種ランキング)

Kaggleで勝ちっぱなしのデータサイエンティストに話を聞いてみた

空きスペース 活用 アイキャッチ

空きスペースをうまく活用するには?ビジネスシーンでの活用方法もご紹介!

【Microsoftリサーチ公式ブログ記事】チェス用AIの人間的な側面

あなたにおすすめの記事

Appleの新しいM1チップ搭載MacBookは機械学習に関するビーストマシンだ【後編】(TensorFlowでの比較)

ZホールディングスとLINEの経営統合が完了|サービス拡充のため、AIに5年間で5,000億円を投資

【流通・小売業界×DX】生き残るための鍵「所有から利用へ」とは?

Appleの新しいM1チップ搭載MacBookは機械学習に関するビーストマシンだ【前編】(CreateMLでの比較)

AIが活用するデータは誰のもの?AIビジネスで見落とす法的な観点を紹介

2020年のAI研究ランキング:アメリカは中国をリードし続けられるのか?【後編】(米中覇権争いの行方)

2020年のAI研究ランキング:アメリカは中国をリードし続けられるのか?【前編】(各種ランキング)

Kaggleで勝ちっぱなしのデータサイエンティストに話を聞いてみた

空きスペース 活用 アイキャッチ

空きスペースをうまく活用するには?ビジネスシーンでの活用方法もご紹介!

【Microsoftリサーチ公式ブログ記事】チェス用AIの人間的な側面