Webアプリケーションエンジニアがディープラーニングに挑戦する際にやったこと(Coursera Week2)

最終更新日:


Coursera Week2
重回帰分析(Multivariate Linear Regression)
複数の特徴量(Multiple Features)
線形回帰の新しいバージョンを$ X_n^i $で表す。
家のサイズやベットルームの数など特徴のベクトルの個数を$ X_i $~$ X_n $で表す。
データの数をiで表す。
$ X_n^i = 1 $
→ 特徴ベクトルは常に1をとる
$ theta_0X_0 + theta_1X_1 + …. = theta^tX^t $と表す。
このように複数の変数を用いた線形回帰を多変量線形回帰という。
複数要素の最急降下法(Gradient descent for multiple variables)
下記の式が多変量線形回帰による再急降下法の式
$ theta_j := theta_j – afrac{1}{m} sum_{i=1}^m ( h_theta(x^i – y^i)x_j^i) $
この式では$ j := 0…n$の範囲で繰り返す。
この式は最急降下法と同様である。($ j = 1 $の場合、$ x_0^i=1 $である。)
最急降下法1 : スケーリング(Gradient descent in practice 1 : Feature Scaling)
2つの変数があるとき、例えば家の大きさが1~2000、部屋の数が1~5など。
この変数で勾配降下を実行する場合、勾配が大きくなりすぎて最小値に達する前に時間がかかってしまう。
そこでスケーリングして、変数の範囲を0<= x <= 1としている。
一般的にはxの範囲は-1以上、1以下にする。(小さい範囲ならなんでもよい)
スケーリングと平均正規化を同時に実現するには以下の式を使用する。
$x_i = frac{x – mu_i}{s_i}$
この時$x$は求めたいもとの値
$mu$は平均値
$s$は最大値、または標準偏差。 → この演習では標準偏差を使用する。
(例)$xi$が100から2000の範囲で平均が1000の場合。
$x_i := frac{price – 1000}{1900}$
最急降下法2 :学習率(Gradient descent in practice 2 : Learning Rat…この記事の続きを読む

サイト名: Qiita
2017年2月19日

無料メールマガジン登録

週1回、注目のAIニュースやイベント情報を
編集部がピックアップしてお届けしています。

こちらの規約にご同意のうえチェックしてください。

規約に同意する


Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.