機械学習(以下、ML)についてもそろそろやったおかないといけないので、Azure Machine Learning(以下、AzureML)を試してみました。
内容はこちらにあるチュートリアルです。

[Create a simple experiment in Machine Learning Studio | Azure](http://azure.microsoft.com/en-us/documentation/articles/machine-learning-create-experiment/)



こちらが上の日本語版です。

[Machine Learning Studio での簡単な実験の作成 | Azure](http://azure.microsoft.com/ja-jp/documentation/articles/machine-learning-create-experiment/)

AzureML の中では、一連の ML の流れを`experiment(実験)`と呼んでいるようです。  
このチュートリアルでは、自動車の価格データを元に分析モデルを機械学習で構築するものです。  
実験の手順を整理するとこちらの通りです。

1.  モデルの作成 2. データを準備する 2. データの前処理をする
2.  モデルのトレーニング 4. トレーニングとテストへモデルを分配 3. 学習アルゴリズムを選択して分析モデルを構築
3.  モデルへのスコア付けとテスト 4. 分析モデルを元に、新しいデータについての予測を行う 5. 結果を評価

ではやってみましょう。

## 1. モデルの作成

### 1.1. データを準備する

まず、学習するためのデータを準備します。今回は、AzureML にビルトインされている`Automobile price data (Raw)`データを利用します。

実験キャンバスの左側の「データセットとモジュールのパレット(以下、パレット)」から Automobile price data (Raw)を選択して、実験キャンバスに Drag&Drop します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-1.png)

データの表示は、データセットの下の出力ポートを右クリックして`Visualize`を選択するとできます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-2.png)

これでデータの準備は OK です。

### 1.2. データの前処理をする

分析を行うためにデータ前処理(加工)を行います。ここでは歯抜けになっている列や行を削除します。

**`normalized-losses`行を削除する。**

データの前処理は`Project Columns`モジュールを利用して行います。パレットから選択してください。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-3.png)

`Project Columns`モジュールを選択すると、右のプロパティウィンドウで内容を参照できます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-4.png)

`Launch column selector`ボタンをクリックすると編集ダイアログが表示されます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-5.png)

内容を変更するとプロパティウィンドウで内容を参照できます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-6.png)

**歯抜けになっている行の除去**

歯抜けデータ除去は、`Missing Values Scrubber`モジュールを利用して行います。パレットから選択してください。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-7.png)

プロパティウィンドウで内容を変更します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-8.png)

下部メニューの`RUN`をクリックすると、実験を実行できますので、ここまでで実行してみてください。
結果の表示はモジュールの下の出力ポートを右クリックして`Visualize`を選択するとできます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-9.png)

なんとなくですが、歯抜けデータの間引きができているようです。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-10.png)

**分析対象列のフィルタリング**

最後に分析するデータをフィルタリングします。フィルタリングは`Project Columns`モジュールを利用して行います。パレットから選択してください。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-11.png)

プロパティウィンドウで内容を変更します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-12.png)

実験を`RUN`してみると、データが正しくフィルタリングできていることが確認できます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-13.png)

ここまでで、データの作成部分が終わりました。  
情報処理の世界にある、「ガーベジイン・ガーベジアウト」という言葉について、ML の世界では特に大事な気がします。

[GIGO](http://www.itmedia.co.jp/im/articles/0609/11/news088.html)

## 2. モデルのトレーニング

続いて、作成したデータに特定の学習アルゴリズムを適用して分析モデルを構築していきます。

> データが準備できると、分析モデルの構築に必要なのは、トレーニングとテストになります。分類と回帰は、2 種類の管理された機械学習の手法です。

- 分類(Classification)は、色 (赤、青、または緑) のような定義された一連の値から予測するために使用します。
- 回帰(Regression)は、人の年齢のような連続した一連の値から予測するために使用します。
  > > [Machine Learning Studio での簡単な実験の作成 | Azure](http://azure.microsoft.com/ja-jp/documentation/articles/machine-learning-create-experiment/)より

今回予測する自動車の価格は、連続した値をとると予測できるので、最も単純な`線形回帰`を用いて学習させていきます。

### 2.1. トレーニングとテストへモデルを分配

作成したモデルをトレーニングとテストへ分配します。今回は 75%をトレーニング、残りの 25%をテストに割り振ります。

分配は、`Split`モジュールを利用して行います。パレットから選択してプロパティウィンドウで内容を変更します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-14.png)

プロパティウィンドウで内容を変更します。

### 2.2. 学習アルゴリズムを選択して分析モデルを構築

線形回帰は、`Linear Regression`モジュールを利用して行います。トレーニングは、`Train Model`モジュールを利用して行います。

ぞれぞれパレットから選択してください。

先ほどの`Split`モジュールの左の出力ポートと`Linear Regression`モジュールの出力ポートを`Train Model`モジュールに接続します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-15.png)

`Train Model`モジュールのプロパティウィンドウで分析するカラムを選択します。今回は`price`を選択します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-16.png)

## 3. モデルへのスコア付けとテスト

最後に、モデル分割で残っている 25%のデータについて、先ほど学習した分析モデルを元に結果の予測を行います。

### 3.1. 分析モデルを元に、新しいデータについての予測を行う

線形回帰は、`Score Model`モジュールを利用して行います。パレットから選択してください。

`Split`モジュールの右の出力ポートと`Train Model`モジュールの出力ポートを`Score Model`モジュールに接続します。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-17.png)

ここまでで`RUN`すると実験を開始できます。`Score Model`モジュールにて`Visualize`すると統計分析の結果がみることでできます。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-18.png)

今回は価格での分析でしたので`Price`列を選択した後に、右の`Visualizations`にある、`compare to 〜`の部分を選択します。

例えば、**メーカー対価格**  
volvo が突出して高いですね。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-21.png)

**車種対価格**  
セダンはピンキリですが、全体的に中心より下の価格対が多いようです。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-22.png)

**エンジンサイズ対価格**  
エンジンサイズと価格は正比例のようです。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-23.png)

**馬力対価格**  
正比例のようですが、うーんちょっとわかりませんね。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-24.png)

ここまででも、結構楽しいです。

### 3.2. 結果を評価

最後に、分析モデルの予測結果に対する評価を行います。評価は、`Evaluate Model`モジュールを利用して行います。パレットから選択してください。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-30.png)

`RUN`して`Evaluate Model`モジュールの結果を`Visualize`すると次のような結果になります。

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/azureML-learning-31.png)

各統計値は以下の通りです。

>

- 平均絶対誤差(Mean Absolute Error)  
  　\* 絶対誤差の平均です (誤差とは、予測された値と実際の値との差です)。
- 二乗平均平方根誤差(Root Mean Squared Error)  
  　\* テスト データセットに対して実行した予測の二乗誤差平均の平方根です。
- 相対絶対誤差(Relative Absolute Error)  
  　\* 実際の値とすべての実際の値の平均との絶対差を基準にした絶対誤差の平均です。
- 相対二乗誤差(Relative Squared Error)  
  　\* 実際の値とすべての実際の値の平均との二乗差を基準にした二乗誤差の平均です。
- 決定係数(Coefficient of Determination)  
  　\* `R squared value`ともいいます。どの程度モデルが高い精度でデータと適合するかを示す統計指標です。

> 各誤差の統計値は、小さいほど優れています。つまり値が小さくなるほど、予測が実際の値に近くなることを意味します。
> 決定係数では、値が 1 (1.0) に近づくほど、予測の精度が高くなります。  
> [Machine Learning Studio での簡単な実験の作成 | Azure](http://azure.microsoft.com/ja-jp/documentation/articles/machine-learning-create-experiment/)より

す、すみません。まったくわかりません。

今回の分析モデルに関しては決定係数が 1 に近いので、精度としては良いという評価なんでしょうかね？

## 最後に

やってみた系の記事でした。まだ全体像がよくわかっていないのでなんとも・・・うーん。

とっかかり難しそうな ML ですが、AzureML を利用すると一連の実験の流れについては準備されているので、わりとカジュアルに入門できそうです。

ML を行う上で大事な事は「分析モデル」だなと感じました。分析モデルを構築する上で、留意するべきことは次のような部分ですかね。

- データの準備と前処理
- 分析モデルを構築する上での学習アルゴリズムの選定
- 分析モデルの評価方法

まだ、表面的に触っただけなので、この辺りに足を踏み入れると ML の深淵に触れられそうです。

既に面白いことやられている方もいるようで、目的に応じてカジュアルに使いこなせるようになるといいなと思います。

[Azure Machine Learning と IoT を駆使して室温予測システムを構築してみた - がりらぼ](http://garicchi.hatenablog.jp/entry/2015/03/01/155845)

Azure Machine Learningをやってみた

4 月に少しまとまった時間があるということもあり、以前から興味があったの R の統計解析について、せっかくなので勉強してみる。

この記事は自分のための学習記録なので、特に有用な情報などありません。  
あしからず。

学習はこちらのサイトをベースに行います。とある弁当屋の統計技師様感謝です！

[とある弁当屋の統計技師（データサイエンティスト）](http://rmecab.jp/ranko/)



## 導入など

R をインストールしてから、こちらのコマンドで学習用のパッケージをインストールします。

```
install.packages ("Ranko", repos = "http://rmecab.jp/R")
```

なお、プロキシ通す場合はこうする。

```
Sys.setenv("http_proxy"="http://<プロキシサーバー>:<ポート>/")
```

## 利用するデータ

チュートリアルで扱うデータは以下の通り。`Ranko`パッケージに入っているデータを利用します。

```
# 店別の売上個数
> bento
   売上個数     お店
1       181   正規屋
2       194   正規屋
3       265   正規屋
4       206   正規屋
5       208   正規屋
6       272   正規屋
...(省略)

# 弁当別の売上個数
> omu
   売上個数         弁当名
1        10 オムライス弁当
2        15 オムライス弁当
3        17 オムライス弁当
4         7 オムライス弁当
5        15 オムライス弁当
...(省略)

> bento7
 月  火  水  木  金  土  日
181 194 265 206 208 272 221
```

## 基本操作

### 変数代入(<-)

```
> x <- 8
> x
[1] 8
```

### ベクトル(c)

とある数値の集合を表したもの

```
> x2 <- c(1,2,4,5,6)
> x2
[1] 1 2 4 5 6
```

### データフレーム

R 上で操作するデータの塊のこと。(Excel の計算シートっぽい)  
添字を指定して任意のデータ集合を作成できる  
(チュートリアルではデフォルトで cars のデータセットが設定してある。)

```
> cars
   speed dist
1      4    2
2      4   10
3      7    4
4      7   22

...(省略)


# 任意の行を取得するには[]で添字をつける。
# `,`の後ろに取得する列数を設定するが、通常はいらないと思う。
> cars[1,]
  speed dist
1     4    2

# 範囲は[start:end]で指定する
> cars[1:5,]
  speed dist
1     4    2
2     4   10
3     7    4
4     7   22
5     8   16

# $をつけることで特定の列を取得
> cars$speed
 [1]  4  4  7  7  8  9 10 10 10 11 11 12 12 12 12 13 13 13 13 14 14 14 14 15 15 15 16 16 17 17 17
[32] 18 18 18 18 19 19 19 20 20 20 20 20 22 23 24 24 24 24 25

# 添字を[]をつけることで任意の行列を取得
> cars$speed [2]
[1] 4

# 範囲指定も可能
> cars$speed [2:5]
[1] 4 7 7 8
```

## 関数

### 平均(mean)

```
> mean(bento7)
[1] 221
```

### 中央値(median)

```
> median(bento7)
[1] 208
>
```

### 条件指定(==)

`==`で条件していできる。普通に演算するよと各データがマッチするがが評価される。

```
# 条件を指定する
> bento$お店=="正規屋"
 [1]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
[13]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE
[25]  TRUE  TRUE  TRUE  TRUE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE
[37] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[49] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
```

データセットの範囲に指定することで、データセットに対する条件指定ができる。

```
# お店=="正規屋のデータを全件取得
> bento[bento$お店=="正規屋",]
   売上個数   お店
1       181 正規屋
2       194 正規屋
3       265 正規屋
...(省略)
```

### 先頭(head)

```
> head(bento[bento$お店=="正規屋",],5)
  売上個数   お店
1      181 正規屋
2      194 正規屋
3      265 正規屋
4      206 正規屋
5      208 正規屋
```

### 末尾(tail)

```
> tail(bento[bento$お店=="正規屋",],5)
   売上個数   お店
26      136 正規屋
27      237 正規屋
28      209 正規屋
29      157 正規屋
30      253 正規屋
```

### うーんなんて表現すればいいんでしょう。。。(by)

> by？うーん。便利関数？？

指定したデータセットのサブセットに対して何かの関数処理をさせて結果を表示する。

[by 関数について質問を受けたのでまとめてみた - 日々のつれづれ、良かった探し](http://d.hatena.ne.jp/myopomme/20120708/1341740574)

`summary`は要約統計量を算出する便利関数みたい。

[R-Source 59. 基本統計量の算出](http://cse.naro.affrc.go.jp/takezawa/r-tips/r/59.html)

[R で統計: データ集合中の最大、最小、平均、中央値 ? summary()関数](http://www.yukun.info/blog/2008/09/r-summary-mean-median.html)

summary 関数の戻り値

- Min(最小値)
- 1st Qu(第一四分位数：小さいほうから 1/4 の値)
- Median(中央値)
- Mean(平均値)
- 3rd Qu(第三四分位数：大きいほうから 1/4 の値)
- Max(最大値)

```
# この例だと売上個数のデータセットにサブセットのお店を渡して`summary`した結果を取得。。。といったとこでしょうか
> by(bento$売上個数, bento$お店, summary)
bento$お店: がんま亭
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
  197.0   203.2   205.5   205.9   208.8   216.0
---------------------------------------------------------
bento$お店: 正規屋
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
  124.0   176.5   200.0   201.1   222.5   274.0
```

## グラフ表示

`ggplot2`を使ってグラフを表示。

### 箱ひげ図(boxplot)

[ボックスプロット | R の boxplot 関数の使い方](http://stat.biopapyrus.net/graph/boxplot.html)

```
# 売上個数をお店ごと(水準)に箱ひげ図化
> boxplot(売上個数~お店, data=bento)
```

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/leaning-r-1-1.png)}

```
# 売上個数を弁当名ごと(水準)に箱ひげ図化
> boxplot(売上個数~弁当名, data=omu)
```

![](https://s3-ap-northeast-1.amazonaws.com/blog-mitsuruog/images/2015/leaning-r-1-2.png)

外にある ○ は外れ値みたい。

## 最後に

なんとなくグラフ表示までできましたが、まだ全然わかりません。  
まだわからないのでやらさせてる感が半端ないです w。早く自分の道具として扱えるようにしたいですね。  
いつまで続くかわかりませんが、頑張ります。

Tag: 統計

Azure Machine Learningをやってみた

とあるフロントエンド屋のR事始めその1

Tag: 統計

Azure Machine Learningをやってみた

とあるフロントエンド屋のR事始め その1

とあるフロントエンド屋のR事始めその1