教師あり学習・教師なし学習・強化学習を分けているのは、コンピュータに何を渡して手がかりにさせるかです。データ一つひとつに正解のラベルを添えて渡すのか、ラベルは添えずデータそのものだけを渡すのか、正解の代わりに、行動した結果として返ってくる報酬を渡すのか。機械学習の学習法は、大きくこの3つに分けられます。渡すものが違えば、向いている用途も、学習を終えたあとにできることも変わります。
| 用語 | 何のことか |
|---|---|
| 教師あり学習 | 学習用のデータ一つひとつに正解のラベルを添えて渡し、入力と正解の対応をコンピュータに見つけさせる学ばせ方 |
| 教師なし学習 | 正解のラベルを添えずデータそのものだけを渡し、その中にあるまとまりや構造をコンピュータ自身に見つけさせる学ばせ方 |
| 強化学習 | 正しい行動そのものは教えず、行動した結果として返ってくる報酬を手がかりに、試行錯誤の中で、長い目で見て良い行動を見つけさせる学ばせ方 |
| 分類 | 入力を、あらかじめ決まっているいくつかの区分のどれかに割り当てる問題 |
| 回帰 | 求める答えが、連続した数値になる問題 |
| クラスタリング | データを、似たもの同士のまとまりに分けること |
| 次元削減 | データを表す特徴の数を減らして、扱いやすくすること |
| 報酬 | 取った行動の結果として返ってくる値。強化学習で手がかりにするもの |
3つの分かれ目は、コンピュータに何を渡すか
機械学習では、判断の規則そのものを人が書くのではなく、材料になるデータを渡して、コンピュータのほうに規則を見つけさせます。ここで決まっていないことが一つあります。データの渡し方です。
渡し方の違いには名前が付いていて、代表的なものが教師あり学習・教師なし学習・強化学習の3つです。
| 渡すもの | コンピュータがすること | 学習を終えたあとにできること | |
|---|---|---|---|
| 教師あり学習 | データ一つひとつに、正解のラベルを添える | 入力と正解がどう対応しているかを見つける | 新しいデータが、どの正解にあたるのかを答える |
| 教師なし学習 | 正解のラベルは添えず、データそのものだけ | 似たもの同士のまとまりや、隠れた構造を見つける | 名前までは分からないまま、他のものと区別する |
| 強化学習 | 正解の代わりに、行動の結果として返ってくる報酬 | 試行錯誤を繰り返して、長い目で見て良い行動を見つける | 報酬を大きくする行動を取る |
教師あり学習:正解のラベルを添えて渡す
教師あり学習
教師あり学習では、学習用のデータ一つひとつに正解のラベルを添えて渡し、入力と正解がどう対応しているのかをコンピュータに見つけさせます。
たとえば、ネコの画像には「これはネコである」、鳥や魚などネコではない生き物の画像には「これはネコではない」というラベルを付けてから入力し、学習させます。こうしておくと、あとから動物の画像を入力したときに、それがネコかどうかを判別できるようになります。
「教師」にあたるのは、人ではなく正解のラベル
「教師」にあたるのは、あらかじめデータに付けておいた正解のラベルのほうです。人の手が要るのは、学習が始まる前です。画像の一つひとつに「これはネコである」「これはネコではない」と付けておくところを、人がやります。
「教師あり」って、学習しているあいだ、誰かが横について正解を教えているってこと?
教師にあたるのは正解のラベルです。人がやるのは、学習が始まる前に、そのラベルを一つひとつ付けておくところまでです。
機械学習では、集めたデータを学習に使える形へ整える手間がかかります。教師あり学習では、そこに正解のラベルを付ける作業が加わります。大量のデータの、一つひとつに対してです。その分だけ、データを用意するのが難しくなります。
分類と回帰:正解の形で分かれる
添える正解がどういう形をしているかで、扱う問題が分かれます。
一つは、答えが、あらかじめ決まっているいくつかの区分のどれかになる場合です。入力をそのどれかに割り当てる問題で、これを分類と呼びます。さきほどのネコかどうかの判別がこれで、文字や画像の認識も分類です。
もう一つは、答えが連続した数値になる場合で、こちらを回帰と呼びます。区分のどれかを選ぶのではなく、数値そのものを当てにいきます。売上げの予測が回帰にあたります。
教師あり学習で扱う問題は、大きくこの2つに分かれます。手元の問題がどちらなのかは、決まった区分のどれかを当てたいのか、数値そのものを求めたいのかで見分けられます。
教師なし学習:ラベルを添えず、データそのものだけを渡す
教師なし学習
教師なし学習では、正解のラベルを添えず、データそのものだけを渡します。そのデータの中にある似たもの同士のまとまりや、隠れた構造を、コンピュータ自身に見つけさせます。
さきほどと同じ、ネコとほかの生き物の画像で見ると、違いがはっきりします。今度は「ネコである」「ネコではない」という情報を付けずに入力して、学習させます。すると、あとから動物の画像を入力しても、それがネコと呼ばれるものかどうかは判別できません。ただ、ネコと他の生き物とを区別することはできます。
正解の名前を渡していないので、見つけたまとまりに何という名前が付くのかまでは分かりません。分かるのは、これは同じかたまり、あちらは別のかたまり、というところまでです。
同じ画像を材料にしても、ラベルを添えるかどうかで、学習を終えたあとにできることがここまで変わります。
クラスタリングと次元削減
教師あり学習に分類と回帰があったように、教師なし学習でよく扱われる問題にも名前が付いています。
- クラスタリング:データを、似たもの同士のまとまりに分ける。顧客を似た傾向ごとのグループに分ける、といったものがこれにあたる
- 次元削減:データを表す特徴の数を減らして、扱いやすくする
強化学習:行動の結果として返ってくる報酬から学ぶ
強化学習
強化学習で渡すものは、また別です。正しい行動そのものは教えません。渡すのは、行動した結果として返ってくる報酬だけです。
コンピュータは、環境の中で実際に動いてみて、その結果を受け取ります。この繰り返しがそのまま学習の材料になり、試行錯誤を重ねる中から、何が長期的に良い行動なのかを見つけていきます。
たとえば、二足歩行のロボットに歩かせる場合です。歩く速度や脚の曲げ方をいろいろ変えて試させ、長い距離を歩けたら報酬を与える。これを繰り返していくと、倒れずにスムーズに歩けるようになります。正しい歩き方そのものは、一度も渡していません。
報酬と正解のラベルは、示しているものが違う
正解のラベルは、この入力に対する答えはこれだ、と答えそのものを示していました。報酬が示すのは、取った行動の結果です。しかも、その一回の行動が正しかったかどうかを言っているわけではありません。何度も試した先で、長い目で見てどの行動が良いのかを探すための手がかりです。
教師なし学習との違いは、何を探しているかに出ます。教師なし学習が探すのは、データの中にあるまとまりや構造です。強化学習が探すのは、報酬を大きくする行動のほうです。
つまり、教師なし学習はデータの中のまとまりを探していて、強化学習は報酬を大きくする行動を探している、ということ?
そのとおりです。探しているものが違うので、学習を終えたあとにできることも別になります。
まとめ
機械学習の学習法が3つに分かれるのは、コンピュータに何を渡して手がかりにさせるかが違うからでした。データ一つひとつに正解のラベルを添えるのが教師あり学習、ラベルを添えずデータそのものだけを渡すのが教師なし学習、正解の代わりに行動した結果として返ってくる報酬を渡すのが強化学習です。
渡すものが違えば、できることも変わります。教師あり学習は入力と正解の対応を覚えるので分類と回帰に分かれ、教師なし学習は似たもの同士のまとまりや隠れた構造を探してクラスタリングや次元削減になる。強化学習が探すのは、報酬を大きくする行動のほうです。人の手が要るのは、学習が始まる前にラベルを付けておく段階でした。
次は、教師あり学習の代表として、線形回帰とロジスティック回帰を取り上げます。