G検定

【G検定】3-2_教師あり学習・教師なし学習・強化学習

教師あり学習・教師なし学習・強化学習を分けているのは、コンピュータに何を渡して手がかりにさせるかです。データ一つひとつに正解のラベルを添えて渡すのか、ラベルは添えずデータそのものだけを渡すのか、正解の代わりに、行動した結果として返ってくる報酬を渡すのか。機械学習の学習法は、大きくこの3つに分けられます。渡すものが違えば、向いている用途も、学習を終えたあとにできることも変わります。

用語何のことか
教師あり学習学習用のデータ一つひとつに正解のラベルを添えて渡し、入力と正解の対応をコンピュータに見つけさせる学ばせ方
教師なし学習正解のラベルを添えずデータそのものだけを渡し、その中にあるまとまりや構造をコンピュータ自身に見つけさせる学ばせ方
強化学習正しい行動そのものは教えず、行動した結果として返ってくる報酬を手がかりに、試行錯誤の中で、長い目で見て良い行動を見つけさせる学ばせ方
分類入力を、あらかじめ決まっているいくつかの区分のどれかに割り当てる問題
回帰求める答えが、連続した数値になる問題
クラスタリングデータを、似たもの同士のまとまりに分けること
次元削減データを表す特徴の数を減らして、扱いやすくすること
報酬取った行動の結果として返ってくる値。強化学習で手がかりにするもの

3つの分かれ目は、コンピュータに何を渡すか

機械学習では、判断の規則そのものを人が書くのではなく、材料になるデータを渡して、コンピュータのほうに規則を見つけさせます。ここで決まっていないことが一つあります。データの渡し方です。

渡し方の違いには名前が付いていて、代表的なものが教師あり学習・教師なし学習・強化学習の3つです。

渡すものコンピュータがすること学習を終えたあとにできること
教師あり学習データ一つひとつに、正解のラベルを添える入力と正解がどう対応しているかを見つける新しいデータが、どの正解にあたるのかを答える
教師なし学習正解のラベルは添えず、データそのものだけ似たもの同士のまとまりや、隠れた構造を見つける名前までは分からないまま、他のものと区別する
強化学習正解の代わりに、行動の結果として返ってくる報酬試行錯誤を繰り返して、長い目で見て良い行動を見つける報酬を大きくする行動を取る
コンピュータに何を渡すか
コンピュータに何を渡すか

教師あり学習:正解のラベルを添えて渡す

正解のラベルを添えて学習させる
正解のラベルを添えて学習させる

教師あり学習

教師あり学習では、学習用のデータ一つひとつに正解のラベルを添えて渡し、入力と正解がどう対応しているのかをコンピュータに見つけさせます。

たとえば、ネコの画像には「これはネコである」、鳥や魚などネコではない生き物の画像には「これはネコではない」というラベルを付けてから入力し、学習させます。こうしておくと、あとから動物の画像を入力したときに、それがネコかどうかを判別できるようになります。

「教師」にあたるのは、人ではなく正解のラベル

「教師」にあたるのは、あらかじめデータに付けておいた正解のラベルのほうです。人の手が要るのは、学習が始まる前です。画像の一つひとつに「これはネコである」「これはネコではない」と付けておくところを、人がやります。

「教師あり」って、学習しているあいだ、誰かが横について正解を教えているってこと?

教師にあたるのは正解のラベルです。人がやるのは、学習が始まる前に、そのラベルを一つひとつ付けておくところまでです。

機械学習では、集めたデータを学習に使える形へ整える手間がかかります。教師あり学習では、そこに正解のラベルを付ける作業が加わります。大量のデータの、一つひとつに対してです。その分だけ、データを用意するのが難しくなります。

分類と回帰:正解の形で分かれる

分類と回帰
分類と回帰

添える正解がどういう形をしているかで、扱う問題が分かれます。

一つは、答えが、あらかじめ決まっているいくつかの区分のどれかになる場合です。入力をそのどれかに割り当てる問題で、これを分類と呼びます。さきほどのネコかどうかの判別がこれで、文字や画像の認識も分類です。

もう一つは、答えが連続した数値になる場合で、こちらを回帰と呼びます。区分のどれかを選ぶのではなく、数値そのものを当てにいきます。売上げの予測が回帰にあたります。

教師あり学習で扱う問題は、大きくこの2つに分かれます。手元の問題がどちらなのかは、決まった区分のどれかを当てたいのか、数値そのものを求めたいのかで見分けられます。

教師なし学習:ラベルを添えず、データそのものだけを渡す

ラベルの有無で、学習後にできることが変わる
ラベルの有無で、学習後にできることが変わる

教師なし学習

教師なし学習では、正解のラベルを添えず、データそのものだけを渡します。そのデータの中にある似たもの同士のまとまりや、隠れた構造を、コンピュータ自身に見つけさせます。

さきほどと同じ、ネコとほかの生き物の画像で見ると、違いがはっきりします。今度は「ネコである」「ネコではない」という情報を付けずに入力して、学習させます。すると、あとから動物の画像を入力しても、それがネコと呼ばれるものかどうかは判別できません。ただ、ネコと他の生き物とを区別することはできます。

正解の名前を渡していないので、見つけたまとまりに何という名前が付くのかまでは分かりません。分かるのは、これは同じかたまり、あちらは別のかたまり、というところまでです。

同じ画像を材料にしても、ラベルを添えるかどうかで、学習を終えたあとにできることがここまで変わります。

クラスタリングと次元削減

クラスタリングと次元削減
クラスタリングと次元削減

教師あり学習に分類と回帰があったように、教師なし学習でよく扱われる問題にも名前が付いています。

  • クラスタリング:データを、似たもの同士のまとまりに分ける。顧客を似た傾向ごとのグループに分ける、といったものがこれにあたる
  • 次元削減:データを表す特徴の数を減らして、扱いやすくする

強化学習:行動の結果として返ってくる報酬から学ぶ

行動して、返ってきた報酬から学ぶ
行動して、返ってきた報酬から学ぶ

強化学習

強化学習で渡すものは、また別です。正しい行動そのものは教えません。渡すのは、行動した結果として返ってくる報酬だけです。

コンピュータは、環境の中で実際に動いてみて、その結果を受け取ります。この繰り返しがそのまま学習の材料になり、試行錯誤を重ねる中から、何が長期的に良い行動なのかを見つけていきます。

たとえば、二足歩行のロボットに歩かせる場合です。歩く速度や脚の曲げ方をいろいろ変えて試させ、長い距離を歩けたら報酬を与える。これを繰り返していくと、倒れずにスムーズに歩けるようになります。正しい歩き方そのものは、一度も渡していません。

報酬と正解のラベルは、示しているものが違う

それぞれが探しているもの
それぞれが探しているもの

正解のラベルは、この入力に対する答えはこれだ、と答えそのものを示していました。報酬が示すのは、取った行動の結果です。しかも、その一回の行動が正しかったかどうかを言っているわけではありません。何度も試した先で、長い目で見てどの行動が良いのかを探すための手がかりです。

教師なし学習との違いは、何を探しているかに出ます。教師なし学習が探すのは、データの中にあるまとまりや構造です。強化学習が探すのは、報酬を大きくする行動のほうです。

つまり、教師なし学習はデータの中のまとまりを探していて、強化学習は報酬を大きくする行動を探している、ということ?

そのとおりです。探しているものが違うので、学習を終えたあとにできることも別になります。

まとめ

まとめ:教師あり学習・教師なし学習・強化学習(学習ノート)
まとめ:教師あり学習・教師なし学習・強化学習(学習ノート)

機械学習の学習法が3つに分かれるのは、コンピュータに何を渡して手がかりにさせるかが違うからでした。データ一つひとつに正解のラベルを添えるのが教師あり学習、ラベルを添えずデータそのものだけを渡すのが教師なし学習、正解の代わりに行動した結果として返ってくる報酬を渡すのが強化学習です。

渡すものが違えば、できることも変わります。教師あり学習は入力と正解の対応を覚えるので分類と回帰に分かれ、教師なし学習は似たもの同士のまとまりや隠れた構造を探してクラスタリングや次元削減になる。強化学習が探すのは、報酬を大きくする行動のほうです。人の手が要るのは、学習が始まる前にラベルを付けておく段階でした。

次は、教師あり学習の代表として、線形回帰とロジスティック回帰を取り上げます。

  • この記事を書いた人

ライブログ管理人

制御系システムエンジニア(技術営業寄り)を経て、現在はマネジメント職。 PMPは保有していますが、コードは書けません。 技術に近い場所にいながら自分の手では作れない。 そんな立場から生成AIパスポート・G検定などAI・DX資格に挑戦中です。 学習の過程をそのまま実況記録しています。

-G検定
-, , , , , , ,