[検証バージョン]
Unity 2017.2.0p4
Unity ML – Agents (Beta) 0.2

Unityが提供している機械学習の仕組みに関するお話です。

Unity ML – Agents (Beta)に含まれるBasicデモが、学習させても期待通りの結果が得られなかったので、学習に使用するstateを増やしたところ概ね期待する結果が得られるようになりました。

・デモの内容
エージェントが１マスずつ左右に動き、ゴールに到達したらリワードを獲得。
ゴールは２種類あり、片方は近いがリワードは小さい、もう片方は遠いがリワードは大きい。

・変更内容
Brainが判断をするために与えられている情報(state)がエージェントの左右の位置しか無かったので、各ゴールの位置も渡すように変更。

1.BrainのStateSpaceTypeをDiscrete→Continuousに変更し、StateSizeを元々の1→3に増やす。

2.BasicAgent.cs内のCollectState()にて収集する情報を追加する。

	public override List<float> CollectState()
	{
		List<float> state = new List<float>();
		state.Add(minPosition); // 追加
		state.Add(maxPosition); // 追加
		state.Add(position); // 元々ある行
		return state;
	}

・補足
かなり単純なデモでありながら、8エージェント×10,000ステップの学習でもまだ無駄な動きがあるように見えるので、もっとパラメータや処理の調整が必要なのかもしれません。

・追記－改善案（未検証）
1.位置情報に関するstateはエージェントとの相対座標でコード化した方が良い。
Environment Design Best Practices

2.エージェントのObservationsにカメラを設定することで、視覚情報を与え学習の効率化ができるかもしれない。
Learning Environments Overviewの最後の項Additional FeaturesのComplex Visual Observations