差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
markov_decision_process [2018/12/17 08:43] – [ベルマン方程式] watalu | markov_decision_process [2019/01/07 07:52] (現在) – [まとめ] watalu | ||
---|---|---|---|
行 7: | 行 7: | ||
- A 行動 | - A 行動 | ||
- P 遷移 | - P 遷移 | ||
- | - R 評価 | + | - R 評価 |
状態Sの遷移Pには、次の2種類がある。 | 状態Sの遷移Pには、次の2種類がある。 | ||
行 294: | 行 294: | ||
{{:: | {{:: | ||
- | これがベルマン方程式である。 | + | これがベルマン方程式である。ベルマン更新の式との違いは関数Vの添え字の有無しかない。でもこの違いは、Vが遷移している状態か、定常状態かの違いでもある。 |
+ | |||
+ | 将来の費用関数をどのように算出するか、そして将来の状態をどのように予測するか、がマルコフ決定過程がうまく働くための鍵となる。 | ||
+ | |||
+ | == 報酬の場合 == | ||
費用ではなく、報酬が得られる場合は、ベルマン更新が | 費用ではなく、報酬が得られる場合は、ベルマン更新が | ||
行 305: | 行 309: | ||
{{:: | {{:: | ||
- | |||
- | {{: | ||
- | |||
- | そこで、将来の費用関数をどのように算出するか、そして将来の状態をどのように予測するか、がマルコフ決定過程がうまく働くための鍵となる。 | ||
== マルコフ連鎖に基づく予測 == | == マルコフ連鎖に基づく予測 == | ||
行 378: | 行 378: | ||
この関数を用いて、現時点で将来の推移を考慮しながら、最適な行動を選択する。 | この関数を用いて、現時点で将来の推移を考慮しながら、最適な行動を選択する。 | ||
+ | == 要検討課題 == | ||
+ | |||
+ | 価値反復と方策反復では、得られる方策の解が同じでも、総期待割引き報酬もしくは費用Vの値が異なる。なぜか? | ||
==== Rでマルコフ決定過程の計算を行う ==== | ==== Rでマルコフ決定過程の計算を行う ==== | ||