EDAソリューション
システム
シリコンIP
SolvNetPlus
トレーニングと教育
定義
強化学習 （RL）は意思決定の科学である。これは、ある環境において最大の報酬を得るための最適な行動を学習することである。この最適な行動は、環境との相互作用や、環境がどのように反応するかを観察することを通じて学習される。これは、子どもが周囲の世界を探求し、目標を達成するのに役立つ行動を学ぶのと同様である。
教師が存在しない場合、学習者は報酬を最大化する行動の順序を独自に見つけ出さなければなりません。この発見のプロセスは、試行錯誤による探索に似ています。行動の質は、その行動がもたらす即時の報酬だけでなく、将来的に得られる可能性のある遅延報酬によっても評価されます。強化学習 は、教師の助けを借りることなく、未知の環境において最終的に成功につながる行動を学習することができるため、非常に強力なアルゴリズムです。
AI「強化学習 」はどのように機能するのでしょうか？
強化学習（強化学習 ）の問題は、エージェントが目標を達成するために未知の環境を探索するというものです。強化学習は、あらゆる目標が期待累積報酬の最大化によって記述できるという仮説に基づいています。エージェントは、最大の報酬を得るために、自身の行動を用いて環境の状態を感知し、それを変化させることを学ばなければなりません。強化学習の形式的な枠組みは、マルコフ決定過程（MDP）の最適制御問題から借用されています。
強化学習 システムの主な構成要素は以下の通りです：
- エージェントか、学習者か
- エージェントが相互作用する環境
- エージェントがアクションを実行する際に従う方針
- エージェントが行動をとった際に観測する報酬信号
報酬信号の有用な抽象化として、状態の「良さ」を忠実に捉える価値関数があります。報酬信号は特定の状態にあることによる即時の利益を表すのに対し、価値関数は、その状態から将来にわたって得られると期待される累積的な報酬を捉えます。AIの強化学習 アルゴリズムの目的は、システムのあらゆる状態から得られる平均価値を最大化する行動方針を見出すことです。
RLアルゴリズムは、大まかに「モデルフリー」と「モデルベース」に分類される。モデルフリーアルゴリズムは、環境、あるいはより厳密にはMDPの明示的なモデルを構築しない。これらは、アクションを用いて環境に対して実験を行い、そこから直接最適なポリシーを導き出す、試行錯誤型のアルゴリズムに近い。モデルフリーアルゴリズムには、価値ベースとポリシーベースの2種類がある。 価値ベースのアルゴリズムは、最適ポリシーを、すべての状態の価値関数を正確に推定した結果として直接導き出すものとみなす。ベルマン方程式で記述される再帰関係を用いて、エージェントは環境と相互作用し、状態と報酬の軌跡をサンプリングする。十分な数の軌跡が得られれば、MDPの価値関数を推定することができる。価値関数が判明すれば、最適ポリシーの発見は、プロセスの各状態において価値関数に基づいて貪欲にアクションを実行するだけの単純な問題となる。 代表的な価値ベースのアルゴリズムには、SARSAやQラーニングなどがある。一方、ポリシーベースのアルゴリズムは、価値関数をモデル化することなく、最適ポリシーを直接推定する。学習可能な重みを用いてポリシーを直接パラメータ化することで、学習問題を明示的な最適化問題へと変換する。価値ベースのアルゴリズムと同様に、エージェントは状態と報酬の軌跡をサンプリングするが、この情報は、全状態にわたる平均価値関数を最大化することで、ポリシーを明示的に改善するために使用される。 代表的なポリシーベースの強化学習アルゴリズムには、モンテカルロ・ポリシー勾配法（REINFORCE）や決定論的ポリシー勾配法（DPG）などがある。ポリシーベースのアプローチは、学習プロセス中に不安定性として現れる高い分散という課題を抱えている。一方、価値ベースのアプローチはより安定しているものの、連続的な行動空間をモデル化するには適していない。 最も強力な強化学習アルゴリズムの一つである「アクター・クリティックアルゴリズム」は、価値ベースアプローチとポリシーベースアプローチを組み合わせることで構築されている。このアルゴリズムでは、ポリシー（アクター）と価値関数（クリティック）の両方がパラメータ化されており、安定した収束性を保ちつつ、学習データを効果的に活用することが可能となっている。
モデルベースの強化学習アルゴリズムは、状態をサンプリングし、行動を実行し、報酬を観察することで、環境のモデルを構築します。 各状態と可能な行動について、モデルは期待報酬と期待される将来の状態を予測します。前者は回帰問題であるのに対し、後者は密度推定問題です。環境のモデルが与えられれば、強化学習エージェントは環境と直接相互作用することなく行動を計画することができます。これは、人間が問題を解決しようとする際に頭の中で行う思考実験のようなものです。計画のプロセスがポリシー推定のプロセスと密接に結びついているとき、強化学習エージェントの学習能力は向上します。
例としては強化学習
エージェントが特定の目標を達成するために不確実な環境と相互作用しなければならない現実世界の問題は、すべて強化学習（RL）の応用対象となり得ます。以下に、強化学習の成功事例をいくつか挙げます：
- ロボティクス。あらかじめ動作がプログラムされたロボットは、自動車製造工場の組立ラインなど、作業が反復的な性質を持つ構造化された環境において有用である。 しかし、現実の世界では、ロボットの行動に対する環境の反応が不確実であるため、正確な動作を事前にプログラムすることはほぼ不可能です。このような状況において、強化学習（RL）は汎用ロボットを構築するための効率的な手法を提供します。強化学習は、ロボットが2つの地点間の衝突がなく、かつロボットの動特性に適合した、短く、滑らかで、移動可能な経路を見つけなければならない「ロボットの経路計画」に、すでに成功裏に適用されています。
- AlphaGo。最も複雑な戦略ゲームの一つに、3,000年の歴史を持つ中国のボードゲーム「囲碁」がある。その複雑さは、盤上の組み合わせが10^270通りにも及ぶという事実に由来しており、これはチェスの組み合わせ数よりも数桁多い。2016年、AlphaGoという強化学習（RL）ベースの囲碁エージェントが、世界最強の人間囲碁棋士を破った。 人間のプレイヤーと同様に、AlphaGoはプロ棋士と数千局の対局を重ねることで、経験を通じて学習しました。最新の強化学習（RL）ベースの囲碁エージェントは、自分自身と対戦することで学習する能力を持っており、これは人間のプレイヤーにはない利点です。
- 自動運転。自動運転システムは、不確実な環境下で複数の知覚および計画タスクを実行しなければならない。強化学習（RL）が応用される具体的な自動運転制御タスクとしては、車両の経路計画や運動予測などが挙げられる。車両の経路計画では、さまざまな時間的・空間的スケールにわたって意思決定を行うために、いくつかの低レベルおよび高レベルのポリシーが必要となる。運動予測とは、歩行者や他の車両の動きを予測し、環境の現在の状態に基づいて状況がどのように展開するかを把握するタスクである。
メリット強化学習
強化学習 強化学習（RL）は、他の機械学習アルゴリズムでは解決できない、幅広い複雑な問題に適用可能です。強化学習は、自律的にさまざまな可能性を探りながら長期的な目標を追求する能力を備えているため、汎用人工知能（AI）に近いと言えます。強化学習の利点には、以下のようなものがあります：
- 問題全体に焦点を当てる。従来の機械学習用アクセラレータやアルゴリズムは 、全体像を捉えることなく、特定のサブタスクにおいて優れた性能を発揮するように設計されている。一方、強化学習（RL）は、問題をサブ問題に分割することなく、長期的な報酬を最大化するために直接取り組む。その目的は明確であり、目標を理解しており、短期的な報酬と長期的な利益との間でトレードオフを行うことができる。
- 別途データ収集の手順は必要ありません。強化学習（RL）では、学習データはエージェントと環境との直接的な相互作用を通じて得られます。学習データとは、学習エージェントの経験そのものであり、アルゴリズムに投入しなければならない別途収集されたデータではありません。これにより、学習プロセスを担当する指導者の負担が大幅に軽減されます。
- 動的で不確実な環境下で機能する。強化学習（RL）アルゴリズムは本質的に適応性が高く、環境の変化に対応するように設計されている。強化学習では時間が重要であり、エージェントが収集する経験は、従来の機械学習アルゴリズムとは異なり、独立同分布（i.i.d.）ではない。時間の次元が強化学習の仕組みに深く組み込まれているため、その学習は本質的に適応的なものとなる。
| メリット | 説明 |
| 目標志向型問題解決 | RLは、問題をサブタスクに分解することなく、長期的な報酬を最大化することに重点を置いています。 |
| 事前のデータ収集は不要です | RLは、環境との直接的な相互作用を通じて、独自の学習データを収集します。 |
| 変化の激しい環境における適応力 | RLアルゴリズムは、時間の経過に伴う環境の変化に自然に適応します。 |
| 自律学習 | エージェントは、ラベル付きデータセットや教師なしでも、試行錯誤を通じて自律的に学習します。 |
| 遅延報酬への対応 | RLは、即時のフィードバックだけでなく、一連の行動に依存する結果を最適化することができます。 |
課題として強化学習
強化学習（RL）アルゴリズムは、さまざまなシミュレーション環境における複雑な問題の解決に成果を上げてきたものの、実世界での導入は遅れている。その普及を妨げている課題には、以下のようなものがある：
- 強学習（RL）エージェントには豊富な経験が必要です。強学習の手法は、環境と相互作用することで学習データを自律的に生成します。そのため、データ収集の速度は環境の動的特性によって制限されます。レイテンシの高い環境では、学習曲線が鈍化します。さらに、高次元の状態空間を持つ複雑な環境では、適切な解を見つけるまでに広範囲にわたる探索が必要となります。
- 遅延報酬。学習エージェントは、短期的な報酬と長期的な利益とを天秤にかけることができます。この基本原理により、強化学習（RL）は有用なものとなりますが、一方でエージェントが最適なポリシーを発見することを困難にもします。これは、多数の連続した行動が実行されるまで結果がわからない環境において特に顕著です。このような状況では、最終的な結果に対して以前の行動にどの程度の貢献があったかを評価することが難しく、学習中に大きなばらつきが生じる可能性があります。 チェスのゲームは、この点で適切な例である。チェスでは、両プレイヤーがすべての手を打ち終えるまで、ゲームの結果は分からない。
- 解釈可能性の欠如。強化学習（RL）エージェントが最適なポリシーを学習し、環境に展開されると、そのエージェントは自身の経験に基づいて行動をとります。 外部の観察者にとって、これらの行動の理由は明らかではないかもしれない。この解釈可能性の欠如は、エージェントと観察者の間の信頼関係の構築を妨げる。もし観察者が強化学習エージェントの行動を説明できれば、特にリスクの高い環境において、問題をより深く理解し、モデルの限界を見極める上で役立つだろう。
強化学習 対 教師あり学習
教師あり学習とは、知識を持つ教師がラベル付きデータセットを整備し、それを学習アルゴリズムに入力する必要がある機械学習のパラダイムです。教師は、この訓練データ（画像、テキストの断片、音声クリップなどの例からなる集合で、各例には特定のクラスに割り当てる仕様が付けられているもの）を収集する役割を担います。 強化学習（RL）の文脈では、この訓練データセットは、それぞれに「適切さ」のラベルが付けられた一連の状況や行動の集合のようなものになります。教師あり学習アルゴリズムの中核的な機能は、外挿と一般化を行い、訓練データセットに含まれていない例について予測を行うことです。
強化学習（RL）は、機械学習における独立したパラダイムです。RLでは、教師や事前にラベル付けされたデータセットを必要としません。その代わりに、環境と相互作用し、その反応を観察することで、経験という形で学習データを取得します。この決定的な違いにより、エージェントが遭遇するあらゆる状況を網羅するラベル付き学習データを個別に作成することが現実的でないような複雑な環境においても、RLの適用が可能となります。 こうした状況で機能する可能性が高い唯一のアプローチは、RLと同様に、学習アルゴリズム自体に統合された自律的な学習データの生成を行うものである。
強化学習（RL）は教師を必要としないため、RLは機械学習のもう一つのパラダイムである「教師なし学習」とは異なるものであることを指摘しておくことが重要です。教師なし学習では、学習データにはラベルが付いておらず、その目的はデータに隠された構造を明らかにすることにあります。 この隠れた構造を把握することで、モデルは類似した例をグループ化したり、それらの例を生成した分布関数を推定したりできるようになります。この隠れた構造を明らかにしても、軌跡の終了時に報酬を最大化するという強化学習の問題そのものは解決されません。しかし、エージェントの経験における隠れた構造に関する知識は、学習プロセスを加速させるのに役立ちます。
強化学習（RL）アルゴリズムに特有の課題は、探索と活用のトレードオフである。このトレードオフは、教師あり学習や教師なし学習では生じない。 強化学習（RL）エージェントは、過去の経験を活用することと、環境の未知の状態を探索することとの間で、慎重なバランスを取らなければならない。適切なバランスが保たれれば、エージェントは報酬を最大化する最適なポリシーを発見できる。もしエージェントが過去の経験のみを活用し続けると、局所最小値に陥り、次善のポリシーしか得られなくなる可能性が高い。一方、エージェントが活用せずに探索する を続けると、良いポリシーを永遠に見つけられないかもしれない。
| 項目 | 強化学習 | 教師あり学習 |
| データ要件 | 環境との相互作用を通じてデータを生成する | 事前に収集・ラベル付けされたデータセットに依存している |
| 研修プロセス | 試行錯誤と報酬の遅延を通じて学ぶ | ラベル付きデータを用いて、入力と出力を対応付けながら学習する |
| 適用分野 | 不確実な環境下での逐次的意思決定に用いられる | 分類や回帰などに用いられる。 |
| 監督 | 監督者は不要で、自律的に学習する | データにラベルを付けるには、監督者の指示が必要です |
| 探索と活用 | 新しい行動を探求することと、既知の報酬を活用することのバランスをとらなければならない | 探査と開発のトレードオフはなく、純粋にデータに基づいている |
『強化学習 』の将来はどうなるのでしょうか？
近年、強化学習（強化学習 ）の分野では著しい進歩が見られています。深層強化学習（強化学習 ）では、深層ニューラルネットワークを用いて、価値関数（value-based）やエージェントのポリシー（policy-based）、あるいはその両方（actor-critic）をモデル化します。 深層ニューラルネットワークが広く普及する以前は、強化学習（RL）アルゴリズムを学習させるために、複雑な特徴量を人為的に設計する必要がありました。これにより学習能力が低下し、強化学習の適用範囲は単純な環境に限定されていました。深層学習の登場により、数百万もの学習可能な重みを用いてモデルを構築できるようになり、ユーザーは煩雑な特徴量設計から解放されました。関連する特徴量は学習プロセス中に自動的に生成されるため、エージェントは複雑な環境においても最適なポリシーを学習できるようになりました。
従来、強化学習（RL）は一度に1つのタスクにのみ適用されてきました。各タスクは個別のRLエージェントによって学習され、これらのエージェント間で知識の共有は行われません。このため、自動車の運転のような複雑な行動の学習は、非効率的で時間がかかります。共通の情報源を持ち、関連する基礎構造を有し、相互に依存し合う問題については、複数のエージェントが連携することで、パフォーマンスを大幅に向上させることができます。 複数のエージェントを同時に学習させることで、システムに対する同一の表現を共有させることができ、あるエージェントの性能向上が別のエージェントにも活用されるようになります。A3C（Asynchronous Advantage Actor-Critic）は、この分野における画期的な進展であり、関連するタスクを複数のエージェントが並行して学習します。このマルチタスク学習のシナリオは、RLをAGI（汎用人工知能）に近づけており、メタエージェントが「学び方」を学習することで、問題解決がこれまで以上に自律的なものとなっています。
強化学習 そして シノプシス
シノプシス 同社は、半導体業界で初めてチップ設計に自律型AIを応用したソリューション「DSO.ai™（設計空間最適化 AI）」において、強化学習 の技術を活用している。 チェスや囲碁といった複雑なゲームを極めたDeepMindのAlphaZeroに着想を得たDSO.ai は、強化学習（RL）技術を用いて、チップ設計の極めて広大な解空間において最適化対象を探索します。DSO.ai は、設計ワークフローにおける選択肢の探索を大幅に拡大すると同時に、重要度の低い意思決定を自動化することで、チップ設計に革命をもたらします。これにより、SoCチームは専門家レベルの作業が可能となり、全体的なスループットが大幅に向上します。
シノプシス.ai：AIを活用したEDA
当社の高度なAI駆動型ソリューション・スイートにより、シリコンの性能を最適化し、チップ設計を加速し、EDAフロー全体の効率を向上させることができます。
関連リソース
関連ブログ記事
シノプシス AIを活用した半導体イノベーションの推進により、TSMCオープン・イノベーション・プラットフォームの「パートナー・オブ・ザ・イヤー」賞を5部門で受賞
業界との連携： シノプシス AgentEngineer™ ソリューションおよび シノプシス Autopilot™ プラットフォーム
