電子設計自動化 (EDA)
系統
矽智財 (Silicon IP)
SolvNetPlus
教育與訓練課程
定義
強化學習 (RL) 是一門關於決策的科學。它旨在學習在特定環境中如何採取最優行為，以獲得最大回報。這種最優行為是透過與環境的互動，以及觀察環境的反應而學習到的，這與孩童探索周遭世界，並學習有助於達成目標的行動的過程相似。
在沒有監督者的情況下，學習者必須獨立找出能最大化獎勵的動作序列。這個發現過程類似於試錯式搜尋。動作的品質不僅取決於其帶來的即時獎勵，還取決於其可能獲得的延遲獎勵。由於強化學習 能在沒有監督者協助的情況下，於未見過的環境中學習出最終能帶來成功的動作，因此它是一種非常強大的演算法。
AI強化學習 是如何運作的？
強化學習 （強化學習）的問題涉及一個代理人在未知環境中進行探索以達成目標。強化學習基於這樣一個假設：所有目標皆可描述為期望累積獎勵的最大化。代理人必須學習透過其行動來感知並干擾環境狀態，以獲得最大獎勵。強化學習的正式框架借鑒了馬爾可夫決策過程（MDP）的最佳控制問題。
強化學習 系統的主要元件包括：
- 代理者或學習者
- 代理與之互動的環境
- 代理在採取行動時所遵循的策略
- 代理人在採取行動時所觀察到的獎勵訊號
價值函數是對獎勵訊號的一種實用抽象化概念，它能準確地反映某個狀態的「優劣」。獎勵訊號代表處於某個狀態所獲得的即時效益，而價值函數則反映從該狀態開始，預期在未來所能累積獲得的獎勵總和。人工智慧強化學習 演算法的目標，在於找出能將系統中每個狀態所能提取的平均價值最大化之行動策略。
強學習（RL）演算法大致可分為無模型與基於模型兩大類。無模型演算法不會建立環境（或更嚴格地說，馬爾科夫決策過程（MDP））的顯式模型。它們更接近試錯式演算法，即透過採取各種動作與環境進行實驗，並直接從中推導出最優策略。無模型演算法可進一步分為基於價值與基於策略兩類。 基於價值的演算法認為，最優策略是準確估算每個狀態的價值函數所直接產生的結果。透過貝爾曼方程所描述的遞迴關係，代理與環境互動以採樣狀態與獎勵的軌跡。只要有足夠多的軌跡，即可估算 MDP 的價值函數。一旦得知價值函數，發現最優策略便僅需在過程的每個狀態下，依據價值函數貪婪地採取行動即可。 一些常見的基於價值的演算法包括SARSA和Q-學習。另一方面，基於策略的演算法則無需建模價值函數，即可直接估算最優策略。透過使用可學習的權重直接對策略進行參數化，它們將學習問題轉化為一個顯式的優化問題。與基於價值的演算法類似，代理也會採樣狀態與獎勵的軌跡；然而，這些資訊是用來透過最大化所有狀態的平均價值函數，來顯式地改善策略。 常見的策略導向強學習演算法包括蒙地卡羅策略梯度法（REINFORCE）與確定性策略梯度法（DPG）。策略導向方法存在方差過高的問題，這在訓練過程中會表現為不穩定性。價值導向方法雖然較為穩定，但不適合建模連續動作空間。 其中一種最強大的強化學習演算法，稱為「行為者-評論者」演算法，是透過結合基於價值與基於策略的方法所建構而成。在此演算法中，策略（行為者）與價值函數（評論者）皆經過參數化，以實現對訓練資料的有效利用並確保穩定的收斂性。
基於模型的強化學習演算法透過採樣狀態、執行動作以及觀察獎勵，來建構環境模型。 對於每個狀態與可能的動作，模型會預測預期獎勵與預期未來狀態。前者屬於迴歸問題，後者則屬於密度估計問題。在擁有環境模型的前提下，強化學習代理可以無需直接與環境互動即可規劃其動作。這就像人類在嘗試解決問題時可能會進行的思維實驗。當規劃過程與策略估計過程相互交織時，強化學習代理的學習能力便得以提升。
例如：強化學習
任何需要代理與不確定環境互動以達成特定目標的現實世界問題，都是強化學習（RL）的潛在應用場景。以下列舉幾個強化學習的成功案例：
- 機器人學。具備預先編程行為的機器人在結構化的環境中相當實用，例如汽車製造廠的組裝線，那裡的任務本質上是重複性的。 在現實世界中，由於環境對機器人行為的反應具有不確定性，要預先編程出精確的動作幾乎是不可能的。在這種情境下，強化學習（RL）提供了一種高效的方法來打造通用型機器人。它已成功應用於機器人路徑規劃領域——在此情境中，機器人必須在兩個位置之間找到一條短、平順且可通行的路徑，既要避免碰撞，又要與機器人的動力學特性相容。
- AlphaGo。最複雜的策略遊戲之一，是一種擁有 3,000 年歷史的中國棋類遊戲——圍棋。其複雜性源於棋盤上存在 10^270 種可能的組合，比國際象棋多出好幾個數量級。2016 年，一個名為 AlphaGo 的基於強化學習（RL）的圍棋代理程式，擊敗了人類最頂尖的圍棋棋手。 它與人類棋手極為相似，透過經驗學習，並與職業棋手進行了數千局對弈。最新的基於強化學習的圍棋代理程式具備透過自我對弈來學習的能力，這是人類棋手所不具備的優勢。
- 自動駕駛。自動駕駛系統必須在不確定的環境中執行多項感知與規劃任務。強學習（RL）可應用於自動駕駛車輛的特定控制任務，包括車輛路徑規劃與運動預測。車輛路徑規劃需要多項低階與高階策略，以便在不同的時空尺度上進行決策。運動預測則是預測行人及其他車輛的移動軌跡，藉此根據當前環境狀態，理解情況可能如何發展。
好處強化學習
強化學習（RL）適用於各種其他機器學習演算法無法處理的複雜問題。強化學習 更接近一般人工智慧（AI），因為它具備在自主探索各種可能性的同時，追求長期目標的能力。強化學習的優點包括：
- 著眼於問題的整體。傳統的機器學習加速器與演算法 ，設計上旨在於特定子任務中表現出色，卻缺乏對全局的把握。相較之下，強化學習（RL）並不會將問題拆解為子問題，而是直接致力於最大化長期獎勵。它具有明確的目的，理解目標，並能夠在短期獎勵與長期效益之間進行權衡。
- 無需額外進行資料蒐集步驟。在強化學習（RL）中，訓練資料是透過代理與環境的直接互動而獲得的。訓練資料即是學習代理的經驗，而非必須餵入演算法的獨立資料集。這大大減輕了負責訓練過程的監督者的負擔。
- 適用於動態且不確定的環境。強化學習（RL）演算法本質上具有適應性，並設計用於因應環境的變化。在強化學習中，時間至關重要，且代理所收集的經驗並非獨立同分布（i.i.d.），這與傳統的機器學習演算法不同。由於時間維度深深植根於強化學習的運作機制之中，因此其學習過程本質上具有適應性。
| 效益 | 說明 |
| 以目標為導向的問題解決 | 強化學習（RL）著重於在不將問題分解為子任務的情況下，將長期報酬最大化。 |
| 無需預先收集資料 | RL 透過與環境的直接互動，自行收集訓練資料。 |
| 動態環境中的適應能力 | 強學習（RL）演算法能自然地適應環境隨時間的變化。 |
| 自主學習 | 該代理透過試錯方式獨立學習，無需標記資料集或監督。 |
| 處理延遲獎勵 | 強化學習（RL）能夠優化取決於行動序列的結果，而不僅僅是即時回饋。 |
面臨的挑戰強化學習
儘管強化學習（RL）演算法在各種模擬環境中成功解決了複雜問題，但在現實世界中的應用進展卻相當緩慢。以下是導致其普及受阻的幾項挑戰：
- 強化學習（RL）代理需要豐富的經驗。強化學習方法透過與環境互動，自主產生訓練資料。因此，資料蒐集的速度受限於環境的動態特性。高延遲的環境會使學習曲線趨緩。此外，在具有高維度狀態空間的複雜環境中，必須進行廣泛的探索，才能找到良好的解法。
- 延遲獎勵。學習型代理可以權衡短期獎勵與長期收益。雖然這項基礎原則使強化學習（RL）具有實用價值，但也使得代理難以發現最優策略。在必須執行大量連續動作後才能得知結果的環境中，此現象尤為明顯。在此情境下，將最終結果歸因於先前動作相當困難，且可能在訓練過程中引入巨大的變異性。 國際象棋便是此處的一個相關例子，在該遊戲中，除非雙方玩家都已完成所有走法，否則無法得知比賽結果。
- 缺乏可解釋性。一旦強學習（RL）代理學習到最優策略並部署到環境中，它便會根據自身的經驗採取行動。 對外部觀察者而言，這些行動的理由可能並不顯而易見。這種可解釋性的缺乏，會阻礙代理與觀察者之間信任的建立。若觀察者能夠闡明強化學習代理所採取的行動，將有助於其更深入地理解問題，並發現模型的局限性，特別是在高風險環境中。
強化學習 vs. 監督式學習
監督式學習是一種機器學習範式，需要具備專業知識的監督者來整理標註過的資料集，並將其輸入至學習演算法中。監督者負責收集這份訓練資料——即一組範例，例如圖片、文字片段或音訊片段，每個範例都附有將其歸類至特定類別的標籤。 在強化學習（RL）的框架下，這套訓練資料集會呈現為一系列情境與行動，每項都附有「優劣」標籤。監督式學習演算法的核心功能在於外推與泛化，藉此對未包含在訓練資料集中的範例進行預測。
強化學習（RL）是機器學習中的一種獨立範式。強化學習不需要監督者或預先標記的資料集；相反地，它透過與環境互動並觀察環境的反應，以「經驗」的形式獲取訓練資料。這項關鍵差異使得強化學習能在複雜環境中行得通，因為在這些環境中，要單獨彙整能代表代理者可能遭遇的所有情境的標記訓練資料，實屬不切實際。 在這些情況下，唯一可能行得通的方法，就是讓訓練資料的生成具有自主性，並整合到學習演算法本身之中，這與強學習（RL）的運作方式非常相似。
由於強化學習（RL）不需要監督者，因此必須指出，強化學習與無監督學習並不相同——後者是機器學習的另一種範式。在無監督學習中，訓練資料未經標記，其目標在於發掘資料中的隱藏結構。 了解這種隱藏結構，可讓模型將相似的範例分組，或估算產生這些範例的分布函數。揭示這種隱藏結構並不能解決強化學習的問題——該問題的目標是在軌跡結束時最大化獎勵。然而，了解代理人在經驗中存在的隱藏結構，有助於加速學習過程。
強學習（RL）演算法所獨有的挑戰，在於探索與開發之間的權衡。這種權衡在監督式或非監督式機器學習中均不會出現。 強化學習（RL）代理必須在「利用過往經驗」與「探索環境中未知的狀態」之間取得精妙的平衡。恰當的平衡將引導代理發現能帶來最大獎勵的最佳策略。若代理僅持續利用過往經驗，便極可能陷入局部極小值，進而產生次優策略；反之，若代理持續探索 卻不加以利用，則可能永遠無法找到良好的策略。
| 層面 | 強化學習 | 監督式學習 |
| 資料要求 | 透過與環境的互動來產生資料 | 依賴於預先收集且已標記的資料集 |
| 培訓流程 | 透過試錯與延遲獎勵來學習 | 透過使用標記資料將輸入映射至輸出來進行學習 |
| 應用 | 用於在不確定環境中進行序貫決策 | 用於分類、迴歸等。 |
| 監督 | 無需監督，可自主學習 | 需要由主管為資料標註標籤 |
| 探索與開發 | 必須在探索新行動與利用已知回報之間取得平衡 | 不存在勘探與開採之間的權衡；純粹以數據為導向 |
強化學習 的未來會如何？
近年來，深度強化學習（強化學習 ）領域已取得顯著進展。深度強化學習（強化學習 ）利用深度神經網路來建模價值函數（value-based）、代理人的策略（policy-based），或兩者兼具（actor-critic）。 在深度神經網路廣泛成功之前，為了訓練強化學習（RL）演算法，必須進行複雜的特徵工程。這意味著學習能力受到限制，使得強化學習的應用範圍僅限於簡單的環境。隨著深度學習的出現，模型可以利用數百萬個可訓練的權重來建構，讓使用者免於繁瑣的特徵工程。相關特徵會在訓練過程中自動產生，使代理能在複雜環境中學習到最優策略。
傳統上，強化學習（RL）一次僅應用於單一任務。每個任務由獨立的強化學習代理進行學習，且這些代理之間不會共享知識。這使得學習複雜行為（例如駕駛汽車）的過程效率低下且緩慢。對於那些擁有共同資訊來源、具備相關底層結構且相互依存的問題，若能讓多個代理協同工作，其表現將能獲得巨大的提升。 透過同時訓練多個代理，它們可以共享系統的相同表徵，使一個代理的表現提升能被另一個代理所利用。A3C（非同步優勢行為者-評論者）是此領域中一項令人振奮的發展，其透過多個代理並行學習相關任務。這種多任務學習情境正推動強化學習更接近通用人工智慧（AGI），其中一個元代理將學習如何學習，使問題解決能力比以往任何時候都更具自主性。
強化學習 以及 新思科技
新思科技 該公司採用強化學習 技術，開發出其DSO.ai™（設計空間最佳化 AI）解決方案，這是半導體產業中首個將自主人工智慧應用於晶片設計的案例。 受 DeepMind 的 AlphaZero（該系統已精通國際象棋或圍棋等複雜遊戲）啟發，DSO.ai 運用強化學習（RL）技術，在晶片設計的龐大解空間中搜尋最佳化目標。DSO.ai 透過在設計工作流程中大幅擴展選項探索範圍，同時將影響較小的決策自動化，從而徹底革新晶片設計，使 SoC 團隊能以專家級水準運作，並顯著提升整體吞吐量。
新思科技.ai：由人工智慧驅動的電子設計自動化（EDA）
透過我們這套先進的 AI 驅動解決方案套件，優化矽片性能、加速晶片設計，並提升整個 EDA 流程的效率。
相關資源
相關部落格文章
