EDA工具
System
IP
SolvNetPlus
培训中心
定义
强化学习（RL）是一门决策科学。它旨在学习在特定环境中获得最大奖励的最优行为。这种最优行为是通过与环境的交互以及观察环境的反应来学习的，这类似于儿童探索周围世界并学习有助于实现目标的行为的过程。
在没有监督的情况下，学习者必须独立发现能够最大化奖励的动作序列。这一发现过程类似于试错搜索。动作的质量不仅取决于其带来的即时奖励，还取决于其可能获得的延迟奖励。由于强化学习无需监督者的帮助，就能在未见过的环境中学习出最终能带来成功的动作，因此它是一种非常强大的算法。
人工智能强化学习是如何工作的？
强化学习问题涉及一个代理在未知环境中进行探索以实现目标。强化学习基于这样一个假设：所有目标都可以用期望累计奖励的最大化来描述。代理必须学会通过其动作感知和扰动环境状态，从而获得最大奖励。强化学习的形式化框架借鉴了马尔可夫决策过程（MDP ）的最优控制问题。
强化学习系统的主要组成部分包括：
- 代理还是学习者
- 代理所交互的环境
- 代理采取行动时遵循的策略
- 代理在采取行动时观察到的奖励信号
价值函数是对奖励信号的一种有用的抽象，它能真实地反映出一个状态的“优劣”。奖励信号代表处于某个状态所带来的即时收益，而价值函数则反映了从该状态开始，未来预计能获得的累计奖励。人工智能强化学习算法的目标是发现能够最大化从系统每个状态中提取的平均价值的动作策略。
强化学习（RL）算法大致可分为无模型算法和基于模型算法两类。无模型算法不会构建环境的显式模型，或者更严格地说，不会构建状态-动作空间（MDP ）。它们更接近于试错算法，即通过采取各种动作与环境进行交互，并直接从中推导出最优策略。无模型算法可进一步分为基于价值（value-based）和基于策略（policy-based）两类。 基于价值的算法认为，最优策略是准确估计每个状态的价值函数所直接得出的结果。利用贝尔曼方程描述的递归关系，智能体与环境交互以采样状态和奖励的轨迹。在获得足够多的轨迹后，即可估计该MDP 的价值函数。一旦得知价值函数，发现最优策略只需在过程的每个状态下，根据价值函数贪婪地采取行动即可。 一些流行的基于价值的算法包括SARSA和Q学习。另一方面，基于策略的算法无需建模价值函数，即可直接估计最优策略。通过使用可学习的权重直接对策略进行参数化，它们将学习问题转化为一个显式优化问题。与基于价值的算法类似，智能体也会采样状态和奖励的轨迹；然而，这些信息被用于通过最大化所有状态的平均价值函数来显式地改进策略。 常见的策略基强化学习算法包括Monte Carlo 策略梯度（REINFORCE）和确定性策略梯度（DPG）。策略基方法存在方差大的问题，这在训练过程中表现为不稳定性。价值基方法虽然更稳定，但不适合建模连续动作空间。 一种被称为“演员-评论家”算法的最强大的强化学习算法之一，正是通过结合价值基方法和策略基方法构建而成的。在该算法中，策略（演员）和价值函数（评论家）均被参数化，从而能够有效利用训练数据并实现稳定的收敛。
基于模型的强化学习算法通过采样状态、执行动作以及观察奖励来构建环境模型。 对于每个状态和可能的动作，模型会预测预期奖励和预期未来状态。前者属于回归测试 问题，而后者则是密度估计问题。给定环境模型后，强化学习代理无需直接与环境交互即可规划其动作。这类似于人类在尝试解决问题时可能会进行的思维实验。当规划过程与策略估计过程交织在一起时，强化学习代理的学习能力便得到了提升。
强化学习的示例
任何需要智能体与不确定环境进行交互以实现特定目标的现实世界问题，都是强化学习（RL）的潜在应用场景。以下是几个强化学习的成功案例：
- 机器人技术。具有预编程行为的机器人在结构化环境中非常有用，例如汽车制造厂的装配线，那里的任务本质上是重复性的。 而在现实世界中，由于环境对机器人行为的反应具有不确定性，预先编程出精确的动作几乎是不可能的。在这种情况下，强化学习（RL）为构建通用机器人提供了一种高效的方法。它已被成功应用于机器人路径规划领域——在该领域中，机器人必须在两个位置之间找到一条短、平滑且可通行的路径，该路径既要避免碰撞，又要与机器人的动力学特性相兼容。
- AlphaGo。围棋是一种拥有3000年历史的中国棋类游戏，也是最复杂的策略类游戏之一。其复杂性源于棋盘上存在10^270种可能的布局组合，这一数字比国际象棋多出好几个数量级。2016年，一个名为AlphaGo的基于强化学习（RL）的围棋智能代理击败了世界顶尖的人类围棋棋手。 它与人类棋手非常相似，通过体验 （从对手的对局中学习）的方式，与职业棋手进行了数千局对弈来积累经验。最新的基于强化学习的围棋智能体还具备通过自我对弈来学习的能力，这是人类棋手所不具备的优势。
- 自动驾驶。自动驾驶系统必须在不确定的环境中执行多项感知和规划任务。强化学习（RL）在自动驾驶车辆控制中的具体应用包括车辆路径规划和运动预测。车辆路径规划需要多种低级别和高级别的策略，以便在不同的时空尺度上进行决策。运动预测则是预测行人及其他车辆的运动轨迹，从而根据环境的当前状态来理解情况可能如何发展。
强化学习的优势
强化学习（RL）适用于其他机器学习算法无法解决的广泛而复杂的问题。强化学习更接近于通用人工智能（AI），因为它具备在自主探索各种可能性的同时追求长期目标的能力。强化学习的一些优势包括：
- 着眼于问题的整体。传统的机器学习加速器和算法旨在在特定的子任务上表现出色，却缺乏对全局的把握。而强化学习则不同，它不会将问题分解为子问题，而是直接致力于最大化长期奖励。它具有明确的目的，理解目标，并且能够权衡短期奖励与长期收益。
- 无需单独的数据收集步骤。在强化学习中，训练数据是通过智能体与环境的直接交互获得的。训练数据就是学习智能体的体验 ，而不是必须输入到算法中的独立数据集。这大大减轻了负责训练过程的监督人员的负担。
- 适用于动态且不确定的环境。强化学习（RL）算法本质上具有自适应性，旨在应对环境的变化。在强化学习中，时间因素至关重要，且代理收集的体验 并非独立同分布（i.i.d.），这与传统的机器学习算法不同。由于时间维度深深植根于强化学习的运作机制之中，因此其学习过程本质上具有自适应性。
| 优势 | 描述 |
| 目标导向的问题解决 | RL 专注于在不将问题分解为子任务的情况下，最大化长期收益。 |
| 无需预先收集数据 | RL通过与环境的直接交互来收集自己的训练数据。 |
| 动态环境中的适应能力 | 强化学习算法能够自然地适应环境随时间的变化。 |
| 自主学习 | 该智能体通过试错法自主学习，无需标注数据数据集 ，也无需监督。 |
| 处理延迟奖励 | 强化学习（RL）能够优化取决于动作序列的结果，而不仅仅是即时反馈。 |
强化学习面临的挑战
尽管强化学习算法在各种模拟环境中成功解决了复杂问题，但在现实世界中的应用却进展缓慢。以下是一些导致其推广困难的挑战：
- 强化学习（RL）代理需要大量体验 。强化学习方法通过与环境交互来自主生成训练数据。因此，数据采集的速度受限于环境的动态特性。高延迟的环境会减缓学习曲线。此外，在具有高维状态空间的复杂环境中，需要进行大量探索才能找到良好的解。
- 延迟奖励。学习型智能体可以权衡短期奖励与长期收益。虽然这一基本原理使强化学习（RL）具有实用价值，但也使得智能体难以发现最优策略。在需要执行大量连续动作后才能得知结果的环境中，这种情况尤为明显。在此情境下，将最终结果归因于先前动作是一项挑战，且会在训练过程中引入较大的方差。 国际象棋便是此处的典型例证：在双方玩家完成所有走法之前，比赛结果始终无法确定。
- 缺乏可解释性。一旦强化学习（RL）智能体学会了最优策略并部署到环境中，它就会根据其体验 采取行动。对于外部观察者而言，这些行动的原因可能并不明显。这种可解释性的缺失会阻碍智能体与观察者之间开发 的建立。如果观察者能够解释强化学习智能体采取的行动，这将有助于他更好地理解问题并发现模型的局限性，特别是在高风险环境中。
强化学习与监督学习
监督学习是一种机器学习范式，它需要一位具备专业知识的监督者来整理标注数据集，并将其输入到学习算法中。监督者负责收集这些训练数据——即一组示例，例如图像、文本代码片段 或音频片段，每个示例都附有将其归类到特定类别的标注。在强化学习（RL）场景中，该训练数据集通常表现为一组情境和动作，每个情境或动作都附有一个“优劣”标签。 监督学习算法的核心功能在于外插 和泛化，从而对训练数据集未包含的示例进行预测。
强化学习（RL）是机器学习中的一种独立范式。强化学习无需监督者或预先标注的数据集；相反，它通过与环境交互并观察环境的响应，以体验 的形式获取训练数据。这一关键区别使得强化学习在复杂环境中成为可能——在这些环境中，单独整理出能够代表智能体可能遇到所有情况的标注训练数据是不切实际的。 在这种情况下，唯一可能行之有效的方法是让训练数据的生成具有自主性，并将其整合到学习算法本身中，这与强化学习（RL）的运作方式非常相似。
由于强化学习（RL）不需要监督者，因此需要指出的是，强化学习与无监督学习并不相同——后者是机器学习的另一种范式。在无监督学习中，训练数据没有标签，其目标是发现数据中的隐藏结构。 了解这种隐藏结构后，模型便能将相似的样本分组，或估计生成这些样本的分布函数。揭示这种隐藏结构并不能解决强化学习的问题——即在轨迹结束时最大化奖励。然而，了解智能体体验 中隐藏结构的知识，有助于加快学习过程。
强化学习（RL）算法所特有的一个挑战是探索与利用之间的权衡。这种权衡在监督学习或无监督学习中均不会出现。 强化学习（RL）代理必须在利用其过去的体验 与探索环境中的未知状态之间取得精妙的平衡。恰当的平衡将引导代理发现能带来最大奖励的最优策略。如果代理仅持续利用 过去的体验 ，则很可能陷入局部极小值，从而产生次优策略。另一方面，如果代理只顾探索而忽略利用，则可能永远无法找到良好的策略。
| 对比方面 | 强化学习 | 监督学习 |
| 数据要求 | 通过与环境的交互生成数据 | 依赖于预先收集的、已标注的数据集 |
| 培训流程 | 通过试错和延迟奖励进行学习 | 通过使用标注数据将输入映射到输出进行学习 |
| 应用 | 用于在不确定环境中的序贯决策 | 用于分类、回归测试 等。 |
| 监督 | 无需监督，可自主学习 | 需要由主管对数据进行标注 |
| 探索与开发 | 必须在探索新行动与获取已知回报之间取得平衡 | 不存在勘探与开采之间的权衡；完全基于数据 |
强化学习的未来会是怎样的？
近年来，深度强化学习领域取得了显著进展。深度强化学习利用深度神经网络来建模价值函数（基于价值）、智能体的策略（基于策略）或两者兼而有之（演员-评论家）。 在深度神经网络取得广泛成功之前，训练强化学习算法必须通过特征工程构建复杂的特征。这导致学习能力受限，使得强化学习仅能应用于简单的环境。借助深度学习 ，模型可利用数百万个可训练权重进行构建，从而使用户免于繁琐的特征工程。相关特征会在训练过程中自动生成，使智能体能够在复杂环境中学习最优策略。
传统上，强化学习（RL）每次只应用于单一任务。每个任务由一个独立的强化学习代理进行学习，且这些代理之间不共享知识。这使得学习复杂行为（例如驾驶汽车）低效 且耗时。对于那些具有共同信息源、相关底层结构且相互依赖的问题，通过让多个代理协同工作，可以显著提升性能。 通过同时训练多个代理，它们可以共享对系统的同一表征，从而使一个代理的性能提升能够被另一个代理所利用。A3C（异步 优势行为者-批评者）是该领域一项令人振奋的开发 ，其中多个代理可同时学习相关任务。这种多任务学习场景正推动强化学习更接近AGI，届时元代理将学会如何学习，使问题解决比以往任何时候都更加自主。
强化学习与 新思科技
新思科技 其DSO.ai™（设计空间优化人工智能）解决方案运用了强化学习技术，这是半导体行业首次将自主人工智能应用于芯片设计。受DeepMind的AlphaZero（该系统已精通国际象棋和围棋等复杂游戏）的启发，DSO.ai利用强化学习技术，在芯片设计的庞大解决方案空间中搜索优化目标。 DSO.ai 通过在设计工作流中大幅扩展方案探索范围，同时将影响较小的决策自动化，从而彻底革新了芯片设计，使 SoC 团队能够以专家级水平进行操作 ，并显著提升整体吞吐量 。
新思科技.ai：基于人工智能的电子设计自动化（EDA）
借助我们先进的 AI 驱动解决方案套件，优化硅性能、加快芯片设计并在整个 EDA 流程中提高效率。
相关资源
相关博客文章
