What is Reinforcement Learning?

강화 학습 (RL)은 최대 보상을 얻기 위해 특정 환경에서 최적의 행동을 학습하는 데 중점을 둔 의사결정 과학입니다. 이는 감독 없이 환경과의 시행착오를 통해 이루어지며, 즉각적인 보상과 지연된 보상을 활용하여 학습을 유도합니다.

How does Reinforcement Learning work?

강화 학습(RL)은 에이전트가 환경과 상호작용하며 누적 보상을 극대화함으로써 목표를 달성하는 과정입니다. 에이전트는 행동을 통해 상태를 살펴보기 하고, 보상을 관찰하며, 의사결정을 개선하기 위해 정책을 업데이트합니다. 최적의 정책을 학습하는 데는 모델 프리(가치 기반 및 정책 기반) 알고리즘과 모델 기반 RL 알고리즘이 사용됩니다.

What are some examples of Reinforcement Learning?

예를 들면, 불확실한 환경에서의 로봇 경로 계획, 알파고가 자기 대국을 통해 바둑을 익힌 사례, 그리고 동적 조건 하에서의 동작 예측 및 차량 경로 계획과 같은 자율주행 차량 제어 과제 등이 있습니다.

What are the benefits of Reinforcement Learning?

이점으로는 자율적인 데이터 수집, 동적 환경에 대한 적용 가능성, 장기적 목표에 대한 집중, 그리고 적응성 등이 있습니다. 강화학습(RL)은 미리 라벨이 지정된 데이터가 필요하지 않으며, 단기적 보상을 장기적 보상과 교환할 수 있어 일반 인공지능에 더 가깝습니다.

What are the challenges with Reinforcement Learning?

주요 과제로는 방대한 경험이 필요하다는 점, 지연된 보상을 처리하기 어렵다는 점, 그리고 해석 가능성이 부족하다는 점이 있습니다. 이러한 요인들은 학습 속도를 늦출 뿐만 아니라 실제 상황에서 신뢰성과 사용 편의성을 저해할 수 있습니다.

How does Reinforcement Learning differ from Supervised Learning?

지도 학습과 달리, 강화 학습(RL)은 레이블이 지정된 데이터가 필요하지 않습니다. 강화 학습은 환경과의 상호 작용을 통해 데이터를 수집하며, 명시적인 레이블 대신 보상을 활용합니다. 또한 강화 학습은 지도 학습이나 비지도 학습에서는 볼 수 없는 ‘탐색(exploration)’과 ‘활용(exploitation)’ 간의 균형을 맞추어야 하는 독특한 과제에 직면해 있습니다.

What is the future of Reinforcement Learning?

강화 학습(RL)의 미래에는 신경망을 활용한 딥 강화 학습 , 다중 에이전트를 통한 다중 과제 학습, 그리고 메타학습과 자율적 문제 해결을 가능하게 함으로써 인공 일반 지능(AGI)을 향한 진전이 포함됩니다.

How does Synopsys use Reinforcement Learning?

Synopsys 칩 설계를 위한 DSO.ai™ 솔루션에 강화 학습(RL)을 적용합니다. DSO.ai 는 강화 학습을 활용해 방대한 설계 공간을 탐색( 살펴보기 )하고, 목표를 최적화하며, 의사 결정을 자동화함으로써, AlphaZero가 게임을 정복한 방식과 유사하게 설계 처리량과 효율성을 향상시킵니다.

Contact Sales

시놉시스 검색

강화 학습이란 무엇인가요?

RL은 어떻게 작동하나요?
RL의 예시
RL의 장점
강화 학습(RL)의 과제
RL 대 지도 학습
강화학습의 미래
강화 학습 그리고 Synopsys

정의

강화 학습 (RL)은 의사결정 과학입니다. 이는 특정 환경에서 최대 보상을 얻기 위한 최적의 행동을 학습하는 것을 다룹니다. 이러한 최적의 행동은 환경과의 상호작용과 환경이 어떻게 반응하는지 관찰하는 과정을 통해 학습되는데, 이는 아이들이 주변 세상을 탐색하며 목표를 달성하는 데 도움이 되는 행동을 배우는 것과 유사합니다.

지도자가 없는 상황에서 학습자는 보상을 극대화하는 행동 순서를 스스로 찾아내야 합니다. 이러한 발견 과정은 시행착오를 통한 탐색과 유사합니다. 행동의 질은 그 행동이 가져다주는 즉각적인 보상뿐만 아니라, 향후 얻을 수 있는 지연된 보상까지 고려하여 평가됩니다. 지도자의 도움 없이도 이전에 경험하지 못한 환경에서 궁극적으로 성공으로 이어지는 행동을 학습할 수 있기 때문에, 강화 학습( 강화 학습 )은 매우 강력한 알고리즘입니다.

AI 기반 ‘ 강화 학습 ’는 어떻게 작동하나요?

강화 학습( 강화 학습 ) 문제는 에이전트가 목표를 달성하기 위해 알려지지 않은 환경을 탐색하는 것을 다룹니다. 강화 학습은 모든 목표가 기대 누적 보상의 극대화로 설명될 수 있다는 가설에 기반을 두고 있습니다. 에이전트는 최대 보상을 얻기 위해 자신의 행동을 통해 환경의 상태를 감지하고 변화시키는 법을 배워야 합니다. 강화 학습의 형식적 틀은마르코프 의사결정 과정(MDP)의 최적 제어 문제에서 차용한 것입니다.

강화 학습 시스템의 주요 구성 요소는 다음과 같습니다:

대리인 또는 학습자
에이전트가 상호작용하는 환경
에이전트가 조치를 취할 때 따르는 정책
에이전트가 행동을 취할 때 관찰하는 보상 신호

보상 신호를 유용하게 추상화한 것이 가치 함수(value function)로, 이는 상태의 ‘우수성’을 정확히 반영합니다. 보상 신호는 특정 상태에 있을 때 얻는 즉각적인 이득을 나타내는 반면, 가치 함수는 해당 상태에서부터 미래로 이어지며 누적될 것으로 예상되는 보상을 포착합니다. AI 강화 학습( 강화 학습 ) 알고리즘의 목표는 시스템의 모든 상태에서 얻을 수 있는 평균 가치를 극대화하는 행동 정책을 찾아내는 것입니다.

강화 학습 이 문제는 에이전트가 알려지지 않은 환경을 탐색하는 것과 관련이 있습니다 | Synopsys

RL 알고리즘은 크게 모델 프리(model-free)와 모델 기반(model-based)으로 분류할 수 있다. 모델 프리 알고리즘은 환경, 또는 더 엄밀히 말해 MDP에 대한 명시적인 모델을 구축하지 않는다. 이 알고리즘들은 행동을 통해 환경과 상호작용하며 실험을 수행하고, 이를 통해 최적의 정책을 직접 도출하는 시행착오 알고리즘에 더 가깝다. 모델 프리 알고리즘은 가치 기반(value-based) 또는 정책 기반(policy-based)으로 나뉜다. 가치 기반 알고리즘은 최적 정책을 모든 상태의 가치 함수를 정확하게 추정함으로써 얻어지는 직접적인 결과로 간주합니다.벨만 방정식으로 표현되는 재귀적 관계를 사용하여, 에이전트는 환경과 상호작용하며 상태와 보상의 궤적을 샘플링합니다. 충분한 궤적이 주어지면 MDP의 가치 함수를 추정할 수 있습니다. 일단 가치 함수가 알려지면, 최적 정책을 발견하는 것은 단순히 과정의 모든 상태에서 가치 함수에 따라 탐욕적으로 행동하는 문제일 뿐입니다. 널리 사용되는 가치 기반 알고리즘으로는SARSA와 Q-러닝이 있다. 반면, 정책 기반 알고리즘은 가치 함수를 모델링하지 않고 최적의 정책을 직접 추정한다. 학습 가능한 가중치를 사용하여 정책을 직접 매개변수화함으로써, 학습 문제를 명시적인 최적화 문제로 변환한다. 가치 기반 알고리즘과 마찬가지로 에이전트는 상태와 보상의 궤적을 샘플링하지만, 이 정보는 모든 상태에 걸친 평균 가치 함수를 극대화함으로써 정책을 명시적으로 개선하는 데 사용된다. 널리 사용되는 정책 기반 강화 학습 알고리즘으로는 몬테카를로 정책 기울기(REINFORCE)와 결정론적 정책 기울기(DPG)가 있습니다. 정책 기반 접근법은 높은 분산으로 인해 훈련 과정에서 불안정성이 나타나는 단점이 있습니다. 가치 기반 접근법은 더 안정적이지만, 연속적인 행동 공간을 모델링하는 데는 적합하지 않습니다. 가장 강력한 강화 학습 알고리즘 중 하나인 액터-크리틱(actor-critic) 알고리즘은 가치 기반 접근법과 정책 기반 접근법을 결합하여 구축됩니다. 이 알고리즘에서는 정책(액터)과 가치 함수(크리틱) 모두 매개변수화되어, 안정적인 수렴성을 유지하면서 훈련 데이터를 효과적으로 활용할 수 있습니다.

모델 기반 강화학습(RL) 알고리즘은 상태를 표본 추출하고, 행동을 취하며, 보상을 관찰함으로써 환경 모델을 구축합니다. 모든 상태와 가능한 행동에 대해, 모델은 기대 보상과 기대 미래 상태를 예측합니다. 전자는 회귀 문제인 반면, 후자는 밀도 추정 문제입니다. 환경 모델이 주어지면, 강화학습 에이전트는 환경과 직접 상호작용하지 않고도 행동을 계획할 수 있습니다. 이는 인간이 문제를 해결하려고 할 때 머릿속으로 진행하는 사고 실험과 유사합니다. 계획 과정이 정책 추정 과정과 밀접하게 결합될 때, 강화학습 에이전트의 학습 능력이 향상됩니다.

예시로는 강화 학습

에이전트가 특정 목표를 달성하기 위해 불확실한 환경과 상호작용해야 하는 모든 실제 문제는 강화학습(RL)의 잠재적 적용 분야입니다. 다음은 강화학습의 성공 사례 몇 가지입니다:

로봇공학.미리 프로그래밍된 동작을 수행하는 로봇은자동차 제조 공장의 조립 라인처럼 작업이 반복적인 성격을 띠는 구조화된 환경에서 유용합니다. 로봇의 행동에 대한 환경의 반응이 불확실한 실제 환경에서는 정확한 동작을 미리 프로그래밍하는 것이 거의 불가능합니다. 이러한 상황에서 강화 학습(RL)은 범용 로봇을 구축하는 효율적인 방법을 제공합니다. 강화 학습은 로봇이 두 지점 사이에서 충돌이 없고 로봇의 동역학적 특성에 부합하는, 짧고 매끄러우며 이동 가능한 경로를 찾아야 하는 로봇 경로 계획 분야에 성공적으로 적용되어 왔습니다.
알파고.가장 복잡한 전략 게임 중 하나는3,000년 역사를 지닌 중국 보드게임인 ‘바둑’입니다. 이 게임의 복잡성은 가능한 판의 조합이 10^270가지에 달한다는 사실에서 비롯되는데, 이는 체스보다 몇 배나 더 많은 수치입니다. 2016년, 알파고라는 강화학습(RL) 기반 바둑 에이전트가 세계 최고의 인간 바둑 기사를 꺾었습니다. 인간 기사와 마찬가지로, 알파고는 프로 기사들과 수천 번의 대국을 치르며 경험을 통해 학습했습니다. 최신 강화학습 기반 바둑 에이전트는 인간 기사에게는 없는 장점인, 스스로와 대국하며 학습할 수 있는 능력을 갖추고 있습니다.
자율주행.자율주행 시스템은불확실한 환경에서 다양한 인식 및 계획 작업을 수행해야 합니다. 강화학습(RL)이 적용되는 구체적인 자율주행 차량 제어 작업으로는 차량 경로 계획 및 동작 예측이 있습니다. 차량 경로 계획은 다양한 시간적·공간적 규모에 걸쳐 의사결정을 내리기 위해 여러 가지 저수준 및 고수준 정책을 필요로 합니다. 동작 예측은 보행자 및 다른 차량의 움직임을 예측하여, 환경의 현재 상태를 바탕으로 상황이 어떻게 전개될지 파악하는 작업입니다.

의 장점 강화 학습

강화 학습(RL)은 다른 기계 학습 알고리즘으로는 해결할 수 없는 광범위한 복잡한 문제에 적용될 수 있습니다. 강화 학습은 다양한 가능성을 자율적으로 탐색하면서 장기적인 목표를 추구할 수 있는 능력을 갖추고 있어, 일반 인공지능(AI)에 더 가깝습니다 강화 학습 . 강화 학습의 장점으로는 다음과 같은 것들이 있습니다:

문제 전체를 포괄적으로 다룹니다.기존의 기계 학습 가속기 및 알고리즘은 큰 그림을 고려하지 않은 채 특정 하위 작업에서 뛰어난 성능을 발휘하도록 설계되었습니다. 반면, 강화 학습(RL)은 문제를 하위 문제로 나누지 않고, 장기적인 보상을 극대화하는 데 직접적으로 집중합니다. 강화 학습은 명확한 목적을 가지고 있으며, 목표를 이해하고, 단기적인 보상을 희생하여 장기적인 이익을 얻을 수 있습니다.
별도의 데이터 수집 단계가 필요하지 않습니다.강화 학습(RL)에서는에이전트가 환경과 직접 상호작용함으로써 훈련 데이터를 얻습니다. 훈련 데이터는 학습하는 에이전트의 경험 그 자체이며, 알고리즘에 입력해야 하는 별도의 데이터 모음이 아닙니다. 이로 인해 훈련 과정을 담당하는 감독자의 부담이 크게 줄어듭니다.
역동적이고 불확실한 환경에서 작동합니다.강화학습(RL) 알고리즘은 본질적으로 적응적이며, 환경의 변화에 대응하도록 설계되었습니다. 강화학습에서는 시간이 중요한 요소이며, 에이전트가 수집하는 경험은 기존의 기계 학습 알고리즘과 달리 독립 동일 분포(i.i.d.)를 따르지 않습니다. 시간이라는 차원이 강화학습의 작동 원리에 깊이 내재되어 있기 때문에, 학습 과정은 본질적으로 적응적입니다.

이점	설명
목표 지향적 문제 해결	RL은 문제를 하위 작업으로 분해하지 않고 장기적인 보상을 극대화하는 데 중점을 둡니다.
사전 수집된 데이터가 필요하지 않습니다	RL은 환경과의 직접적인 상호작용을 통해 자체 훈련 데이터를 수집합니다.
변화무쌍한 환경에서의 적응력	RL 알고리즘은 시간이 지남에 따라 환경의 변화에 자연스럽게 적응합니다.
자율 학습	이 에이전트는 라벨이 지정된 데이터셋이나 지도 학습 없이, 시행착오를 통해 스스로 학습합니다.
지연된 보상을 처리합니다	RL은 즉각적인 피드백뿐만 아니라 일련의 행동에 따라 달라지는 결과를 최적화할 수 있습니다.

다음과 관련된 과제 강화 학습

강화학습(RL) 알고리즘은 다양한 시뮬레이션 환경에서 복잡한 문제를 해결하는 데 성공해 왔지만, 실제 세계에서의 도입 속도는 더딘 편입니다. 다음은 이러한 알고리즘의 도입을 어렵게 만든 몇 가지 과제입니다:

강화학습(RL) 에이전트에는 풍부한 경험이 필요합니다.강화학습 기법은 환경과 상호작용하며 훈련 데이터를 자율적으로 생성합니다. 따라서 데이터 수집 속도는 환경의 역학에 의해 제한을 받습니다. 지연 시간이 긴 환경에서는 학습 곡선이 둔화됩니다. 또한, 고차원 상태 공간을 가진 복잡한 환경에서는 적절한 해를 찾기 전에 광범위한 탐색이 필요합니다.
지연된 보상.학습 에이전트는단기적인 보상을 희생하여 장기적인 이익을 얻을 수 있습니다. 이러한 기본 원리 덕분에 강화 학습(RL)이 유용해지지만, 동시에 에이전트가 최적의 정책을 찾아내기 어렵게 만듭니다. 특히, 수많은 연속적인 행동이 이루어질 때까지 결과가 알려지지 않는 환경에서는 더욱 그렇습니다. 이러한 상황에서는 최종 결과에 대해 이전 행동에 공로를 돌리는 것이 어렵고, 훈련 과정에서 큰 분산이 발생할 수 있습니다. 체스 게임이 이에 대한 적절한 예시인데, 체스에서는 양쪽 플레이어가 모든 수를 다 두기 전까지는 게임의 결과가 알 수 없습니다.
해석 가능성의 부족.강화학습(RL) 에이전트가 최적의 정책을 학습하고 환경에 배치되면, 자신의 경험을 바탕으로 행동을 취합니다. 외부 관찰자에게는 이러한 행동의 이유가 명확하지 않을 수 있다. 이러한 해석 가능성의 부족은 에이전트와 관찰자 간의 신뢰 형성을 방해한다. 만약 관찰자가 RL 에이전트가 수행하는 행동을 설명할 수 있다면, 특히 고위험 환경에서 문제를 더 잘 이해하고 모델의 한계를 파악하는 데 도움이 될 것이다.

강화 학습 대. 지도 학습

지도 학습은 지식이 풍부한 지도자가 라벨이 붙은 데이터셋을 선별하여 학습 알고리즘에 입력해야 하는 기계 학습의 패러다임입니다. 지도자는 이 훈련 데이터, 즉 이미지, 텍스트 조각, 오디오 클립과 같은 예시 집합을 수집할 책임이 있으며, 각 예시에는 해당 예시를 특정 클래스에 할당하는 사양이 부여됩니다. 강화 학습(RL) 환경에서는 이 훈련 데이터셋이 각각 ‘적합도’ 라벨이 부여된 일련의 상황과 행동으로 구성됩니다. 지도 학습 알고리즘의 핵심 기능은 외삽 및 일반화를 통해 훈련 데이터셋에 포함되지 않은 예시에 대한 예측을 수행하는 것입니다.

강화학습(RL)은 기계 학습의 별도 패러다임입니다. RL은 지도 학습자나 미리 라벨이 지정된 데이터셋을 필요로 하지 않으며, 대신 환경과 상호작용하고 그 반응을 관찰함으로써 경험의 형태로 훈련 데이터를 획득합니다. 이러한 결정적인 차이 덕분에, 에이전트가 마주하게 될 모든 상황을 대표할 수 있는 라벨이 지정된 훈련 데이터를 별도로 수집하는 것이 비현실적인 복잡한 환경에서도 RL을 적용할 수 있습니다. 이러한 상황에서 효과가 있을 것으로 보이는 유일한 접근 방식은, RL과 마찬가지로 훈련 데이터 생성이 자율적으로 이루어지며 학습 알고리즘 자체에 통합된 방식입니다.

강화 학습(RL)은 지도 데이터가 필요하지 않기 때문에, RL이 기계 학습의 또 다른 패러다임인 비지도 학습과는 다르다는 점을 분명히 할 필요가 있습니다. 비지도 학습에서는 훈련 데이터에 레이블이 부여되지 않으며, 데이터 내의 숨겨진 구조를 밝혀내는 것이 목표입니다. 이러한 숨겨진 구조에 대한 지식을 바탕으로 모델은 유사한 예시를 그룹화하거나, 해당 예시를 생성한 분포 함수를 추정할 수 있습니다. 숨겨진 구조를 밝혀내는 것만으로는 궤적의 끝에서 보상을 극대화하는 것이 목표인 강화 학습 문제를 해결할 수는 없습니다. 그러나 에이전트의 경험 속에 숨겨진 구조에 대한 지식은 학습 과정을 가속화하는 데 도움이 될 수 있습니다.

강화학습(RL) 알고리즘에만 존재하는 과제는 탐색(exploration)과 활용(exploitation) 사이의 상충 관계입니다. 이러한 상충 관계는 지도 학습이나 비지도 학습에서는 발생하지 않습니다. 강화 학습 에이전트는 과거 경험을 활용하는 것과 환경의 알려지지 않은 상태를 탐색하는 것 사이에서 신중한 균형을 유지해야 합니다. 적절한 균형을 찾으면 에이전트는 최대 보상을 가져다주는 최적의 정책을 발견하게 됩니다. 만약 에이전트가 계속해서 과거 경험만을 활용한다면, 국소 최소점에 갇혀 차선책에 그치는 정책을 도출할 가능성이 높습니다. 반면, 에이전트가 활용 없이 탐색만 계속한다면 살펴보기 , 결코 좋은 정책을 찾지 못할 수도 있습니다.

측면	강화 학습	지도 학습
데이터 요구 사항	환경과의 상호작용을 통해 데이터를 생성합니다	사전에 수집되고 레이블이 지정된 데이터셋에 의존한다
교육 과정	시행착오와 지연된 보상을 통해 학습한다	라벨이 지정된 데이터를 사용하여 입력과 출력을 매핑함으로써 학습합니다.
응용 분야	불확실한 환경에서 순차적 의사결정을 위해 사용된다	분류, 회귀 분석 등에 사용됩니다.
감독	감독자가 필요 없으며, 스스로 학습합니다	데이터에 라벨을 붙이려면 관리자의 승인이 필요합니다.
탐사 대 개발	새로운 행동을 모색하는 것과 이미 알려진 보상을 활용하는 것 사이의 균형을 맞춰야 한다	탐사와 개발 간의 상충 관계 없음; 순전히 데이터 기반

강화 학습 의 미래는 어떻게 될까요?

최근 몇 년간 딥 강화 학습(deep 강화 학습) 분야에서 상당한 진전이 이루어졌습니다. 딥 강화 학습( 강화 학습 )은 딥 신경망을 활용하여 가치 함수(value-based)나 에이전트의 정책(policy-based), 또는 이 둘 모두(actor-critic)를 모델링합니다. 딥 신경망이 널리 성공하기 전에는 강화 학습(RL) 알고리즘을 훈련시키기 위해 복잡한 특징을 수동으로 설계해야 했습니다. 이는 학습 능력을 저하시켜 강화 학습의 적용 범위를 단순한 환경으로 제한했습니다. 딥 러닝을 통해 수백만 개의 훈련 가능한 가중치를 사용하여 모델을 구축할 수 있게 되었으며, 사용자는 지루한 특징 설계 작업에서 해방되었습니다. 관련 특징은 훈련 과정에서 자동으로 생성되므로, 에이전트는 복잡한 환경에서도 최적의 정책을 학습할 수 있습니다.

전통적으로 강화학습(RL)은 한 번에 하나의 과제에만 적용됩니다. 각 과제는 별도의 강화학습 에이전트가 학습하며, 이러한 에이전트들은 지식을 공유하지 않습니다. 이로 인해 자동차 운전과 같은 복잡한 행동을 학습하는 과정이 비효율적이고 느려집니다. 공통된 정보원을 공유하고, 관련성이 있는 기본 구조를 가지며, 상호 의존적인 문제들은 여러 에이전트가 협력하도록 함으로써 성능을 크게 향상시킬 수 있습니다. 여러 에이전트를 동시에 훈련시켜 시스템에 대한 동일한 표현을 공유하게 함으로써, 한 에이전트의 성능 향상을 다른 에이전트가 활용할 수 있게 됩니다. A3C(Asynchronous Advantage Actor-Critic)는 이 분야에서 주목할 만한 발전으로, 여러 에이전트가 관련 과제를 동시에 학습합니다. 이러한 다중 과제 학습 시나리오는 강화 학습을 AGI에 한 걸음 더 가까이 이끌고 있으며, 메타 에이전트가 학습 방법을 스스로 익힘으로써 문제 해결이 그 어느 때보다 자율적으로 이루어지게 합니다.

강화 학습 그리고 Synopsys

Synopsys 이 회사는 반도체 업계 최초로 칩 설계에 자율 AI를 적용한DSO.ai™(설계 공간 최적화 AI) 솔루션을 위해 딥마인드( 강화 학습 )의 기술을 활용하고 있습니다. 체스나 바둑과 같은 복잡한 게임을 정복한 딥마인드(DeepMind)의 알파제로(AlphaZero)에서 영감을 받은 DSO.ai™( DSO.ai )는 강화 학습(RL) 기술을 활용하여 칩 설계의 방대한 해 공간에서 최적화 대상을 탐색합니다. DSO.ai 는 설계 워크플로우 내 옵션 탐색 범위를 대폭 확대하는 동시에 중요도가 낮은 의사결정을 자동화함으로써 칩 설계에 혁신을 일으키며, 이를 통해 SoC 팀이 전문가 수준의 역량을 발휘할 수 있게 하고 전반적인 처리량을 크게 증대시킵니다.