알아보기

정의

증강 현실(AR)은 기술을 사용하여 시뮬레이션 된 환경과 실제 환경을 결합합니다. AR은 광학에 의존하여 사용자가 하나의 환경으로 경험할 수 있도록 실제 환경에 주석을 달거나 향상시키는 시뮬레이션된 환경을 만듭니다. 증강 현실용 하드웨어는 일반적으로 시각적 출력 디스플레이를 사용하여 시뮬레이션 된 실제 환경을 동기화하고 매핑하는 실시간 시뮬레이션이 가능한 컴퓨터를 포함합니다.

현재 가장 관심을 받고 있는 AR 광학 장치는 투시형 HMD(Head Mounted Display)이며, 이는 투시형 근거리 디스플레이 또는 헤드업 디스플레이(HUD)라고도 합니다. 가상 현실과 마찬가지로 사용자의 움직임을 감지하고 반응하는 웨어러블 장치(예: 햅틱 글로브), 오디오 피드백을 위한 장치, 신체와 머리 및 눈에 대한 추적기를 사용하여 시뮬레이션과 상호 작용할 수 있습니다. 그러나 증강 현실에서 사용자는 현실 세계의 사물과도 상호 작용합니다.

Augmented reality optics | Synopsys

증강 현실 광학은 어떻게 작동합니까?

증강 현실이 작동하려면 광학 시스템이 현재 환경을 오버레이하기 위해 눈 앞의 투명 디스플레이에 이미지를 투사해야 합니다. 헤드 마운트 디스플레이, 손으로 잡아지는 디스플레이(예: 디지털 태블릿) 또는 마운트 디스플레이(예: 윈드쉴드)의 형태일 수 있습니다.

AR 헤드셋 또는 마운트 디스플레이

일반적으로 증강 현실을 위한 광학 시스템은 광원(디스플레이), 수신기(눈), 광학 요소(렌즈)를 포함합니다.

  • 증강 현실을 위한 광원은 유기 발광 다이오드(OLED) 또는 액정 디스플레이(LCD)와 같은 마이크로 디스플레이입니다. 쌍안 HMD에는 일반적으로 각 눈에 별도의 이미지를 제공하고 입체경를 통해 3D 인식을 생성하는 두 개의 디스플레이가 있습니다. 홀로그램 HMD에서 광원은 공간 광 변조기(SLM)에서 변조된 간섭광입니다. 현실 세계의 광원은 시야 내의 물체에 의해 산란되거나 방출되는 빛입니다.
  • 수신기는 단순히 사용자의 눈입니다.
  • 광학 요소는 마이크로 디스플레이의 빛과 현실 세계의 빛을 결합하여 현실 세계에 마이크로 디스플레이의 증강 정보를 투사합니다. 아래 그림 1에 마이크로 디스플레이가 beam-shaping 렌즈, in-coupling 프리즘, 도수 렌즈 및 자유형 이미지 결합기를 통해 AR 안경에서 거리를 두고 이미징되는 예가 나와 있습니다. 실제 장면과 허상(증강 정보)이 도수 렌즈를 통해 눈에 이미지화 됩니다.
Schematic diagram of Prescription Augmented Reality (c) The Optical Society | Synopsys


그림 1: 도수 AR의 개략도: 

(a) 제안된 시스템의 AR 이미지의 측면도 및 빔 경로. 도수 렌즈는 시력 교정 및 AR 이미지의 도파관 모두에 작동합니다.  beam shaping 렌즈에 의해 굴절된 마이크로 디스플레이의 광선은 in-coupling 프리즘을 통해 도수 렌즈에 입사하여 렌즈에서 멀리 떨어진 곳에 확대된 허상을 생성합니다.

(b) 도수 AR의 기하학적 매개변수에 대한 상세 도표.

(c) 광학 부품의 3D 다이어그램.1

Reprinted with permission. © The Optical Society.

설계 고려 사항

HMD에서 이미지 품질에 대한 수차가 미치는 영향은 다른 광학 시스템과 유사합니다. 축 색수차, 구면 수차, 코마, 비점 수차 및 필드 곡률과 같은 수차는 흐림을 유발합니다. 왜곡, 코마, 측면 색수차와 같은 수차는 뒤틀림을 유발합니다. 수차 제어는 AR HMD 광학 설계에서 중요합니다. 전체 반사 자유형 설계의 예가 그림 2에 나와 있습니다. 여기서 (a)는 시스템 설계를 표시하고, (b)는 테스트 개체를 표시하며, (c)는 초기 시스템의 이미지 시뮬레이션 결과를 제공하고, (d)는 최적화 후 이미지를 보여줍니다. 이 예에서 우리는 수차와 왜곡을 줄이는 데 있어 최적화의 힘을 평가할 수 있습니다.

FOV사람 눈의 해상도를 모두 일치 시키는 것은 매우 어렵기 때문에 FOV, 무게(체적, 광학 요소 수), 해상도, 동공 크기(아이 박스), 눈 간격 및 마이크로 디스플레이의 크기 중 특정 작업에 대해 종종 절충이 이루어집니다. 일부 절충안은 향상된 기술로 해결할 수 있습니다. 몇 가지 잠재적인 솔루션이 아래에 나열되어 있습니다. FOV와 해상도 사이의 균형은 고해상도 삽입, 부분적인 쌍안 중첩, 공간 타일링, 시간 분할 및 회절 차수 타일링으로 해결할 수 있습니다. FOV와 동공 크기 간의 균형은 사출 동공을 배열로 복제하고 시선 추적 장치를 사용하여 해결할 수 있습니다.

Simulating an all-reflective freeform design in CODE V | Synopsys

그림 2: 전체 반사 자유형 설계 시뮬레이션

HMD용 VR 페이지도 참조하십시오.

증강 현실 광학을 설계하려면 무엇이 필요합니까?

Synopsys는 AR/VR 장치를 연구하기 위한 완전한 Tool 세트를 제공합니다. AR 광학 시스템의 설계에는 여러 소프트웨어가 필요합니다. 광학 엔지니어는 이미징 시스템을 생성 및 최적화하고, 광학 경로의 미광을 분석하며, 회절 광학 요소를 설계하기 위한 소프트웨어가 필요합니다. 시스템 자체를 설계하는 엔지니어는 시스템 레이아웃을 그리고 열 및 구조 분석을 수행하기 위해 CAD 패키지가 필요합니다. 또한 AR 시스템은 전기 엔지니어가 눈의 움직임을 추적하고 신호를 광학 시스템으로 전송해야 할 수도 있습니다.

Designing Augmented Reality Optics with Synopsys Optical Solutions Software | Synopsys

설계 방법: 

  • 광학 시스템:
    • CODE V 광학 설계 소프트웨어를 사용하여 광학 시스템을 통해 광선을 추적하고, 시스템을 최적화하여 수차를 줄이고, 왜곡을 줄이며, 헤드 마운트 디스플레이에서와 같이 해상도를 높일 수 있습니다. 자동차 헤드업 디스플레이(HUD)용 증강 현실 광학 장치도 CODE V에서 모델링할 수 있습니다(다음 섹션 참조). 그런 다음 형상을 LightTools로 내보낼 수 있습니다.

    • LightTools 조명 설계 소프트웨어는 조명, 미광 및 고스트 이미지를 모델링할 수 있으며, 조명 균일성을 최적화하는 데에도 사용할 수 있습니다.
Using CODE V and LightTools to model the optical systems for augmented reality optics | Synopsys

  • RSoft Photonic Device Tools를 사용한 격자 설계

    회절 격자는 빛을 도파관 플레이트에 결합하고 플레이트에서 나온 빛을 눈으로 결합합니다. 광학 시스템이 좋은 이미지를 생성할 수 있도록 격자를 적절하게 설계해야 합니다. 격자의 설계 및 최적화를 위해 격자는 모든 차수 또는 차수의 조합의 회절 각도, 효율 등에 따라 최적화될 수 있습니다.
    • DiffractMOD RCWA는 횡주기 장치의 회절 특성을 엄격하게 계산하는 매우 효율적인 도구입니다. 
    • FullWAVE FDTD는 필요할 때 횡주기 장치의 회절 특성을 엄격하게 계산하는 또 다른 강력한 도구입니다.
    • RSoft CAD 환경의 MOST 최적화는 FullWAVE 또는 DiffractMOD를 사용하여 격자를 최적화하는 편리한 방법을 제공합니다.

격자가 구축되면 BSDF(Bidirectional Scattering Distribution Function) 정보 및 레이아웃 파일을 LightTools로 직접 내보내 표면 속성을 정의할 수 있습니다. 모든 회절 속성은 표면(박막, 패턴 등)이 빛을 산란시키는 방법에 대한 정보를 포함하는 RSoft BSDF 파일에 포함되어 있습니다. 

Design gratings using RSoft Photonic Device Tools | Synopsys

자동차 애플리케이션을 위한 증강 현실 광학 장치는 어떻게 설계합니까?

헤드업 디스플레이(HUD)는 디스플레이의 이미지로 운전자의 시야를 확대합니다. 윈드쉴드를 통과하는 광선을 모델링하고 투사된 이미지의 품질을 평가하려면 소프트웨어가 필요합니다.

Head's Up Display Example | Synopsys

CODE V는 광범위한 광기계 시스템 설계 문제를 해결할 때 HUD 설계 공간의 애플리케이션을 위한 강력한 기능을 제공합니다. 엔지니어는 이 광학 설계 소프트웨어를 CAD 시각화에 사용하고 광선 추적을 위해 파일을 가져올 수 있습니다. CODE V는 컴팩트한 설계를 위해 설계 자유도에 대한 유연성으로 새로운 자유형 표면을 수용할 수 있고 윈드쉴드를 결합기로 모델링할 때도 유용합니다. 새로운 자유형 표면 유형은 보다 컴팩트한 폼 팩터와 결합된 뷰어의 눈(고밀도 디스플레이 픽셀)에서 디스플레이 해상도가 증가함에 따라 향상된 수차 제어를 허용합니다.

설계 완료 후에는 명목상의 일반 기준뿐만 아니라 실제 시스템의 As-Built 성능에 대해서도 최종 시스템 성능을 확인하는 것이 중요합니다. 이를 위해 LightTools는 뷰어 시뮬레이션을 위한 논리적인 다음 단계로 활용될 수 있습니다. LightTools의 디스플레이 이미지를 나타내는 스펙트럼 색상 개체의 역 광선 추적은 뷰어(모델 장면에)에 대해 투영된 HUD 이미지를 보여줍니다. 또한 LightTools 시뮬레이션은 시스템의 미광 또는 반사와 관련된 예상치 못한 문제를 발견하는 데 도움이 될 수 있습니다. 또한 엔지니어는 LightTools의 CAD 가져오기 및 측정 도구를 사용하여 다음을 결정할 수 있습니다:

  • 아이박스에서 윈드쉴드까지의 거리
  • 윈드쉴드의 대략적인 입사각
  •  윈드쉴드에서 대시보드까지의 거리

실제 광학 시스템 성능에 대한 LightTools 시뮬레이션은 엔지니어링 및 설계 작업에서 Synopsys 광학 솔루션 제품을 사용하는 고객에게 뛰어난 강점이 됩니다.

증강 현실과 가상 현실 광학의 차이점은 무엇입니까?

가상 현실과의 주요 차이점은 전자는 전체 시각적 환경을 시뮬레이션 하는 반면 증강 현실용 광학은 실제 환경을 캡처하고 시뮬레이션 된 환경을 실제 환경에 매핑하여 시각적 디스플레이를 사용하여 함께 표시한다는 것입니다.

증강 현실에서 디스플레이는 종종 시뮬레이션 된 환경과 실제 환경을 결합하기 위해 투시됩니다. 가상 현실(VR)에서 디스플레이는 시뮬레이션 된 환경만 출력하면 됩니다.

AR과 VR 광학 시스템 사이에는 몇 가지 차이점이 있습니다.

  • 첫째, AR은 특히 야외나 수술실과 같이 밝은 환경에서 고휘도 디스플레이를 필요로 합니다.
  • 둘째, AR용 see-through HMD의 발산은 1분에서 3분 미만이어야 합니다.
  • 마지막으로, see-through HMD는 넓은 FOV와 컴팩트한 폼 팩터를 구현하기 위해 접힌 설계를 따르는 경우가 많습니다. See-through HMD는 가상 장면의 반사광과 실제 물체의 투과광을 결합하기 위해 광학 결합기를 통합해야 합니다. 프로토타이핑을 위해 빔 스플리터가 결합기로 자주 사용됩니다. 결합기의 폼 팩터를 줄이기 위해 HOE는 얇고 평평하며 특정 파장에 대해 빔 스플리터의 기능을 구현할 수 있습니다.
Differences in augmented, mixed, and virtual reality applications | Synopsys

증강 현실 광학에 대한 실제 적용분야는 무엇입니까?

  • 운전을 위한 HUD
  • 도움 및 절차 지침을 중첩하기 위한 수술
  • 전투 지원
  • 엔지니어링 분야에서 건축 및 제품의 3D 설계 지원
  • 사람 간의 소통, 실제 사용자와 가상 사용자 동시에 상호 작용
  • 실제 환경을 포함하는 게임과 역사적 장면 또는 시간에 따라 변화하는 변화를 설명하는 관광 활동을 포함한 엔터테인먼트.
  • 교육. 예를 들어, 실제 환경에 대한 설명을 추가하는 교과서.
Examples of augmented reality applications | Synopsys

참고문헌:

[1] Jui-Yi Wu and Jonghyun Kim, "Prescription AR: a fully-customized prescription-embedded augmented reality display," Opt. Express 28, 6225-6241 (2020).