얀 마든버러라는 레이싱 드라이버에 대해 들어본 적 있나요? 레이싱 비디오 게임을 즐기다 실제 레이싱카를 운전하는 기회를 잡아 프로 레이서가 된 영국의 드라이버인데요. 게임으로 운전을 배운 ‘심레이서’라는 조롱을 딛고 당당히 프로 선수가 된 그의 이야기는 영화 <그란 투리스모>로 제작되기도 했는데요. 최근에는 시뮬레이터를 가지고 도로주행 연습 서비스를 제공하는 업체도 있어 ‘시뮬레이션으로 운전을 배웠어요’가 더 이상 낯선 일이 아니게 되었습니다.
자율주행 시스템의 검증에도 가상환경 시뮬레이션이 활용된다는 사실, 알고 계셨나요? HL클레무브는 게임 엔진 서비스로 유명한 유니티와 손을 잡고 가상환경에서의 검증 테스트를 진행하고 있는데요. 자율주행 회사가 왜, 어떻게 가상환경을 활용하게 되었는지 HL클레무브의 Platform SW 2팀 김영수, 이준희 연구원을 만나 이야기를 나눠보았습니다.
가상환경에서 테스트를 할 수 있을까?
HL클레무브 플랫폼 소프트웨어 2팀은 운전자보조 주행 제어기인 ADCU10/15와 전방카메라에 대한 플랫폼 소프트웨어 개발을 담당하는 팀입니다. 특히 전방카메라는 자율주행 시스템을 개발하는 데 있어 필수적인 제어기인데요. 중요도가 높은 제품인 만큼 개발 과정에서도 많은 테스트를 요하고 있습니다. 하지만 2019년 이전까지는 실차평가를 위한 시험차가 부족하여 타팀의 협조를 구하거나 보정 테스트를 진행할 때마다 타깃을 인쇄해 손수 제작하는 등 수고로움이 많았는데요. 이러한 상황을 해결하고자 가상 환경 시뮬레이터를 구축하게 되었습니다.
HL클레무브는 시뮬레이션을 위한 가상환경을 구축하는 데 있어 게임 엔진으로 유명한 기업인 유니티(Unity)와 협업을 진행했는데요. 유니티의 프로그램은 자동차 업계에서 일반적으로 사용하는 다른 툴보다 커스터마이징이 편하고 경제적이라는 장점이 있습니다. 유니티에서도 자동차 업계와의 협업에 적극적으로 응하면서 HL클레무브의 가상환경 검증을 위한 전용 툴이 개발되었습니다.
영수: 개발 당시에 유니티에서도 자동차업계와의 협업에 매우 긍정적이어서 저희의 요구사항을 적극적으로 수용해줬다고 합니다. 덕분에 해를 거듭하면서 오브젝트의 배치와 맵 타일 설치가 간편한 현재의 전용 툴을 완성할 수 있었습니다.
이렇게 구축한 가상환경을 통한 자율주행 검증 테스트의 가장 큰 장점은 바로 환경적인 제약이 사라진다는 점입니다. 24시간 연중무휴로 자동 테스트를 진행할 수 있음은 물론 길가의 보행자, 사물 등 장애물은 물론 날씨와 주행 시간대 등 환경적인 요소도 시험자가 직접 설정할 수 있게 되는데요. 이를 통해 다양한 돌발상황이나 가혹한 조건에서의 시험도 안전하게 수행할 수 있습니다.
영수: 시뮬레이터가 보여주는 모사환경은 실제 환경과 차이가 날 수밖에 없어요. 하지만 실제 시간, 날씨 등 환경적인 제약에서 자유롭죠. 이전처럼 연구원들이 직접 타깃을 하나하나 제작할 필요도 없기 때문에 시간과 비용을 절감하는 데 있어 매우 효율적입니다.
HL클레무브는 이렇게 구축한 시뮬레이션 환경을 보정 테스트와 기본 인식 동작 테스트, EyeQ(Mobileye 社의 시스템온칩) Failsafe 동작 테스트 등 다양한 목적으로 활용하고 있습니다.
1) 보정 테스트: 새 버전의 SW 배포 전 인식기능 향상을 위한 카메라 보정 방법 검증시험(TAC/SPC/SPTAC/Autofix)
2) 기본 인식 동작 테스트: 주행 중 사물 인식 기능 기본 동작 시험에 활용. 다양한 사물을 한꺼번에 정확히 인식할 수 있는지에 대해 검증
3) EyeQ Failsafe 동작 테스트: 갖가지 돌발 위험 상황 및 고장 상황에 대한 모사 환경 구축 및 고장 검출 시험에 활용
Q. 두 분은 시뮬레이션 환경을 어떻게 활용하고 계신가요?
준희: 저는 전방 카메라의 핵심 기능인 영상처리를 위한 Mobileye EyeQ SoC 제품의 제어 소프트웨어를 개발하고 있는데요. MCU(Micro Controller Unit)와 SoC(System on Chip)의 통신을 위한 인터페이스를 개발하고 시뮬레이션 환경을 이용해 영상 데이터가 원활하게 송수신되는 것을 확인합니다.
영수: 저는 전방 카메라 기능 동작을 위한 카메라 보정 관련 SW 검증 및 개발을 담당하고 있는데요. 전방카메라가 차량 주행 중 이미지센서에서 얻는 영상 정보를 토대로 인식/검출/추적/판단 기능이 잘 동작하려면 먼저 카메라의 위치와 자세를 파악해야 합니다. 자동차 양산 라인에서 실차 탑재 후 카메라 보정 관련 일련의 과정이 잘 진행될 수 있도록 VSOC 제어 지원 및 검증을 진행하는 과정에서 시뮬레이터를 적극 활용하고 있어요.
가상환경에서의 검증 테스트, 믿을 수 있을까?
그렇다면 가상환경에서의 검증 실험 결과는 어느 정도의 신뢰를 가질까요? 시뮬레이터 안에서는 이상이 없었는데, 실제 도로로 나왔을 때 문제가 발생하면 큰 문제를 야기할 수 있기 때문에 신뢰도는 매우 중요한 문제인데요. 그렇다면 가상환경 테스트를 거친 카메라가 실제 주행 환경에서도 같은 실험 결과를 가져올 수 있을까요?
Q. 가상환경을 통한 테스트 결과, 믿을 수 있나요?
준희: 저도 처음엔 신뢰도에 대한 의심이 있었어요. 하지만 실차 검증팀이나 공장에 넘어간 뒤에 오는 피드백을 보니 실패가 거의 없더라고요. 이제는 안심하고 열심히 테스트를 진행하고 있습니다(웃음).
영수: 오히려 가상 환경 시뮬레이터를 통해 문제를 해결한 경우도 있어요. 예전에 특정 조건/장면에서만 비전 프로세서가 멈추는 증상을 발견했는데, 실차 환경에서 해당 조건을 재현하기가 어려웠거든요. 당시에는 저희의 VR환경이 개발 초기단계였는데, 해당 조건의 장면을 만들어 반복 주행을 진행했고 문제 분석에 도움을 받았습니다. 그 뒤로 가상환경 검증에 대한 신뢰가 더욱 높아진 것 같아요.
이러한 정확도를 낼 수 있는 이유는 카메라가 가상환경을 실제 환경으로 인식할 수 있게 비전 프로세서를 ‘잘’속였기 때문인데요. 가상환경 실험 환경에서는 실제 양산용 카메라가 사물을 인식하는 거리보다 가까운 60㎝정도 거리에 모니터가 있기 때문에 시야각(FOV, Field of View)을 맞추기 위해 측수한 단초점 렌즈를 사용합니다. 이를 통해 카메라가 시뮬레이터 안에서 지나다니는 차량의 크기를 실제 차량의 크기로 인식하게 합니다.
다만 시간이 지날수록 카메라가 똑똑해지고 있어 그래픽 수준 등을 꾸준히 향상시켜야 하는 과제가 있습니다. 현재 HL클레무브의 시뮬레이션 환경은 고사양 게임 그래픽 수준으로, 다양한 인식 시험을 위해 지팡이를 든 노인, 유모차를 끄는 사람, 어린이 등 여러 케이스를 커버할 수 있습니다. HL클레무브는 앞으로 비전 프로세서의 진화에 발맞춰 그래픽 수준을 높이고, 더욱 다양한 객체를 추가할 예정입니다.
영수: 시뮬레이션 환경 개발 초기에는 폴리곤(다면체의 3D 물체)형태의 사람이나 자동차로도 당시의 비전 프로세서를 속일 수 있었는데요. 이제는 비전 프로세서도 진화했기 때문에 도로를 지나는 오브젝트들을 더 리얼하게 구성해야 매끄럽게 인식할 수 있습니다.
HL클레무브는 앞으로도 가상현실 기반의 자율주행 개발을 적극 이용할 계획입니다. 시뮬레이터가 소프트웨어 개발 초기에 발생할 수 있는 여러 버그를 시뮬레이터를 통해 조기에 발견하고 빠르게 수정할 수 있다는 점 등 실차 시험의 단점을 보완할 수 있는 장점을 갖고 있기 때문입니다.
Q. 앞으로 시뮬레이터를 어떻게 활용하고, 발전시키고 싶은가요?
준희: 지금 자율주행 기술이 빠르게 고도화되는 만큼 앞으로는 자율주행을 위해 더 많은 카메라가 장착되고 더 많은 역할을 하게 될 거예요. 그래서 저희의 시뮬레이션 환경도 전방카메라 뿐만 아니라 다수의 카메라를 통합해 시험할 수 있는 환경을 구축할 수 있게끔 발전시킬 예정이고요.
영수: 지금은 저희가 열댓개의 시뮬레이션 환경을 가지고 있는데요. 앞으로 좀 더 다양한 환경의 시나리오를 준비해 적용하고 싶어요. 도로 상황이라는 건 국가, 날씨, 지형 등의 요건에 따라 정말 다양하잖아요. 베트남처럼 이륜차의 비중이 높은 곳도 있고, 인도처럼 도로에 소가 지나다니는 곳도 있죠. 모든 상황을 커버할 수 있는 시나리오를 준비하고 싶습니다.
가상환경을 이용한 검증 이야기, 재미있으셨나요? 모니터에서는 레이싱 게임 같은 그래픽이 흘러나오는데 카메라가 화면 속 장애물들을 속속 감지해내는 모습은 눈으로 보고 있음에도 신기한 장면이었는데요. ‘그래도 그래픽인데….’하는 시뮬레이터에 대한 한 조각 의심도 모두 털어낼 수 있었던 시간이었습니다.
