Author’s Note
‘보이지 않는 것을 보게 만드는 기술’
안녕하세요, HL클레무브에서 센서 인지 기술을 연구하고 있는 김형기입니다.
운전자의 개입이 최소화되는 자율주행 레벨 3 이상의 시스템(ADS)을 구현하기 위해 가장 중요한 것은 무엇일까요?
바로 어떤 상황에서도 빈틈없이 주변을 파악하는 '센서 리던던시(Redundancy, 중복 설계)'입니다. 그중에서도 라이다는 빛을 이용해 360도 전방위를 정밀하게 스캔하는 자율주행의 '핵심 눈' 역할을 합니다.
오늘 이 노트에서는 딥러닝 기반 라이다 인식 알고리즘이 어떤 개발 흐름을 통해 실제 차량에 탑재될 수 있는지, 전반적인 연구 과정과 기술적 고민들을 공유하고자 합니다.
1. 자율주행 패러다임의 변화: 레벨 2에서 레벨 3로
단순히 운전자를 보조하는 레벨 2 ADAS와 시스템이 주도권을 갖는 레벨 3 ADS를 가르는 가장 결정적인 차이는 도로 위를 감시하고 판단하는 주체가 누구인가에 달려 있습니다. 레벨 3 이상의 단계부터는 시스템이 주변의 동적 객체인 차량이나 보행자를 탐지하는 수준을 넘어, 도로 위에 놓인 작은 라바콘이나 전신주는 물론 복잡한 도로 인프라와 지형지물까지 포함하는 완벽한 '월드 모델링(World Modeling)'을 실시간으로 수행해내야만 합니다.
이러한 복합적이고 정교한 임무를 완수하기 위해, 라이다는 카메라의 시각적 불확실성과 레이더의 낮은 각도 해상도를 보완하여 주변 환경을 3D 포인트 클라우드로 재구성해내는 고해상도 3D 센서로서 자율주행 시스템의 중추적인 위상을 차지하고 있습니다.
2. 센서 리던던시의 완성 : 라이다가 지닌 독보적인 물리적 위상
라이다는 밀리미터파를 사용하는 레이더(Wavelength: 4mm) 와 비교했을 때, 현저히 짧은 나노미터 단위의 파장(905~1550nm)을 활용함으로써, 사물의 형태를 점으로 묘사하는 거리 및 각도 분해능(Range & Angle Resolution) 측면에서 압도적 우위를 가집니다.
카메라는 사물의 종류를 분류하는 데 강점이 있지만, 조도가 낮은 야간이나 시야가 확보되지 않는 악천후 상황에서는 한계가 있습니다. 이에 반해 라이다는 스스로 빛을 조사하여 돌아오는 시간을 측정하기 때문에 저조도 환경에서도 흔들림 없는 안정적인 3D 정보를 제공한다는 강력한 장점이 있습니다. 저희 HL클레무브에서는 이러한 각 센서의 물리적 특성을 이해하고 장단점을 융합하여, 하드웨어 사양을 소프트웨어 알고리즘으로 극대화하는 전략을 취하고 있습니다.
3. 딥러닝 기반 라이다 인식의 세 가지 패러다임 : 공간을 해석하는 다양한 시선
라이다가 생성하는 방대한 포인트 클라우드(x, y, z, Intensity)를 해석하기 위해, 저희는 현재 업계에서 가장 심도 있게 검토되고 있는 세 가지 주요 아키텍처를 우리 시스템에 맞게 분석하고 최적화했습니다.
- Voxel 기반 (VoxelNet): 연속적인 3D 공간을 일정한 크기의 격자로 나누어 특징을 추출하는 방식으로 데이터 구조가 정형화되어 있어 최적화된 병렬 연산이 가능, 속도는 매우 빠르지만 Voxel 크기에 따라 세밀한 정보가 손실될 수 있습니다.
- Point 기반 (PointRCNN): 개별 점의 좌표 정보를 보존하여 매우 정밀한 경계 박스Bounding Box를 생성합니다. 정밀도는 우수하지만, 포인트의 개수가 늘어남에 따라 연산 부하가 기하급수적으로 증가한다는 특징이 있습니다.
- Graph 기반 (Point-GNN): 수많은 점 사이의 상관관계를 노드와 엣지로 모델링하여 복잡하고 유기적인 패턴을 파악하는 데 탁월한 성능을 보여주지만, 실시간 주행 환경에서 그래프를 생성하고 갱신하는 비용이 크다는 단점이 있습니다.
4. 양산을 향한 극한의 최적화 기술 : 제한된 자원 속에서 끌어낸 최고의 퍼포먼스
연구실에서 거둔 뛰어난 성능의 알고리즘을 실제 양산 차량으로 끌어내기 위해서는 차량용 SoC(System on Chip)가 가진 제한된 연산 자원과 메모리를 고려한 고도의 최적화 작업이 필수적으로 수반되어야 합니다.
- 모델 양자화(Quantization): 고정밀 FP32 데이터를 연산 효율이 높은 INT8/16으로 정밀하게 변환함으로써 전체 모델 크기를 기존 대비 약 72.9% 축소(170MB → 46MB)하고, 추론 속도를 최대 4배까지 향상시켰으며, 변환 과정에서 발생하는 성능 저하를 방지하기 위해 학습 단계에서부터 양자화 오차를 반영하는 QAT(Quantization Aware Training) 기법을 고도화했습니다.
- Depth Completion: 물리적인 채널 수가 적은 저사양 라이다에서도 데이터가 듬성등성하게 나타나는 희소성(Sparsity) 문제를 해결하고자, 희소한 포인트를 알고리즘을 통해 밀접하게 생성하여 해상도를 높이는 기술을 도입함으로써 Car 클래스 기준 인식 성능(AP)을 기존 70.4%에서 76.6%까지 끌어올리는 쾌거를 이루었습니다.
- Auxiliary Network: 딥러닝 학습 시에는 보조 네트워크를 활용하여 데이터의 특징 추출 능력을 극한으로 높여 성능을 내재화하고, 실제 차량 환경에서 구동되는 추론 시점에는 이를 과감히 제거하여 실제 연산에 투입되는 자원 효율을 극대화하는 설계 전략을 적용했습니다.
5. 실차 검증 및 Multi-Object Tracking : 시간의 흐름 속에서도 끊김 없는 인지
단순히 특정 시점(Frame)에서 객체를 인식하는 것을 넘어, 실제 주행 환경에서 가장 중요한 것은 사물이 움직이는 궤적을 실시간으로 추적하며 예측하는 성능입니다. 이를 위해 저희는 독자적으로 완성한 라이다 인식 엔진 위에 고도화된 MOT(Multi-Object Tracking) 기능을 통합하여, 차량 주변의 모든 동적 객체를 시간의 흐름에 따라 유기적으로 관리하고 있습니다.
- 객체 관리의 핵심, Birth & Death Memory: 저희 시스템은 확률 기반의 Kalman Filter와 최적화 할당 알고리즘인 Hungarian Algorithm을 결합하여 운용됩니다. 새롭게 나타난 객체에 고유한 ID를 부여하는 'Birth' 단계부터, 해당 객체가 센서 범위를 벗어날 때까지의 궤적을 추적하고, 최종적으로 사라지는 'Death' 단계까지의 전 과정을 메모리상에서 정교하게 관리합니다.
- 가림(Occlusion) 상황의 극복: 도심 주행 중 가로수나 대형 차량 등에 의해 추적 중인 객체가 일시적으로 가려지는 '가림' 현상은 자율주행 인지 시스템이 직면하는 가장 큰 난제 중 하나입니다. HL클레무브의 MOT 기술은 객체가 보이지 않는 순간에도 이전의 이동 속도와 방향 데이터를 바탕으로 위치를 예측(Prediction)하고, 사물이 다시 나타났을 때 기존의 고유 ID를 정확히 재할당(Re-identification)함으로써 인지의 연속성을 보장합니다.
- 실차 검증을 통한 신뢰성 확보: 연구실 내 시뮬레이션에 그치지 않고, 다양한 도심 도로와 고속 주행 환경에서 수만 번의 실차 검증을 거쳤습니다. 이를 통해 갑작스러운 차선 변경이나 군집 보행자 등 복잡한 시나리오에서도 객체 간의 ID가 뒤바뀌는 'ID Switching' 현상을 최소화하였으며, 결과적으로 예측 제어 시스템이 가장 안정적인 판단을 내릴 수 있도록 고품질의 추적 데이터를 제공하는 성능을 확보했습니다.
마치며: 기술의 정교함이 곧 도로 위의 생명을 지키는 안전의 기준이 됩니다.
라이다 인식 기술의 발전은 이제 단순한 알고리즘의 정확도 경쟁을 넘어, 실제 차량이라는 한정된 환경 내에서 얼마나 효율적으로 임베디드 최적화를 달성하느냐와 동시에 데이터의 신뢰성을 어떻게 확보하느냐의 싸움으로 접어들고 있습니다. HL클레무브는 VoxelNet과 같이 실전 주행에 유리한 실용적 아키텍처를 기반으로 삼아, 그 위에 우리만의 독자적인 모델 양자화 및 데이터 보간 기술을 견고하게 쌓아 올림으로써 가장 현실적이면서도 강력한 자율주행의 '눈'을 완성해 나가고 있습니다.
자율주행 기술은 결코 어느 한순간의 화려한 기술적 도약으로 완성되지 않으며, 도로 위 수많은 변수에 대응하는 수십만 킬로미터의 주행 데이터와 이를 해석해내는 정교한 딥러닝 모델의 끊임없는 진화가 뒷받침될 때 비로소 그 결실을 맺을 수 있습니다. 저희는 앞으로도 기술의 완성이 곧 안전의 완성이라는 흔들리지 않는 신념을 바탕으로, 전 세계 모든 운전자가 도로 위에서 어떠한 불안함도 느끼지 않고 이동의 자유를 만끽할 수 있는 그날까지 끊임없이 연구하고 도전하며 가장 신뢰받는 자율주행의 표준을 만들어 가겠습니다.
