E2E 자율주행 시대의 독립형 안전 감시(Safety Monitoring)와 Fallback 아키텍처
Author's Note
안녕하세요, HL클레무브에서 ADAS와 자율주행 시스템의 인지(Perception), 판단(Decision), 제어(Control) 소프트웨어 개발을 담당하고 있는 IVS Lab 김순태입니다.
최근 자율주행 업계의 기술 중심축은 의심할 여지 없이 거대 신경망 기반의 ‘엔드투엔드(End-to-End, E2E) AI’로 빠르게 이동하고 있습니다. 센서에 입력된 데이터가 심층 신경망을 거쳐 매끄러운 주행 궤적(Trajectory)으로 곧장 변환되는 모습을 보며, 일각에서는 엔지니어가 수식과 코드로 한 줄 한 줄 쌓아 올리던 제어 로직이 이제 불필요해진 것 아니냐는 의문을 던지기도 합니다.
하지만 제 생각은 다릅니다.
최근 글로벌 OEM과 빅테크 기업들이 앞다퉈 E2E AI에 투자를 쏟아붓고 있으면서도, 막상 번호판을 달고 도로로 나설 ‘양산차’ 앞에서 가장 깊게 고뇌하는 포인트도 바로 여기에 있습니다. 확률과 통계로 작동하는 인공지능만으로는 자동차 산업의 제1원칙인 ‘사고와 결함에 대한 엄격한 설명 책임’을 질 수 없기 때문이죠.
결국 자율주행의 진짜 승부처는 AI 모델 자체를 넘어, 그 불확실성을 안전으로 통제하는 ‘양산형 안전 아키텍처’에 있습니다. 이번 글에서는 왜 ‘독립형 안전 감시(Safety Monitoring)’와 ‘지능형 폴백(Fallback)’이 미래 모빌리티의 필수 불가결한 뼈대인지 그 이유와 설계 방향을 설명해 드리고자 합니다.
SUMMARY
자율주행과 안전 설계: 최신 엔드투엔드(E2E) AI 자율주행 시대에도 엔지니어 주도의 '양산형 안전 아키텍처'가 필수불가결함을 강조합니다.
명확한 역할 분리: 확률과 통계로 작동하는 AI가 유연하고 매끄러운 주행 궤적을 제안하면, 엔지니어가 수학적으로 정의한 규칙 기반(Rule-based)의 가드레일이 해당 궤적의 물리적·법적 실행 가능성을 엄격하게 검증하고 차단하는 구조가 필요합니다.
독립형 안전 감시: AI의 판단 오류를 검증 단계에서도 똑같이 범하는 공통 원인 오류를 막기 위해 주행 파이프라인과 안전 감시 파이프라인을 분리하며, 기하학적 유효성, 4차원 시공간 충돌 위험성, 차량 동역학적 한계를 3단계로 교차 검증해야 합니다.
지능형 폴백 체계: 위험 상황 발생 시 단순 급제동으로 인한 연쇄 추돌을 막기 위해 운행영역(ODD) 축소, 제어권 전환 요구(TOR), 최소 위험 조치(MRM)를 상황에 맞게 단계별로 수행해야 합니다. 이는 기능안전(ISO 26262), SOTIF(ISO 21448), AI 안전(ISO/PAS 8800) 등 글로벌 표준 체계와 연계되어 양산차의 신뢰성을 입증하는 핵심 뼈대가 됩니다.
프롤로그 : AI가 제안한 완벽해 보이는 회피 경로, 그대로 실행해도 될까요?
시속 100km로 고속도로를 달리는 도중, 전방 차량이 쿵 소리를 내며 급감속하는 돌발 상황을 가정해 보겠습니다.
[고속도로 전방 급감속 및 회피 주행 상황]
카메라와 레이더 센서 데이터를 실시간으로 처리한 최신 E2E AI가 전방 충돌을 피하기 위해 좌측 차선으로 매끄럽게 돌아 나가는 회피 궤적(Trajectory)을 순식간에 계산해 냈습니다. 사람보다 더 기민하고 유연한 판단처럼 보입니다.
하지만 이 경로를 차량의 조향축과 브레이크 액추에이터에 곧바로 인가해도 안전할까요?
겉보기엔 완벽해 보이는 이 경로 뒤에는 세 가지 치명적인 물리적∙법적 맹점이 숨어 있을 수 있습니다.
- 규범적 제약 : 해당 구간이 터널 진입로여서 차선 변경이 법적으로 엄격히 금지된 ‘백색 실선’ 구간일 수 있습니다.
- 동적 상호작용의 사각지대 : 좌측 후방 사각지대에서 140km/h로 돌진해 오는 후속 차량의 접근 속도 벡터를 단일 모델이 과소 평가했을 위험이 있습니다.
- 타이어-노면 접지 한계 : 도로 표면에 살얼음이 끼어 있다면, 제안된 궤적의 급격한 횡가속도 요구량을 타이어 마찰력(Friction Circle)이 지탱하지 못해 차체가 스핀(Spin)할 수 있습니다.
AI가 그럴듯한 주행 궤적을 만들어 냈다는 사실과, 그 경로가 ‘지금 이 순간 물리적∙법적으로 실행해도 안전한가’는 전혀 다른 차원의 문제입니다.
AI는 수많은 주행 데이터 속에서 “이 상황에서는 이렇게 달리는 것이 가장 부드럽고 자연스럽다”고 제안합니다. 반면 자동차 시스템은 “그 제안을 실행해도 안전한가”를 명시적인 안전 요구조건에 따라 검증해야 합니다.
“AI는 더 나은 주행을 ‘제안’하고, 안전 설계는 실행해서는 안 되는 경계를 ‘정의’합니다.”
바로 이 역할의 분리가 자율주행 안전 아키텍처가 출발하는 절대적인 대전제입니다.
실제 도로 환경에서도 이러한 안전 설계의 중요성은 명확히 드러납니다. 미국 도로교통안전국(NHTSA)을 비롯한 글로벌 규제 당국이 악천후나 역광 등 시야가 제한된 환경에서 발생한 주행 보조 시스템의 사고 사례를 면밀히 들여다보며 ‘성능 저하 감지 및 운전자 알림의 적절성’을 분석하는 이유 역시, 시스템이 인지 한계에 직면했을 때 안전의 마지노선을 어떻게 지켜낼 것인가가 자율주행의 핵심 과제이기 때문입니다.
1. AI의 주행 성능과 자동차의 안전성은 같은 지표가 아니다
기존의 ADAS(Advanced Driver Assistance System, 첨단 운전자 보조 시스템)에서는 카메라와 레이더가 인식한 정보를 바탕으로 엔지니어가 정의한 조건문과 제어 로직이 ACC(Adaptive Cruise Control, 적응형 크루즈 컨트롤), LFA (Lane Following Assist, 차로 유지 보조), AEB(Autonomous Emergency Braking, 비상 자동 제동) 등의 개별 기능을 정밀하게 수행했습니다. 동작의 이유와 한계가 명확히 설명되는 구조였죠.
반면 최신 End-to-End(E2E) AI는 센서 입력부터 최종 주행 판단까지를 거대한 심층 신경망 안에서 연결합니다. 사람이 일일이 수작업으로 규칙을 정의하기 어려웠던 복잡한 도심 교차로나 비정형 도로 환경을 데이터 학습의 힘으로 유연하게 돌파하려는 접근입니다.
[기존 ADAS vs E2E 자율주행 AI 아키텍처 비교]
| 기존 ADAS (명시적 규칙 기반) | E2E 자율주행 AI (확률적 신경망 기반) | |
| 아키텍처 | [센서 입력] → [객체 인식/추적] → [엔지니어의 수작업 룰(If-Then)] → [액추에이터 제어] |
[센서 입력] → [대규모 통합 심층 신경망] → [주행 궤적 출력] |
| 장점 | 왜 그렇게 동작했는지 설명 가능 (투명한 인과관계) | 사람과 유사한 유연하고 자연스러운 주행 판단 |
| 한계 | 비정형 도로 및 복잡한 시나리오 대응의 유연성 부족 | 내부 인과관계를 완전히 규명하기 어려운 ‘블랙박스(Black-box)’ |
그러나 여기서 엔지니어들이 가장 경계해야 할 함정이 있습니다. 모델의 평균 인식 정확도나 경로 예측 성능이 높다고 해서, 개별 주행 순간의 안전성이 보장되는 것은 아니라는 점입니다.
인터넷 검색이나 추천 알고리즘에서의 0.1% 실패는 사소한 해프닝에 불과할 수 있지만, 시속 100km로 달리는 자동차에서 0.1%의 오판은 곧 치명적인 사고로 이어집니다.
- 분포 외 데이터 (OOD, Out-of-Distribution) : 공사로 인해 차선이 플라스틱 드럼통으로 임시 변경된 도로, 짙은 안개와 강한 역광이 겹친 순간, 도로 위 특이 형상의 화물 낙하물처럼 학습 데이터에서 충분히 경험하지 못한 코너 케이스(Corner Case)에서는 AI가 상식 밖의 엉뚱한 경로를 산출할 수 있습니다.
- 오차의 공간적 증폭 : 신경망 내부의 아주 미세한 인지 왜곡이 다음 단계에서는 미래 경로의 수미터 단위 횡방향 이탈로 증폭되기도 합니다.
- 과신(Overconfidence)의 위험 : AI 모델 내부에서 계산된 신뢰도나 소프트맥스(Softmax) 확률이 높게 나왔다고 해서, 그 판단이 물리적으로 완벽히 안전하다고 단정할 수는 없습니다.
결국 “대부분의 상황에서 얼마나 매끄럽게 잘 달리는가”라는 성능 지표와, “예상치 못한 위험 판단이 나왔을 때 시스템이 이를 어떻게 걸러내는가”라는 안전 설계는 철저히 구분되어야 합니다.
2. AI와 Rule-based 설계는 대립하는 경쟁자가 아니다
일각에서는 E2E AI가 고도화되면 엔지니어가 손수 짜던 규칙 기반(Rule-based) 소프트웨어는 완전히 사라질 낡은 레거시인 것처럼 이야기합니다. 하지만 실제 자율주행 시스템 관점에서 두 기술은 대립하는 라이벌이 아니라 가장 완벽한 상호 보완재입니다.
모든 도로 상황과 인간 운전자들의 눈치 싸움을 수만 줄의 if-then 코드로 다 담아내는 데는 분명히 한계가 있습니다. 주변 차량과의 복잡한 상호작용이나 비정형 환경을 유연하게 해석하는 데 AI가 반드시 필요한 이유입니다.
그렇다고 해서 자동차가 결코 어겨서는 안 될 최소한의 안전 요구조건까지 딥러닝 모델의 학습 결과에 전부 맡길 필요는 없습니다.
| 구분 | AI 주행 플래너 | 규칙 기반 안전 가드레일 |
| 비유적 역할 | 센스 넘치는 자유로운 ‘선수’ | 엄격하고 단호한 ‘심판’ |
| 담당 영역 | 복잡한 도로 맥락 이해, 유연한 주행 궤적 생성 |
법규 준수, 물리 한계 검증, 페일세이프(Fail-safe) 보장 |
| 핵심 강점 | 데이터 기반 뛰어난 확장성과 자연스러운 거동 | 높은 설명 가능성과 예측 가능한 동작 |
| 취약점 | 코너 케이스에서의 블랙박스적 이상 거동 가능성 | 시나리오 복잡도 증가에 따른 룰 셋의 폭발적 팽창 |
제한속도 준수, 진입 금지 구역 회피, 충돌 위험 방지, 타이어 마찰 한계와 제동 감속도 제약 등은 숫자로 명확하게 정의할 수 있는 ‘결정론적 영역’입니다.
AI가 주변 흐름을 보고 부드러운 주행 경로를 제안하면, 엔지니어가 수학적으로 정의한 안전 가드레일이 ‘이 경로는 허용 횡가속도를 초과하므로 기각’, ‘이 경로는 2초 뒤 인접 차량과의 안전거리를 침범하므로 기각’ 형태로 검증하고 차단하는 구조가 가장 안전합니다.
엔지니어의 현실적 성찰 : 규칙 기반 역시 만능은 아닙니다
그렇다고 해서 규칙 기반 설계가 모든 문제의 완벽한 정답이라는 뜻은 아닙니다. 교통법규를 기계적으로 적용하려 해도 도로 표지와 신호, 주변 상황을 먼저 ‘정확히 해석’해야만 하며, 센서 입력 정보가 왜곡되어 있다면 올바르게 짜인 규칙이라도 잘못된 판단을 내릴 수 있기 때문이죠.
따라서 엔지니어는 단순히 규칙을 나열하는 데 그치지 않고, 각 규칙이 어떤 위험을 방지하기 위한 것인지, 어떤 센서 입력과 물리적 가정에 의존하고 있는지, 그리고 규칙을 적용할 수 없는 예외 상황에서는 어떻게 대처할 것인지까지 입체적으로 함께 설계해야 합니다.
3. 왜 AI와 별도의 독립된 ‘안전 감시(Safety Monitoring)’가 필요한가?
소프트웨어 설계에는 상식적이면서도 중요한 원칙이 하나 있습니다. “시험을 치른 당사자에게 스스로의 답안지 채점까지 전적으로 맡겨서는 안 된다.”
만약 AI가 생성한 경로의 유효성을 동일한 딥러닝 모델 내부의 판단으로만 재확인한다면 어떻게 될까요? 애초에 센서 입력을 왜곡되게 해석해서 잘못된 경로를 그렸다면, 검증 단계에서도 똑같은 착각에 빠져 잘못된 판단을 그대로 통과시키는 공통 원인 오류(Common-cause Error)를 피할 수 없습니다.
그래서 필요한 아키텍처가 바로 AI 주행 기능과 안전 감시(Safety Monitoring)기능의 물리적∙논리적 분리입니다.
이 구조는 “AI가 완벽할 것”이라고 전제하지 않습니다. 오히려 “AI는 언제든 알 수 없는 이유로 실수를 범할 수 있다”는 냉정한 현실을 시스템 설계의 기저에 두고, 독립된 감시 채널이 이를 상시 교차 검증하도록 만듭니다.
- AI 주행 기능: 통상적으로 고성능 NPU (Neural Processing Unit, 신경망 처리 장치)위에서 주변 맥락을 거시적으로 파악하여 가장 승차감이 좋고 자연스러운 궤적을 제안합니다.
- 안전 감시 기능: 통상적으로 독립된 기능안전 전용 안전 코어인 Safety MCU(Safety Microcontroller Unit)위에서 명시적인 안전 요구조건과 물리 법칙을 바탕으로 AI가 제안한 경로를 별도의 잣대로 검증합니다.
4. 안전한 경로는 지도 위의 선이 아니라 ‘시간에 따른 움직임’이다
내비게이션 모니터를 켜두고 보면 주행 경로는 도로 위에 그어진 정적인 ‘선’처럼 보입니다. 하지만 실제 도로 위의 안전은 그렇게 단순하게 결정되지 않습니다.
차량이 그 경로를 따라 달리는 동안, 주변의 다른 차량과 보행자 역시 계속해서 위치를 바꾸기 때문입니다. 따라서 경로 안전성 검증(Trajectory Safety Validation)은 단순히 선이 차선을 벗어나는지 확인하는 평면 작업이 아니라, 앞으로의 시간에 따라 차량과 주변 객체가 어디에 위치할지를 함께 평가하는 과정이어야 합니다.
[경로 안전성 3단계 검증 프로세스]
1단계. 기하학적 유효성
제안된 경로가 도로의 물리적 주행 가능 영역을 벗어나지 않는가
2단계. 4차원 시공간 충돌 위험성
시간의 흐름에 따라 주변 동적 객체의 예상 이동 궤적과 충돌 마진(TTC, Time-To-Collision)을 침범하는가
3단계. 차량 동역학적 실행 가능성
현재 노면 조건에서 요구되는 횡가속도와 감속량이 조향∙제동 한계 내에서 실현 가능한가
- 1단계 (기하학적 공간 검증) : 경로가 가드레일, 중앙분리대, 도로 경계석 등 정적 장애물을 침범하지 않고 안전한 주행 가능 영역(Drivable Free-Space) 안에 있는지 확인합니다.
- 2단계 (시간 및 동적 객체 상호작용 검증) : 주변 객체의 현재 위치와 예상 움직임을 바탕으로 미래 충돌 가능성을 점검합니다. 미래 움직임은 100% 단정할 수 없으므로, 예측의 불확실성 범위를 감안해 충분한 안전 여유 시간(TTC, Time-To-Collision)이 확보되는지 계산합니다.
- 3단계 (차량 물리 역학 검증) : 경로의 곡률을 따라갈 때 필요한 횡가속도와 감속량이 현재 차량의 조향∙제동 성능과 노면 마찰계수 조건에서 실제로 구현 가능한지 평가합니다. 비 오는 날 타이어 접지력을 넘어서는 과격한 코너링 경로라면 안전 감시 기능이 즉시 기각합니다.
5. 안전하지 않다고 판단했다면, 그 다음은 무엇인가?
위험한 경로를 걸러내는 것만으로 안전 설계가 완성되지 않습니다. AI의 경로 제안을 기각했다면, “그래서 지금 당장 차량이 어떻게 움직여야 하는가?”에 대한 구체적인 대응책이 준비되어 있어야 합니다.
위험을 감지했다고 해서 고속도로 한복판에서 무조건 급제동을 거는 것은 오히려 뒤따라오던 차량과의 연쇄 추돌이라는 새로운 참사를 부를 수 있습니다. 안전 대응(Fallback)은 위험의 종류, 센서 신뢰도, 전방 상황의 긴급도, 차량 속도, 주변 교통 흐름, 그리고 자동화 수준(Level 2 vs Level 3 이상)에 따라 단계별로 세밀하게 달라져야 합니다.
[상황별 지능형 Fallback 전략 흐름도]
- 운행설계영역 (ODD, Operational Design Domain) 축소: 일부 센서의 신뢰성이 떨어지거나 가벼운 시야 저하가 발생했을 때는 주행을 멈추기보다 최고 속도를 낮추고 안전거리를 넓히며 안정적인 거동을 유지합니다.
- 제어권 전환 요구 (TOR, Take-Over Request): 운전자의 감독형 시스템 (Level 2/2+)에서는 위험 상황을 직관적으로 알려 인간 운전자가 적절한 시점에 안전하게 개입할 수 있도록 유도합니다.
- 최소 위험 조치 (MRM, Minimum Risk Maneuver): 시스템이 주행을 책임지는 고도 자율주행 (Level 3/4) 조건이나 운전자가 반응하지 않는 위급 상황에서는 비상등을 켜고 차로 내에 안전하게 정차하거나, 가능할 경우 갓길로 차를 유도해 멈추는 전략이 사전에 치밀하게 코드로 정의되어 있어야 합니다.
이처럼 위험을 만났을 때 시스템이 패닉에 빠져 멈추는 것이 아니라, 사전에 약속된 가장 안전한 상태로 유연하게 넘어가는 것, 바로 이것이 Fallback의 본질입니다.
6. AI 시대에도 안전은 엔지니어가 설계해야 한다
인공지능의 시대가 도래했어도 지난 수십 년간 자동차 산업을 지탱해 온 안전 엔지니어링의 원칙들은 결코 흔들리지 않습니다. 오히려 세 가지 글로벌 안전 표준 체계 속에서 더욱 탄탄하게 융합되고 있습니다.
[차량 안전을 규정하는 글로벌 표준의 삼위일체 체계]
- ISO 26262 (기능안전, Functional Safety) : 반도체 결함, 전원 단절, 통신 오류 등 전기∙전자 시스템의 하드웨어 및 임베디드 소프트웨어 오작동에서 비롯되는 위험을 다룹니다.
- ISO 21448 (SOTIF, 의도된 기능의 안전성) : 기계적인 고장이 없더라도 역광, 폭설, 센서의 시야 한계, 알고리즘의 미인지 등으로 발생할 수 있는 위험을 통제합니다.
- ISO/PAS 8800 (AI 안전 표준) : 자율주행 시스템에 딥러닝 인공지능 기술을 도입할 때 요구되는 데이터셋의 신뢰성, 모델 불확실성 관리, 비결정론적 거동의 안전성 검증 관점을 제시합니다.
실험실에서 멋진 주행 데모 영상을 시연하는 것과, 수백만 대의 실제 양산차에 소프트웨어를 탑재해 공공 도로의 안전을 책임지는 것은 완전히 다른 차원의 문제입니다. 법규와 규제, 그리고 탑승자의 목숨이 걸린 양산의 문턱을 넘으려면 '왜 그렇게 움직였는가'를 언제든 설명하고 증명할 수 있는 안전 체계가 필수적입니다.
아무리 뛰어난 E2E AI라 할지라도 독립된 안전 감시망과 다단계 폴백이라는 물리적 가드레일이 결합되지 않는다면, 그 차는 결코 테스트 베드를 벗어나 번호판을 달 수 없습니다.
과거의 엔지니어가 주행 상황에 대한 모든 판단 로직을 손수 짜는 데 집중했다면, 오늘날의 엔지니어는 “AI에 맡길 영역과 명시적인 안전 요구조건으로 통제할 영역을 구분하고, AI라는 선수가 마음껏 실력을 발휘할 수 있도록 견고한 안전 경기장을 짓는 아키텍트이자 양산의 문지기”가 되어야 합니다.
핵심은 규칙을 사람이 손으로 썼는지 데이터로 학습했는지가 아닙니다. 차량의 안전 요구조건과 실제 거동이 ‘언제든 설명 가능하고, 검증 가능하도록 설계되어 있는가’입니다.
에필로그 : 기술의 화려함 뒤편에서 끝까지 안전을 증명하는 일
자율주행 기술의 진화 속도는 눈부십니다. 하지만 스크린 속 신경망이 제아무리 유려한 궤적을 그려내도, 자동차의 타이어가 맞닿아 있는 곳은 여전히 거칠고 차가운 실제 도로이며 그 안에는 무엇과도 바꿀 수 없는 소중한 사람의 생명이 타고 있습니다.
우리가 독립된 안전 감시망을 세우고, 밀리초(ms) 단위로 4차원 궤적을 쪼개어 검증하며, 치밀한 폴백(Fallback) 시나리오를 코드로 새겨 넣는 이유가 바로 여기에 있습니다.
AI가 더 넓은 도로를 읽어내며 주행의 자유를 무한히 확장할 때, 그 자유가 완전한 신뢰를 얻도록 안전의 빗장을 단단히 잠그는 일. 그것이 모빌리티 기업이 끝까지 사수해야 할 대체 불가능한 책임이자 자부심 아닐까요?
세상에서 가장 영리한 인공지능이 마침내 가장 안전한 자동차로 도로를 달릴 수 있도록, HL클레무브는 끝까지 타협 없는 양산형 안전 아키텍처의 기준을 확고히 세워나갈 것입니다.
참고자료
1. U.S. NHTSA, Preliminary Evaluation PE24031, “FSD Collisions in Reduced Roadway Visibility Conditions,” 2024.
2. U.S. NHTSA, Engineering Analysis EA26002, “FSD Collisions in Reduced Roadway Visibility Conditions,” 2026.
3. ISO 26262, Road vehicles — Functional safety / ISO 21448, Road vehicles — Safety of the intended functionality / ISO/PAS 8800:2024, Road vehicles — Safety and artificial intelligence.
