GRADUATION THESIS

RT-DETR과 SAM 2.1을 활용한
도로 파손 검출 및 보수면적 산정

Road Distress Detection and Repair Area Estimation Using RT-DETR and SAM 2.1
선용석
부산대학교 정보융합공학과 AI전공
KEYWORDS

키워드

도로 파손 검출 · Road Distress Detection RT-DETR · Real-Time Detection Transformer SAM 2.1 · Segment Anything Model 2.1 포트홀 검출 · Pothole Detection 픽셀 단위 분할 · Pixel-Level Segmentation 보수면적 산정 · Repair Area Estimation
01 · BACKGROUND

배경

도로 포장의 파손 상태를 정확하게 검출하고 그 크기를 정량적으로 산정하는 것은 효율적인 도로 유지관리와 보수계획 수립에 중요하다.

최근 도로 파손 자동 탐지 분야에서는 빠른 추론 속도와 비교적 높은 객체 검출 성능을 갖는 YOLO 계열의 모델이 널리 활용되고 있다.

그러나 실제 도로주행 영상에는 차선, 균열, 그림자, 기존 보수 흔적 등 파손과 유사한 다양한 시각적 요소가 함께 존재하므로, 복잡한 도로 환경에서 실제 파손을 보다 정확하게 구분하기 위한 추가적인 성능 개선이 필요하다.

또한 실제 보수계획에서는 파손의 존재 여부뿐 아니라 실제 보수가 필요한 면적을 정확하게 산정하는 과정도 중요하다.

02 · LIMITATIONS

기존 한계

YOLO 계열을 포함한 기존의 바운딩 박스 기반 객체 검출 방식은 파손 객체의 위치를 빠르게 탐지하는 데 효과적이지만, 복잡한 실제 도로 영상에서는 파손과 시각적으로 유사한 배경 영역을 잘못 검출하는 False Positive 문제가 발생할 수 있다.

또한 바운딩 박스는 실제 파손 경계뿐 아니라 주변의 정상 포장 영역까지 함께 포함하므로, 이를 그대로 면적 산정에 사용할 경우 실제 파손면적보다 크게 계산될 가능성이 있다.

따라서 기존 YOLO 기반 탐지 방식보다 높은 검출 성능을 확보하면서도 실제 파손의 경계를 보다 정밀하게 추출할 수 있는 방법이 필요하다.

03 · PROPOSED METHOD

제안

본 연구에서는 도로 파손 탐지에 널리 활용되는 YOLO 계열의 성능을 기준으로, Transformer 기반 RT-DETR과 SAM 2.1을 결합한 도로 파손 검출 및 보수면적 산정 프레임워크를 제안한다.

RT-DETR은 Transformer 기반 구조를 이용하여 도로 영상 전체의 전역적 문맥 정보를 파악하고, 개별 파손 후보뿐 아니라 주변 도로 구조 및 다양한 시각적 패턴과의 관계를 함께 고려한다. 이를 통해 복잡한 실제 도로주행 환경에서 실제 도로 파손과 시각적으로 유사한 배경 영역을 보다 효과적으로 구분하는 것을 목표로 한다.

이후 RT-DETR이 생성한 bounding box를 SAM 2.1의 prompt로 입력하여 실제 파손 영역을 pixel-level mask로 변환한다. 이를 통해 단순한 바운딩 박스 면적이 아니라 실제 파손 형상에 보다 가까운 영역을 기준으로 보수면적을 산정하고자 한다.

도로주행 영상
→
RT-DETR
→
파손 검출
→
SAM 2.1
→
Pixel-Level Mask
→
보수면적 산정

모델은 총 33,605장의 도로 영상을 활용한 2단계 학습 방식으로 구성하였다.

9,131 1단계 정제 데이터
18,297 2단계 실제 도로주행 데이터
6,177 최종 평가용 실제 도로주행 데이터
1단계에서는 정제 데이터를 이용해 기본적인 파손 검출 능력을 학습하였고, 2단계에서는 실제 도로주행에서 수집된 영상을 이용하여 보다 복잡한 도로 환경에 대응할 수 있도록 파인튜닝하였다.
04 · RESULTS

결과

현재 포트홀 평가에서는 총 300장의 도로 영상을 사용하였으며, 이 중 41장에는 65개의 검수·보정된 포트홀 객체가 포함되어 있고, 나머지 259장은 포트홀이 없는 영상으로 구성하여 오검출(False Positive) 성능도 함께 평가하였다.

YOLO11+SAM 2.1 파이프라인과 비교한 결과, RT-DETR+SAM 2.1 파이프라인은 Recall, Precision, F1 score에서 향상된 성능을 나타냈으며, 포트홀 건수오차율과 세그멘테이션 면적오차율도 감소하였다.

+64% Recall
+186% Precision
+178% F1 Score
-44% Count Error
-34% Area Error

Mask 형상 정보를 이용한 후처리는 검출된 실제 포트홀을 유지하면서 False Positive mask를 추가적으로 감소시키는 데 기여하였다.

이러한 결과는 Transformer 기반 RT-DETR의 전역적 문맥 활용과 SAM 2.1의 정밀한 영역 분할을 결합하는 방식이 기존 YOLO 기반 파이프라인보다 도로 파손 검출 및 면적 산정 성능을 개선할 가능성이 있음을 보여준다.

향후에는 반복적으로 오검출되는 도로 배경 패턴을 hard-negative로 추가 학습하고, 검출 박스 및 SAM mask의 형상 정보를 활용한 False Positive 억제 기법을 적용하여 포트홀 검출 성능을 개선할 예정이다. 이후 포트홀뿐 아니라 다른 도로 파손 유형으로 평가 범위를 확대하고, 최종적으로 6,177장의 정제되지 않은 실제 도로주행 영상을 이용하여 실제 고속도로 환경에서의 일반화 성능을 검증할 계획이다.