[drone] Robust Vision-based Obstacle Avoidance for Micro Aerial Vehicles in Dynamic Environments

논문

[drone] Robust Vision-based Obstacle Avoidance for Micro Aerial Vehicles in Dynamic Environments - 중지

정지홍 2025. 6. 6. 09:18

[2002.04920] Robust Vision-based Obstacle Avoidance for Micro Aerial Vehicles in Dynamic Environments

Robust Vision-based Obstacle Avoidance for Micro Aerial Vehicles in Dynamic Environments

In this paper, we present an on-board vision-based approach for avoidance of moving obstacles in dynamic environments. Our approach relies on an efficient obstacle detection and tracking algorithm based on depth image pairs, which provides the estimated po

arxiv.org

Abstract

본 논문에서는 동적 환경에서 움직이는 장애물을 회피하기 위한 온보드(탑재형) 비전 기반 방법을 제안한다.
제안된 방법은 깊이 이미지 쌍(depth image pairs)에 기반한 효율적인 장애물 탐지 및 추적 알고리즘에 의존하며, 이를 통해 장애물의 위치, 속도, 크기를 추정한다.
견고한 충돌 회피는 확률 제약이 있는 모델 예측 제어기(chance-constrained model predictive controller, CC-MPC)를 설계함으로써 달성되며, 이로써 MAV와 각 움직이는 장애물 사이의 충돌 확률이 지정된 임계값 이하로 유지되도록 한다.
이 방법은 MAV의 동역학, 상태 추정, 장애물 센싱의 불확실성을 모두 고려한다.
제안된 방법은 스테레오 카메라가 장착된 쿼드로터에 적용되어 다양한 환경에서 실험되었으며, 실시간으로 움직이는 장애물을 효과적으로 회피하는 성능을 보였다.

I. INTRODUCTION

Micro Aerial Vehicle(MAV, 소형 무인항공기)들은 수색 및 구조, 산업 현장 점검, 영화 촬영 등 다양한 응용 분야에 활용되고 있다 [1].
이러한 응용 분야에서는 MAV가 환경 내 장애물을 안전하게 회피하면서 이동해야 한다.
지금까지 온보드(탑재형) 센서를 이용한 MAV의 자율 항법은 정적 환경 [2], [3], [4] 또는 천장에 모션캡처 시스템이 설치된 제어된 동적 환경 [5], [6]에서 성공적으로 시연된 바 있다.
그러나 움직이는 장애물이 존재할 경우, 실시간으로 장애물을 회피하려면, 빠르고 효율적인 장애물 탐지 및 추적 전략이 필요하다.
더불어, 견고한 충돌 회피를 위해서는 장애물 센싱과 MAV 상태 추정의 불확실성도 고려해야 한다.
본 논문에서는 동적 환경에서 MAV가 견고하게 주행할 수 있도록 온보드 비전 기반 접근법 을 제안한다.
- 본 접근법은 기존의 비전 기반 장애물 탐지 및 추적 알고리즘 [7]과 모델 예측 제어기(MPC) [5]를 발전시키고 확장하여, MAV가 실행 가능한 경로를 생성함과 동시에 확률적으로 안전한 경로를 따라갈 수 있도록 한다.

A. Related Work

MAV(소형 무인항공기)의 미지 환경에서 비전 기반 자율 항법에 관한 연구는 매우 다양하게 진행되어 왔다 [8].
초기 연구들에서는 카메라 영상에서 단순화된 장애물 표현을 추상화하고, 반응형(reactive) 휴리스틱 충돌 회피 기법을 적용해 자율 비행을 시연하였다.
- 예를 들어, [9]에서는 영상에서 관심 특징을 추적·검출하여 장애물을 원기둥(cylinder) 형태로 매핑한 후, 충돌 회피를 위한 반응형 가속도를 계산한다.
- 마찬가지로, [10]은 단일 카메라(monocular camera)를 사용해 영상 내 특징의 상대적 크기 변화를 감지하고, 이를 기반으로 회피 속도를 산출하여 전방 장애물을 회피한다.
  - ==> 그러나 이들 방식은 영상 처리 과정이 매우 무거워 외부 지상 컴퓨터(off-board ground computer)가 필요하다.
- [11]에서는 깊이 이미지로부터 얻은 3D 포인트 클라우드를 평면으로 필터링하고, 각 평면을 기반으로 가장 넓은 열린 경로 길이 방향으로 최적 충돌 회피 방향을 계산한다.
- [7]에서는 시차 영상(disparity map)으로부터 타원(ellipse) 형태로 모델링된 장애물을 분할(segmentation)하고, 휴리스틱 충돌 검사 알고리즘으로 장애물 가장자리를 따라 웨이포인트를 생성한다.
  - ==>이 두 접근법은 빠른 연산 속도를 보였지만, 플래너에서 로봇 동역학은 고려하지 않는다.
- 최근 연구들은 주로 이미지 데이터를 기반으로 환경 지도를 구축하고, 이 지도를 이용해 MAV의 충돌 없는 움직임을 계획하는 파이프라인을 따른다.
  - 예를 들어, [12]에서는 MAV에 탑재된 컴퓨터로 3D 전역 점유 맵(occupancy map)을 점진적으로 구축한 뒤, VHF+ 알고리즘 [13]을 활용하여 충돌 회피를 수행한다.
    최근에는 점유 맵보다 효율적인 지도 표현 기법이 개발되고 있다 [14]. 예를 들어, ESDF map [15], k-d tree [16], NanoMap [17], FIESTA map [18] 등이 있다.
- 이러한 지도 구축 이후에는 충돌 없는 경로를 계획하기 위해 크게 두 가지 방식이 사용된다.
  - 하나는 사전에 계산된 모션 프리미티브(motion primitive) [16] 또는 퍼널(funnel) [19] 라이브러리를 활용하고, 충돌 검사를 통해 최적의 경로를 선택하는 방법이다.
  - 다른 하나는 A*, JPS [20] 등 이산 플래너로 경로를 생성한 뒤, 그 경로를 따라 충돌 없는 비행 회랑(flight corridor)을 만들고, 이후 동역학적으로 실행 가능한 경로가 되도록 궤적 최적화(trajectory optimization)를 수행하는 방식이다 [21], [22].
  - ===>이러한 최신 접근법들은 다양한 환경에서 MAV의 성공적인 자율 주행을 보였으나, 공통적인 한계점이 존재한다.
    즉, 모든 방법이 환경을 정적(static)으로 가정하고, 움직이는 장애물의 존재를 고려하지 않는다. 더불어, 장애물 센싱의 불확실성이나 MAV 상태 추정의 불확실성도 대체로 무시되고 있다.

B. Contribution

이 논문의 주요 기여는 동적 환경에서 움직이는 장애물의 충돌 회피를 위한 통합 시스템을 제안한 것이다.
장애물은 깊이 이미지와 생성된 U-depth 맵(III장에서 설명)으로부터 탐지되고, 위치, 속도, 크기가 추정된다.
이후, 측정된 MAV 상태 추정과 장애물 센싱의 불확실성을 반영하기 위해 확률 제약(chance-constraints)을 수립한다.
- 이 확률 제약은 모델 예측 제어기(MPC)에 통합되어, 지정된 임계값 이하로 충돌 확률을 유지하면서 동역학적으로 실행 가능하고 견고한 경로를 생성한다(IV장).
- 마지막으로, 실제 환경에서 실험을 통해 시스템의 효과를 입증하였다(V장).

II. SYSTEM OVERVIEW

목표 지점(goal point)이 주어졌을 때, MAV는 스테레오 깊이 카메라 영상으로부터 환경 내 움직이는 장애물을 회피하며, 목표 지점까지 안전하고 충돌 없는 경로를 계획하고 실행해야 한다.
그림 2는 이 문제를 해결하기 위해 제안된 시스템을 보여주며, 주요 구성요소는 세 가지이다:
MAV 상태 추정, 장애물 감지, 그리고 충돌 없는 경로 계획이다.
본 논문에서는 이 중 후자의 두 가지(장애물 감지와 충돌 없는 경로 계획)에 집중하여, 움직이는 장애물에 대한 견고한 충돌 회피를 달성한다.
상태 추정을 위해서는, MAV의 자세와 그에 따른 불확실성을 얻기 위해 비주얼-관성 오도메트리(visual-inertial odometry, VIO) 방법 [23]을 사용한다.
장애물 감지를 위해서는, 장애물을 3차원 타원체(ellipsoid)로 모델링하고, 깊이 이미지를 기반으로 한 효율적인 장애물 탐지 및 추적 방법을 적용하여 장애물의 크기, 위치, 속도 및 이와 관련된 불확실성을 획득한다.
충돌 없는 경로 계획을 위해서는, MAV 상태 추정과 장애물 센싱의 불확실성을 모두 고려하여 확률 제약 모델 예측 제어기(chance-constrained model predictive controller, CC-MPC) [5]를 설계한다.
CC-MPC는 MAV와 각 장애물 사이의 충돌 확률이 지정된 임계값 이하로 유지되도록 한다.

그림 설명

- a : 사람 장애물을 향해 있는 카메라의 개략도이다. 사람 장애물은 크기를 알 수 없는 상자로 표현된다.

- b : 깊이 영상을 통해 장애물의 높이와 수직 위치를 감지함.

- c : u-depth 맵을 통해서 장애물의 두꼐,너비,수평(x,y) 위치를 감지한다.

III. OBSTACLE DETECTION AND TRACKING

이 절에서는 그림 3에 나타낸 바와 같이, 깊이 이미지를 이용한 우리의 장애물 탐지 및 추적 알고리즘을 설명한다.
본 알고리즘은 평면상의 정적 장애물을 고려한 기존 연구 [7]를 기반으로 구축되었으며, 이를 확장하여 3차원 환경에서 움직이는 장애물까지 다루도록 하였다.

A. Obstacle Detection using Depth Images

각 장애물은 MAV(무인항공기)의 카메라를 향하도록 yaw(방위각)을 가진 3차원 박스로 모델링된다(Fig. 3a).
그리고 카메라의 깊이 영상을 기반으로 장애물의 위치와 크기(길이/두께, 너비, 높이)를 탐지한다.
장애물의 길이/두께, 너비, 그리고 수평 위치(x, y 좌표)는 먼저 U-depth 맵(Fig. 3c)에서 추출되고,
이후 장애물의 높이와 수직 위치(z 좌표)는 깊이 영상(Fig. 3b)에서 직접 추출된다.

A - 1) U-depth map

U-depth 맵은 원래의 깊이 영상에서 열(column)별 깊이 값의 히스토그램으로 계산된다 [7].
Fig. 3b는 MAV가 실내에서 사람 장애물을 마주보고 있을 때 촬영된 깊이 영상을 보여주며,
Fig. 3c는 이에 해당하는 U-depth 맵이다.
장애물이 깊이 카메라 앞에 있으면, U-depth 맵에서 해당 구간(bin)의 크기가 커진다.
이러한 특성을 바탕으로, 히스토그램의 bin 값이 임계값 T_POI보다 크면 관심 지점(point of interest)으로 간주한다. (식 1)
- 아래의 식에서 f는 초점 거리다. T_ho는 공간상에서의 장애물 높이에 대해서 미리 정의한 임계값. d_bin은 히스토그램의 해당 bin에서의 깊이 값이다.

이렇게 추출된 관심 지점들은 주변의 다른 후보 점들과 그룹화되어, 최종적으로 Fig. 3c처럼 **U-depth 맵에서 경계 박스(bounding box)**를 추출할 수 있다.

A - 2) Obstacle detection

B. Obstacle Tracking and Prediction

장애물의 미래 위치를 예측하기 위해, 연속적인 프레임에서 탐지된 장애물들을 먼저 연관시킨다.
- 이때, 가우시안 확률 밀도를 평가하여 다음과 같이 연관성을 계산한다. ( 식 5 )

확률 밀도 pd가 임계값보다 크면, 두 탐지 객체는 동일한 움직이는 장애물로 간주하며, 이 정보는 칼만 필터(Kalman filter)에 입력된다.
칼만 필터는 장애물의 위치, 속도, 크기를 추정한다.
- 시간 k에서 장애물의 추정 위치, 속도, 크기 및 각 불확실도(공분산)는 아래와 같이 표기한다.

논문의 남은 부분에서는 모든 변수는 월드 프레임 기준으로 표기되므로 상위 인덱스 는 생략한다.
이동 장애물 회피를 위해, 장애물의 미래 위치와 공분산은 등속도 모델을 이용해 예측한다... (식 6)

장애물의 크기는 일정(상수)하다고 가정하며, 크기의 불확실도는 회피 계산에서 고려하지 않는다.
다각형(Polygonal) 장애물은 온라인 제약 최적화에 적합하지 않으므로(local minima 문제 발생 가능), 경계 타원체(bounding ellipsoid)로 박스 장애물을 확장한다.
이때 반장축(semi-major axes)은 박스 크기에 비례하게 설정한다:

그리고 R^k _o는 월드 프레임에서의 장애물 방향(yaw)을 나타내는 회전 행렬이다