[Drone] Reactive Avoidance Using Embedded Stereo Vision for MAV Flight

논문

[Drone] Reactive Avoidance Using Embedded Stereo Vision for MAV Flight

정지홍 2025. 7. 17. 19:07

Abstract

고속·저지연 장애물 회피는 소형 무인항공기(MAV)가 복잡하고 동적인 환경에서 안전하게 비행하기 위해 필수적입니다.
기존의 여러 시스템들이 장애물 회피를 위해 고수준 매핑(mapping)이나 3D 경로 계획(path planning)을 수행하지만,
이들 대다수는 고성능 CPU를 기체에 탑재하거나 지상국에서 오프보드 연산을 필요로 합니다.

본 논문에서는 완전 온보드(on-board) 환경에서 동작하는 새로운 접근법을 제안합니다.
"저전력 FPGA 기반 스테레오 비전(stereo vision) 시스템"을 활용하여, "VGA 해상도 이미지"에 대해 초당 60프레임(frame/sec)으로 "시차(disparity) 계산 및 반응 동작"을 처리함으로써, 이미지 획득부터 회피 기동 실행까지의 지연(latency)을 최소화합니다.
- ==> 이를 통해 MAV가 복잡한 환경에서도 더욱 안전하고 견고하게 비행할 수 있습니다.
또한, 환경 매핑 등 더 복잡한 과제를 수행하는 시스템의 경량 안전 레이어(safety layer)로도 활용할 수 있음을 제안합니다.

마지막으로, 매우 제약된 연산 자원을 가진 경량 플랫폼에 제안 알고리즘을 완전 구현한 후, 다양한 환경에서의 장애물 회피 성능을 실험적으로 입증합니다.

I. INTRODUCTION

소형 무인 비행체(MAV)는 기동성이 뛰어나 재난 현장 감시에서부터 소포 배달에 이르기까지 다양한 로봇 응용에 매우 적합합니다.
- 그러나 비정형화된 인간 환경에서 자율적으로 기능하려면 장애물을 회피하고 스스로 경로를 탐색할 수 있어야 합니다.
다양한 환경을 완전 매핑하고 고급 3D 경로 계획 기법을 적용하는 정교한 장애물 회피 시스템들이 다수 존재하지만, 이들 대부분은 알고리즘 실행을 위해 고성능 멀티코어 CPU를 탑재하거나, 지상국의 CPU에 오프보드 연산을 의존합니다.
==> 이 경우 무선 통신 지연(latency)이 크게 증가합니다.
==> 고성능 CPU와 같은 무거운 페이로드를 탑재하면, 전력 소비가 늘어나고 비행 시간이 줄어들 뿐 아니라, 더 크고 강력한 모터와 프로펠러가 필요해 체공 안전성이 떨어집니다.
- 반면 소형 MAV는 더 안전하고 취급이 쉽고, 비용도 낮은 경우가 많습니다.
- 또한, 온보드가 아닌 비임베디드(off-board) CPU를 사용하면 장애물 탐지 및 회피 지연이 커집니다.
  장애물을 인식한 순간부터 반응을 완료하기까지의 시간을 최소화하는 것은, 예를 들어 사람들 사이를 통과하거나 가림이 많은 환경에서 비행할 때처럼, 로봇 시스템의 안전성과 견고성을 높이는 데 매우 중요합니다.

본 논문의 제안 및 구성

이 논문에서는 FPGA 기반의 고속·저지연 패시브 스테레오 비전 시스템을 활용하여, 간단하면서도 빠른 반응형 회피 알고리즘으로 다양한 장애물을 피하는 새로운 접근법을 제안합니다.
제안 시스템은 경량·저비용·연산 자원이 매우 제한된 MAV 플랫폼에서 구현되었으며, 실내·실외 잡다한 환경 모두에서 저전력·소형화 제약을 만족하며 자율 비행에 성공했습니다.
- 특히 스테레오 비전은 640×480 해상도에서 초당 60프레임의 시차(disparity) 이미지를 생성하는데, 이는 동급 시스템 대비 해상도와 프레임률이 크게 향상된 것입니다.
  고해상도 덕분에 더 작은 장애물도 탐지할 수 있고, 높은 프레임률(통상 대비 최소 두 배 이상) 덕분에 동적 장애물 회피나 고속 비행이 가능합니다.
제안 방식의 연산량이 적다는 점을 활용해, 더 복잡한 시스템의 경량 안전 레이어(safety layer)로도 사용할 수 있음을 제안합니다.
현재 알고리즘은 모바일 CPU에서 실행되지만, FPGA에 완전 이식하면 하나의 칩으로 장애물 회피를 처리하는 원칩 솔루션이 가능합니다.
FPGA 비전 시스템과 모바일 CPU의 추가 전력 소모는 단 5W, 무게는 50g에 불과합니다.

본 연구의 주요 기여는 다음과 같습니다

깊이(depth) 또는 영상(image) 데이터를 이용한 MAV 장애물 회피 관련 기존 연구 정리 (Section II)
시차 맵(disparity map)을 기반으로 한 간단·견고한 장애물 검출 알고리즘 제안 (Section III)
맵 공간(map space)에서 단기 회피 웨이포인트를 계획하는 방법 제시 (Section IV)
테스트 하드웨어에의 효율적 구현 사례 소개 (Section V)
실내·실외 시나리오에서의 장애물 검출 성능 및 시험 비행 영상 결과 제시 (Section VI)

II. RELATED WORK

소형 무인 비행체(MAV)가 다양한 환경에서 안전하게 비행할 수 있도록 하는 연구가 활발히 이루어져 왔습니다.
이들 중 다수는 매우 정교한 기법을 사용하지만, 공통적인 단점으로 무거운 연산을 처리하기 위해 온보드 또는 오프보드에서 고성능 CPU를 필요로 한다는 점이 있습니다.
- 예를 들어, 조밀한 숲 환경에서 나무를 고속으로 회피하는 반응형 기법을 소형 쿼드로터 플랫폼에 구현한 연구가 있습니다［2］.
  - ==> 그러나 이 접근법은 단안(monocular) 카메라와 숙련된 조종사의 훈련 데이터를 활용하며, 시차 추정이나 장애물 판단은 플랫폼 외부의 지상 스테이션에서 초당 10Hz로 처리한 뒤 무선 링크를 통해 쿼드로터로 전송합니다.
    이와 비교해, 본 연구의 방법은 어떠한 훈련 데이터에도 의존하지 않고 전 과정을 온보드에서 처리하며, 60Hz의 매우 낮은 지연으로 유사한 성능을 달성합니다.
레이저 SLAM, 비주얼 SLAM 등 전역 매핑 프레임워크에 장애물 회피 알고리즘을 통합한 프로젝트들도 있습니다.
- 예를 들어 송전선 탐지 및 회피［3］, 전봇대나 작은 장애물의 반응형 회피［4］, 스테레오에서 3D 지도를 얻어 고수준 경로 계획을 수행하는 연구［5］［6］, Kinect를 이용한 방식［7］ 등이 대표적입니다.
- GPS가 차단된 환경에서 비전 기반 회피를 수행한 연구［9］나, 푸시붐(push-boom) 스테레오를 이용하되 로봇의 예상 궤적에 의존하는 방법［10］ 등도 있습니다.
  - ===> 그러나 이 모든 접근법은 고성능 오프보드 워크스테이션을 사용하거나, 비교적 크고 전력 소모가 큰 랩톱 CPU를 온보드에 탑재해야만 합니다.

다시 말해, 본 논문에서 제안하는 기법은 고성능 온보드·오프보드 처리의 필요를 없애고, 모바일 CPU에서도 충분히 수행 가능한 최소한의 기본 연산만을 요구합니다.
- 또한 단기 지도(short-term map)만을 사용함으로써 정밀한 위치 추정이나 정확한 오도메트리에 대한 의존도를 줄였습니다.

깊이 센서로부터 얻은 데이터를 간소화하여 보다 빠른 회피를 수행하는 연구들도 있습니다.
- 예를 들어 깊이 카메라 데이터를 평면으로 필터링하는 기법［11］, 스테레오를 디지털 고도 지도(digital elevation map)로 변환하는 기법［12］, 또는 훈련 데이터를 바탕으로 단일 영상만으로 깊이를 추정하는 방법［13］ 등이 그러합니다.
  ==> 그러나 이들 역시 20–30Hz 정도의 프레임률을 보이며 상당한 오프보드 처리를 필요로 하는 반면, 본 연구의 시차 맵을 U-맵으로 변환하는 방법은 훨씬 적은 연산량으로 실시간 처리가 가능합니다.
지상 로봇에서 완전 온보드 방식의 반응형 회피를 구현한 사례도 있으나, 이 경우 지연이 상대적으로 크고 사용된 회피 기법도 본 논문에서 제시한 것보다 단순합니다［14］.
복도 유도 알고리즘(flow-based navigation)을 보여주는 연구도 있지만, 다양한 유형의 장애물에 대응하기에는 유연성이 부족합니다［15］.

마지막으로 Schmidt 등은 FPGA 기반 스테레오 비전 시스템을 이용해 쿼드로터에서 고수준 내비게이션을 수행한 바 있습니다［16］.
- 그러나 이들의 시스템은 비전 스택만으로도 페이로드가 740g에 달하고, 시차 계산은 초당 15Hz, 전체 처리 지연은 250ms에 이르러 고속·저지연 회피에는 적합하지 않습니다.
비록 매력적인 웨이포인트 추종 및 내비게이션 성능을 보이지만, 동적 환경에서 실시간으로 반응하려면 본 논문에서 제안하는 것과 같은 극히 낮은 지연의 반응형 장애물 회피 컴포넌트가 추가로 필요합니다.

=========================================================================================

[3] S. Hrabar, “3d path planning and stereo-based obstacle avoidance for rotorcraft uavs,” in Intelligent Robots and Systems, 2008. IROS 2008. IEEE/RSJ International Conference on, pp. 807–814, IEEE, 2008.

[4] S. Scherer, S. Singh, L. Chamberlain, and S. Saripalli, “Flying fast and low among obstacles,” in Robotics and Automation, 2007 IEEE International Conference on, pp. 2023–2029, IEEE, 2007.

[14] D. S. O. Correa, D. F. Sciotti, M. G. Prado, D. O. Sales, D. F. Wolf, and F. S. Os´orio, “Mobile robots navigation in indoor environments using kinect sensor,” in Critical Embedded Systems (CBSEC), 2012 Second Brazilian Conference on, pp. 36–41, IEEE, 2012.

[15] A. Beyeler, J.-C. Zufferey, and D. Floreano, “3d vision-based naviga tion for indoor microflyers,” in Robotics and Automation, 2007 IEEE International Conference on, pp. 1336–1341, IEEE, 2007.

=========================================================================================

[17] R. Labayrade, D. Aubert, and J.-P. Tarel, “Real time obstacle detec tion in stereovision on non flat road geometry through” v-disparity” representation,” in Intelligent Vehicle Symposium, 2002. IEEE, vol. 2, pp. 646–651, IEEE, 2002.

III. OBSTACLE DETECTION

이 절에서는 column단위로 누적된 dense disparity images를 기반으로하는 obstacle dectection 알고리즘을 설명한다.
전체적인 흐름...
- 1. disparity image를 U-disparity map으로 변환한다. ( U-disparity map == U-Map은 columns별로 시차값을 누적한것이다. )
- 2. 이 표현의 특수 구조를 이용해서, U-Map 상에서 장애물을 검출한다.
- 3. 검출된 픽셀 군집을 clustering해서, 개별 장애물로 분리한다.
시차(disparity) 값이란?
- 스테레오 카메라(왼쪽/오른쪽 두 대의 카메라)로 찍은 같은 장면의 한 지점이 좌우 영상에서 얼마나 수평으로 어긋나 보이는지를 픽셀 단위로 나타낸 값.
  - 두 영상에서 대응점(같은 물체의 같은 지점)을 찾고, 그 x좌표 차이를 계산한 것이 바로 시차이다.
  - 시차가 클수록(픽셀 차이가 클수록) 물체가 카메라에 가까이 있다는 뜻이고, 시차가 작을수록(거의 어긋나지 않을수록) 멀리 있다는 의미이다.
  - Z = ( f * B ) / d 여기서 z는 depth이다. f는 카메라의 초점거리. B는 두 카메라 사이의 기준선 거리. 시차는 d이다.

A. U-V Disparity Maps

저자는 장애물 검출을 위해서 [17]에서 제안된 U-V disparity map 방법을 사용한다.
일반적인 아이디어는 시차 이미지(disparity image)를 2개의 히스토그램으로 분할하는 것 이다.
- ==> U-Map : 이미지의 column 별로 시차 값을 누적한 맵
- ==> V-Map : 이미지의 row 별로 시차 값을 누적한 맵
- 예를 들자면....
  n x m 크기의 시차 이미지에 서로 구분되는 시차값이 32개가 존재한다고 하자.
  => "n x 32크기의 U-Map"과 "32 x m의 V-map"이 생성된다.
  ==> 여기서 disparity는 거리의 역 정보이니, "U-map이나 V-Map상의 위치"와 실제 거리는 선형관계가 아님을 유의해야함.
  - ( 시차가 32개다?? ==> 영상 전체에 걸쳐 계산된 서로 다른 시차 레벨(disparity levels)이 32단계로 양자화(quantize)되어 있다는 뜻이다. 즉, 0~255사이의 값이 아니라 0~31까지 값만 가지고 표현한것이다. )

그림 1
- 1-a : 숲 장면의 샘플이미지이다.
- 1-b : 숲 이미지에 대응하는 시차 맵이다.
- 1-c : V-Map이다. 지면(ground plane)이 대각선(diagonal line) 형태로 투영되어 지면 분할(ground plane segmentation)에 활용될 수 있다. ( 즉, 지면 평면이 대각선의 흰색 선으로 나타난다. )
- 1-d : 시차 이미지로부터 생성된 U-Map 이다. 장애물이 연속된 수평선(horizontal lines) 형태로 투영된 것을 확인할 수 있다.
- ==> 누적(accumulation) 연산 덕분에, U-맵과 V-맵은 원본 시차 맵의 노이즈나 잘못된 추정치의 영향을 덜 받는다.

B. Obstacle Detection from U-maps

저자의 "U-Map기반의 장애물 분할 할고리즘"은 "장애물이 적은 수의 시차 값 범위"에 나타난다는 사실에 의존한다.
- 그림 1-a의 오른쪽에 보이는 나무는, 그림 1-d의 U-Map에서 수평 띠(horizontal shape) 형태로 드러난다.
  - 이는 나무 전체가 카메라로부터 거의 동일한 거리에 있어서, 나무를 구성하는 모든 픽셀의 시차값이 같은 범위 안에 있기 때문이다.
  - 이 표현에서 장애물을 분할하는 과정은, 단순이 U-Map상에서 연결 요소(connected components) 를 찾고( 그림 2-a의 빨간 박스 참고), 찾은 각 컴포넌트를 다시 월드 좌표계로 투영하는 것만으로 이루어진다.
    이 과정을 효율적으로 구현한 방법은 논문의 Section V-B에서 자세히 다룹니다.

IV. PATH PLANNING

이 절에서는 U-Map에서 검출된 장애물 정보를 어떻게 환경 지도(map)로 구축하고, 그 지도를 이용해 로봇의 충돌 없는 경로를 계획하는지 설명한다.
우리의 접근법은 III-B절에서 검출된 장애물들을 타원(elliptical) 형태로 근사하고, 이전 프레임의 타원들과 병합하여 "단기 지도"를 구축한 뒤, 그 지도 위에서 분절된(piecewise linear) 최단 경로를 계획한다.
- 이 방법은 Vector Field Histogram+ (VFH+) [18] 같은 기존 단기 반응형 회피 기법들과 몇 가지 차별점 및 장점을 가진다.
  VFH+는 단일 세트포인트(setpoint)만 미리 계획하는 반면, 우리는 미래 전체 경로를 미리 생성하여 보다 부드러운 궤적 제어가 가능하다.
  또한 VFH+ 등은 점유 그리드(occupancy grid)와 계획 표현(planning representation) 간 전환이 필요하지만, 우리의 계획은 지도 공간(map space)에서 직접 수행된다는 장점이 있다
제시하는 매핑(mapping) 및 경로 계획(path‐planning) 방법은 단기 지도(short-term map) 에 기반한다.
- 이 지도는 영상의 노이즈나 간헐적인 장애물 가림을 처리할 수 있지만, 정밀한 오도메트리(주행 추정)나 장시간에 걸친 전역 일관성 유지(global consistency)를 요구하지 않는다.

A. Short-Term Mapping