pySLAM

local descirptor

• corner , edge같은 keypoint들을 찾는다. 그리고 keypoint 주변 패치를 보고 local descriptor를 만든다. 이러한 경우 하나의 이미지에 local descriptor가 수백~수천개가 생긴다.

 

descriptor aggregator

• 생겨난 원인.... ==> 위의 local descriptor는 loop closure판단을 할때, descriptor가 많으면, 전부 매칭을 하기에는 무겁다.
• 위와 같은 원인으로 local descriptor를 한번에 요약하기 위해서 descriptor aggregator이 제안되었다.
• 개념
  • 여러개의 local descriptor를 하나의 벡터로 합쳐주는 알고리즘이다.
  • 즉, 이름에서 알수있듯이 모아서 요약한다는것을 의미한다.
  • 이미지 전체를 한번에 표현하는 것은 image-wise global descriptor이다.

 

volumetric integration

• 여러 프레임에서 들어오는 depth( color도 가능 )를 카메라 포즈와 함께 3d공간의 "volume"표현에 계속 누적/융합하는 방식이다.

 

GitHub - luigifreda/pyslam: pySLAM is a hybrid Python/C++ Visual SLAM pipeline supporting monocular, stereo, and RGB-D cameras.

 

 

pySLAM은 Visual SLAM pipleline을 python으로 구현한 라이브러리이다.

pySLAM은 monocular , stero , RGBD 카메라를 지원한다.

pySLAM 프레임워크는 하나의 python env에서 아래의 기능들을 제공한다.

• 다얀한 classical 및 modern local features(특징점)들을 지원한다. 그리고 통합의 편리함을 위한 인터페이스도 같이 제공함.
• 여러가지 loop closing방법을 제공하며, "visual Bag of Words (BoW, iBow)" , "Vector of Locally Aggregated Descriptors (VLAD)" ,  "modern global descriptors (image-wise descriptors)"과 같은 최신 global descriptor들도 포함된다.
• volumetric reconstruction pipeline를 제공한다. 이는 depth , rgb를 이용해서 volumetric intergration을 수행하여 dense reconstruction을 만드는 파이프라인을 의미한다. 
  TSDF + voxel hashing , incremental gaussian splatting 방식도 지원한다.
• slam pipeline에 depth prediction models도 같이 통합할 수 있다.
• deeplabv3 ,  segformer와 같이 semantic understanding을 할 수 있다.

 

 

 

1.

git clone --recursive https://github.com/luigifreda/pyslam.git
cd pyslam

 

2.

conda create -n pyslam python=3.11.9 -y
conda activate pyslam

conda install -c conda-forge faiss-cpu -y
python -c "import faiss; print('faiss OK')"

python -m pip uninstall -y tensorflow keras tensorboard tensorflow-estimator
python -m pip install "tensorflow==2.15.1"

python -m pip install --force-reinstall "protobuf==3.20.3"

python -m pip uninstall -y tf-keras
python -m pip uninstall -y nerfstudio

./install_all.sh