정지홍

망가진거 복구

보호되어 있는 글입니다.

[2310.05370] SocialCircle: Learning the Angle-based Social Interaction Representation for Pedestrian Trajectory Prediction SocialCircle: Learning the Angle-based Social Interaction Representation for Pedestrian Trajectory PredictionAnalyzing and forecasting trajectories of agents like pedestrians and cars in complex scenes has become more and more significant in many intelligent systems and appl..

1. git clone https://github.com/isaac-sim/IsaacSim-ros_workspaces.git GitHub - isaac-sim/IsaacSim-ros_workspaces: Isaac Sim ROS WorkspacesIsaac Sim ROS Workspaces. Contribute to isaac-sim/IsaacSim-ros_workspaces development by creating an account on GitHub.github.com 2. cd humble_ws 3. git submodule update --init --recursive 4. rosdep install -i --from-path src --rosdistro humble -y 5. colc..

0. Attention에 대한 간단한 정리어떠한 token sequence가 존재할때, 각각의 token이 "다른 tokens 중 무엇을 얼마나 참고할지"를 계산하는 연산이 attention이다.기본 구성 요소 그리고 token마다 3가지를 만든다.핵심 연산 ( Scaled Dot-Product Attention )softmax는 점수를 확률처럼 만들어서 가중치로 사용한다.softmax안의 수식은 “점수” 이다. (토큰 i가 토큰 j를 얼마나 참고할지)마지막에 V를 가중합해서 “참고 결과”를 만든다직관적으로, 각각의 token은 "내 질문Q"에 가장 잘 맞는 "주소 K"를 가진 tokens를 골라서, 해당 tokens의 "내용 V"를 섞어서 새로운 표현을 만든다. 1. self-attentionsel..

LayerNormLayerNorm은 딥러닝에서 각 토큰(또는 각 샘플)의 feature 차원(dimension) 방향으로 평균과 분산을 맞춰서(정규화해서) 학습을 안정화하는 기법이다.Transformer에서 거의 표준처럼 쓰이고, 특히 배치 크기나 시퀀스 길이가 바뀌어도 동작이 깔끔한 편이라 많이 사용한다.수식적 정의1. 입력 벡터 x는 d차원이라고 하자. ( transformer에서는 "한 토큰의 hidden vector"라고 생각하면 됨 )2. feature차원에 대해서 평균/분산을 계산한다.3. 그리고 정규화를 한다.4. affine변환을 적용한다. 대부분의 LayerNorm은 마지막에 학습 가능한 scale / shift를 붙인다.scale은 feature마다 곱해지는 것. (γ )shift는 f..

1) 어텐션이란“지금 이 토큰이, 문장(또는 이미지) 안의 다른 위치들 중 ‘누구를 얼마나 참고할지’를 정해서, 참고한 만큼 정보를 섞어 새 표현을 만드는 방식”이다.핵심은 두 가지이다:참고 비율(가중치)을 계산하고그 비율대로 정보를 섞어서 업데이트한다2) 왜 이런 게 필요한가?언어를 이해할 때 우리는 항상 “참조”를 한다.“철수가 영희에게 사과를 줬다. 그녀는 기뻤다.”→ ‘그녀’는 영희를 봐야 함.“나는 어제 산 책을 오늘 읽었다.”→ “어제”는 시간 정보, “책”은 대상 정보. 어디를 봐야 할지가 다름.“not … because …” 같은 구조에서는 멀리 떨어진 단어끼리도 강하게 연결됨.어텐션은 이 “참조”를 모든 위치 쌍에 대해 동시에 가능하게 만든다.3) Self-Attention은 “토큰들이 ..

https://openaccess.thecvf.com/content/CVPR2025/papers/Bar_Navigation_World_Models_CVPR_2025_paper.pdf visual-motor capabiltiesvisual정보를 활용하여 motor(움직임/조작)을 만들어내는 능력visual : stero iamge , depth , optical flow ...motor : 로봇의 바퀴 각도 , 속도 등즉, "보면서 움직이는"능력ex) 로봇이 카메라로 복도를 보고 장애물을 피해서 이동, 드론이 영상 보며 착륙 지점으로 접근 등 controllable video generation model비디오를 생성/예측하는 모델인데, 사용자가 주는 컨트롤 신호(조건) 에 따라 결과가 달라지는 모델임..

1.world model이란?월드 모델(World Model)은 인공지능이 인간처럼 '세상이 돌아가는 방식'을 내면에 시뮬레이션하여 미래를 예측하고 계획을 세울 수 있게 하는 핵심 개념이다.이는 단순히 입력된 데이터의 패턴을 외우는 것을 넘어, 인과관계와 물리학적 법칙을 이해하는 "범용 인공지능(AGI)"으로 가는 가장 중요한 열쇠로 꼽힌다.개념적 정의인간은 운전을 할 때 눈앞의 도로 상황만 보고 핸들을 꺾지 않는다. '내가 지금 속도를 높이면 3초 뒤 앞차와 충돌할 것이다'라는AI에게 이러한 멘탈 모델을 심어주는 것이 바로world model이다.핵심 기능: 현재 상태(s_t​)와 행동(a_t​)이 주어졌을 때, 다음 상태(st+1​)가 어떻게 변할지 예측한다.수식적 표현P( s_{t+1} | s_{t..

#!/usr/bin/env python3import rclpyfrom rclpy.node import Nodefrom rclpy.qos import qos_profile_sensor_datafrom mavros_msgs.msg import State # /mavros/state topic에서 올라오는 드론 상태from sensor_msgs.msg import BatteryState # /mavros/battery 토픽에서 올라오는 배터리 상태#-----------------# 네트워크 및 시관 관련#-----------------import socketfrom datetime import datetime, timedelta# x값을 [ lo , hi ]구간으로 제한(clamp)하는 함수 def clamp..

0. ssh -i ~/.ssh/id_ed25519 -Y quad@192.167.1.3 1.ros2 launch mavros px4.launch fcu_url:=serial:///dev/serial/by-id/usb-Silicon_Labs_CP2102_USB_to_UART_Bridge_Controller_0001-if00-port0:921600 fcu_protocol:=v2.0 2.ros2 launch realsense2_camera rs_launch.py align_depth:=true enable_gyro:=true enable_accel:=true unite_imu_method:=2 enable_sync:=true publish_tf:=true 3.mkdir video_st..

보호되어 있는 글입니다.

local descirptorcorner , edge같은 keypoint들을 찾는다. 그리고 keypoint 주변 패치를 보고 local descriptor를 만든다. 이러한 경우 하나의 이미지에 local descriptor가 수백~수천개가 생긴다. descriptor aggregator생겨난 원인.... ==> 위의 local descriptor는 loop closure판단을 할때, descriptor가 많으면, 전부 매칭을 하기에는 무겁다.위와 같은 원인으로 local descriptor를 한번에 요약하기 위해서 descriptor aggregator이 제안되었다.개념여러개의 local descriptor를 하나의 벡터로 합쳐주는 알고리즘이다.즉, 이름에서 알수있듯이 모아서 요약한다는것을 의미한다...

0. scp -r quad@192.167.1.31:~/.ros/rtabmap.db ~/ssh -i ~/.ssh/id_ed25519 -Y quad@192.167.1.31 1.ros2 launch mavros px4.launch fcu_url:=serial:///dev/serial/by-id/usb-Silicon_Labs_CP2102_USB_to_UART_Bridge_Controller_0001-if00-port0:921600 fcu_protocol:=v2.0 2.ros2 launch realsense2_camera rs_launch.py align_depth:=true enable_gyro:=true enable_accel:=true unite_imu_method:=2 enable..

0. 시각화rqt_graph 1. 카메라 노드 ros2 launch realsense2_camera rs_launch.py align_depth:=true enable_gyro:=true enable_accel:=true unite_imu_method:=2 enable_sync:=true publish_tf:=false 2. yolo 노드ros2 run yolo_rt_ros4 run_yolo 3. yolo데이터 처리 노드ros2 run yolo_ynet_ros yolo_rst_data_preprocess[INFO] [1764814021.795137288] [yolo_rst_data_preprocess]: [ID 281] obs_len=8 trajectory published[IN..

1. cd ~/jeong/srcros2 pkg create --build-type ament_python yolo_rt_ros --dependencies rclpy sensor_msgs cv_bridge vision_msgs 2.cd ~/jeong/src/yolo_rt_ros/yolo_rt_rosvim run_yolo.pyimport rclpyfrom rclpy.node import Nodefrom sensor_msgs.msg import Imagefrom cv_bridge import CvBridgeimport cv2import pyrealsense2 as rsimport numpy as npfrom ultralytics import YOLOimport torchclass YoloRealSenseNo..

이 함수는 백본(ResNet)이나 Y-Net encoder에 바로 넣을 수 있는 형태로 맞춰주는것.입력값images라는 딕셔너리출력값반환값은 없다.대신 images[ key ]가 전부 torch.FloatTensor( C , H , W )형태로 바뀜.일반 RGB이미지라면, C=3segmentation이라면, C=classes ( one-hot 채널 수 )line 64 ~ line70 해당 라인들은 정규화 파라미터 설정 부분이다...왜 필요한가?Resnet과 같은 backbone은 ImageNet데이터(0~1 스케일)를 mean/std로 정규화한 상태를 기준으로 학습됨...이로 인해서, 학습때와 다른 분포의 입력을 넣으면 성능이 확 떨어질 수 있음.그래서.... 만약에 encoder_weight is No..

1. 우선 conda activate를 해준다.( pip install ultralytics opencv-python ) 2. 다음과 같이 파이썬 파일을 생성 및 실행 ( 이는 초안...)from ultralytics import YOLOimport csvimport numpy as np# ==========================# 설정# ==========================VIDEO_PATH = "output.mp4" # 추적할 영상MODEL_PATH = "yolov8n.pt" # YOLO 가중치 (다른 걸 써도 됨)CSV_PATH = "output_boxes.csv" # 바운딩 박스 좌표를 저장할 CSV 파일 이름CONF_THRES = 0.4 ..

random variable : 확률변수이는 확률적으로 가질 수 있는 값이 정해지는 변수를 의미이를 사용하면, 내가 가질수있는 값의 불확실한 것을 정량적으로 표현이 가능하다. probability distribution : 확률분포모든 값에 대해서 일어날 수 있는 확률을 나타낸 것모든 값의 합은 1이여야 한다.모든 값의 확률은 0이상 1이하.이산 확률 분포와 연속 확률 분포로 나뉜다.연속 확률 분포는 각각의 값을 확률 밀도라고 말한다. 또한 이를 확률 밀도 함수라고도 한다.연속 확률 분포는 x가 특정한 구간에 있을 확률을 구할수 있다. 해당 확률은 특정 구간의 곡선 아래 면적에 해당된다.연속 확률 분포는 모든 x에서 확률밀도가 0이상이여야한다. 또한 전체 구간에서의 적분값은 1이다. observed va..

1. 로그인ssh -i ~/.ssh/id_ed25519 -Y quad@192.167.1.31 2. 파이썬 가상 환경을 만들어 준다...sudo apt install python3-venvpython3 -m venv ~/venv_yolosource ~/venv_yolo/bin/activate 3. 다음 라이브러리를 설치해준다.pip install --upgrade pippip install ultralytics opencv-python pyrealsense2 numpysudo apt install nvidia-jetpack 4. pytorch설치export TORCH_INSTALL=https://developer.download.nvidia.com/compute/redist/jp/v512/pytorc..