LingBot-Map: Streaming 3D reconstruction with geometric context transformer

개요

LingBot-Map은 Geometric Context Attention (GCA)을 사용하여 메모리 효율적인 스트리밍 3D 재구성을 가능하게 하는 새로운 방법론입니다.

주요 내용

• GCA는 앵커(anchor), 지역 포즈-참조 창(local pose-reference window), 궤적 메모리(trajectory memory)의 세 가지 상호 보완적인 컨텍스트를 유지하여 3D 재구성의 메모리 및 컴퓨팅 부담을 줄입니다.
• 앵커는 좌표 및 스케일 기준점을 제공하며, 지역 포즈-참조 창은 밀집된 지역 기하학 정보를 처리합니다.
• 궤적 메모리는 전체 프레임 히스토리를 컴팩트한 프레임별 토큰으로 압축하여 10,000개 이상의 프레임 시퀀스에서도 프레임당 메모리 및 컴퓨팅 비용을 거의 일정하게 유지합니다.
• LingBot-Map 파이프라인은 DINO 백본으로 이미지 특징을 추출하고, Frame Attention 및 GCA 레이어를 반복적으로 사용하여 특징을 정제합니다.
• GCA 내부에서는 현재 뷰가 앵커 컨텍스트, 지역 포즈-참조 창, 궤적 메모리에서 정보를 집계합니다.
• 이후 작업별 헤드(task-specific heads)를 통해 카메라 포즈와 깊이 맵을 예측합니다.

시사점

LingBot-Map은 실시간 스트리밍 환경에서 대규모 3D 재구성을 효율적으로 수행할 수 있는 가능성을 보여주며, 이는 AR/VR, 로보틱스 등의 분야에 적용될 수 있습니다.