디지털 트윈 동기화를 위한 2D 탐지 기반 필터링 기법을 사용한 6D 객체 자세 추적 방법 및 그 시스템

Abstract

본 발명은 범주 수준 객체의 6D 자세를 추적하고 실제 객체와 대응되는 가상 복제 객체를 디지털 트윈에 업데이트하는, 디지털 트윈 동기화를 위한 2D 탐지 기반 필터링 기법을 사용한 6D 객체 자세 추적 방법 및 그 시스템에 관한 것으로서, 단일 샷 네트워크(single-shot network)를 이용하여 객체의 6D 자세와 3D 크기로부터 객체의 3D 바운딩 박스를 생성하고, 칼만 필터(Kalman Filter) 및 평균 유클리드 거리(Euclidean Distance)를 사용하여 3D 바운딩 박스 키포인트로 6D 객체 자세를 추적하는 단계, 2D 검출기와 칼만 필터(Kalman Filter) 및 헝가리안 알고리즘(Hungarian algorithm)을 이용하여 2D 객체를 추적하는 단계 및 추적된 6D 객체 자세 및 2D 객체의 일치 정도에 따라 필터링하는 단계를 포함한다.