<다시점 카메라를 이용한 3D 360도 VR 콘텐츠 생성 기술개발>

연구목표:

본 과제의 목표는 임의의 실내외 환경에서 다시점 카메라를 이용하여 촬영된 영상을 기반으로 사용자가 자유롭게 가상공간을 움직이며 인터랙션을 할 수 있는 임의시점을 생성하는 3차원 360도 가상현실 콘텐츠를 생성하는 기술을 개발.

연구내용:

-동기화된 카메라영상 캡처방식의 고품질(4K이상) 360도 파노라마용 영상 획득 장치 개발

-다시점 영상 기반의 고성능(고정밀도/고밀도) 깊이정보(Depth map) 추정 기법

-360도 VR 영상 정합(stitching) 정밀도 및 색상 보정을 통한 색균일성 향상 기술

-Image-based rendering기술 기반으로 한 실시간 6DOF 가상시점 생성

-Hybrid(model+image) rendering기법을 통한 Refined 3D Scene Reconstruction 구현

-S3D 360 VR의 네비게이션 편집, 사용자 기반의 인터랙션 이벤트 생성 기능, HMD를 통한 자유시점의 체험이 가능? ? ? ? ? ? ?한 저작도구 제작

주요 기능

-SfM(Structure from Motion)알고리즘 기반의 3D Recontruction & 3D Map 구현

-정밀도 및 화질이 향상된 Panorama Stitching 기능

-Image-based rendering기법의 가상시점 360 VR 영상 재생

-SLAM과 Multi-view image를 통한 Object ID & Pose estimation

-Hybrid rendering기법을 통한 Refined 3D scene reconstruction

-사용자 자유시점 기반의 S3D 360 VR 네비게이션 기능

-물체인식 기반의 VR 인터랙션 기능

주요 성능치

-깊이영상 추정 에러율 : 실측 값 대비 변이값으로 7%이하 목표

-파노라마 영상정합 정확도 : 정합된 영상 간의 픽셀거리 RMSE

(Root Mean Square Error : 평균 제곱근 오차) 4 목표

-파노라마 영상 색상보정 성능 : 원본 대비 디코딩 영상차의 PSNR 32 목표

-가상시점 영상 정확도 : 피사체와의 거리대비 10% 이내의 수평·수직(줌인) 이동, 5°이내의 회전 시의 PSNR(Peak Signal? ? ? ? to-noise ratio : 최대 신호 대 잡음비) 28 목표

-물체인식 정확도 : 의미 단위 객체 영역 분할율 IoU 83 목표

핵심 기술

-다시점 영상을 이용한 3차원 데이터 복원기술

-고품질의 파노라마 영상 정합 기술

-가상시점에서 고품질의 VR 영상 재생 기능

기대효과

– 본 과제로 개발된 VR콘텐츠는 게임을 포함한 엔터테인먼트, 영화 교육, 전시 의료, 국방, 여행, 커머스 등 우리 생활 전반에 응용 될 것으로 예상됨, 또한 IoT, 웨어러블의 신기술과 접목한 새로운 VR관련 시장과 연계 가능.

– 경제적 파급효과: 360 비디오 콘텐츠가 VR시장 콘텐츠의 시작을 가져왔으나 본격적인 경제적, 산업적 시장창출을 위해 킬러콘텐츠 가능성이 높은 자유시점기반의 360 S3D 가상현실 콘텐츠에 대한 연구가 세계적으로 시작되고 있음. 개발 기술은 국내 가상현실 콘텐츠 시장이 향후 몇 년 뒤 세계적인 경쟁력을 가지기 위한 기반 기술로 국내 VR콘텐츠 시장의 성장동력으로 가치가 높음

참여 연구원

전진우

전익범

<다시점 카메라를 이용한 3D 360도 VR 콘텐츠 생성 기술개발>

연구목표:

연구내용:

주요 기능

주요 성능치

핵심 기술

기대효과

참여 연구원