[컴퓨터비전/논문리뷰] Real-time smart lighting control using human motion tracking from depth camera

전반적으로 스마트 조명에 관한 설명이므로, 깊이 카메라 내용을 위주로 분석

Abstract

스마트 조명 시스템 : 조명 및 색온도 자동 제어 → 생활 품질 향상, 에너지 절약

→ 정확한 인간 위치 추정 가능한 실시간 활동 이해 시스템 필요

깊이 맵 이미지의 역원근법(inverse-perspective) 매핑 기반 인간 위치 추정

+ 다중 깊이 카메라에서 이동하는 사람의 위치, 머리 방향, 높이로부터의 활동 추정

= 실시간 스마트 조명 제어 시스템

Introduction

시각 기반 스마트 조명 제어 시스템의 요구사항

• 큰 영역에서의 정확한 실시간 인간 위치 감지 및 추적
• 참여자의 시선 방향 추정 및 활동 인식

실시간 비전 기반 인간 모션 추적, 3차원(3D) 재구성, 포즈 추정 및 특징 추출

→ 잠재적인 응용 분야 가진 연구 분야

markerless and model-free 3D 재구성

→ 통계 모델 & 기하학적 제약 조건 활용한 동시 특징 일치 추정 및 카메라 포즈 추정

→ 온라인 3D 재구성을 실시간으로 가능하도록 함

실시간 처리 지원 위한 하드웨어 지향적 솔루션

1. 소프트웨어 분할이 있는 멀티 코어 아키텍쳐
   1. 응용 특정 명령어 집합 프로세서 사용한 블록 전처리
   2. 센서 의미론 활용한 효율적 자원 스케줄링 및 실시간 운영 체제
2. 대규모 병렬 아키텍쳐 활용 위한 GPU
3. 전용 하드웨어

카메라 : 큰 영역에서 사람을 추적하기 위해 사용 / 분리된 시야에서 추적된 사람들의 재식별 한계

→ Song & Roy-Chowdhury : 카메라 및 시공간 확률 평가하여 MAP(maximum a posterior, 사용으로 대응관계 추정 가능

깊이 정보 : 어떠한 조건에서도 독립적으로 획득 가능 (MS Kinect, Asus Xtion 등의 상용 깊이 카메라 존재)

3D 깊이 지도 이미지에서 인간 모션 감지, 추적, 식별, 위치 추정 위한 2D 평면 기반 관리 제안

상단 뷰에서 3D 인간 추적 시, 머리 및 다른 신체부위는 거리 히스토그램 평가하여 구별 가능

실시간 이미지 처리에 대한 기여

• 깊이 지도 이미지에서의 깊이 히스토그램 분포 분석 사용
• 투상 깊이 지도 이미지(perspective depth map images)로부터 정확한 위치 추정 위한 역원근감 매핑 기반 이미지 처리
• 여러 카메라에서의 공통 좌표 평면 사용하여 실시간 2차원 평면 기반 인간 모션 추적, 식별 및 활동 인식

System Overview

Tracking people and activity estimation

깊이 카메라에서의 인간 동작 캡쳐

• MS Kinect 사용 → 640x480 해상도로 개체까지 거리 제공

감지된 머리 위치에서의 인간 위치 추적 (여러 사람 동시 감지 가능)

• 감지된 사람 위치에서 전역 맵 생성 → 여러 카메라에서의 인간 활동 추적
• 활동 모드 : 감지된 사람 위치, 잠재적 활동과의 근접성, 헤딩 방향, 이동 및 높이 변화 등의 개인 상태에 따라 추정

(a) original depth image (b) depth image after removing the background (c) detected connected component (d) detected person’s bounding box and center location of the detection person

 

(b) 배경객체 : 인간 감지에 필요 X → 거리 임계값 사용하여 제거

지면으로부터 3m 높이에 설치 (배경 객체 제거 위해 2m 임계값으로 사용)

→ 후속 작업에서 필요한 계산 감소

(c) connected component(연결된 구성 요소) 감지하여 전경 덩어리 평가

(d) 각 전경 덩어리 구성 요소의 중심 통해 이미지 공간에서 추정

but, 이는 인간 위치라 할 수 없음 → 머리 위치 감지로 더 정확한 위치 나타내기

(a) estimated head area from histogram (b) estimated human location (green) from head area (c) Depth histogram distribution and estimated head area (red circle)

 

측정된 전경 거리 값으로 히스토그램의 누적 밀도 추정 함수 기반 머리 영역 추정 가능

• 감지된 전경의 가장 가까운 10% 영역을 머리 영역으로 사용
• 그 영역의 중심 위치를 머리 위치로 추정
• 빨간색 원 : 히스토그램 분포 및 임계값으로 추정된 머리 영역

원근 카메라 시야에서의 한계 : 원본 이미지 공간 좌표의 머리 위치 ≠ 실제 바닥의 사람 위치

→ 깊이 맵 이미지로부터 역 원근 투영 제안

• 원근 투영 효과 제거
• XY 평면에서의 직교 투영 실현

역 원근 투영(IPM)

3차원 유클리드 공간 W → 2차원 유클리드 공간 S / 2차원 깊이 맵 I로부터 정의

동일한 XY 좌표 가진 모든 Z 포인트가 동일한 위치에 표시되는 XY 평면에서 광학 플로우 통한 장애물 감지에 제안되었음

→ 실시간 비전 시스템에서의 성공적 적용

상단에서 내려다보는 깊이 카메라로부터 XY 좌표에 대한 직교 투영

→ 정확한 사람 위치 추정에 적용

A example of perspective projection depth map and IPM depth image First row: original depth map from Kinect second row: inverse perspective mapping to depth H = 2.0 m

 

(IPM 원리에 대한 공식 및 원근 투영과의 평균 오차 비교 결과는 원본 논문 참고)