인텔 리얼센스 SDK 센서 프로그래밍

▣ 출판사서평

목소리와 제스처로 PC를 제어하는 센서 장치의 진짜 주인공!
Microsoft사의 Kinect의 등장 이후 마우스와 키보드를 대체하는 새로운 PC의 조작 방법은 센서 장치에 의한 ‘NUI(내추럴 사용자 인터페이스)''가 주목받고 있습니다. 제스처와 음성인식 등 인간의 오감과 자연스러운 행동에 의한 직관적인 조작이 가능하기 때문에 PC에 익숙하지 않은 젊은 층 또는 고령자도 좋아합니다.

인텔 리얼센스 기술은 Cpu의 일류 메이커인 Intel이 개발한 센서 입력 기술입니다. 3D 전용 카메라로 사용자를 인식함으로써 NUI(Natural User Interface)를 실현합니다. 이 3D 카메라는 현재 출시되는 PC에 일부 탑재되고 있으며, 세계 각국의 주요한 PC메이커로부터 호응을 얻고 있습니다. 이들의 호환 PC를 구입하면 추가 구입할 필요 없이 3D 카메라를 이용할 수 있기 때문에 가장 널리 보급될 센서 기기로서 앱 개발자들이 기대하고 있습니다(기존의 미탑재 PC로도 개발자용 카메라를 추가함으로써 이용할 수 있게 됩니다).

해당 응용 프로그램의 개발은 무상 공개하는 ‘인텔 리얼센스 SDK’를 사용하여 C# 또는 C++로 개발합니다. 또한, 요즘 사용자가 폭발적으로 늘고 있는 ‘Unity’에서도 호환이 가능하여, 게임 개발자로부터도 주목을 받고 있습니다.

▣ 작가 소개

Tokyo MotionControl Network.
Kinect와 Oculus Rift 등 저렴한 가격에 구입 가능한 센서 및 기기와 관련된 오픈 엔지니어링 커뮤니티입니다. 디지털로 무언가를 제작하는데 관심 있는 개발자나 디자이너들의 네트워크이며, 함께 제작하고 창작하는 커뮤니티입니다.
［Facebook］https://www.facebook.com/TokyoMotioncontrolNetwork

나카무라 가오루【Chapter 1、2、4、5、7을 집필】
Microsoft MVP for Kinect for Windows, TMCN 테크니컬 에반젤리스트 프리랜서.
Kinect와 RealSesne 등을 사용한 응용 프로그램의 개발, 강연, 집필 등을 중심으로 활동하고 있습니다. 센서를 아주 좋아해서 자택에 센서가 산 만큼 쌓여 있기도 한답니다.
저서로 『KINECT for Windows SDK 프로그램 C# / C++ 』（슈와시스템）, 『LeapMothion 프로그래밍 가이드』（고가쿠샤）등이 있습니다.
［blog］http://www.naturalsoftware.jp/
［Twitter］kaorun55
［Facebook］https://www.facebook.com/kaorun55

마에모토 사토시【Chapter 3, 8-1, 8-3을 집필】
Tokyo MotionControl Network Co-founder, 주식회사 시스템 프렌드 센서＆디바이스 부장.
kinect 등의 센서를 사용한... 앱（이벤트용 콘텐츠 및 의료 건강관리 관련）과 스마트폰 AR앱 개발자 입니다. Kinect 관련 TV 프로그램에 출연한 경험도 있습니다.
［웹사이트］http://www.systemfriend.co.jp/kinect_nui
［Facebook］https://www.facebook.com/satoshi.maemoto

사이토 유스케【Chapter 6을 집필】
도쿄 이과 대학 이공학연구과 경영공학 전공, 박사과정에 재학 중이며, 니시야마 연구실 소속 연구원.
연구분야는 기계학습, 휴먼인터페이스, 인공지능이며, 현재는 행동 인식을 핵심 연구 주제로 삼고 있습니다. 연구과정에서 여러 가지 기기에 관심을 갖게 되어 앱 개발을 시작하게 됐습니다. RealSense의 전신인 Perceptual Computing 기기를 이용한 여러 가지 앱을 개발한 경험이 있습니다.
［Twitter］Sai10kundayooo
［Facebook］https://www.facebook.com/saito.yusuke.144

다니구치 나오지【Chapter 8-2, 10을 집필】
CG스튜디오의 R&D 부문에 근무하다가 현재는 프리랜서.
컨슈머 게임, 웹 앱, 스마트폰 앱, 터랙티브 전시의 기획, 개발을 직접 하고 있습니다. 최근의 관심사는 VR 과 로봇 관련 개발입니다.
［LinkedIn］https://www.linkedin.com/in/naojitaniguchi

하쓰네 아키라【Chapter 9를 집필】
Microsoft MVP for Windows Platform Development, TMCN 테크니컬 에반젤리스트, 일본 대기업 시스템 개발회사 근무.

테크니컬 웹사이트에서 Windows 계열 시스템 개발의 기술 정보를 주로 집필하고 있습니다. 주요 저작물로는 『처음으로 하는 Visual Basic 2012』,『처음으로 하는 Visual C# 2012』（슈와 시스템）, Kinect에 관한 외국서적의 번역 및 감수가 있습니다.

최근에는 일본 전국의 AED 위치를 동일한 API로 가져올 수 있는 AED 오픈 데이터 플랫폼을 개발하여 운영하고 있습니다.
［blog］http://hatsune.hatenablog.jp/ 펼처보기 닫기

역자 : 정유경
현 규슈 대학 결단과학센터 교수
· 일본 가고시마 대학 석사·박사
· 고려대학교 일본연구센터 HK연구교수(2011.3~2012.8)
· 일본 가고시마 대학 객원연구원(2012.12~2013.2)
· 역서: 《술의 세계사》(2014),《일본의 술》(2011), 《질투의 정치》(2012), 《검증 3.11 동일본대지진》(2012), 《대규모 재해 극복을 위한 자치체 간 연계》(2013) 등

감역 : 이현준(쑤머)
인터넷 콘텐츠 개발 및 방송물 제작 업종에서 20년 가까이 종사했으며, 컴퓨터 개발 언어와 관련하여 많은 노하우와 경험을 쌓아온 전문 콘텐츠 개발자입니다. 현재 미국 하와이 주립대학교의 온라인 교육 개발팀장으로 근무하고 있으며 온라인 콘텐츠 및 스마트 기기용 앱을 개발하고 있습니다.

▣ 주요 목차

시작하면서 ......... iii
이 책의 대상 ...... iv

Part 1 개발 준비
Chapter 1 인텔 RealSense 기술의 개요
1-1 인텔 RealSense 기술의 변천
1-1-1 지금까지의 경과
1-1-2 Windows 10은 운영체제 차원에서 지원
1-2 RealSense의 구성요소
1-2-1 구성요소
1-2-2 인텔 RealSense SDK
1-2-3 인텔 RealSense 3D 카메라
1-3 RealSense의 작동환경
1-3-1 하드웨어 요구사항
1-3-2 인텔 RealSense 3D 카메라의 사양
1-3-3 소프트웨어 개발환경
1-4 인텔 RealSense SDK의 기능 개요
1-4-1 기본 스트림
1-4-2 손(Hand)의 감지
1-4-3 얼굴 감지
1-4-4 음성
1-4-5 환경(Surrounding)
1-4-6 브라우저 응용 프로그램
1-5 호환 응용 프로그램
1-6 인텔 RealSense SDK 설치
1-6-1 설치 순서
1-6-2 인텔 RealSense SDK 다운로드
1-6-3 인텔 RealSense 3D 카메라 연결
1-6-4 인텔 Depth Camera Manger를 설치
1-6-5 인텔 RealSense SDK를 설치
1-7 인텔 RealSense SDK의 구성
1-7-1 폴더 구성
1-7-2 각 리소스 접근
1-7-3 샘플 소개
Chapter 2 Visual Studio에 의한 개발 준비
2-1 Visual Studio의 설치
2-1-1 Visual Studio의 에디션
2-1-2 Visual Studio Community 2015의 설치 순서
2-2 C++를 이용한 개발환경 구축
2-2-1 프로젝트의 생성
2-2-2 인텔 RealSense SDK의 설정
2-2-3 OpenCV 설정
2-2-4 프로젝트 상세 설정
2-2-5 C++의 코드 템플릿
2-3 C#에서의 개발환경 구축
2-3-1 프로젝트의 생성
2-3-2 인텔 RealSense SDK의 설정
2-3-3 C#의 코드 템플릿
Chapter 3 Unity에 의한 개발준비
3-1 Unity의 설치
3-1-1 Unity 다운로드
3-1-2 Unity 설치
3-2 Visual Studio 2015 Tools for Unity 설치
3-2-1 Visual Studio 2015 Tools for Unity 다운로드
3-3 Unity의 초기 설정
3-3-1 Unity 라이선스 등록
3-4 Unity에서의 개발환경 구축
3-4-1 프로젝트의 생성
3-4-2 인텔 RealSense SDK의 설정
Part 2 인텔 RealSense SDK의 사용
Chapter 4 이미지 표시
4-1 컬러 이미지
4-1-1 입력되는 컬러 이미지
4-1-2 컬러 이미지 표시
4-2 Depth 이미지
4-2-1 입력되는 Depth 이미지
4-2-2 Depth 이미지 표시
4-2-3 Depth의 거리 데이터 사용
4-3 IR 이미지
4-3-1 입력되는 IR 이미지
4-3-2 IR 이미지 표시
4-4 기기(device)가 지원하는 포맷
4-4-1 기기가 지원하는 포맷 확인하기
4-4-2 복수의 함수를 동시에 이용할 때 주의 사항
Chapter 5 손가락 감지
5-1 손가락 감지 함수
5-1-1 인텔 RealSense SDK에 포함된 감지 함수
5-1-2 손 감지
5-1-3 각각의 손 이미지를 하나로 통합
5-1-4 손 감지 데이터를 표시
5-1-5 손가락 데이터를 표시
5-1-6 손가락 위치를 Depth 이미지에 맞추기
5-1-7 손가락 위치를 컬러 이미지에 맞추기
5-2 제스처 인식과 감지모드의 변경
5-2-1 제스처 인식
5-2-2 마스크 모드로 실행
5-2-3 윤곽(Outline) 모드로 실행
Chapter 6 얼굴과 표정 감지
6-1 얼굴 감지 기능
6-1-1 RealSense SDK에 포함된 얼굴 감지 기능
6-1-2 얼굴 감지
6-1-3 얼굴 포즈 가져오기
6-1-4 얼굴에서 78개의 포인트 위치 가져오기
6-1-5 얼굴의 감지 정보 가져오기
6-1-6 얼굴 식별
6-1-7 심장 박동수 측정
6-2 감정 표현 감지 기능
6-2-1 인텔 RealSense SDK에 포함된 감정 표현 감지 기능
Chapter 7 표시 및 감지의 응용 예
7-1 세분화(Segmentation, 배경 제거)
7-1-1 세분화를 이용한 배경 제거
7-2 객체 추적
7-2-1 인텔 RealSense SDK의 객체 추적
7-2-2 2D 객체 추적
7-2-3 3D 객체 추적
7-2-4 3D 인스턴스 객체 추적
7-3 음성인식(음성의 텍스트화)
7-3-1 인텔 RealSense SDK의 음성 기능
7-3-2 받아쓰기 모드의 음성인식
7-3-3 명령 모드로 음성인식
7-4 음성변환(텍스트의 음성화)
7-4-1 음성변환
7-5 3D 스캔
7-5-1 3D 스캔
Part 3 응용 프로그램 개발 사례
Chapter 8 Unity로 만드는 응용 프로그램
8-1 SDK Unity Toolkit
8-1-1 세분화를 이용한 배경 제거
8-1-2 SDK Unity Toolkit의 Prefab
8-1-3 SDK Unity Toolkit의 Action
8-1-4 SDK Unity Toolkit의 Trigger와 Rule
8-2 게임 앱 ‘Smile Shooter’
8-2-1 샘플 프로젝트 가져오기
8-2-2 인텔 RealSense 3D 카메라의 영상을 화면에 표시
8-2-3 얼굴로 우주선 움직이기
8-2-4 웃는 얼굴로 총알 발사하기
8-2-5 난이도 조정하기
8-3 일반 앱 ‘웃음 트레이닝’
8-3-1 센서 응용 프로그램과 건강 관리
8-3-2 응용 프로그램의 개요
8-3-3 응용 프로그램 구축
Chapter 9 Visual Studio로 만드는 응용 프로그램
9-1 표정과 기분에 따른 커피 추천 앱
9-1-1 Sensor Coffe
9-2 화면 디자인
9-2-1 앱의 전체적인 흐름
9-2-2 화면 디자인
9-3 개발 프로젝트의 준비
9-3-1 새로운 프로젝트의 생성
9-3-2 인텔 RealSense SDK의 설정
9-3-3 프로젝트 구조
9-3-4 데이터 바인딩과 M-V-VM
9-4 화면 만들기
9-4-1 전체 화면 구성
9-4-2 CameraPage 만들기
9-4-3 App.xaml.cs의 업데이트
9-4-4 MainViewModel 클래스의 추가
9-5 감지 로직
9-5-1 감지 로직을 위한 클래스 만들기
9-5-2 RSModel 외부 사양
9-5-3 감지 기능의 활성화
9-5-4 감지한 데이터 가져오기
9-5-5 이미지 데이터의 저장
9-5-6 표정 데이터의 저장
9-5-7 정리
Chapter 10 openFrameworks로 만드는 응용 프로그램
10-1 이번 장에서 제작하는 예제 앱에 대해
10-2 openFrameworks의 환경 설정
10-2-1 openFrameworks의 다운로드
10-2-2 라이브러리 다운로드(openFrameworks 0.8.4 이하 버전일 경우)
10-2-3 openFrameworks의 프로젝트 사용하기
10-2-4 ofGPUParticles의 다운로드
10-3 대량의 파티클을 제어하는 앱 만들기
10-3-1 ofGPUParticles을 사용한 openFrameworks 앱 프로젝트 생성
10-3-2 ofGPUParticles 예제의 실행
10-3-3 ofGPUParticles의 예제 코드를 사용하기 위한 설정
10-3-4 인텔 Realsense SDK를 사용하기 위한 설정
10-3-5 인텔 Realsense SDK 코드 추가
10-3-6 추적하고 있는 손의 정보 표시
10-3-7 손으로 파티클 움직이기

부록 PXC(M)FaceData.LandmarkType 구조