mir.pe (일반/어두운 화면)
최근 수정 시각 : 2024-11-18 02:03:42

모션 캡처


1. 개요2. 장점3. 단점4. 구현 방식
4.1. 광학식
4.1.1. 패시브 마커4.1.2. 액티브 마커4.1.3. 마커리스4.1.4. 페이셜 캡처
4.2. 자기식4.3. 관성식4.4. 기계식4.5. 핸드 캡처
5. 모션 캡처에 특화된 배우6. 기타7. 관련 문서

1. 개요

모션 캡처(Motion Capture)는 몸에 센서를 부착시키거나 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다. 미디어 쪽에서는 의미를 축소시켜 모션 캡쳐를 통해 CG 애니메이션 등의 형태로 기록 및 가공하는 기술을 의미하며 이 문서에서도 이쪽에 집중해서 설명되어 있다. 어떻게 보면 인형탈의 디지털 버젼이라고 할 수 있다.

기업 환경의 영화나 게임 제작에 사용되는 것뿐만 아니라 Kinect를 시작으로 일반 사용자 환경에서도 저렴하게 사용할 수 있게 되었으며 HMD의 등장으로 VR 환경에서 개인의 풀 바디 트래킹 수요도 증가해 다양한 제품이 등장하기도 하였다. 굳이 바디트래킹이 아니더라도 버츄얼 유튜버로 유명한 웹캠을 이용한 페이셜 트래킹 역시 모션 캡쳐의 일종이다.

초창기 영상매체들 중 실제 사람이 출연하지 않는 2D 영상이나 3D 컴퓨터 그래픽 영상에서 사람의 움직임이 상당히 부자연스러웠던 것은 제작자가 동작들을 일일이 수작업으로 만들다 보니 생긴 현상이다. 당시 기술력으로는 관절과 근육의 미세한 움직임을 하나하나 재현하려면 엄청난 노력과 자원이 소모되는 일이었기에 적당히 구현하는 선에서 타협을 봐야 했고, 그 결과는 어딘지 모르게 어설픈 동작들이었다. 이것을 보완하고자 신체에 센서를 부착하고 수행하는 동작들을 컴퓨터로 잡아 데이터화 하는 기법이 탄생한 게 모션 캡처이다.

초기에는 CG가 들어간 영화에서나 사용되던 기법이었지만 이후 3D 그래픽이 대거 도입된 게임과[1] 애니메이션까지 사용 범위가 확장되었다. 이로 인해 앤디 서키스, 이준혁과 같은 모션 캡처를 전문으로 하는 배우도 생겨났다.

2. 장점

모션 캡처가 전통적인 수작업 애니메이션에 비해 가지는 장점은 아래와 같다.

3. 단점

모션 캡처가 전통적인 수작업 애니메이션에 비해 가지는 단점은 아래와 같다.

4. 구현 방식

4.1. 광학식

광학식 모션 캡처는 캡처 대상이 최소 두 개 이상의 카메라에서 동일한 지점에 투영되도록 한 뒤 삼각측량법을 통해 대상의 삼차원적 좌표를 역산하여 이루어진다.

일반적으로 광학식 모션 캡처는 측정의 정확도를 위해 캡처 대상에 마커를 부착한다. 마커는 광학적 성질로 인해 데이터적으로 식별이 용이하여 보다 정확한 측정을 가능하게 한다. 카메라에 마커가 잘 인식되고 또한 마커가 캡처 대상의 움직임을 잘 전달할 수 있도록 하기 위해 캡처 대상은 일반적으로 몸에 달라붙는 검은색 색상의 모션 캡처 슈트를 착용하게 된다. 언뜻 보기에 민망한 몸에 착 달라붙는 쫄쫄이 모션 캡처 슈트를 입는 이유는 슈트가 헐렁하거나 펄럭거려서 몸에 부착한 마커가 모션과 관계없이 움직이게 되면 데이터 에러가 되고 정확히 모션을 캡처할 수 없기 때문이다. 마커 없이 영상 분석 기술을 통하여 대상의 움직임을 추적하는 기술 역시 개발되고 있으며 이는 아래에 후술한다.

광학식 모션 캡처의 장점은 마커를 사용한다는 전제하에 모든 모션 캡처 방식 중 가장 정교하며, 자기식이나 기계식 모션 캡처에 비해 촬영 환경이 상대적으로 자유롭다는 점이다. 할리우드를 비롯한 영화계에서 사용되는 모션 캡처는 대부분 마커를 이용하는 광학식 모션 캡처를 사용한다. 일종의 업계 표준으로 자리잡아 많은 노하우나 관련자료들이 축적되어 있고, 소프트웨어 및 플러그인 등이 광학식 모션 캡처 시스템을 기준으로 개발된 것이 많다는 것도 장점.

광학식 모션 캡처의 단점은 (마커 사용 시) 천문학적인 비용이다. 광학식 모션 캡처의 정밀도는 오로지 카메라의 해상도와 개수, 마커의 개수라는 하드웨어적 요인에 의해 결정되기 때문에 정교한 수준의 모션 캡처를 위해서는 수십~수백억의 초기 비용이 들어간다. 특히 삼각측량법의 특성상 카메라의 개수가 절대적으로 중요한데 10m×10m의 비교적 작은 캡처 공간을 위해서도 50대 이상의 카메라가 권장된다. 영화 CG에 사용되는 모션 캡처의 경우 일반적으로 수십에서 수백개의 카메라가 동원된다.
* Qualisys: 패시브 모션 캡쳐, 하이브리드 모션캡쳐 장비 관련 회사.

4.1.1. 패시브 마커

파일:Passive Marker.jpg
패시브 마커는 특정한 파장의 빛을 재귀반사[2]하는 물질로 코팅된 마커로서 주로 적외선을 재귀반사하며 적외선 카메라와 대응하여 사용된다. 우리가 차를 타면 흔히 볼 수 있는, 야간에 빛을 반사해서 더 밝게 보이는 도로 표지판에 활용되는 도료가 이것이다.

패시브 마커의 장점은 액티브 마커에 비해 상대적으로 가격이 저렴하고, 캡처 대상이 느끼는 신체적 부담이 덜하다는 점이다. 마커의 구조가 간단하며, 캡처 대상이 값비싸고 불편한 기계식/전자식 장비를 착용할 필요가 없기 때문이다.

또다른 패시브 마커의 장점은 아무데나 간편하게 붙여 다양한 오브젝트의 모션을 캡처하기 용이하다는 것이다. 모션을 캡처할 때 사람뿐만 아니라 사람이 들고 있는 무기나 탈것 등의 오브젝트 모션이 필요할 경우가 있는데, 대상이 되는 오브젝트가 단순히 하나의 강체(Rigid body) 라면 적당히 몇 개의 마커를 붙이는 것만으로도 추후에 소프트웨어에서 간단히 오브젝트의 모션을 생성해 낼 수가 있다.[3]

패시브 마커의 가장 큰 단점은, 모든 마커가 동일한 파장의 빛을 반사하기 때문에 마커끼리의 상호 식별이 불가능하다는 것이다.

가령 캡처 대상이 360도 회전할 경우, 캡처 대상이 뒤로 돌았을 때는 후면의 마커만 보이고 전면의 마커가 캡처 대상에 가려서 보이지 않다가 캡처 대상이 앞으로 돌았을 때는 역으로 전면의 마커만 보이고 후면의 마커는 보이지 않게 된다. 문제는 이런 식으로 마커 끼리의 상호 위치관계가 달라지거나 손실된 뒤 해당 촬영 결과물을 디지털 기록으로 변환할 시, 어느 마커가 캡처 대상의 어느 부위에 붙어 있었는지 데이터상으로 알 수 있는 방법이 없어지기 때문에[4] 이를 애니메이션을 적용할 대상 캐릭터의 뼈대와 관절에 대입하면 엉망진창이 된다. 마찬가지 이유로 다수의 캡처 대상을 한 카메라에 담을 경우, 순수 데이터상으로는 어느 마커가 어느 캡처 대상을 지칭하는지 알 수 있는 방법이 전무하다. 이러한 문제를 해결하기 위해 패시브 마커는 수백개에 달하는 다수의 카메라를 사용하여 오차가 발생하는 영상의 개수를 최소화할 수 밖에 없으며, 그럼에도 불구하고 발생하는 오류들은 애니메이터들이 수작업으로 수정할 수밖에 없다.

패시브 마커의 또다른 단점은 적외선을 활용하기 때문에 태양광의 간섭에 취약하며, 따라서 야외 환경이나 창문에서 태양광이 들어오는 환경 등에서는 데이터가 제대로 얻어지지 않는다는 것이다. 이 때문에 패시브 방식의 모션 캡처 스튜디오는 태양광이 차단된 환경 하에서 구축한다.

패시브 마커는 현재 영화 산업계에서 가장 범용적으로 사용되는 방식이다.

4.1.2. 액티브 마커

파일:Dawn of The Planet of The Apes Motion Capture.jpg

사진은 혹성탈출: 반격의 서막에서 시저 역으로 분한 앤디 서키스. 색상 구분형 액티브 마커(좌측은 적색, 우측은 백색)를 이용하여 모션 캡처 촬영에 임하고 있다.

액티브 마커는 외부의 빛을 반사하는 대신 마커 스스로가 빛을 발산한다. 주로 LED등을 이용한다.

액티브 마커의 장점은 패시브 마커와는 달리 각 마커의 색깔이나 주사율을 달리하는 등의 방식으로 마커간의 식별이 가능하다는 것이다. 액티브 마커는 자체적으로 빛을 발산하기 때문에 빛을 반사하는 패시브 마커와는 달리 더 먼 거리에서 식별이 가능하며, 적외선 카메라와 같이 카메라가 별도 파장의 빛을 발산하고 탐지할 필요가 없다. 이는 보다 넓은 환경에서의 동적 촬영 혹은 야외 환경에서의 촬영을 가능하게 한다.

액티브 마커의 단점은 마커 및 촬영장비의 천문학적인 비용과 캡처 대상의 신체적 불편함이다. 색상 구분형 액티브 마커는 그 정교함에 한계가 있어 부분적으로만 사용되기에 본격적인 모션 캡처를 위해서는 주사율 구분형 액티브 마커가 필요한데, 서로 다른 주사율로 점멸하는 수백개의 마커 비용은 둘째치고, 각 마커의 주사율를 전부 구분하기 위해서는 초고속 카메라 수준의 캡처 속도가 필요하며 이러한 캡처 장비의 비용은 단순한 적외선 카메라와는 비교도 할 수 없이 비싸다.[5] LED등을 이용하는 액티브 마커는 당연히 전원이 필요하기 때문에, 캡처 대상은 무겁고 복잡한 유선식, 혹은 자체 배터리가 내장된 전자식 슈트를 착용해야 한다.

액티브 마커는 반 헬싱, 혹성탈출 리부트 시리즈[6], 알리타: 배틀 엔젤 등의 영화에서 일부 장면에 제한적으로 사용되었다.

4.1.3. 마커리스


마커리스 광학 캡처 방식은 컴퓨터 연산 능력과 소프트웨어의 발전에 따른 산물로서 패턴인식, 특징 추출 등의 영상 처리 및 분석 기술을 통해 캡처 대상의 움직임을 포착함으로서 이루어진다. 이미지 기반 모션 캡처라고도 불린다.

마커리스 캡처 방식의 장점은 가격과 접근성이다. 다수의 특수 카메라나 마커를 필요로 하지 않으며 전용 스튜디오도 불필요하다. 캡처를 위한 어떠한 사전 준비도 필요하지 않기 때문에 매우 쉬운 캡처가 가능하다.

마커리스 캡처 방식의 단점은 떨어지는 정확성이다. 당연하게도 영상 처리기술만을 통한 캡처는 마커를 이용하는 방식에 비해 물리적으로 정확성의 한계가 존재한다. 영상 산업용으로 사용할 때는 일반적으로 트래킹 밴드[7]라고 불리는 검은색과 흰색이 번갈아 있는 줄무늬 띠를 착용하여 어느 정도 정확성을 높일 수 있으나, 결국 심각한 오차로 인해 애니메이션 적용을 위해서는 사실상 수작업 애니메이션 제작이나 다름없는 수준의 대규모 보정 작업이 필요하며, 정확한 캡처를 위해 초근접 촬영이 필요하므로 촬영 환경이 자유롭다는 이점조차 무색해진다. 이러한 트래킹 밴드조차 없는 순수 마커리스 캡처는 도저히 영상 산업용으로는 써먹을 수 없는 수준이며, 개인 및 인디 단위의 소규모 영상 제작에서 예산이 부족한 부득이한 경우에 사용하게 된다.

때문에 마커리스 캡처 방식은 주로 게임 등의 프로그램에 대한 인간 인터페이스 장치로서 활용되는데, 이러한 용도로 사용할 때에도 문제점이 있다. 영상에서 캡처 대상을 포착하는 데에 고도의 연산이 필요하기 때문에 움직임이 데이터로 변환되는 데 수 ms에서 심하면 1초 가량의 지연 시간이 있으며, 즉각적 입력이 중요한 입력 장치로서 이는 매우 심각한 단점이다.

현재 가장 대표적인 마커리스 모션 캡처 기술은 다름아닌 키넥트이다. 아래에 서술한 페이셜 캡처 역시 마커리스 캡처의 기술을 어느 정도 차용한다.

4.1.4. 페이셜 캡처

페이셜 캡처는 말 그대로 캡처 대상의 얼굴을 기록하는 기술이다. 당연하지만 캡처 대상은 인간으로 한정된다.

페이셜 캡처는 광학식임에도 불구하고 복수의 카메라를 필요로 하지 않는다. 이는 인체의 얼굴은 비교적 평면에 가까우며, 이목구비의 위치가 명확하기에 단일 카메라로도 캡처 대상의 삼차원적 좌표를 역산하는 데에 어려움이 없기 때문이다.

영화 산업계에서 페이셜 캡처 기술이 본격적으로 사용된 작품은 폴라 익스프레스로, 이는 영화 산업계에서 얼굴 표정을 모션 캡처를 통해 데이터로 산출한 첫 번째 사례이다. 이후 영화 아바타에서 각 배우가 헤드캡에 부착된 소형 카메라를 장착하여 보다 더 정적인 환경에서의 캡처가 가능해지면서 정교한 얼굴 애니메이션이 가능해짐에 따라 현대 영화산업에서는 대다수가 페이셜 캡처 전용의 소형 카메라를 사용하게 된다.

페이셜 캡처 기술은 일반적으로 마커를 병행함에도 불구하고 마커리스 캡처 기술을 부분적으로 차용하는 경우가 많다. 아무리 많은 마커를 부착하더라도 80여개의 안면 근육의 복합적 움직임에 따른 조합은 수만에 달하며 이를 고작 수십개의 마커만을 통해 물리적 데이터로 산출하는 데에는 한계가 있다. 반면 얼굴이라는 캡처 대상은 매우 정적이고 특징 추출에 용이하여 영상 처리기술을 적용하기 매우 용이하다. 이와 같은 특징으로 인해 페이셜 캡처는 마커 없이도 상당히 수준급의 결과물이 나온다.

상용화된 마커리스 페이셜 캡처의 예시는 오락용 소프트웨어인 FaceRig나 Face ID를 지원하는 iPhone의 기능인 애니모티콘, 해당 기술을 응용한 니지산지, hololive 앱 등이 해당한다.

4.2. 자기식

파일:Magnetic Motion Capture.jpg

자기식 모션 캡처는 캡처 대상의 관절에 자기장을 계측할 수 있는 센서를 부착한 뒤, 자기장 발생장치 근처에서 각 센서의 자기장 변화량을 계산하여 움직임을 측정하는 방식이다. 1990년대에 주로 쓰인 모션 캡처 기술이다.

자기식 모션 캡처의 장점은 오차 범위가 매우 낮기 때문에 적은 양의 센서로 모션 캡처가 가능하다는 것이다. 가격 역시 상대적으로 저렴한 편으로, 2000년도 기준 시스템 구축에 약 5000$ 정도의 가격이 들어갔다.

자기식 모션 캡처의 단점은 외부 환경에 매우 민감하다는 것이다. 금속 물체나 자성체가 있으면 측정 자체가 불가능하며 전자 장비에조차 영향을 받는다. 심지어 센서끼리도 서로 영향을 주기 때문에 둘 이상의 대상을 동시애 캡처하는 것이 불가능하다. 형성할 수 있는 자기장의 범위에 한계가 있으므로 캡처 대상이 움직일 수 있는 공간적 한계가 존재하며, 전자기장의 문제로 무선 데이터 전송에 어려움이 있기 때문에 정교한 측정 데이터 송수신을 위해 유선식 장비를 사용해야 한다는 단점 역시 존재한다.

자기식 모션 캡처는 현재 영상 시장에서는 정확도 면에서는 광학식, 범용성 면에서는 관성식에 밀려 거의 쓰이지 않는다.

4.3. 관성식


관성식 모션 캡처는 가속도 센서, 자이로 센서, 지자기센서가 조합된 관성 센서가 신체의 관절 및 주요 부위에 부착된 전용 슈트를 통하여 캡처 대상의 움직임, 회전, 방향을 읽어내는 방식이다.

관성식 모션 캡처의 장점은 마커를 사용하는 광학식 모션 캡처에 비해 상대적으로 캡처 대상의 신체적 부담이 덜하여 보다 동적인 움직임이 가능하고, 별도의 촬영장비가 불필요하며 주변 환경의 영향을 받지 않아 범용성이 높고, 비용이 저렴하다는 점이다. 캡처 볼륨(캡처 대상이 움직일 수 있는 공간)의 제약이 사실상 없다는 것 역시 장점으로, 광학식 모션 캡처는 캡처 볼륨을 넓히기 위해서는 그만큼의 카메라 증설이 필요하여 가격이 급상승하고, 자기식 모션 캡처의 경우에는 몇 발자국 움직이기도 힘든 한심할 정도의 캡처 볼륨을 보여주는 것에 비하면 관성식 모션 캡처의 캡처 볼륨은 큰 장점이다. 이로 인해 격렬하고 큰 움직임이 필요한 스턴트, 와이어 액션 등에는 관성식 모션 캡처가 활용되는 경우가 많으며, 야외 촬영에서 이미지 기반 모션 캡처와 같이 사용하기도 한다.

관성식 모션 캡처의 단점은 정확도가 상대적으로 떨어지며, 자이로 센서의 구조적 문제로 인해 캡처 시간이 길어질수록 오차 범위가 넓어진다는 것이다. 이 때문에 관성식 모션 캡처는 수 분~수십 분 단위로 계속해서 영점을 조절해 주어야 한다.

관성식 모션 캡처의 가격은 센서의 개수와 정확성에 따라 크게 달라지며, 비쌀 경우에는 수만 달러에 달한다. 퍼셉션 뉴런과 같이 대중 공개 목적으로 개발된 저가형 관성식 모션캡처 슈트 역시 있으며, 해당 기기는 주로 테마파크형 VR방이나 버츄얼 유튜버를 대상으로 판매되고 있다. 가격은 2019년 기준 약 2000~5000$로 아직 일반 사용자가 단순 오락 목적으로 구매하기에는 부담되는 수준이다.

여담으로, 관성식 모션 캡처는 부분적으로 오래 전부터 대중화되어 쓰이고 있다. 다름아닌 Wii 리모컨을 비롯한 게임 컨트롤러가 그 사례.

4.4. 기계식

기계식 모션 캡처는 가장 초창기에 사용하였던 방식으로, 캡처 대상이 기계식 외골격을 입고, 해당 외골격의 기계관절에 부착된 압력, 회전 센서를 통해 움직임을 측정하는 방식이다.

기계식 모션 캡처의 장점은 주변 환경의 영향을 받지 않으며, 측정치가 캡처 대상과 완벽하게 동일하다는 점이다. 애초에 캡처 대상의 움직임에서 일어나는 부차적 물리값을 이용하는 다른 캡처 방식과는 달리 캡처 대상이 직접 부착된 기계에 물리적으로 힘을 가하여 측정하기 때문에 데이터가 부정확할래야 부정확할 수가 없다.

물론 이러한 장점은 후술한 단점 때문에 아무 의미가 없다.

기계식 모션 캡처의 치명적인 단점은 캡처 대상이 자연스럽게 움직일 수 없다는 것이다. 자기식 장치도 상대적으로 불편한 편이지만 슈트도 아닌 외골격을 장착해야 하는 기계식 장치는 그와는 비교도 할 수 없어서 애초에 캡처 대상이 정상적인 움직임을 취하는 것 자체가 불가능하다. 정확한 데이터를 측정해 보았자, 그 데이터의 원본인 움직임이 쓰레기나 마찬가지이기 때문에 기계식 모션 캡처는 영상산업 초창기에 실험적으로만 사용하다가 빠르게 사장되었다.

현재 풀 바디 트래킹 기계식 모션 캡처는 완전히 사장되었으며, 주로 후술할 핸드 캡처와 같이 부분적으로 정교한 모션 캡처가 필요한 부위에 제한적으로 사용된다. 또한 사람의 모션 캡처는 아니지만 산업용 로봇 등의 정밀한 움직임에 대한 정밀한 실측(Ground Truth) 데이터를 획득할 목적으로 산업에서 활용 가치가 있다.

4.5. 핸드 캡처

인간의 손은 마커/자기식 센서를 통해 움직임을 측정하기에는 너무 작기 때문에 일반적인 방법으로 모션 캡처를 할 수 없다. 때문에 핸드 캡처는 몸이나 얼굴과는 별도의 방식으로 이루어진다.

기계식으로 핸드 캡처를 진행할 경우 센서가 부착된 전용 글러브를 착용하며, 광학식으로 핸드 캡처를 진행할 경우 주로 캡처 대상의 목에 카메라나 센서를 부착한다. 일반 사용자용으로 판매되는 핸드 캡처 기기는 광학식의 경우 Leap Motion, 기계식의 경우 CyberGlove가 가장 대표적이다. 국내에는 필더세임에서 개발한 Molisen Hand가 있다.

일반적으로 영화 촬영에서 마커를 이용하여 모션 캡처를 실행할 경우, 핸드 캡처는 생략되거나 검지와 약지에만 마커를 부착하며 이후 수작업 애니메이션을 통해 보충한다.


마이크로소프트 사에서 키넥트를 통한 마커리스 광학식 핸드 캡처 방식을 개발 중이다.

5. 모션 캡처에 특화된 배우

직업 특성상 목소리 연기를 겸하기도 한다.

6. 기타

7. 관련 문서

[1] 특히 스포츠 장르의 게임에 많이 쓰이는데 이때는 전문배우가 아닌 해당 종목의 현역선수 몇 명을 섭외해서 촬영한다. [2] 광자가 반사각에 따라 반사되지 않고 입사각에 음벡터를 곱한 방향 그대로, 다시 말해 빛이 들어온 방향과 동일한 방향으로 빛을 반사하는 현상. 빛이 물체의 표면에서 반사되지 않고 내부로 흡수된 뒤 여러 번의 반사를 거쳐 반대 방향의 벡터가 되었을 때에 외부로 발산하기 때문에 재귀 반사라 부른다. [3] 이 점을 응용해서 병원에서 뇌 수술할 때도 쓰인다. 길쭉한 막대기 끝에 달고 모션 데이터를 CT와 연동시켜서 두개골에 구멍을 낼 위치나 방향을 결정하는 용도. [4] 해당 예시의 경우는 캡처 대상 전면의 마커인지 후면의 마커인지 데이터적으로 구분이 불가능하다. [5] 그나마 다행인 점은 마커 식별 오류가 일어나지 않기에 상대적으로 필요 카메라 수는 적다는 점. [6] 혹성탈출: 진화의 시작, 혹성탈출: 반격의 서막, 혹성탈출: 종의 전쟁의 3편 [7] 파일:PoCDMC_mocap.gif
사진은 캐리비안의 해적: 망자의 함의 악역 데비 존스를 연기하는 빌 나이가 트래킹 밴드를 착용한 모습. [8] 마커를 사용하는 경우 마커 간의 식별 오류로 인한 네이밍 문제나 저질의 슈트와 마커를 사용하여 마커가 흔들린다던가, 카메라 수가 적어서 필연적으로 일어나는 삼각측량법의 오차범위 등이 있다. 비 광학식 모션 캡처는 애초에 구조 자체가 오차가 발생할 수밖에 없다. [9] 식별 오류가 생기기 쉬운 패시브 마커를 사용함에도 불구하고 카메라가 고작 25개에 불과했다. 현재 웬만한 스튜디오에서는 아무리 못해도 그 2배를 사용하며, 경우에 따라서는 수백개를 사용한다. [10] 아바타 2의 경우엔 반투명한 흰 공을 사용했다고 한다.

분류