Милуючись грацією героїв Assassin's Creed або рухами Натана Дрейка з Uncharted, мало хто замислюється про те, що кожен рух героїв на екрані – результат праці сотень людей.
Замість вступу.
Милуючись грацією героїв Assassin's Creed або рухами Натана Дрейка з Uncharted, мало хто замислюється про те, що кожен рух героїв на екрані - результат праці сотень людей. Без технології, яка пару десятиліть назад здавалася фантастикою, нині важко уявити будь-яку солідну бюджетну гру. Згадати тільки недавні The Last of Us або Grand Theft Auto 5, де виконавці головних ролей не просто зачитували свої репліки в мікрофон, а й повноцінно грали: носилися по сцені, трясли руками і перевертали стільці. Ну а при розробці Beyond проводилося захоплення не лише рухів тіла, але і міміки акторів.
А всім, хто цікавиться сучасним кінематографом, хоча б як простий глядач, відомо словосполучення «motion capture», або «performance capture», і кожен уявляє собі, що це означає. Як правило, в голові спливають образи акторів, обвішаних датчиками, що здійснюють різні дії, які здаються позбавленими сенсу – тільки в кадрі, коли закінчиться робота фахівців з комп'ютерної анімації, ми дізнаємося, для чого все це робилося. Останнім часом, поряд з удосконаленням датчиків і каналів їх зв'язку з комп'ютерами, розробляються системи, які не потребують спеціальних костюмів – так звані, безмаркерні системи захоплення руху. Правда, в кіно їх поки не застосовують – занадто великі вимоги до достовірності, кожен рух має бути точним чином зафіксовано і передано. Але все таки цікаво – що це за технології? І, головне, як усе починалося та розвивалося?
Motion capture та його види.
Motion capture (дослівний переклад з англійської – захоплення руху) – метод анімації персонажів і об'єктів. Метод застосовується у виробництві CGI-мультфільмів, а також для створення спецефектів у фільмах. Широко використовується в ігровій індустрії. Розробником є компанія Digital District. З використанням цього методу в 2004 році створені мультфільми «Полярний експрес» (модель – Том Хенкс), «Остання фантазія» (в якості моделей виступили добровольці) та інші. Крім того, motion capture використовувалося також при анімації згенерованого комп'ютером кіноперсонажа Голлум в трилогії «Володар кілець» (модель – Енді Серкіс). У 2006 році за допомогою цієї технології був створений «Ренесанс», в 2007 році – «Беовульф», в 2009 році – «Різдвяна історія», «Аватар». Ця технологія також була використана для створення особи Волан-де-Морта у фільмах «Гаррі Поттер», а також при створенні дракона Смауг у фільмі «Хоббіт: Пустка Смауга» (актор – Бенедикт Камбербетч).
[Відео 1: Злий та страшний дракон Смауг]
[Відео 2: Як «чувак» у водолазному костюмі грає цього дракончика]
Існують два основних види систем motion capture:
1. Маркерна система motion capture, де використовується спеціальне обладнання. На людину надівається костюм з датчиками, вона відтворює рухи, необхідні за сценарієм, стає в потрібні пози, імітує дії; дані з датчиків фіксуються камерами і надходять в комп'ютер, де зводяться в єдину тривимірну модель, що точно відтворює рухи актора. На основі цієї моделі пізніше (або в режимі реального часу) створюється анімація персонажа. Також цим методом відтворюється міміка актора (в цьому випадку на його обличчі розташовуються маркери, що дозволяють фіксувати основні мімічні рухи).
[Зображення 1: Приклад маркерної системи]
(Сама система схожа на водолазний костюм з датчиками, котрі схожі на кульки для пінг понгу)
[Зображення 2: Маркерна система на тваринах]
(Також можна наряджати тваринок в ці костюми для захоплення їх руху)
2. Безмаркерна технологія, яка не потребує спеціальних датчиків або спеціального костюма. Безмаркерна технологія заснована на технологіях комп'ютерного зору і розпізнавання образів. Актор може зніматися в звичайному одязі, що дуже прискорює підготовку до зйомок і дозволяє знімати складні рухи (боротьба, падіння, стрибки, і т. п.) без ризику пошкодження датчиків або маркерів. Кілька практично застосовних безмаркерних систем були розроблені в останні роки, хоча дослідження подібної технології проводяться вже довгий час. На сьогоднішній день існує програмне забезпечення «настільного» класу для безмаркерного захоплення рухів. В даному випадку не потрібно спеціального устаткування, спеціального освітлення і простору. Зйомка проводиться за допомогою звичайної камери (або веб-камери) і персонального комп'ютера.
[Зображення 3: Кінект – приклад безмаркерної системи]
(Кінект – камера за допомогою якої відбувається захоплення руху в розважальній сфері. На Xbox 360 та XONEє спеціальні ігри, в яких треба перед телевізором: стрибати, махати руками та ногами, кричати, щоб камера відтворювала ваші рухи в грі, або в спеціальних 3Д чатах.)
[Зображення 4: Як воно виглядає ]
На сьогоднішній день існують велика кількість маркерних систем захоплення рухів.
Різниця між ними полягає в принципі передачі рухів:
1.1. Оптичні пасивні. На костюмі, що входить в комплект такої системи, прикріплені датчики-маркери, які названі пасивними, бо відображають лише послане на них світло, але при цьому самі не світяться. У таких системах світло (інфрачервоне) на маркери надсилається з встановлених на камерах високочастотних стробоскопів і, відбившись від маркерів, потрапляє назад в об'єктив камери, повідомляючи тим самим позицію маркера. Недоліки оптичних пасивних систем полягають у: а) тривалості розміщення маркерів на акторі; б) тому, що при швидкому русі або близькому розташуванні маркерів один до одного система може їх плутати (технологія не передбачає ідентифікацію кожного маркера).
1.2. Оптичні активні названі так тому, що замість світловідбивних маркерів, які кріпляться до костюму актора, в них використовуються світлодіоди з інтегрованими процесорами і радіо-синхронізацією. Кожному світлодіоду призначається ідентифікатор, що дозволяє системі не плутати маркери один з одним, а також пізнавати їх, після того як вони були перекриті і знову з'явилися в полі зору камер. У всьому іншому принцип роботи таких систем схожий з пасивними системами. Недоліки оптичних активних систем такі: а) відсутність можливості захоплення рухів і міміки обличчя; б) додатковий контролер, що кріпиться до актора і підключений до маркерів-світлодіодів, сковує його руху; в) крихкість і відносно висока вартість маркерів-світлодіодів.
2. Магнітні системи, в яких маркерами є магніти, а камерами – ресивери, система вираховує їх позиції по спотворенню магнітного потоку. Недоліки магнітних систем такі: а) магнітні системи схильні до магнітних і електричних перешкод від металевих предметів і оточення (електропроводки приміщення, оргтехніки, арматури в плитах будови); б) мінлива чутливість сенсорів в залежності від їх положення в робочій зоні; в) менша в порівнянні з оптичними системами робоча зона; г) відсутність можливості захоплення рухів і міміки обличчя; д) додатковий контролер, прикріплений до актора і підключений до магнітних маркерів, або навіть зв'язка проводів, що тягнеться від актора до комп'ютера; е) висока вартість магнітних маркерів.
3. Механічні системи безпосередньо стежать за згинанням суглобів, для цього на актора одягається спеціальний механічний mocap-скелет, який повторює слідом за ним всі рухи. В комп'ютер при цьому передаються дані про кути згинів всіх суглобів. Мінуси механічних систем такі: а) мocap-скелет, з додатковим контролером, прикріпленим до актора і підключеним до сенсорів згинів, а в деяких випадках і дроти, що тягнуться від скелета, дуже обмежують рух актора; б) відсутність можливості захоплення рухів і міміки обличчя, рухів тісної взаємодії двох і більше акторів (боротьба, танці з підтримками і т. п.), рухів на підлозі – перекиди, падіння і т. п.; в) ризик поломки механіки при необережному використанні.
4. Гіроскопічні системи для збору інформації про рух використовують мініатюрні гіроскопи і інерційні сенсори, розташовані на тілі актора – також як і маркери або магніти в інших mocap-системах. Дані з гіроскопів і сенсорів передаються в комп'ютер, де відбувається їх обробка і запис. Система визначає не тільки положення сенсора, але також кут його нахилу. Недоліки гіроскопічних систем такі: а) відсутність можливості захоплення рухів і міміки обличчя; б) додатковий контролер, прикріплений до актора і підключений до магнітних маркерів, або навіть зв'язка проводів, що тягнеться від актора до комп'ютера; в) висока вартість гіроскопів і інерційних сенсорів; г) для визначення положення актора в просторі потрібна додаткова міні-система (оптична або магнітна).
З чого все починалося
Початком історії motion capture з деякою натяжкою можна вважати 1915 рік, коли знаменитий новатор анімації Макс Флейшер винайшов техніку ротоскопіювання: спершу проводилася зйомка з цілком собі живою людиною, а потім «фільм» проектувався на скло і художник кадр за кадром все описував. Для створення першого мультфільму за допомогою ротоскопіювання знадобився рік і 2600 кадрів – і це при хронометражі в одну хвилину!
[Зображення 5-6: Обличчя винахідника цієї технології та зображення його роботи]
Але технологія удосконалювалася, мультсеріал Флейшера Out of Inkwell про пригоди клоуна завоював велику популярність, і в тому чи іншому вигляді ротоскопіювання стали застосовувати майже всі, включаючи студію Уолта Діснея. Однак зараз технологія якщо і використовується, то в інших цілях: штучно збільшити масовку, додати якісь світіння під час поствиробництва, і так далі.
Наступний поштовх зробили в 1970-х, і, як не дивно, зовсім не кіношники, а ... лікарі-кінезіологи, в їх обов'язки входить вивчення і лікування нашого опорно-рухового апарату. Саме вони першими додумалися кріпити до тіла пацієнтів (а насправді випробовуваних) потенціометри і, зчитуючи з них дані, за допомогою комп'ютера оцифровувати рухи.
Метод почали запозичувати «всі кому не лінь», попутно вносячи удосконалення. Згодом з'явилися системи, засновані на світлодіодних маркерах і різних світловідбивних елементах (результат виходив не надто точним і вимагав подальшого «очищення»), а в 1983 році була розроблена унікальна в своєму роді система Graphical Marionette, яка з горем навпіл виконувала рендер анімованих таким чином персонажів . Але до етапу, коли motion capture стали застосовувати в кіно і іграх, пройшло ще багато часу. Лише в середині дев'яностих стало ясно, що технологія готова до комерційного використання.
Про захоплення руху в кіно
У кіно motion capture в звичному для нас вигляді вперше використали в 1990 році у фільмі «Згадати все» з Арнольдом Шварценеггером у головній ролі. Незважаючи на те, що в плані спецефектів картина багато в чому була проривною (аніматроніка, складний грим і ефект мініатюри були сусідами з рідкісним на той момент CGI), анімовані за допомогою технології захоплення рухів персонажі виглядали жахливенько.
[Зображення 7: Зображення сцени поганенького motion capture]
Що стосується дійсно гучних ролей performance capture (коли проводиться передача не тільки рухів, але і міміки з голосом), то їх довелося чекати аж до 2002 року, коли відвідувачі кінотеатрів побачили Голлума у «Володарі перснів» Пітера Джексона. Так, вдалі приклади були і до того – наприклад, у фільмі «Зоряні війни: примарна загроза» (1999). Персонаж Джа-Джа Бінкс який реально дратував фанатів і є, напевно, одним з найбільш ненависних героїв в історії кіно, але з точки зору спецефектів виглядав він як смачна цукерочка. Однак тільки Голлум зміг змусити всіх повірити, що майбутнє настало.
[Зображення 8: Джа-Джа Бінкс – приклад того, що деяких персонажів навіть крутий графон не врятує]
Перший час на знімальному майданчику навіть самому Серкісу (виконавець ролі Голлума) здавалося, що він займається якоюсь дічу. Однак саме завдяки багатству його пластики, голосу, а також неймовірної роботі художників і аніматорів навіть зараз, через десяток з гаком років, Голлум виглядає реально бомбезно. За словами Пітера Джексона, він був настільки вражений талантом Енді, що дав команді аніматорів установку: зробити міміку і зовнішність персонажа як можна більш близькими до міміки і зовнішності актора.
[Відео 3: Як із Серкіса робили Голума]
[Відео 4: На прикладі Голума показують технологію перетворення міміки актора в анімованого персонажа, в реальному часі]
Як ми сьогодні знаємо, рішення було правильним, але вражаючий результат давався нелегко: всі сцени знімалися по кілька разів, з Серкісом в білому костюмі і іншими акторами, без Серкіса, але з іншими, і, нарешті, з одним лише Енді Серкісом в студії, обвішаним купою світловідбивних кульок (які схожі на кульки для пінг понгу). Що забавно, за признанням самого актора, «зйомки велися на якомусь покинутому складі, камер було мало, а комп'ютери висли кожні щопівгодини».
Уже в наступному фільмі Джексона, «Кінг-Конг» (2005), де роль величезної горили знову ж таки дісталася Серкісу, в спеціальному павільйоні було вже 52 камери, що зчитували рух актора, і ще двадцять відповідали за обличчя. Але сам процес майже не змінився. Тільки актору для вживання в роль, довелося багато часу проводити в клітках з приматами, після чого образ горили дався йому дуже легко.
[Зображення 9: Вигляд Кінг-Конга під час зйомки]
За рік до «Кінг-Конга» на екрани вийшов «Полярний експрес» Роберта Земекіса, в якому performance capture використовувався для всіх без винятку персонажів. Це спровокувало море розмов про смерть традиційного кінематографа та переходу від нього до цифрового, але скільки б про це не говорили – традиційний кінематограф не вимер і ніколи не вимре. (риторика, що забавно, була приблизно такою ж, як після виходу фільму по Final Fantasy в 2001-му, але по суті нічого не змінилося).
[Зображення 10: Кадр з фільму Полярний експрес (Графон реально чіткий)]
Були і «Пірати Карибського моря: Скриня мерця» (2006) з, без перебільшення, шикарним Деві Джонсом. Ну а ще через якийсь час всі взялися дивуватися знятому в 3D «Аватару», після якого світ кіно, як здавалося деяким, вже не буде колишнім (а на ділі ми побачили тільки кілька дуже гарних фільмів на кшталт «гравітації» і «Життя Пі» та хвилю сміття, швиденько конвертованого в 3D).
[Зображення 11: Як із звичайного чоловіка, створюється харизматичний Деві Джонс]
[Зображення 12: Деві Джонс та компанія]
[Зображення 13: Якісь «чуваки» в костюмчиках водолазів]
(12 та 13 зображення демонструють чому performance capture проривна технологія і як за допомогою неї можна з просто людей створити високо деталізованих, харизматичних та просто неймовірно шикарних створінь, без яких фільм «Скриня мерця» був би не тим)
[Зображення 14: Прекрасна Зої Салдана дарує свої рухи та міміку персонажу з фільму «Аватар»]
[Відео 5: відео про performance capture в «Аватарі»]
Про захоплення руху в іграх
Енді Серкіс (і знову він) вніс чималий внесок і в розвиток індустрії відеоігор. Співпраця почалася майже випадково. Справа в тому, що іпотечний брокер, послугами якого користувався актор, виявився братом одного з розробників Heavenly Sword (2007), який готувався на той момент ексклюзивно для PS3. Саме він показав Серкісу трейлер, який справив на того таке сильне враження, що зустріч з Ninja Theory, авторами гри, стала лише питанням часу.
В результаті він не тільки блискуче зобразив короля Бохана, головного лиходія гри, але і приклав руку мало не до всіх ключових сцен в якості режисера. А потім виконав роль Манкі В Enslaved: Odyssey to the West (цю «грульку» я навіть запустив, щоб оцінити «фізіономію» головного героя та роботу Серкіса – все виглядало гідно; а про першу гру нічого сказати не можу, так як не маю консолі). У другому проекті вплив Серкіса відчувався ще сильніше, і багато в чому завдяки ньому гра виявилася такою гарною.
[Зображення 15: Серкіс в ролі Манкі та короля Бохана ]
У 1993-му Мехнер пішов ще далі: він заснував нову компанію, вибив реально небачений бюджет в цілих шість мільйонів доларів і протягом цілого місяця вів зйомки з живими акторами. Чотири роки по тому отриманий матеріал став основою для однієї з найбільш незвичайних і недооцінених ігор в історії – The Last Express. Вона вражала своїм сценарієм і концепцією (все відбувалося в реальному часі – і це сімнадцять років тому!), а також дуже незвичайної стилістикою, що нагадувала ожившу розмальовку.
[Зображення 16-17: Скріншоти з самої гри, котрі демонструють не звичну, але проривну (на той час) міміку]
Втім, весь той час, що знадобився Мехнеру на The Last Express, індустрія не стояла на місці. Хороший motion capture демонстрували Mortal Kombat (1992), Rise of the Robots (1994) і тривимірна Highlander: The Last of the MacLeods (1995). Але до моменту, коли технологія захоплення рухів змогла позбавити розробників від стомлюючої ручної праці (яка до того ж не забезпечувала правдоподібності), знову ж таки пройшло «нескінченність років».
[Зображення 18-19: Скріншоти з Mortal Kombat та Rise of the Robots]
За великим рахунком лише в кінці «нульових» анімація в іграх стала дійсно якісної, а реалістичні емоції віртуальних акторів вже не були мрією. Найкращий приклад – симулятор детектива в Лос-Анджелесі 1940-х років L.A. Noire. Розробники загорілися ідеєю зробити допити по-справжньому емоційними і натуралістичними, щоб по міміці підозрюваного можна було зрозуміти, бреше він чи ні, а тому не поскупилися на новомодну технологію MotionScan, створену австралійською компанією Analysis. З нею для захоплення рухів не потрібні ні маркери, ні смішний костюм, ні будь-яке «очищення» даних. Лише одна яскраво освітлена кімната і тридцять дві камери з дуже високою роздільною здатністю, що знімають з частотою 30 кадрів в секунду. Ну і сидячий нерухомо, немов статуя, в центрі цієї імпровізованої сцени актор. Камери охоплюють його обличчя з усіх можливих кутів, і в результаті виходить дуже жива анімація, що повторює будь-який, навіть самий незначний рух.
[Зображення 20: Як MotionScan повністю передає міміку актора, крутому детективу Коулу Фелпсу із гри «L.A. Noire»]
(Ця гра є бомбезною і в першу чергу це завдяки міміці всіх героїв – саме після цієї гри я почав цікавитись технологіями захоплення руху)
Правда, незважаючи на високу якість анімації, що отримується таким чином, проколів у MotionScan теж вистачає. По-перше, акторів потрібно гримувати перед зйомкою, зробити якогось фентезійного героя досить складно. По-друге, проводити «захоплення» доводиться в два етапи: спочатку класичний motion capture для рухів тіла, а потім – «болтологія» в кріслі. Після цього «балакучу голову» садять на плечі комп'ютерної моделі. Як правильно зазначив Девід Кейдж, це робить верхню і нижню частини персонажа відокремленими. У повсякденному житті ми постійно схиляємо голову в різні боки під час розмови, а коли сидиш у кріслі, змінювати положення не можна. Та й роль «тіла» найчастіше «грає» зовсім інша людина, дублер або каскадер.
До думки геймдизайнера варто прислухатися, він знайомий з технологіями захоплення рухів не з чуток. У його Beyond: Two Souls був виконаний найбільший обсяг motion capture за всю історію ігростроя. За час зйомок була проведена робота над більш ніж трьома сотнями персонажів, створено 23 000 унікальних анімацій, а сам процес розтягнувся на цілий рік. Втім, не дивно: гра Quantic Dream не належить ні до шутерів, ні до бойовиків, в яких багато дій повторюються, – це інтерактивне кіно, де кожна битва, стрибок і відкриття дверей повинні бути унікальними.
Більш того, Quantic Dream – одна з небагатьох компаній-розробників у світі, де вміють робити якісний performance capture. Одночасний запис рухів тіла, лицьової анімації і голосу дозволяє прискорити виробництво і повністю сконцентруватися на головному – роботі з акторами і сюжетом. Це особливо важливо, коли в проекті беруть участь такі титани, як Вілльям Дефо і Еллен Пейдж.
[Зображення 21-24: Демонстрація персонажів та самих Вілльяма Дефо і Еллен Пейдж]
Каліфорнійці з Naughty Dog сповідують трохи інший підхід. У їхніх іграх актори не дарують персонажам міміку і зовнішність (художники малюють концепт-арт задовго до кастингу), хоч і повністю викладаються на знімальному майданчику в присутності вимогливого режисера. Скажімо, ті ж сльози актора на майданчику ніхто не оцифрує, однак, щоб правдоподібно передати настрій, заплакати йому необхідно.
Але якщо міміка виконавців ролей не фіксуються камерами, то чому в тій же The Last of Us така високоякісна лицьова анімація? Відповідь вражає – все робиться вручну, по-старому. Кожен раз, коли Джоел морщить лоб або піджимає губи, – це результат роботи команди аніматорів.
[Зображення 25: Демонстрація Джоела]
[Відео 6: motion capture в грі «Uncharted 4: A Thief's End» від розробників х компанії Naughty Dog ]
[Відео 7: Приклад по грі «MortalKombatX», на якому добре видно одночасно: 1) самих акторів, 2) ранні заготовки 3) фінальний результат]
Висновки
Бути актором performance capture нелегко. Ви повинні представити, що безглузда конструкція з металу – це машина; шматок картону, який потрібно з апетитом жувати, – піца; а партнерка, що стоїть в безглуздому «костюмі водолаза» – справжня красуня. При цьому вимоги до якості виконання ті ж: героя необхідно наділити характером, емоціями і душею, як в будь-якому фільмі або театральній постановці, тільки ось вловити суть ролі куди важче, коли навколо немає нормальних декорацій і реквізиту.
Перевагами використання технології захоплення рухів є: здатність відтворювати схожі рухи завдяки базі даних, збереженій на комп'ютері; швидке опрацювання даних і швидше створення продукту, порівняно з традиційними анімаційними методами; можна використовувати безкоштовні програми, або достатньо дешеві, що також значно знижує витрати на виробництво фільму. Проте, незважаючи на певні бонуси цієї технології, все ж таки нею користуються достатньо рідко і для виконання складних робіт: створення міфічних чи нереальних персонажів і т. д. Достатньо рідко фільм повністю знімають за цією технологією.
Технологія захоплення рухів пройшла досить довгий шлях довжиною у ціле століття – від знаменитого новатора анімації Макса Флейшера, який 1915 року винайшов техніку ротоскопіювання, через застосування ротоскопіювання майже всіма, включаючи студію Уолта Діснея, до лікарів-кінезіологів, які в середині 70-х першими додумалися кріпити до тіла пацієнтів потенціометри і, зчитуючи з них дані, за допомогою комп'ютера оцифровувати рухи. Ці ідеї майже 20 років знаходили своє вдосконалення, аж поки в середині дев'яностих стало ясно, що технологія motion capture готова до комерційного використання.
Статтю підготував студент ІІІ курсу спеціальності Інформатика Бутенко Сергій у межах звіту про вивчення курсу «Історія науки і техніки» (викладач – професор Р.Я. Ріжняк). Презентацію до статті та виступу Сергія Бутенка на занятті можна скачати тут.