Разработка FOIP технологии — интервью с разработчиками

Перевод интервью с Питером Бушем — представителем компании Faceware, занимающейся разработкой технологии FOIP.

Фан-портал [Relay.sc] взял интервью у Peter Busch — вице-президента по развитию бизнеса компании Faceware, сотрудничество с которой, Крис Робертс анонсировал на прошедшем Gamescom 2017.

Вы начали переговоры с CIG, или CIG с вами?

CIG обратились к нам, хотя мы давно знали, что спустя какое-то время после старта краудфандинговой кампании, некоторые бэкеры запросили такую функцию как FOIP. По совпадению, Faceware работали над созданием собственного real-time продукта внутри нашего «Интерактивного» подразделения, который был открыт в 2016 году. CIG стал первым клиентом, связавшимся с нами.

Сколько времени потребовалось для внедрения технологии?   

Обсуждения между нашими командами разработчиков проводились большую часть года, однако основная часть интеграции была завершена за месяц или два до показа на Gamescom.

Как долго вы сотрудничаете с CIG?

Наше сотрудничество с CIG длится уже несколько лет. Помимо FOIP, CIG используют наше программное обеспечение вроде Analyzer и Retargeter для создания анимаций в Star Citizen и Squadron 42 в том числе.

Слышали ли вы о Star Citizen раньше? 

Мы долгие годы были поклонниками Криса Робертса. В 2012-ом мы узнали о старте проекта и начале сборов на Kickstarter. В том же году Faceware отделились от основного ядра компании Image Metrics.

Когда зародилась Faceware, и как появилась идея об этом?

Faceware берет свое начало в 2003 году с такими тайтлами как Hitman и Grand Theft Auto.
Концепция появилась в стенах Манчестерского Университета (Великобритания) и изначально предполагалась исключительно в качестве лицевой мо-кап услуги для индустрии развлечений, под именем Image Metrics. В 2008 мы сотрудничали с Double Negative, которые использовали продукцию Faceware непосредственно для пайплайна визуальных эффектов. Компания Faceware Technologies вышла из Image Metrics в 2012 году и начала предлагать автономный софт и оборудование для лицевой анимации. Ядро компании Faceware состоит из сотрудников, проработавших в индустрии анимации почти 20 лет. А основной штат работает вместе уже порядка девяти лет. Идея Faceware Technologies была простой — создать доминирующую технологию захвата лицевой анимации, которая вдохнет жизнь в цифровых персонажей.

Над какими еще проектами, если таковые имеются, работали Faceware?

Продукция Faceware используется в сотнях проектов индустрии развлечений и за ее приделами. В области видеоигр это такие проекты как: Destiny 1-2, Call of Duty Advanced и Infinite Warfare, Grand Theft Auto III, IV и V, Red Dead Redemption, Shadow of War, FIFA, NBA2K 09-18, Madden 18 и Star Wars Battlefront II.

Какие у компании планы на будущее?

Наше внимание сосредоточено на Интерактивном отделе и на технологиях в реальном времени, а также на развитии способов информирования потребителей о возможностях взаимодействия с играми, приложениями, брендами, объявлениями и т.д. В играх, которые включают в себя развитие интерактивного опыта, вроде того, что мы делаем с CIG. Мы также расширяемся в сферу AR — Augmented Reality (Дополненной реальности) и являемся поставщиками AR для Baltimore Ravens и Chicago Bears. Наши основные технологии всегда находятся в разработке. Нам есть чем удивлять!

Стало ли больше заинтересованных в продукции людей после демонстрации Star Citizen?

Безусловно. Star Citizen обрушил наш сайт не один, а два раза во время дебюта FOIP. С момента демонстрации мы привлекли дополнительный персонал. Это приятные проблемы, так как после того как CIG обратились к нам, мы поняли, что вместе можем произвести революцию в том, как игроки общаются внутри игры.

Заложена ли в дизайне поддержка VR-шлемов или предполагается, что сторонний софт обеспечит схожий результат? 

VR — очень интересная для нас область. Мы работаем с Oculus с 2014 года, чтобы определить, как наша технология может применяться к виртуальной реальности. Поскольку нашему программному обеспечению требуется только цветное видео в качестве входного сигнала для создания анимации, у нас есть особенная стратегия для VR. Мы работаем над нашей технологией уже два десятка лет — довольно неплохой задел для тех, кто хочет заниматься live-анимацией для VR. Мы не можем сообщить вам слишком много, но мы внимательно следим за VR-тайтлами.

Вам есть что сказать тем, кто находит ваши результаты «зловещими»? 

Эффект «зловещей долины» — это серьезный вызов для игровой индустрии, и в конечном итоге это нечто такое, что никогда не будет преодолено, осознание того, что люди никогда действительно не поверят в то, что настоящие люди разговаривают друг с другом в игре. Этому есть ряд причин, в основном связанных с нынешними технологиями. Но даже когда технологии достигнут необходимой планки, трудно представить, что разум когда-либо будет обманут, чтобы люди поверили, что цифровой персонаж на самом деле является человеком.

В конце-концов, то что предлагает Faceware, является одним из ингредиентов рецепта того, что необходимо для создания правдоподобной анимации: движение. Мы будем продолжать делать улучшения в плане движений настолько, насколько только возможно достичь в реальном времени, но поскольку это лишь один элемент, нам необходимо работать совместно с компаниями, поставляющими и поддерживающими движки, а также с разработчиками, такими как CIG, чтобы сделать необходимые улучшения для создания наилучших художественных произведений.

Каждое новшество должно иметь стартовую точку. То, что мы построили с CIG феноменально, и является фундаментом для чего-то по-настоящему особенного.

Как программа будет учитывать ошибки? Скажем, если кто-то еще попадет в камеру или кто-то начнет есть? 

Наша технология калибруется и «обучается» на лицах конкретных пользователей, это значит, что программа сравнивает ваше лицо с лицами ваших друзей, которые умышленно лезут в кадр. Если вы перекалибруете камеру под них, то она будет симулировать их лица. Это позволит свести к минимуму ошибки, при которых несколько человек попадают в кадр. Кроме того, мы встраиваем слой кода под названием «Motion Logic», который представляет из себя эстетический набор правил, который гарантирует, что анимация будет автоматически пытаться выглядеть правильно при любых ситуациях. Это может не всегда точно передавать именно то, что вы делаете, но мы можем легко убедиться, что лицо вашего персонажа, например, не взорвется, если вы едите или пьете на камеру.

Будет ли этот софт отключаемым? 

Это зависит от решения, которое примут CIG, в нашей технологии нет ничего, что имело бы «постоянно действующий» функционал.

В каких приложениях, помимо игр, используются эти технологии компании?  

Мы считаем, что наша работа с CIG, это только начало для live-анимаций. Это можно использовать там, где можно объединять отличные IP или бренды, в сочетании с экранами, отражающими анимацию, возможности безграничны. Представьте интерактивные кино-постеры или живые анимированные инсталляции (мы в Нью-Йорке недавно оживили Честера из Cheetos). В случае с Baltimore Ravens, мы накладываем цифровое изображение на реальные лица, потому что наш софт понимает где ваше лицо и какие у него движения. Что касается игр и VR, то что мы делаем возможным — это по-настоящему социальный опыт, который станет более распространенным в будущем для всех игр. Мы считаем, что те, кто хочет создавать машинимы или стримить на Twich, должны быть в восторге.

Источник: https://vk.com/starcitizen