Как NPC, управляемые искусственным интеллектом Ubisoft, обрабатывают динамическое взаимодействие с игроками?

Во время GDC 2024 Ubisoft официально представила NEO NPC, свою технологию на основе искусственного интеллекта для игровых разговоров и взаимодействия игроков с неигровыми персонажами. Проект NEO NPC представляет собой сотрудничество разработчиков Ubisoft и Inworld AI, которые предоставляют большую языковую модель (LLM) для NEO NPC, позволяющую разработчикам создавать и формировать персонажей со своими собственными предисториями, личностями и отношениями. Также в проекте участвует Nvidia, предоставляя свою технологию Audio2Face для анимации NEO NPC в реальном времени.

Хотя технология NEO NPC находится еще на ранней стадии, на GDC была доступна играбельная демонстрация, чтобы продемонстрировать технологию в действии. Это включало три отдельных сценария, в которых игрок прямо разговаривает с NEO NPC и общается с ними, получая ответы в реальном времени и продвигая цели, основанные на получении информации от NPC.

Первый сценарий включал изучение предистории персонажа по имени Блум, обмен своей собственной предисторией в ролевом смысле и получение информации о группе сопротивления, в которую вы вовлечены. В этом сценарии также была панель отношений, которую мне пришлось заполнить, аналогичную той, которую можно встретить в РПГ с элементом социального симулятора, реагирующим на эмоции и актуальные темы в зависимости от целей в игре. Благодаря системе распознавания голоса с открытым исходным кодом, интегрированной с NEO NPC и ИИ Inworld, они способны интерпретировать ваши слова, отвечать взаимностью и помнить сказанное вами, на что можно ссылаться в определенные моменты позже. Я попытался протестировать систему, сказав им, что у меня сверхчеловеческие способности, и что я когда-то был на стороне врагов, и Блум реагировал с хладнокровными ответами в рамках, установленных в мире игры.

все изображения с любезного содействия Ubisoft

Во втором сценарии меня заставили смотреть видеопоток от беспилотного дрона вместе с Блум, что продемонстрировало способность NEO NPC реагировать на происходящие события в игровой среде и способность игрока говорить с ними специфически на эту тему. Однако были ограничения в том, как вести естественное взаимодействие, когда NPC сосредоточен на другой задаче, иное, если NPC сосредоточен на одном действии и не может интерпретировать сказанное ему.

Третья и последняя фаза демонстрации заставила меня планировать операцию по внедрению в здание вместе с новым NPC по имени Железо. Общение с ней и задачи принесли больше понимания по поводу целей операции, структурированных в виде традиционного дерева диалогов: были правильные ответы для лучшего результата; например, предложение хакера команды вырубить камеры, а не создавать укрытие дымовыми гранатами, было оптимальным выбором.

Становится важным отметить, что команда сценаристов Ubisoft устанавливает параметры для NEO NPC, чтобы они соответствовали лору и истории всего опыта, поэтому есть уровень курирования при создании NEO NPC. Ксавьер Мансанарес, ранее был ведущим продюсером Mario + Rabbids: Sparks of Hope, теперь является продюсером проекта NEO NPC, и он рассказал о философии дизайна в одной из презентаций.

"Мы всегда помним, что каждая новая технология на нашем столе не может создавать игры самостоятельно. Она должна соответствовать дизайну и инновациям. Очень важно, чтобы GenAI был именно таким же", - сказал Мансанарес. Он продолжил: "GenAI - это инструмент, это технология. Он не создает игры, его необходимо связывать с дизайном и командой, которая действительно хочет что-то продвинуть с помощью этой технологии. Вопросы, которые мы всегда задавали в команде: 'Что в этом для творцов? Что в этом для игроков?'"

Выращивание NEO NPC

Итак, заполнение нпс барков или более реагирующих нпс на основе модели GenAI - это только один из способов его использования. Это явно инструмент для команд сценаристов, о чем говорила директор по сценарию Виргини Моссер в пост-демонстрационной панели. "Так что моя роль - вырастить их [NEO NPC], построить предысторию, поток, качества, разговорные фразы, потому что это важно для стиля диалога. Этому требуется много контента, чтобы они были более последовательными, имели реальную личность и настоящий фокус на эмоции", - сказала Моссер, когда ее спрашивали о том, как технология изменила ее работу. Она также упомянула, что у нее были сомнения о вступлении в проект

Кайлан Гиббс, генеральный директор и соучредитель Inworld AI, рассказал о границах, которые могут устанавливать дизайнеры для НПС, сказав: "Мы проходим через различные этапы, не только обнаруживаем что-либо небезопасное в том, что говорит игрок, убеждаемся, что модель никогда этого не видит, затем обнаруживаем темы, которые могли бы быть небезопасными, затем проходим через различные фильтры безопасности". Он продолжил: "Затем идут сценарные контроли, убеждаясь, что вы не уйдете за пределы задуманной области мира". Гиббс подчеркнул, что инструменты также позволяют разработчикам сделать поведение NEO NPC оставаться в рамках информации, которую предоставляет сценарная команда.

В настоящее время в проект NEO NPC вовлечены студии Ubisoft Париж, Монпелье и Монреаль, которые объединены в команду примерно из 30 человек, по словам Мансанареса. В проект также вовлечены старший научный сотрудник Мелани Лопес Малет и научный директор Давид Луапр, которые также руководят проектом. На данный момент неизвестно, есть ли известные приложения NEO NPC в предстоящих играх Ubisoft

Game Developer и Game Developers Conference являются аффилированными организациями компании Informa Tech.