Как работают художественные эффекты оформления в Google Stadia
25.03.19Когда Google анонсировала игровую потоковую службу Stadia, то также упомянула фильтры для изменения облика своих трансляций с помощью инструментов машинного обучения.
Научный сотрудник Stadia Райан Поплин (Ryan Poplin) и инженер-программист службы Адам Принс (Adam Prins) рассказали об этой технологии. Изменение стиля подразумевает процесс объединения содержимого одного изображения и характера другого для создания чего-то нового.
Многие методы могут создавать эстетически приятные статичные изображения, однако при создании анимации и обработке видеороликов результаты иногда оставляют желать лучшего. Элементы, отображаемые в одном кадре, такие как цвета, текстуры и мазки кисти, могут исчезать в следующем, что приводит к неприятным мерцаниям. Эти проблемы решались, но прежде они требовали вычислительных ресурсов, которые делали невозможной обработку в реальном времени в разрешениях 1080p или выше.
Разработчикам Google понравилась модель изменения стиля изображения в реальном времени, разработанная командой Magenta (с кодом и документацией могут ознакомиться все желающие), и она решила изучить, какие усовершенствования можно внести для применения этого метода к потоковым играм. Вначале были удалены те части модели, которые не могли эффективно просчитываться с помощью GPU, потому что основной акцент делался на скорость. Удивительно, но оставшиеся блоки по-прежнему были способны качественно производить стилизацию. Затем специалисты поискового гиганта увеличили количество остаточных блоков в средних слоях модели, пока визуальное качество не перестало улучшаться.
Для повышения согласованности обработки кадров использовался дополнительный параметр на основе предсказания движения пикселей (задействованы эти наработки). Так как подобный анализ может требовать значительных вычислительных ресурсов, его необходимо рассчитывать только при обучении модели. В результате модель, обрабатывая лишь один текущий кадр, создаёт стабильную последовательность.
Чтобы такой стиль можно было накладывать на любую игру без необходимости доступа к исходному коду, Google создала набор параметризуемых шейдеров постобработки Vulkan. Размер финальной модели получился относительно небольшим (около 512 Кбайт), а шейдеры могут работать в режиме реального времени поверх игрового потока.
Подобный инструмент, как считает Google, открывает для разработчиков новые формы взаимодействия, в том числе изменяя визуальный стиль прямо во время игры. Это даёт игроку возможность настраивать художественные стили самостоятельно, в том числе на основе пользовательских рисунков.
вологість:
тиск:
вітер:
Наушники Sony WH-1000XM5: звук вне времени
Полноразмерные наушники Sony WH-1000XM5 уже достаточно долго присутствуют на рынке, но шума, простите, наделали не так много. Разберемся почему, ведь еще несколько лет назад серия Sony WH-1000XM была одной из самых популярных.
Монитор HP Series 7 Pro с 4K-экраном 32″ и переключателем KVM стоит $967
4K HP мониторМонитор HP Series 7 Pro оснащен портом Thunderbolt 4, который можно использовать для подключения второго 4K-монитора. С помощью него также можно подключить ноутбук и заряжать его с мощностью 100 Вт.
Mastercard: 62% украинцев оплачивают покупки устройством с NFC
Mastercard банк исследования91% респондентов используют свои банковские карты как минимум несколько раз в неделю.