Потоковая передача с помощью Foveated — это гениальная технология, лежащая в основе Steam Frame от Valve и ее бесперебойной работы в беспроводных играх

В Steam Frame есть множество новых функций, в которые стоит вникнуть, но я хочу сосредоточиться на одной из них: потоковой передаче с помощью foveated. Это звучит как медицинская проблема, но, уверяю вас, все дело в том, чтобы обеспечить надежное, стабильное и качественное беспроводное соединение Steam Frame.

Steam Frame предлагает несколько способов играть в игры, как локально на собственном чипе Arm, так и в потоковом режиме с соседнего игрового ПК. Как следует из названия, в последнем случае используется потоковая передача с фокусировкой.

«Многие люди, возможно, слышали о рендеринге с фокусировкой», — говорит Джереми Селан, инженер Valve, работающий над Steam Frame. «Именно здесь вы выбираете направление, в котором хотите оптимизировать работу устройства. Таким образом, ему остается только проделать большую работу в этой области. Мы делаем что-то похожее на то, что предназначено для потоковой передачи».

Для потоковой передачи с помощью Foveated требуется новая функция отслеживания глаз в Steam Frame. В нем используются две камеры, встроенные непосредственно над глазами пользователя, с помощью которых Valve может очень быстро отслеживать, куда смотрит пользователь в любой момент времени. Самый четкий участок вашего зрения — это ямка, отсюда и название.

Подключаясь к ПК через собственный беспроводной адаптер и выделенное соединение с частотой 6 ГГц, Steam Frame обладает относительно высокой пропускной способностью. Но он также использует два экрана с разрешением 2160 x 2160 пикселей и может работать на частоте до 144 Гц (в экспериментальном режиме), что в сочетании со звуковым потоком обеспечивает передачу большого объема данных даже по беспроводному соединению с высокой пропускной способностью. Чтобы обойти эти ограничения, Valve отправляет изображение самого высокого качества только в ту область, которая находится непосредственно перед глазами пользователя. »Мы можем отправить очень, очень точное представление исходных данных о том, куда вы смотрите, а затем потратить гораздо меньше битов на изучение окружающей области», — говорит Селан.

«Итак, вы могли бы представить, что если эта область с углублениями, скажем, составляет 10% от всего поля зрения, то на самом деле это будет 10-кратный коэффициент увеличения пропускной способности, задержки и надежности».

(Автор изображения: Future)

Вместо того, чтобы отправлять два изображения (по одному для каждого глаза), что обычно требуется для виртуальной реальности, Valve отправляет четыре. Два снимка отсылаются в низком разрешении и отображают все поле зрения. Два других — это только фрагмент полного изображения, но они отсылаются в высоком разрешении. »Мы отправляем в эту область гораздо больше битов, чем на изображения с низким разрешением», — говорит Селан.

Это как увеличительное стекло, позволяющее лучше рассмотреть все, над чем оно нависло, и следовать за зрением пользователя.

«Фокус в том, что отслеживание взгляда происходит достаточно быстро, что позволяет точно определить, куда вы направляетесь. Итак, к тому времени, как вы посмотрите направо, мы уже отправим фрагменты изображения в очень высоком разрешении туда, куда вы смотрите справа. Когда мы отправляем изображение «если вы посмотрите налево», мы заставляем ваши глаза смотреть туда, где мы уже разместили фрагменты в полном разрешении».

Я использовал Steam Frame и никогда не замечал областей с низким разрешением в поле моего зрения. Я почти забыл о потоковой передаче с ямками, пока мне об этом не сказали. Я попытался перевести взгляд слева направо, чтобы обмануть зрительное восприятие, но оно полностью сохранилось.

Изображение 1 из 2

(Изображение автор: Future)Изображение 2 из 2

(Автор изображения: Future)

«Мы считаем, что даже для самых наблюдательных зрителей это очень, очень трудно понять, что происходит», — говорит Селан.

Я воспринимаю это как некоторую проблему, но я по-прежнему не вижу никакой разницы в качестве изображения нигде на экране. Даже когда Селан включил специальный режим в Half-Life Alyx, который выделял область высокого качества, на которую я смотрю, я все равно не мог разглядеть области низкого качества. Я не знаю, пытались ли вы когда-нибудь рассмотреть что-либо боковым зрением, не глядя на объект, но на самом деле это довольно сложно. Более того, эта часть вашего зрения не очень детализирована — ваш мозг заполняет множество пробелов. Именно это и позволяет использовать потоковую передачу с помощью foveated.

Функция Foveated rendering, с которой вы, возможно, знакомы больше, работает аналогично отслеживанию движения глаз. То, что известно как визуализация в режиме четырехугольника, по сути, является той же системой. Ключевое отличие здесь в том, что потоковая передача с помощью foveated не снижает требования к производительности ПК, на котором выполняется рендеринг виртуальной игры для отправки в Steam Frame — он работает сверхурочно, чтобы обеспечить полное и четкое изображение.

(автор изображения: Future)Популярное оборудование Valve

(автор изображения: Future)

Steam Frame: новая беспроводная гарнитура виртуальной реальности от Valve
Steam Machine: Компактная игровая приставка для гостиной
Steam Controller: контроллер, который заменит вашу мышь

Это и хорошо, и плохо. С одной стороны, если ваш игровой компьютер с трудом справляется с VR-играми, потоковая передача с помощью foveated не поможет. С другой стороны, потоковая передача с помощью foveated не требует от разработчика каких-либо действий. Хотя я бы не стал беспокоиться о выборе между ними: Valve подтвердила, что вы сможете использовать оба варианта одновременно в играх, поддерживающих расширенный рендеринг. »Самое главное, что разработчикам программного обеспечения, партнерам, которые поставляют его в Steam, не нужно выполнять никакой работы, чтобы воспользоваться этим преимуществом», — говорит Селан.

Проведя некоторое время без кабеля, который мог бы меня привязать, я понимаю, почему Valve настаивает на том, чтобы убрать провода из виртуальной реальности. Это гораздо более убедительно из-за их отсутствия. Так же, как и потоковое вещание, оно является наиболее убедительной частью Steam Frame, даже в большей степени, чем его новые встроенные возможности обработки. Не в последнюю очередь потому, что время автономной работы во время потоковой передачи должно составлять намного больше часов, чем при игре в игры на самой гарнитуре. Это кажется легкой победой, как и потоковое вещание в режиме реального времени.

Другие статьи:

---