IT-технологии: от классики до современных трендов

Краткий обзор самых разных IT-решений, которые продолжают развиваться и изменять цифровой мир.

DLSS и AI

Компания NVIDIA на основе уже использующихся в мире технологий ИИ(AI) по обработке изображений и видеопотока объединила лучшие методы ИИ-алгоритмов и назвала это технологией DLSS (Deep Learning Super Sampling). Простыми словами, DLSS — это комбинация ультраоптимизированных алгоритмов ИИ по обработке изображений и генерации промежуточных видео кадров в реальном времени. Сами алгоритмы ИИ DLSS реализованы в драйверах NVIDIA и тесно связаны с видеопамятью (VRAM). Итоговая цель DLSS — снизить нагрузку на затратные вычисления GPU. Любой видеопоток — это слайд-шоу из изображений (кадров), FPS показывает количество таких слайдов в секунду.

ИИ-генераторы позволяют на основе прошлого и текущего видеокадра генерировать промежуточное изображение (кадр), тем самым снижая нагрузку на более ресурсоёмкие вычисления GPU. Нетрудно предположить, что в будущем каждый экран (монитор) будет оснащён своей технологией "DLSS", и помимо того, что создала компания NVIDIA, будут появляться технологии, позволяющие генерировать полноценные кадры HDRi в реальном времени из более простого источника информаций. Главным критерием появления таких мониторов, экранов станут чипы нового поколения на основе SoC (System-on-Chip), превращая домашние мониторы, телевизоры в автономные миникомпьютеры.

3д панорамы Яндекс.Картах

Панорамы 360°

Человеческое зрение видит до 220° по горизонтали, стрекозы 350°, но в нашем случаи мы расмотрим изображение 360°.
Для наглядности можно представить сферу и её развёртку (раскройку). Именно таким способом была создана развёрнутая карта Земли. По аналогии создаются панорамы 360°.
Если сделать серию снимков из центра сферы с охватом 360° по горизонтали и 180° по вертикали, а затем объединить их с помощью геометрического преобразования, то получится панорамное изображение 360°.

​
3д панорамы Яндекс.Картах

Панорама 360° HDRi

Так как HDRi применяется к любому изображению, панорамы 360° — не исключение. Существует два основных направления использования HDRi в фотографии: первое позволяет добавлять различные художественные эффекты, а второе — улучшать качество изображения, комбинируя недостающие фрагменты цветов пикселей из разных снимков.
Что касается мониторов с поддержкой HDRi, они могут передвать лучшую картинку за счёт больших цветовых фрагментов, но не генерируют новые HDRi изображения по крайней мере пока, без AI, DLSS.

​
3д панорамы Яндекс.Картах

HDRi

На правом снимке тени выглядят более реалистичными, чем на левом, хотя оба кадра были сняты с идентичными параметрами. Однако одно изображение сделано без HDRI, а другое — с этой технологией. Простыми словами, HDRI — это поиск недостающих фрагментов (цветных пикселей) на разных изображениях и объединение их в единую картину. По этой логике, чем больше исходных снимков с разной экспозицией (Exposure Bracketing), тем больше деталей можно восстановить в итоговом изображении.

​
3д панорамы Яндекс.Картах

Multiresolution

Технология Multiresolution применяется во многих областях, но суть её остаётся одна — это оптимизация вычислений: заранее подготовить несколько уровней, загружать только те уровни, которые необходимы. В 3D-графике это LOD-level (на разных расстояниях подгружаются разные полигональные 3D модели), в изображениях это заблаговременная подготовка нескольких уровней качества изображений (сначала подгружается изображение самого низкого качества, при приближении подгружаются готовые уровни высокого качества),

​

всё это позволяет распределить нагрузку на CPU, GPU. Современные алгоритмы способны выполнять этот процесс в реальном времени. Первым профессиональным применением могли быть спутниковые снимки с 1960 года. Массово применяется с 2000 года.

​