VQGAN + CLIP

Это комбинация нейронных сетей которая преобразует текстовое описание в изображение.

VQGAN (Vector Quantized Generative Adversarial Network), это сеть сочетает в себе сверточные слои с слоями transformer, что отлично позволяет генерировать изображения с высоким разрешением.

CLIP (Contrastive Language–Image Pre-training) модель которую обучили определять какое описание из списка описаний лучше всего подходит для выбранного изображения

Как и все GAN сети, VQGAN принимает вектор шума и генерирует (выводит) реалистичное изображение. А CLIP генерирует векторное представление из текстового описания.

Пример созданных таким методом изображений:
- creation of the galaxy photo taken by the hubble telescope
- earth from space
- gravitational light distortion photo taken by hubble telescope
- pillars of creation photo taken by hubble telescope
- roscosmos rocket on takeoff

💻 Code | 🤖 Colab

P.S. Как нибудь вкратце распишу как CLIP был обучен и как пришли к этой идеи.

Ну и как же без ♂Boss of this gym♂

Сгенерированные изображения на основе название фильмов где снимался ♂Billy Herrington♂, вот они слева на право

- Playing with Fire 2
- Summer Trophies
- Tales from the Foxhole
- Lords Of The Locker Room
- Minute Man Solo 27: Big Shots

💃🏼PIFuHD 2D to 3D

PIFuHD - очередная крутая штука от Facebook AI. Что она делает? Она восстанавливает 3D модель человека из 2D изображения. PIFuHD основывается на методе Pixel-Aligned Implicit Function и иерархической MLP сети. Нейросеть учитывает глобальные и локальные контексты это помогает достичь высокой точности 3D модели. PIFuHD захватывает такие детали, как пальцы, черты лица и складки на одежде человека на изображении. Предыдущие подходы не были способны на такую детализацию.

Нейронка принимает на вход изображение человека размером 1024×1024. На выходе отдает 3D модель человека. Архитектура метода состоит из двух уровней PIFu модулей:

1. Базовый уровень, который фокусируется на извлечении глобальных признаков из изображения. Этот модуль схож с PIFu;
2. Уточняющий уровень, который фокусируется на извлечении информации о локальном контексте и добавлении детализации к 3D модели

📑 Paper | 💻 Code | 🤖 Colab | 🖥 Сайт