Новая дифузионка от Nvidia

SANA — text2image модель, SOTA в text2image, низкий FID и высокакя скорость.
По метрике FID - 5,76, тот же Flux - 7,94. По сути это значит что модель генерит оч реальные изображения.
Может генерить изображения от 512x512 до 4096x4096 за секунды. И рабоает на ноуте, что не может радовать.

Судя по всему модель может следовать очень хорошо по заданному промту.
Обещают скоро добавить в diffusers
Короче новый топ.

HuggingFace
Папира
Демка Gradio
GitHub

Ох и ох
Тут такое Эндрю Ын (Andrew Ng) представил


Vision Agent. По сути это замена джунов в CV командах, результаты прям на дастойном уровне.
Даешь видос, пишешь че надо сделать, на выходе код.

Для примера взял два их примера, и свой с упаковками соусов. Ну где-то качество храмает, но как итог это вау. Я потратил 5 секунд, а уже имею относительно рабочее решение для проверки гипотез и отмазок для своего руководителя.


Презентация сервиса
Сервис

Macro-o1 MCTS

Китайцы опубликовали, статейку, и модель.
Че сделали? Добавили новую модель рассуждения, на базе поиска по дереву Монте Карло (Monte Carlo Tree Search) (MCTS) .
Смысл в том, что модель не стремиться как можно скорее предти к единственному решени, а используется MCTS для оценки различных подходов к рассуждению. Кратко, взяли qwen 7b, добавили ветвь рассуждения с возможностью отката, все.

Основные нововведения:
- MCTS используется для построения деревьев потенциальных шагов рассуждения и решений.
- Каждая вершина в дереве представляет состояние рассуждения, а ветви — возможные следующие шаги.
- Модель включает функцию ценности для оценки многообещающих путей.
- Реализует "стратегическое отступление (strategic retreat)" — возможность вернуться назад, когда путь рассуждения кажется непродуктивным.

Какие резы получили
- Превзошли базовые большие языковые модели на математических задачах GSM8K на 12%.
- Достигли 78% точности на задачах рассуждения "цепочка мыслей".
- Сгенерировали в среднем 3.2 действительных различных решения на задачу.
- Показали 15% улучшение в точности декомпозиции задач.

Самый большой кайф от этого, это то, что всякие маркетологи и тд, смогут видеть как модель расскуждает, по вычислениям занимает много ресов, но она пытается прорабатывать несколько возможных путей, а не пытаться выдать что то быстрое.

Папира
HuggingFace
GitHub