🔥MTTR: End-to-End Text Referring Video Object Segmentation

Новая SOTA в сегментации объектов в видео.
Устали тренировать вашу Unet модель на сегментацию? Теперь не надо ее тренить вовсе! Новая модель работает лучше и быстрее! Достаточно написать какой объект вы хотите сегментировать и нейронка сделает все за вас!

Модель основана на мультимодальном трансформере, в который подаются фичи от текстового энкодера (RoBERTa) и видео энкодера (Video Swin). Примечательно, что в отличие от предыдущих решений, обучение здесь end2end — sequence prediction problem.

Самый каеф что авторы сразу опубликовали кодес и веса сетки. Но колаба все еще нет☹️

📑 Paper | 💻 Code