Всем привет! Долго не было постов, потому что было много работы.

Вчера прошла конференция GoCloud Tech, где мы с командой наконец представили свое детище - ModelRUN.

ModelRUN - это сервис по запуску ML моделей из HuggingFace на Shared GPU.

Мы долго думали, как сделать Inference проще и дешевле, поэтому мы убрали все лишние элементы, которые могут мешать запуску ML моделей Docker-образа, Inference-код и тд., оставили только запуск весов моделей. Это все сильно упростит запуск ML модели для DS'ов.

А потом решили, что упростить запуск, этого мало. И мы решили добавить Shared GPU, систему которая позволяет делить GPU по памяти, то есть, если ваша модель потребляет 8Gb видео памяти, то только за этим 8Gb вы и будете платить и в равном соотношение выделяются Cuda ядра.

Доступные на текущий момент видео карты V100 и H100.
Поддерживаем из framework’ов пока только Transformers, но в планах есть дополнить список vLLM и Nvidia Triton.

Мы не заменяем Inference с Docker-образом, а дополняем еще одним типом запуска ML модели.

Записывайтесь на Private Preview, получите доступ первыми!