MLPops
788 subscribers
424 photos
120 videos
5 files
180 links
We are ML&MLOps community based in 🇷🇺Russia

Наш чат - t.me/+qJm7Ak4nU4EwZmJi
Download Telegram
2к бачей за RTX 5090

Обещают 4к AI TOPS.

В сравнении на 4090 1,3к AI TOPS, на H100 3,958 AI TOPS

Bandwidth увеличили в 2 раза, а значит сильно увеличили пропускную способоность проца к пямяти, а значит меньше задержек при генерации токенов

Жду когда к нам завезут, оч хочется посчитать насколько она выгоднее серверных карт
Nvida греет гоев

Они походу рил сравнивали 5090 и 4090 в flux.dev в разных форматах fp4 и fp8

Чуть порывшись в инете и datasheet, как я понял, проблема в том что 4090 не поддерживает fp4, а только nf4, и типо качество при fp4 такое же как и fp8/fp16, но времени надо меньше на генерацию.


Как пример сравненеи на втором изображении bf16 лево и fp4 право в flux

Но всеравно оч прогретое сравнение, почему как раньше не выложили время обучения ResNet50 как раньше, не понял
Есть тут любители LongChain или есть те кто без него отлично живут?
This media is not supported in your browser
VIEW IN TELEGRAM
Ох, прям чувствую как в набор для обучения Grok-3 добавили mein kampf

3 мировая будет с нацистами  роботами за чистый код и DDD

А если честно, нахуя он это сделал?
Там дед47 про Маска видос сделал.

Вот только одного не понял, неужели у маска на столько высокое ЧСВ что он должен быть лучшем во всем, даже в обосаных играх. Момент с асманголдом вообще показывает насколько он дед и как сильно отстал.

https://www.youtube.com/watch?v=KQpE-35dHYA
MLPops
Ну че как и говорил, США инвестируют 100ккк долларов в развитие ИИ (ифраструктуры для ИИ)
Закупаемся акциями Nvidia, Oracle, SoftBank

Во весь AI в европе инвестировали менее 15 лярдов

OpenAI получили недавно 10лярдов

А тут инвестиция на 100лярдов с расширением до 500лярдов

И тут где то Россия с инвестициями дай бог в 1лярд
кек

Лекун vs Маск

Поставили на место
Охереваю каждая вторая собака DS сейчас запускает DeepCock у себя. Есть даже борьба команд внутри компаний кто первый запустит ДикуюПсину.
Каких извращений я только не видел сегодня

Инфа как быстро запустить ДикуюПсину
Ставишь Ollama
Выбираешь модель и юзаешь через ChatBox

Если ты богач и у тебя есть две тачки из H100/A100 то запускаешь через SGLang
Думаю в течении месяца поднимем эту ДикуюПсину.
Как считаете норм ценник?

- DeepSeek R1 по цене o1. 1кк токенов 1.5к input/ 6к output
- DeepSeek R1 Distil Lama 70b по цене o1-mini. 1кк токенов 300 input/ 1.2к output
Ох посидел посчитал экономомику этой ДикойПсины
Все кто сейчас ее запустил (кроме китайцев) работают в дикий убыток
Реальная стоимость при 20 токен/сек это 30к рублей за 1кк токенов, это если запущена оригинальная модель без всякой квантизации, а именно та которая выдает нормальные метрики (на уровне о1).

Все кто сейчас продает ДикуюПсину работают капитально в убыток. Опять же кроме самих китайцев почему? Читай тут

Как итог будем поднимать только 70B модель, но за то дешевле чем у всех остальных и дешевле o1-mini/gpt4o
Созвоны в качалке на уровне с созвонами в туалете

Сразу два дела делаешь , топ
Perplexity релизнули DeepSeek R1 без китайский коммунистических датасетов

Теперь она ответит на вопрос - "Что произошло на площади Тяньаньмэнь?"

https://huggingface.co/perplexity-ai/r1-1776
Приходите, будет очень крупный релиз сервисов


А еще будет еда и алкоголь и все бесплатно
Всех жду
Forwarded from Cloud.ru
Увидеть весь масштаб облаков и AI ☁️

На нашей главной конференции про облачные технологии и искусственный интеллект — GoCloud 2025.

Поговорим про глобальные тренды в AI, расскажем про широкий набор сценариев работы в облаке, поделимся последними релизами и нашими планами, чтобы показать, какой простор открывают облачные и AI-технологии для бизнеса и разработчиков.

Что вас ждет в этом году:

😶‍🌫️три трека про инфраструктуру и инструменты, AI и R&D и сценарии работы в облаке;
🤖30+ спикеров из Cloud․ru и ведущих российских компаний;
😶‍🌫️live-демонстрации облачных платформ и нетворкинг с экспертами;
🤖не только доклады: интерактивные зоны, afterparty с музыкальной программой и кастомный мерч.

Встречаемся 10 апреля офлайн в Москве и на онлайн-трансляции. Регистрируйтесь уже сейчас на сайте🖱
Please open Telegram to view this post
VIEW IN TELEGRAM
Вышел Sonnet 3.7
Бесплатно тыкать тут - http://claude.ai

Впервые вижу в оценках модели Agent Toll Benchmark

Ответочка Китайцам прилетела