С Новым 2025 годом дорогие подписчики! 🍷
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🎉3🦄1
Оч продуктивно начался год, добил обновленный курс по ML System Design теперь он стал больше в 4 раза, плюс добавил примеры проектирования реальных ML систем.
Скоро начну записывать видосики.
Плюс добил две статьи которые весели с ноября месяца:
- Векторные базы данных: Практическое руководство по Chroma DB
- Как создать LLM-агента для перевода текста в SQL-запросы
Пишите в комменты, про что еще стоит написать статейку
Скоро начну записывать видосики.
Плюс добил две статьи которые весели с ноября месяца:
- Векторные базы данных: Практическое руководство по Chroma DB
- Как создать LLM-агента для перевода текста в SQL-запросы
Пишите в комменты, про что еще стоит написать статейку
👍4
Оказывается когда есть выходные, то можно много чего сделать.
Вот вчера перелапатил всю сетевую часть своих self-hosted сервисов и бахнул мониторинг тачек через Prometheus + Grafana.
Написал статейку к себе, с какими особенностями Cloud.ru столкнулся и как порешал.
Кому интеренсо - Настраиваем мониторинг виртуальных машин в Cloud.ru 🚀
Вот вчера перелапатил всю сетевую часть своих self-hosted сервисов и бахнул мониторинг тачек через Prometheus + Grafana.
Написал статейку к себе, с какими особенностями Cloud.ru столкнулся и как порешал.
Кому интеренсо - Настраиваем мониторинг виртуальных машин в Cloud.ru 🚀
😎4
2к бачей за RTX 5090
Обещают 4к AI TOPS.
В сравнении на 4090 1,3к AI TOPS, на H100 3,958 AI TOPS
Bandwidth увеличили в 2 раза, а значит сильно увеличили пропускную способоность проца к пямяти, а значит меньше задержек при генерации токенов
Жду когда к нам завезут, оч хочется посчитать насколько она выгоднее серверных карт
Обещают 4к AI TOPS.
В сравнении на 4090 1,3к AI TOPS, на H100 3,958 AI TOPS
Bandwidth увеличили в 2 раза, а значит сильно увеличили пропускную способоность проца к пямяти, а значит меньше задержек при генерации токенов
Жду когда к нам завезут, оч хочется посчитать насколько она выгоднее серверных карт
❤3🦄1
Nvida греет гоев
Они походу рил сравнивали 5090 и 4090 в flux.dev в разных форматах fp4 и fp8
Чуть порывшись в инете и datasheet, как я понял, проблема в том что 4090 не поддерживает fp4, а только nf4, и типо качество при fp4 такое же как и fp8/fp16, но времени надо меньше на генерацию.
Как пример сравненеи на втором изображении bf16 лево и fp4 право в flux
Но всеравно оч прогретое сравнение, почему как раньше не выложили время обучения ResNet50 как раньше, не понял
Они походу рил сравнивали 5090 и 4090 в flux.dev в разных форматах fp4 и fp8
Чуть порывшись в инете и datasheet, как я понял, проблема в том что 4090 не поддерживает fp4, а только nf4, и типо качество при fp4 такое же как и fp8/fp16, но времени надо меньше на генерацию.
Как пример сравненеи на втором изображении bf16 лево и fp4 право в flux
Но всеравно оч прогретое сравнение, почему как раньше не выложили время обучения ResNet50 как раньше, не понял
👍2🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
Ох, прям чувствую как в набор для обучения Grok-3 добавили mein kampf
3 мировая будет с нацистами роботами за чистый код и DDD
А если честно, нахуя он это сделал?
3 мировая будет с нацистами роботами за чистый код и DDD
А если честно, нахуя он это сделал?
🤡4
Там дед47 про Маска видос сделал.
Вот только одного не понял, неужели у маска на столько высокое ЧСВ что он должен быть лучшем во всем, даже в обосаных играх. Момент с асманголдом вообще показывает насколько он дед и как сильно отстал.
https://www.youtube.com/watch?v=KQpE-35dHYA
Вот только одного не понял, неужели у маска на столько высокое ЧСВ что он должен быть лучшем во всем, даже в обосаных играх. Момент с асманголдом вообще показывает насколько он дед и как сильно отстал.
https://www.youtube.com/watch?v=KQpE-35dHYA
YouTube
ИЛОН МАСК ОБМАНУЛ МИЛЛИОНЫ ГЕЙМЕРОВ | ХУДШИЕ СТРИМЕРЫ #15
💫Новый мир – Амфореус наконец-то вышел! Вместе с Великой Гертой присоединяйтесь в игре Honkai: Star Rail по ссылке https://hoyo.link/29blFWAL и используйте мой промокод ABC1GHIJ4567, чтобы получить 50 Звёздных нефритов!
Это обзор скандала, в который попал…
Это обзор скандала, в который попал…
👍1🤡1
MLPops
Кек. В одном прошлом посте писал про Альтмана и его Манхетнский проект ИИ. Так вот, есть такая организация U.S.-China Economic AND Security Review Commission. Это комиссия, созданная Конгрессом США в октябре 2000 года. Она отвечает за мониторинг и анализ…
Ну че как и говорил, США инвестируют 100ккк долларов в развитие ИИ (ифраструктуры для ИИ)
Охереваю каждая вторая собака DS сейчас запускает DeepCock у себя. Есть даже борьба команд внутри компаний кто первый запустит ДикуюПсину.
Каких извращений я только не видел сегодня
Инфа как быстро запустить ДикуюПсину
Ставишь Ollama
Выбираешь модель и юзаешь через ChatBox
Если ты богач и у тебя есть две тачки из H100/A100 то запускаешь через SGLang
Каких извращений я только не видел сегодня
Инфа как быстро запустить ДикуюПсину
Ставишь Ollama
Выбираешь модель и юзаешь через ChatBox
Если ты богач и у тебя есть две тачки из H100/A100 то запускаешь через SGLang
Ollama
Get up and running with large language models.
🦄3
Думаю в течении месяца поднимем эту ДикуюПсину.
Как считаете норм ценник?
- DeepSeek R1 по цене o1. 1кк токенов 1.5к input/ 6к output
- DeepSeek R1 Distil Lama 70b по цене o1-mini. 1кк токенов 300 input/ 1.2к output
Как считаете норм ценник?
- DeepSeek R1 по цене o1. 1кк токенов 1.5к input/ 6к output
- DeepSeek R1 Distil Lama 70b по цене o1-mini. 1кк токенов 300 input/ 1.2к output
Че думаете по ценнику?
Anonymous Poll
29%
C пивом пойдет
32%
Греем гоев (делаем дороже)
38%
Че то много
👍1
Ох посидел посчитал экономомику этой ДикойПсины
Все кто сейчас ее запустил (кроме китайцев) работают в дикий убыток
Реальная стоимость при 20 токен/сек это 30к рублей за 1кк токенов, это если запущена оригинальная модель без всякой квантизации, а именно та которая выдает нормальные метрики (на уровне о1).
Все кто сейчас продает ДикуюПсину работают капитально в убыток. Опять же кроме самих китайцев почему? Читай тут
Как итог будем поднимать только 70B модель, но за то дешевле чем у всех остальных и дешевле o1-mini/gpt4o
Все кто сейчас ее запустил (кроме китайцев) работают в дикий убыток
Реальная стоимость при 20 токен/сек это 30к рублей за 1кк токенов, это если запущена оригинальная модель без всякой квантизации, а именно та которая выдает нормальные метрики (на уровне о1).
Все кто сейчас продает ДикуюПсину работают капитально в убыток. Опять же кроме самих китайцев почему? Читай тут
Как итог будем поднимать только 70B модель, но за то дешевле чем у всех остальных и дешевле o1-mini/gpt4o
🔥2🦄1
Созвоны в качалке на уровне с созвонами в туалете
Сразу два дела делаешь , топ
Сразу два дела делаешь , топ
🤡3🦄3🔥2
Perplexity релизнули DeepSeek R1 без китайский коммунистических датасетов
Теперь она ответит на вопрос - "Что произошло на площади Тяньаньмэнь?"
https://huggingface.co/perplexity-ai/r1-1776
Теперь она ответит на вопрос - "Что произошло на площади Тяньаньмэнь?"
https://huggingface.co/perplexity-ai/r1-1776
huggingface.co
perplexity-ai/r1-1776 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.