Не правильно на размерности глянул, походу LLM от AWS будет очень даже доступной по сравнению с остальными, но по метрикам не очень далеко ушли от LLama 90B.
Интересно они стали ставить у себя промт кэш, за счет чего так удешивили?

Лекс Фридман выпустил 5-часовое интервью с Дарио Амодеи, бывшим VP Research OpenAI и нынешним CEO Anthropic

В интервью также участвовали другие специалисты, включая Криса Олаха, который посвятил час обсуждению механистической интерпретируемости. Вот основные моменты:

➡️ О перспективах AGI: Дарио отметил, что, если просто экстраполировать текущие тренды (что не совсем научно), можно предположить появление AGI к 2026–2027 годам. Однако это остается неопределенным, так как никто не знает, насколько далеко смогут масштабироваться модели.

➡️ О будущем ИИ: Амодеи выражает оптимизм, полагая, что ИИ уровня человека может быть достигнут в ближайшее время. Он прогнозирует, что в ближайшие годы бюджеты на разработку и обучение ИИ продолжат расти. К 2027 году возможны кластеры стоимостью $100 млрд, по сравнению с текущими крупнейшими суперкомпьютерами, оценивающимися в $1 млрд.

➡️ О масштабировании моделей: По словам Дарио, процесс масштабирования продолжается и остается во многом необъяснимым с теоретической точки зрения. Возможно, подходы к масштабированию изменятся, но "оно найдет свой путь".

➡️ О пределах интеллекта: Человеческий интеллект – не предел. Модели могут стать значительно умнее нас, особенно в таких сферах, как биология.

➡️ Об улучшении моделей: Текущий прогресс в кодинге, физике и математике невероятно ускоряется. Например, на SWE-bench точность LLM в начале года составляла 2–3%, а сейчас достигает 50%.

➡️ О рисках монополии: Наибольшую тревогу вызывает концентрация контроля над ИИ в руках нескольких крупных корпораций. Это может иметь серьезные последствия.

Интервью подчеркивает важные тенденции и вызовы в развитии ИИ, а также риски, связанные с его глобальной концентрацией.


Само интервью - https://www.youtube.com/watch?v=ugvHCXCOmm4

Написал статейку про Векторные БД, просто навалил базы

Планирую выпустить пару статей на тему около AI-Агентов

https://mlpops.ru/blog/vector-db/

Langflow — это для тех, кто хочет собрать своё AI-приложение быстро и без лишнего головняка. Минимум кода, максимум возможностей.

Работает на Python и, что самое крутое, не привязан к конкретным моделям, API или базам данных.

Хочешь интегрировать что угодно? Без проблем. Это универсальный инструмент для тех, кто хочет экспериментировать с RAG и мультиагентными системами без сложностей

GitHub

Можно ли назвать DevOps/SRE гавночистом?

В IT-шке роль гавночиста — это чисто SRE-шник или DevOps.

Этот чел постоянно выковыривает то, что другие наворотили или тупо забили чинить. Серваки легли?
Он с красными глазами в три ночи летит их поднимать, пока менеджеры придумывают отмазки клиентам. На проде багов столько, что аж uptime в нуле? Опять он, потому что никто больше не шарит.

Это работа типа сантехника — всем насрать, пока всё работает, но как только протекли говяшки, его имя орут так, как будто покемено призывают.
Самое главное SRE принимают свою судьбу, типа: "Да, я в дерьме, но это моё дерьмо, и без меня вам всем хана!"

Короче, SRE — это тот самый парень, который по уши в багомусоре, чтобы у остальных всё было чики-пики, пока они пьют свой смузи в офисе в кресло массажере.

Петрович включай бэклог, потекли задачи в тех долг.

Hunyuan Video — новенький опенсорсный видео генератор на 13B от Tencent

Качество — топчик, особенно для 13B модели, хоть и генерит максимум пять секунд. Зато веса выложили, а это значит — можно позапускать

Генерит 129 кадров — ровно чуть больше 5 секунд при 24 fps.

Сама модель — прям почти Flux: сначала идут two-stream блоки, как в SD3, где визуальные и текстовые токены жуются параллельно, а потом уже типичные DiT блоки.

Для текстового энкодера юзают Clip и Multimodal LLM (llava-llama-3-8b, ссылочку подогнали: https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-transformers) вместо обычного T5. Говорят, с этим MLLM они смогли добиться лучшего качества по промптам.

Чтобы запустить этот монстр, нужно минимум 45 гигов видеопамяти для 544x960 и 60 гигов для 720p. Но, уверен, надо подождать и добрые люди доделают ее и на какой нибудт 4070 можно будет запусить.


Демка
HuggingFace
Папира
GitHub

Не совсем понимаю, почему не было хайпа по поводу Model Context Protocol (MCP) от Anthropic, как будто его никто и не заметил. Хотя это ведь штука, которая существенно упрощает взаимодействие с внешними источниками данных.

Что такое MCP?

Это новый протокол, стандарт, который упрощает интеграцию ИИ с любыми источниками данных. MCP устраняет необходимость писать пользовательский код для каждого набора данных, предоставляя единый протокол. По сути, это стандарт, который позволяет использовать готовые решения для интеграции, а не разрабатывать каждую интеграцию с нуля. Просто берешь уже готовое приложение, делаешь pip install — и все. Типо хочешь интеграцию с Jira/Confluence pip install креды указал, интеграция готова. Выглядит как решение 90% проблем в LLM-Агентах.

Что по технической части?

Протокол основан на JSON-RPC 2.0 (версия "2024-11-05") и поддерживает двунаправленную связь между клиентами и серверами, обеспечивая запросы, уведомления и ответы. Среди ключевых функций: управление ресурсами, шаблоны для LLM, выполнение инструментов, отслеживание прогресса операций, логирование, автодополнение и пагинация. Основные компоненты включают ресурсы с URI, подсказки для генерации данных, серверные инструменты и точки доступа к файловой системе. Поддерживаются текст и изображения, уведомления о прогрессе, обработка ошибок и подписка на обновления.

Нашел пару сайтов, где собрали все популярные инструменты MCP:
mcpservers.ai
mcp-get.com

Ну как и сказал 200 грязных зеленых бумажек

Hugging Face добавил Text-to-SQL ко всем 250K+ публичным датасетам — теперь можно писать SQL-запросы с помощью Qwen 2.5 Coder 32B 🔥

Йошуа Бенжио, говорит, что есть люди, которые не против заменить человечество машинами, и такие сценарии могут стать актуальными уже через несколько лет.

Честно?
Звучит как сюжет для антиутопии, так и вижу сюжет Detroit Become Human, где очередные соевые куколды, будут защищать чувства машин.
В России вообще не стоит о таком беспокоится, в России еще лет 10 такого не будет, ведь что бы тебя заменили на заводе, должны появиться заводы))

Йошуа Бенжио — один из ведущих исследователей в области искусственного интеллекта, лауреат премии Тьюринга и один из «крестных отцов ИИ», его работы заложили основу для DL.

Эрику Шмидту показали систему, которая создает тысячи ботов с уникальными, реалистичными ИИ-персонажами, но при этом с единым взглядом на определенные темы.

Идеальная фабрика троллей, ребята на Савушкина, ваша работа под угрозой

Есть тут посвещенные почему 9.9 > 9.11?

Решил составить список self-hosted решений, которыми я сам на постоянке пользуюсь.

Zitadel — мой IAM, поддерживает из коробки множество протоколов, быстрая настройка. Это мой лучший опыт с IAM.
GitHub

Outline Wiki — замена Notion, баз данных нет, но как хранилище идеально. Очень радует система прав и ролей, четкое разграничение.
Стал смотреть в сторону Docmost, выглядит вроде как интереснее.
GitHub

Iframely — тулза для Outline Wiki, чтобы красиво встраивать ссылки на популярные сервисы.
GitHub

Hoarder — система закладок с OpenAI. До того как поднял себе Hoarder, никогда не пользовался закладками в браузере, а эта штука автоматически ставит теги, категории и т.д. Единственный минус — для получения инфы он использует Chrome, и часто Cloudflare его блокирует, поэтому подробности о странице могут не загрузиться.
GitHub

UpTime Kuma — мониторинг доступности сервисов. Использую просто как свой мониторинг как своих сервисов, так и внешних, типа Яндекс Такси, Steam, Discord (обратное правило: жду разбана).
GitHub

changedetection.io — решение для мониторинга изменений страниц. В основном использую для мониторинга pip-пакетов, репозиториев, моделей, а иногда на Авито/Ozon, чтобы скидку вовремя словить.
GitHub

cal.com — "кек-калл". По сути, это очень удобная замена Calendly, чтобы встречи с тобой можно было легко назначить.
GitHub

CalibreWeb — удобное решение для книжек. Загружаю туда книги, которые успел или планирую прочитать.
GitHub

paperless-ngx — удобное решение для ресёрчинга. Загружаешь туда десяток статей, как в читаемом формате, так и просто картинки, OCR переводит всё в текст. Получается очень удобный сервис для поиска по содержанию.
GitHub

BitWarden — просто хранилище паролей и ключей.
Сайт

NextCloud — просто как хранилище файлов.
GitHub

И конечно это все я развернул в Cloud.ru на бесплатной ВМке

Накидайте в комментарии, что вы используете (и для чего) из self-hosted решений. 😉