MLPops
788 subscribers
424 photos
120 videos
5 files
180 links
We are ML&MLOps community based in 🇷🇺Russia

Наш чат - t.me/+qJm7Ak4nU4EwZmJi
Download Telegram
На выходных наконец нашел время и глянул подкаст Андрея Карпаты (сооснователя OpenAI, ex Head of AI Tesla)

И вот основные пункты из подкаста:

🔘 О беспилотных автомобилях:
"10 лет назад я впервые прокатился на беспилотной машине и был уверен, что это идеальный опыт. Однако потребовалось еще десятилетие, чтобы превратить эту технологию в коммерческий продукт. Сегодня мы достигли определенного уровня AGI в сфере автопилотов, но для глобализации этой технологии потребуется еще много времени. Аналогичная ситуация ожидает и LLM."

🔘 О Tesla:
Tesla значительно превосходит другие компании, работающие над автопилотами, даже если это сейчас не так очевидно. "Я верю в Tesla: она выбрала правильный путь, сосредоточившись на ИИ. Это не просто компания по созданию автомобилей с автопилотом, а крупнейшая робототехническая корпорация с огромным потенциалом. Ее подход обеспечит лидерство на рынке в ближайшие годы."

🔘 О трансформерах:
Трансформер — это не просто еще один алгоритм, а революционная архитектура, которая изменила наше понимание ИИ. Сегодня это единственная масштабируемая модель. "Я убежден, что трансформеры превосходят человеческий мозг во многих аспектах, просто они еще не раскрыли свой полный потенциал."

🔘 О фокусе на данных:
Если раньше основным препятствием для развития ИИ была архитектура ML моделей, то сейчас об этом почти не думают: за последние 5 лет трансформер практически не изменился. Главный акцент теперь смещен на данные.

🔘 О данных для обучения:
Данные из интернета далеко не идеальны для обучения моделей — это лишь "ближайший сосед" оптимальных данных. Для того чтобы модель умела рассуждать, ей нужны качественно другие источники знаний.

🔘 О синтетических данных:
Будущее за синтетическими данными, но их главным недостатком остаются недостаточная энтропия и разнообразие. Это серьезное препятствие, хотя текущие модели уже помогают создавать более совершенные. Итоговые модели, возможно, окажутся удивительно компактными.

🔘 О мотивации в образовании:
Андрей ушел в сферу образования, потому что стремится не заменить людей, а сделать их умнее и вдохновленнее. "Я хочу, чтобы люди поддерживали автоматизацию и мечтаю увидеть, на что способно человечество с помощью идеального ИИ-репетитора."

🔘 Об ИИ в обучении:
ИИ пока не способен самостоятельно создавать учебные курсы, но отлично справляется с их адаптацией под нужды каждого студента. "Образование должно стать для людей увлекательным процессом, а не тяжелым трудом."
AWS выкатили новый фреймворк Multi-Agent Orchestrator.

Это штука для оркестрации мультиагентных систем. Короче, как работает так: сначала анализирует твое сообщение, а потом подсовывает подходящего агента.

И это после того, как OpenAI уже сделали Swarm, Microsoft накатили AutoGen а LangSmith сделал LangGraph.
Короче, битва AI продолжается...

Ох как же хочется ворваться туда с двху ног

GitHub

https://www.youtube.com/watch?v=nCaBugZOQuc
This media is not supported in your browser
VIEW IN TELEGRAM
Если приду с таким же обоснование к финансам, то через сколько минут меня пошлют нахуй?
This media is not supported in your browser
VIEW IN TELEGRAM
Нобелевский лауреат Джеффри Хинтон говорит, что open source llm — это все равно, что позволить людям покупать ядерное оружие в МВидео.

Хотя бы примеры привел, почему это плохо
Хайп LLM-платформ.

Сидел на реддите и увидел тред, где сидят и обсуждают лучшую LLM-платформу для AI-агентов.
Я долго не мог вкурить, а че там вообще и как.

Заходишь на любую платформу, и на лэндосах огромных — космические корабли. Зарегался на парочке платформ, глянул и как понял.
Понял, что это настолько массивный прогрев ГОЕВ, который я до этого момента в облачном направлении не видел. Почему прогрев? Потому что каждый второй менеджер, который считает себя неебическим экспертом (нет), хочет либо делать этих агентов, либо использовать у себя их, а как, что и где — понятия не имеет. Но готов башлять туда сотни грязных бумажек.

По факту, все эти AI-платформы — это тупо серверлесс + векторная БД (типа Chroma или Milvus), мб где-то вообще в памяти, типа memGPT, и мб сервисы по логированию/трейсингу. И то — это не у всех есть.

Но как же умело греют гоев на этой теме, заставляя бошлять куда больше денег, тупо за то, что там есть приставка AI.

Ох, пора бы и мне к какому-нибудь из продуктов сделать приставку AI и начать греть гоев.
Обновил список инструментов

- Добавил новую категорию RAG
- Добавил новую категорию Prompt
- Добавил больше инструментов для Observability
- Добавил больше инструментов для Data Storage


https://tools.mlpops.ru
Оч ожидаю такой штуки, что бы было нормально описание че сделил, а не 70 комминтов со словом init
This media is not supported in your browser
VIEW IN TELEGRAM
У меня октрыта парочка ваканский, не кто не хочет? 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon представила Nova Pro — свою LLM, которая сопоставима с Claude 3.5 Sonnet

По метрикам на 2-3 пунтка ниже чем ChatGPT

Че по ценам
Nova Pro стоит $0.8/3.2, Nova Lite — $0.06/0.24 и Nova Micro — $0.04/0.14 за M токенов на input/output.

В сравнении с остальными выглядит оч выиграшно

GPT-4o - $2.50/1.25, gpt-4o-mini — $0.150/0.3, o1-preview — $15/60 за M токенов на input/output.

Claude 3.5 Sonnet - $3/15 за M токенов на input/output

Ананос Amazon
EpochAI представили новое исследование о железе для обучения

EpochAI выпустили исследование, посвященное аппаратным компонентам, собрав данные о более чем 100 видах железках.
Вот несколько интересных фактов и выводов:

➡️ При переходе с FP32 на INT8 производительность видеокарт увеличилась в 15 раз.
➡️ Несмотря на рост цен, вычисления становятся дешевле в среднем на 30% и энергоэффективнее на 50% ежегодно.
➡️ Общее количество операций в секунду растет примерно на 20% в год.
➡️ Это означает, что мощность процессоров удваивается каждые 2.8 года, что близко к закону Мура.
➡️ С 2016 года максимальные размеры кластеров для обучения ИИ выросли более чем в 20 раз.
➡️ На сегодняшний день самой популярной видеокартой в мире остается Nvidia A100.

Исследование подчеркивает устойчивый прогресс в области аппаратного обеспечения и его влияние на развитие ИИ.


Отчет можно найти тут
MLPops
Amazon представила Nova Pro — свою LLM, которая сопоставима с Claude 3.5 Sonnet По метрикам на 2-3 пунтка ниже чем ChatGPT Че по ценам Nova Pro стоит $0.8/3.2, Nova Lite — $0.06/0.24 и Nova Micro — $0.04/0.14 за M токенов на input/output. В сравнении с…
Не правильно на размерности глянул, походу LLM от AWS будет очень даже доступной по сравнению с остальными, но по метрикам не очень далеко ушли от LLama 90B.
Интересно они стали ставить у себя промт кэш, за счет чего так удешивили?
This media is not supported in your browser
VIEW IN TELEGRAM
Лекс Фридман выпустил 5-часовое интервью с Дарио Амодеи, бывшим VP Research OpenAI и нынешним CEO Anthropic

В интервью также участвовали другие специалисты, включая Криса Олаха, который посвятил час обсуждению механистической интерпретируемости. Вот основные моменты:

➡️ О перспективах AGI: Дарио отметил, что, если просто экстраполировать текущие тренды (что не совсем научно), можно предположить появление AGI к 2026–2027 годам. Однако это остается неопределенным, так как никто не знает, насколько далеко смогут масштабироваться модели.

➡️ О будущем ИИ: Амодеи выражает оптимизм, полагая, что ИИ уровня человека может быть достигнут в ближайшее время. Он прогнозирует, что в ближайшие годы бюджеты на разработку и обучение ИИ продолжат расти. К 2027 году возможны кластеры стоимостью $100 млрд, по сравнению с текущими крупнейшими суперкомпьютерами, оценивающимися в $1 млрд.

➡️ О масштабировании моделей: По словам Дарио, процесс масштабирования продолжается и остается во многом необъяснимым с теоретической точки зрения. Возможно, подходы к масштабированию изменятся, но "оно найдет свой путь".

➡️ О пределах интеллекта: Человеческий интеллект – не предел. Модели могут стать значительно умнее нас, особенно в таких сферах, как биология.

➡️ Об улучшении моделей: Текущий прогресс в кодинге, физике и математике невероятно ускоряется. Например, на SWE-bench точность LLM в начале года составляла 2–3%, а сейчас достигает 50%.

➡️ О рисках монополии: Наибольшую тревогу вызывает концентрация контроля над ИИ в руках нескольких крупных корпораций. Это может иметь серьезные последствия.

Интервью подчеркивает важные тенденции и вызовы в развитии ИИ, а также риски, связанные с его глобальной концентрацией.


Само интервью - https://www.youtube.com/watch?v=ugvHCXCOmm4