Илья Суцкевер (сооснователь OpenAI, тот самый который который типо в Сбер уйти должен был) выступил на NeurIPS 2024

В кратце о чем говорил

1) Эпоха масштабирования данных завершилась. Вычислительные мощности продолжают улучшаться, но у нас по-прежнему есть только "один интернет".

2) Новыми большими направлениями становятся такие вещи, как TTT (Test-Time Training), ИИ агенты, inference time scaling, синтетические данные и многое другое.

3) На одном из слайдов он сравнивает массу мозга и массу тела у млекопитающих. Чем больше животное, тем тяжелее его мозг. Большинство млекопитающих следует общей тенденции (график показан в виде большой линии), но, как оказалось, гоминиды — люди, шимпанзе, неандертальцы и обезьяны — идут своим собственным путём. Их линия выше основной и имеет более крутой наклон.

Основная идея: даже в одном и том же окружении (на Земле) природа создала разные схемы масштабирования. Это должно вдохновлять нас искать новые подходы к масштабированию для повышения производительности.

Ссылка на видос

HuggingFace релизнули Синтетический генератор для text задач

Генератор Синтетических Данных — это штуковина, которая помогает делать датасеты для обучения и дообучения языковых моделей. Ну там, если ты такой «ой, мне бы надо текста навалить для ИИ», то это как раз для тебя. В блоге всё расписали по-простому на примере, а для тех, кто читать не умеет — еще и видос на YouTube залили.

Что он умеет?
- Классификация текста – 50 образцов в минуту. Быстрее, чем чай заварить.
- Чат-данные для дообучения – 20 образцов в минуту. А тут уже как у чайника вода закипает.

Почему это круто?

Эта приблуда максимально упрощает тебе жизнь:

1. Опиши, что тебе вообще от датасета надо.
2. Покрути-повертей образцы, пока не надоест.
3. Херачь полноценный датасет в промышленных масштабах.
4. Заливай его на Hugging Face Hub или Argilla и кайфуй.

Фишки, от которых ты можешь прифигеть:
- Устанавливается через pip — ну типа всё как у людей.
- Можно локально хостить — не нужны твои данные «дяде в облако».
- Модели можно менять на Hugging Face. Хоть GPT, хоть Bart, хоть черт с рогами.
- Есть поддержка API, совместимых с OpenAI.

Чё дальше?

Если на GitHub проявишь активность и накликаешь звёзд, пацаны завезут вот такое:

Оценка датасетов с помощью LLM, как строгий учитель, который всё проверит и скажет, что ты налажал.
Генерация RAG-датасетов.

Подвез цистерну новогоднего настроения 🎄🍒

Две недели боли и недосыпов, но я добил последнюю часть в диссере.
MPC на базе нейронки + ReplayBuffer для адаптации, ухожу на праздники со спокойной душой писать статейки.
Да, он пока не сверх точный, но это решается просто увеличением набора данных и вариацией сигналов управления.

Первые две картинки это MPC + Neural Network + ReplayBuffer, а 3-я картинка это PID который в MatLab подбирал. Тут как бы сразу видно, плюс большой в скорости переходного процесса.

Кому интересно часть диссера лежит в GitHub
https://github.com/TensorAeroSpace/TensorAeroSpace

2к бачей за RTX 5090

Обещают 4к AI TOPS.

В сравнении на 4090 1,3к AI TOPS, на H100 3,958 AI TOPS

Bandwidth увеличили в 2 раза, а значит сильно увеличили пропускную способоность проца к пямяти, а значит меньше задержек при генерации токенов

Жду когда к нам завезут, оч хочется посчитать насколько она выгоднее серверных карт