🌟EXAONE 3.5: LG AI и их новая "магия".

Короче, LG AI Research выкатили тройку свежих моделей EXAONE 3.5, которые теперь разговаривают сразу на двух языках — английском и корейском. Плюс, контекстное окно аж на 32 тысячи токенов!

Как сделали лучше? Просто почистили датасет убрав дубликаты и персоналку.


🟠 2.4B — малышка для девайсов, можно таскать с собой, как пачку чипсов.
🟠 7.8B — середнячок, который хорош везде, куда не сунь.
🟢 32B — это уже пушка-гонка, если нужно решить что-то сложное и на максималках.

Вопросов если честно много, модельки глуповаты, плюс странный бэнч почему нет сравнения с другими моделями?


Короче жду статейку где разберут модельку или прогонят на арене

Команда TGI из HuggingFace реально постаралась!

Теперь прямо "из коробки" вы получаете улучшения по сравнению с vLLM — и всё это без настройки. Всё, что нужно, — это указать Hugging Face model ID.

Основные моменты релиза:

🚀 Рывок в производительности:
- 3x больше токенов: TGI обрабатывает в 3 раза больше токенов.
- 13x быстрее: На длинных промптах ответы генерируются в 13 раз быстрее, чем в vLLM.
- Zero config: Никакой настройки, просто работай!

Подробности:

3x больше токенов
- Cократили потребление памяти, что позволяет обрабатывать значительно больше токенов.
- На одной L4 (24GB) TGI тянет 30k токенов на llama 3.1-8B, тогда как vLLM справляется с едва ли 10k.
- Огромная работа была проделана, чтобы уменьшить runtime и оптимизировать работу на ограниченных ресурсах.

13x быстрее
- На длинных промптах (200k+ токенов) время ответа в vLLM составляет 27,5 секунд, а в TGI — всего 2 секунды.
- Как это работает? Cохраняется первоначальный разговор, так что новый ответ можно сгенерировать почти мгновенно. Задержка при поиске — всего ~5us.

Zero config
- Убирайте все ваши флаги — скорее всего, вы получите лучшую производительность без них.
- TGI автоматически подбирает оптимальные значения в зависимости от оборудования и модели.
- В продакшене у нас больше нет флагов в деплоях (но для редких сценариев они остаются доступны).

Доку смотри тут:
👉 Документация по TGI

Meta снова закинула нас в будущее и презентовала новую тему с токенизацией. Короче, если вы не в курсе, токенизация — это такая штука, от которой у LLM-систем вечно мозги кипят, особенно с математикой. Ну, представьте: токенайзер берет число 380 и оставляет его как "380", а вот 381 уже превращает в "38" и "1". Логика, конечно, зверская. Модели такие: "Эм, что вообще происходит? Что это за число?". И да, токен ≠ слово, токен ≠ слог, токен вообще ничто определённое. Поэтому, кстати, модели страдают даже с банальными задачами типа "посчитай буквы r в слове strawberry".

Так вот, в Meta решили такие: "А зачем нам вообще токены, давайте байты юзать". И идея вроде не нова — был уже старенький MambaByte, который про token-free LM (https://arxiv.org/abs/2401.13660), но Meta добавила фишку: чтобы последовательности байтов не уходили в бесконечность, они прикрутили динамическое кодирование в патчи.

Эти самые патчи теперь — главные звёзды шоу. Модель не просто хавает байты, а пытается угадать следующий патч. Как это работает? Патчи динамически делятся по энтропии следующего байта: если данные простые, то патчи длиннее, если сложные — короче. Но тут не всё так гладко: перед этим байты проходят через локальный энкодер, а после предсказания патчей их снова нужно декодить.

Теперь про бенчмарки. Ребят, там пушка! Их Byte Latent Transformer (BLT) по перплексии (это такая метрика, которая, если проще, не завязана на кривость токенизатора) уже на уровне или даже чуть выше LLaMA 3 с BPE. А самое сочное — это их масштабируемость. Они прокачали токен-фри LLaMA-3 8B на датасете в 1 триллион токенов, и эта штука в среднем сделала LLaMA-3 с BPE.

Короче, парни из Meta реально залетели в игру. Будем ждать, что из этого выйдет.

Пост Meta