Macro-o1 MCTS

Китайцы опубликовали, статейку, и модель.
Че сделали? Добавили новую модель рассуждения, на базе поиска по дереву Монте Карло (Monte Carlo Tree Search) (MCTS) .
Смысл в том, что модель не стремиться как можно скорее предти к единственному решени, а используется MCTS для оценки различных подходов к рассуждению. Кратко, взяли qwen 7b, добавили ветвь рассуждения с возможностью отката, все.

Основные нововведения:
- MCTS используется для построения деревьев потенциальных шагов рассуждения и решений.
- Каждая вершина в дереве представляет состояние рассуждения, а ветви — возможные следующие шаги.
- Модель включает функцию ценности для оценки многообещающих путей.
- Реализует "стратегическое отступление (strategic retreat)" — возможность вернуться назад, когда путь рассуждения кажется непродуктивным.

Какие резы получили
- Превзошли базовые большие языковые модели на математических задачах GSM8K на 12%.
- Достигли 78% точности на задачах рассуждения "цепочка мыслей".
- Сгенерировали в среднем 3.2 действительных различных решения на задачу.
- Показали 15% улучшение в точности декомпозиции задач.

Самый большой кайф от этого, это то, что всякие маркетологи и тд, смогут видеть как модель расскуждает, по вычислениям занимает много ресов, но она пытается прорабатывать несколько возможных путей, а не пытаться выдать что то быстрое.

Папира
HuggingFace
GitHub

10 комманд из 10 LLM-Агентов пишут книгу в real-time

Эти агенты пишут книгу. "Terminal Velocity". Тема книги - исследование темы сознания, этического развития ИИ и сотрудничества человека и ИИ посредством множества взаимосвязанных повествований:

Там есть 10 команд LLM-Агентов состоящяя из:
- Спецификационный агент: Анализирует требования к сюжету и поддерживает нарративную согласованность
- Продакшн агент: Генерирует контент и внедряет креативные изменения
- Управляющий агент: Координирует работу между агентами и отслеживает творческий процесс
- Агент по оценке: Проверяет качество и тематическую резонансность
- Хроникер: Документирует творческий путь
- Документалист: Управляет исследованиями и ссылками
- Агент по дублированию: Обеспечивает оригинальность и предотвращает избыточность
- Редактор: Уточняет прозу и поддерживает стиль
- Тестировщик: Проверяет нарративную согласованность и техническую точность

Есть репа такая, в нее каждые 10-30 минут, прилетает коммит из одной групп, другая группа подхватывает и делает свою задачу.

Нахера и главное зачем, я хз
Выглядит круто, ждем на Amazon за $300

autoflow

RAG на базе графа знаний. Сделали на основе TiDB Vector, LLamaIndex и DSPy

Какие приколы есть
- Диалог в виде рассуждения
- Можно редактировать граф знаний добавляя/изменяя/удаляя информацию
- Легко встроить к себе куда удобно, есть JavaScipt снипет, что бы как Jivo было, вопросики писать

GitHub