БЭЭЭЭМ

Ждем ответ SberAI
https://openai.com/research/gpt-4

OpenAI->ClosedAI

Какая арха у сетки, как и на чем обучали и тд
Мы не скажем, плоти что бы потестить нашу хрен пойми что

Чую что там нет ничего нового, тупо картинку в эмбединг текса + эмбединг текста и в туже самую сетку что и GPT3.5

Просто тупо нарастили слои и увеличили время обучения

🚀Kandinsky 2.1🚀
Наступил день, которого ждала вся команда (вовсе не тот, который стал всплывать в разных каналах на прошлой неделе😂). Сегодня мы официально выпускаем новую лучшую версию нашей диффузионной генеративной модели, которая претерпела существенные изменения относительно предшественницы 2.0.

Отличительные особенности включают:
📌3.3B параметров
📌Разрешение генераций - 768x768
📌Image prior трансформер
📌Новый автоэнкодер изображений MoVQ
📌Дообучение на очень чистом сете из 172M пар «текст-изображение»
📌Режимы работы: генерация по тексту, смешивание изображение, генерация изображений по образцу, изменение изображений по тексту, inpainting/outpainting

Всё это позволило добиться впечатляющего качества на различных доменах генераций.

FID на датасете COCO_30k достигает значения 8.21🔥 По публичным данным на сегодняшний день лучше только eDiffI (NVidia) и Imagen (Google Reseacrh).

Детально о модели можно прочитать в статье на Хабре, а протестировать Kandinsky 2.1 можно тут:
📍Телеграм-бот
📍FusionBrain.AI
📍GitHub
📍HuggingFace
📍rudalle.ru
📍MLSpace

Спасибо всей команде за слаженную и качественную работу - испытываю несказанное признание каждому🔥

@complete_ai

Результат генерации по запросу "Миньоны в Первой Мировой войне"

Твоя рекция когда потарил 10к$ на обучение, но loss модели так и не уменьшился

Когда решил залететь с ноги в LLM

Вся работа в одной картинке

Братан, да какой ты специалист по нейросетям? Ты все тот же токарь, оператор нейрогенерационного станка ЧПУ, графический фрезеровщик — весь в отца, работяга, заводская порода.

Запихнул болванку дата-сета, ввел параметры, нажал кнопку, ушел айкос курить да в чате с цеховыми пиздеть, вернулся — деталька выточилась уже. Перекинул ее в другой станок, подшлифовал, руками поправил где надо — красота. А вот и смена кончилась, криптополучка пришла, пошел с мужиками по зуму бухать.

Украдено

Новости от Майков:
- Завезли всё что возможно

А что самое сочное?
Уже выложили Win11-dev для нас, IT-гусей, где появилась нативная поддержка:
- tar, zip, gz
- git внутри проводника
и много чего ещё

Ждём WWDC для полной демонстрации, а также закрытие бета теста всех новых фишек AI (планируется к октябрю)

Обзор

Подборка из всех статей, упомянутых в лекции Andrej Karpathy "State of GPT"

Навернка вы уже смотрели прекрасную обзорную лекцию State of GPT. На основе его источников собрали для вас список сатей которые он упомянул в своем докладе.

Статьи про отдельные языковые модели
- LLaMa [Open and Efficient Foundation Language Models] Arxiv
- OPT 175B [OPT: Open Pre-trained Transformer Language Models] Arxiv
- GPT-4 [GPT-4 Technical Report] Arxiv
- GPT-3 [Language Models are Few-Shot Learners] Arxiv
- GPT-2 [Language Models are Unsupervised Multitask Learners] Paper
- GPT-1 [Improving language understanding with unsupervised learning] Paper
- LLMs practical guide [Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond] Github

Reinforcement Learning in LLMs
- [Proximal Policy Optimization Algorithms, 2017] Arxiv
- InstructGPT [Training language models to follow instructions with human feedback, 2022] Arxiv

Работа с затравками и распределением вероятностей
- [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022] Arxiv
- [Large Language Models are Zero-Shot Reasoners, 2022] Arxiv
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models, 2022] Arxiv
- [Self-Refection in LLMs] Blog post
- [Tree of Thoughts: Deliberate Problem Solving with Large Language Models, 2023] Arxiv
- [Large Language Models Are Human-Level Prompt Engineers, 2023] Arxiv
- Красивая параллель с го: [Mastering the game of Go without human knowledge, 2017] Nature

Расширение возможностей LLM
- AutoGPT Github
- [ReACT: Synergizing Reasoning and Acting in Language Models, 2022] Arxiv
- [Toolformer: Language Models Can Teach Themselves to Use Tools, 2023] Arxiv
- [Sparks of Artificial General Intelligence: Early experiments with GPT-4, 2023] Arxiv

Админы в отпуске

https://www.youtube.com/watch?v=Sfz9jQ3KI5k