Братан, да какой ты специалист по нейросетям? Ты все тот же токарь, оператор нейрогенерационного станка ЧПУ, графический фрезеровщик — весь в отца, работяга, заводская порода.
Запихнул болванку дата-сета, ввел параметры, нажал кнопку, ушел айкос курить да в чате с цеховыми пиздеть, вернулся — деталька выточилась уже. Перекинул ее в другой станок, подшлифовал, руками поправил где надо — красота. А вот и смена кончилась, криптополучка пришла, пошел с мужиками по зуму бухать.
Украдено
Запихнул болванку дата-сета, ввел параметры, нажал кнопку, ушел айкос курить да в чате с цеховыми пиздеть, вернулся — деталька выточилась уже. Перекинул ее в другой станок, подшлифовал, руками поправил где надо — красота. А вот и смена кончилась, криптополучка пришла, пошел с мужиками по зуму бухать.
Украдено
This media is not supported in your browser
VIEW IN TELEGRAM
Новости от Майков:
- Завезли всё что возможно
А что самое сочное?
Уже выложили Win11-dev для нас, IT-гусей, где появилась нативная поддержка:
- tar, zip, gz
- git внутри проводника
и много чего ещё
Ждём WWDC для полной демонстрации, а также закрытие бета теста всех новых фишек AI (планируется к октябрю)
Обзор
- Завезли всё что возможно
А что самое сочное?
Уже выложили Win11-dev для нас, IT-гусей, где появилась нативная поддержка:
- tar, zip, gz
- git внутри проводника
и много чего ещё
Ждём WWDC для полной демонстрации, а также закрытие бета теста всех новых фишек AI (планируется к октябрю)
Обзор
Подборка из всех статей, упомянутых в лекции Andrej Karpathy "State of GPT"
Навернка вы уже смотрели прекрасную обзорную лекцию State of GPT. На основе его источников собрали для вас список сатей которые он упомянул в своем докладе.
Статьи про отдельные языковые модели
- LLaMa [Open and Efficient Foundation Language Models] Arxiv
- OPT 175B [OPT: Open Pre-trained Transformer Language Models] Arxiv
- GPT-4 [GPT-4 Technical Report] Arxiv
- GPT-3 [Language Models are Few-Shot Learners] Arxiv
- GPT-2 [Language Models are Unsupervised Multitask Learners] Paper
- GPT-1 [Improving language understanding with unsupervised learning] Paper
- LLMs practical guide [Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond] Github
Reinforcement Learning in LLMs
- [Proximal Policy Optimization Algorithms, 2017] Arxiv
- InstructGPT [Training language models to follow instructions with human feedback, 2022] Arxiv
Работа с затравками и распределением вероятностей
- [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022] Arxiv
- [Large Language Models are Zero-Shot Reasoners, 2022] Arxiv
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models, 2022] Arxiv
- [Self-Refection in LLMs] Blog post
- [Tree of Thoughts: Deliberate Problem Solving with Large Language Models, 2023] Arxiv
- [Large Language Models Are Human-Level Prompt Engineers, 2023] Arxiv
- Красивая параллель с го: [Mastering the game of Go without human knowledge, 2017] Nature
Расширение возможностей LLM
- AutoGPT Github
- [ReACT: Synergizing Reasoning and Acting in Language Models, 2022] Arxiv
- [Toolformer: Language Models Can Teach Themselves to Use Tools, 2023] Arxiv
- [Sparks of Artificial General Intelligence: Early experiments with GPT-4, 2023] Arxiv
Навернка вы уже смотрели прекрасную обзорную лекцию State of GPT. На основе его источников собрали для вас список сатей которые он упомянул в своем докладе.
Статьи про отдельные языковые модели
- LLaMa [Open and Efficient Foundation Language Models] Arxiv
- OPT 175B [OPT: Open Pre-trained Transformer Language Models] Arxiv
- GPT-4 [GPT-4 Technical Report] Arxiv
- GPT-3 [Language Models are Few-Shot Learners] Arxiv
- GPT-2 [Language Models are Unsupervised Multitask Learners] Paper
- GPT-1 [Improving language understanding with unsupervised learning] Paper
- LLMs practical guide [Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond] Github
Reinforcement Learning in LLMs
- [Proximal Policy Optimization Algorithms, 2017] Arxiv
- InstructGPT [Training language models to follow instructions with human feedback, 2022] Arxiv
Работа с затравками и распределением вероятностей
- [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022] Arxiv
- [Large Language Models are Zero-Shot Reasoners, 2022] Arxiv
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models, 2022] Arxiv
- [Self-Refection in LLMs] Blog post
- [Tree of Thoughts: Deliberate Problem Solving with Large Language Models, 2023] Arxiv
- [Large Language Models Are Human-Level Prompt Engineers, 2023] Arxiv
- Красивая параллель с го: [Mastering the game of Go without human knowledge, 2017] Nature
Расширение возможностей LLM
- AutoGPT Github
- [ReACT: Synergizing Reasoning and Acting in Language Models, 2022] Arxiv
- [Toolformer: Language Models Can Teach Themselves to Use Tools, 2023] Arxiv
- [Sparks of Artificial General Intelligence: Early experiments with GPT-4, 2023] Arxiv
YouTube
State of GPT | BRK216HFS
Learn about the training pipeline of GPT assistants like ChatGPT, from tokenization to pretraining, supervised finetuning, and Reinforcement Learning from Human Feedback (RLHF). Dive deeper into practical techniques and mental models for the effective use…
Короче, меня позвали принять участие в качестве жюри на хакатоне Цифровой прорыв.
Скажу так, я никогда не видел хуже организации (хотя сам устраивал Авиахак). В общем, первый обсер, мне написали и попросили выбрать трек, на котором я буду участвовать, я выбрал трек от "Самолета". Наступает суббота, первое собрание жюри, и выясняется, что меня без моего ведома перевели на другой трек - трек по вычислению времени простоя строительной техники, типичный CV.
Началось самое интересное - само судейство. Так как я участвовал как техническое жюри, у меня были такие критерии:
- Запускаемость кода (макс. 3, вес 1)
- Обоснованность выбранного метода (макс. 3, вес: 1)
- Адаптивность/Масштабируемость (макс. 2, вес: 1)
- Отсутствие в решении импортного ПО и библиотек (макс. 2, вес: 1)
- Наличие интеграционных интерфейсов (макс. 1, вес: 2)
Максимум 11 баллов.
Но трек был про машинное обучение, где же метрики? Как понять, что у команды лучшее решение, которое не нанесет вред бизнесу? Правильно, никак. Я спросил у организаторов, почему нет метрик, а они ответили, что метрики в другом треке и тут их нет. Я был в шоке, организатор путал метрику и закрытую выборку.
С 10:30 до 14:30 слушал все выступления. Одна команда лучше другой, кто-то вообще не парился и сделал каскад Хаара для детекции объектов и тупо вычитал кадры, кто-то использовал сетку DINO, короче разброс решений был большой, но база - это Yolo8, каждая вторая команда использовала Yolov8.
Но после всего этого начинается самый большой пиздец - команда, которая сделала просто хороший фронт, где сетка не работала, попадает на первое место. Я был в шоке, второе место было занято похожей командой, но с верным и рабочим pipeline, который сделали GigaFlex, но они оказались на 7 месте. Я пояснил, что знаю команду GigaFlex, встречал их не один раз на ODS, CodeDojo и т.д. Все изменили и увеличили им баллы (а это разрешено), они попали на 2 место (ну как бы норм), НО врывается бородатый DS из оргов и говорит мол, оставляем все как было, выравниваем, чтобы не было несколько команд на одном месте и все, времени мало и т.д.
Я просто был в шоке, ливнул из зума и забыл про потраченное время выходного воскресенья. Кейсы организаторы подготавливать не умеют. Хотя типа это хакатон про ИИ (ибо на сайте написано Цифровой прорыв: сезон ИИ, и сайт hacks-ai). Нет метрик, нет наборов данных, ничего нет. Я был в шоке, что участники смогли сами разметить видео - за это прям респект.
Вывод один - не участвуйте в Цифровом прорыве, это рандом, или идите туда просто за опытом, не рассчитывайте, что если вы сделали технически верное решение, то вы выиграете. Лучше каглить, там хотя бы метрики и данные ясные. 💻👨💻🚀
А что бы не был просто сухой текст держите картиночки с демо.
Скажу так, я никогда не видел хуже организации (хотя сам устраивал Авиахак). В общем, первый обсер, мне написали и попросили выбрать трек, на котором я буду участвовать, я выбрал трек от "Самолета". Наступает суббота, первое собрание жюри, и выясняется, что меня без моего ведома перевели на другой трек - трек по вычислению времени простоя строительной техники, типичный CV.
Началось самое интересное - само судейство. Так как я участвовал как техническое жюри, у меня были такие критерии:
- Запускаемость кода (макс. 3, вес 1)
- Обоснованность выбранного метода (макс. 3, вес: 1)
- Адаптивность/Масштабируемость (макс. 2, вес: 1)
- Отсутствие в решении импортного ПО и библиотек (макс. 2, вес: 1)
- Наличие интеграционных интерфейсов (макс. 1, вес: 2)
Максимум 11 баллов.
Но трек был про машинное обучение, где же метрики? Как понять, что у команды лучшее решение, которое не нанесет вред бизнесу? Правильно, никак. Я спросил у организаторов, почему нет метрик, а они ответили, что метрики в другом треке и тут их нет. Я был в шоке, организатор путал метрику и закрытую выборку.
С 10:30 до 14:30 слушал все выступления. Одна команда лучше другой, кто-то вообще не парился и сделал каскад Хаара для детекции объектов и тупо вычитал кадры, кто-то использовал сетку DINO, короче разброс решений был большой, но база - это Yolo8, каждая вторая команда использовала Yolov8.
Но после всего этого начинается самый большой пиздец - команда, которая сделала просто хороший фронт, где сетка не работала, попадает на первое место. Я был в шоке, второе место было занято похожей командой, но с верным и рабочим pipeline, который сделали GigaFlex, но они оказались на 7 месте. Я пояснил, что знаю команду GigaFlex, встречал их не один раз на ODS, CodeDojo и т.д. Все изменили и увеличили им баллы (а это разрешено), они попали на 2 место (ну как бы норм), НО врывается бородатый DS из оргов и говорит мол, оставляем все как было, выравниваем, чтобы не было несколько команд на одном месте и все, времени мало и т.д.
Я просто был в шоке, ливнул из зума и забыл про потраченное время выходного воскресенья. Кейсы организаторы подготавливать не умеют. Хотя типа это хакатон про ИИ (ибо на сайте написано Цифровой прорыв: сезон ИИ, и сайт hacks-ai). Нет метрик, нет наборов данных, ничего нет. Я был в шоке, что участники смогли сами разметить видео - за это прям респект.
Вывод один - не участвуйте в Цифровом прорыве, это рандом, или идите туда просто за опытом, не рассчитывайте, что если вы сделали технически верное решение, то вы выиграете. Лучше каглить, там хотя бы метрики и данные ясные. 💻👨💻🚀
А что бы не был просто сухой текст держите картиночки с демо.
This media is not supported in your browser
VIEW IN TELEGRAM
Почему я редко пишут в тг канал