Forwarded from Love. Death. Transformers.
Действительно призошла утечка, я в ахуе, гпт4 level waifus goes brr.
А кто то знает способы конвертации ггуф в fp16? Мне для друга.
деквант версия
cайт
А кто то знает способы конвертации ггуф в fp16? Мне для друга.
деквант версия
cайт
huggingface.co
152334H/miqu-1-70b-sf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Привет всем!
🚀 Вчера выступил на захватывающем семинаре, посвященном технологиям LLM (Large Language Models), где мне посчастливилось обсудить будущее искусственного интеллекта вместе с Александром Крайновым из "Яндекса" и Даниилом Гудыниным.
Мы затронули множество важных тем: от истоков развития LLM до насущных проблем, с которыми сталкиваются разработчики при внедрении этих технологий в продукты. В частности, обсудили вызовы, связанные с ускорением инференса LLM, и возможные пути их решения. Один из захватывающих моментов обсуждения касался RAG LLM (Retrieval-Augmented Generation for Large Language Models), который представляет собой новый шаг в улучшении качества и эффективности моделей.
Также Даня Гудынин поделился опытом создания DS-платформы для МАИ, что вызвало большой интерес, учитывая растущую потребность в специализированных инструментах для разработки и тестирования искусственного интеллекта.
Мне кажется, что совместное обсуждение и сотрудничество в таких важных направлениях как искусственный интеллект может привести нас к разработке более эффективных, безопасных и этичных технологий, которые в итоге изменят мир к лучшему.
Прилагаю несколько фотографий с семинара, чтобы поделиться с вами атмосферой мероприятия. Огромное спасибо всем, кто принял участие в обсуждении и поделился своими идеями и знаниями. Вместе мы сможем достичь невероятных высот!
🚀 Вчера выступил на захватывающем семинаре, посвященном технологиям LLM (Large Language Models), где мне посчастливилось обсудить будущее искусственного интеллекта вместе с Александром Крайновым из "Яндекса" и Даниилом Гудыниным.
Мы затронули множество важных тем: от истоков развития LLM до насущных проблем, с которыми сталкиваются разработчики при внедрении этих технологий в продукты. В частности, обсудили вызовы, связанные с ускорением инференса LLM, и возможные пути их решения. Один из захватывающих моментов обсуждения касался RAG LLM (Retrieval-Augmented Generation for Large Language Models), который представляет собой новый шаг в улучшении качества и эффективности моделей.
Также Даня Гудынин поделился опытом создания DS-платформы для МАИ, что вызвало большой интерес, учитывая растущую потребность в специализированных инструментах для разработки и тестирования искусственного интеллекта.
Мне кажется, что совместное обсуждение и сотрудничество в таких важных направлениях как искусственный интеллект может привести нас к разработке более эффективных, безопасных и этичных технологий, которые в итоге изменят мир к лучшему.
Прилагаю несколько фотографий с семинара, чтобы поделиться с вами атмосферой мероприятия. Огромное спасибо всем, кто принял участие в обсуждении и поделился своими идеями и знаниями. Вместе мы сможем достичь невероятных высот!
👍7🔥4❤1😎1
Сегодня я хочу поделиться с вами проектом, который, по моему мнению, имеет огромный потенциал в области распознавания речи. Речь идет о https://github.com/ggerganov/whisper.cpp - порте модели Whisper от OpenAI на C/C++. Этот проект позволяет выполнять высокопроизводительное распознавание речи с минимальными зависимостями, поддерживает различные архитектуры и платформы, включая Apple Silicon и x86. Поддержка квантизации и Core ML открывает новые горизонты для оптимизации и интеграции в различные приложения и системы.
Для быстрого запуска и обработки аудиофайла вам нужно выполнить следующие шаги:
1. Клонировать репозиторий:
2. Скачать модель Whisper в формате ggml:
3. Собрать и запустить пример, чтобы транскрибировать аудиофайл:
Простота интеграции и высокая производительность делают whisper.cpp идеальным выбором для разработчиков, стремящихся внедрить распознавание речи в свои приложения.
Скорость тоже поражает видео длинною в 90 минут обрабатывает за 10 минут на M1 Max
Для быстрого запуска и обработки аудиофайла вам нужно выполнить следующие шаги:
1. Клонировать репозиторий:
git clone https://github.com/ggerganov/whisper.cpp.git
2. Скачать модель Whisper в формате ggml:
bashCopy code
bash ./models/download-ggml-model.sh base.en
3. Собрать и запустить пример, чтобы транскрибировать аудиофайл:
bashCopy code
make
./main -f samples/jfk.wav
Простота интеграции и высокая производительность делают whisper.cpp идеальным выбором для разработчиков, стремящихся внедрить распознавание речи в свои приложения.
Скорость тоже поражает видео длинною в 90 минут обрабатывает за 10 минут на M1 Max
GitHub
GitHub - ggml-org/whisper.cpp: Port of OpenAI's Whisper model in C/C++
Port of OpenAI's Whisper model in C/C++. Contribute to ggml-org/whisper.cpp development by creating an account on GitHub.
👍6❤1
Некомпетентность в работе
В нашем динамично развивающемся мире, особенно в сфере высоких технологий и ИИ, крайне важно окружать себя компетентными специалистами.
Мне, как человеку, который не первый год работает в IT, часто приходится сталкиваться с ситуацией, когда компетенции некоторых сотрудников или менеджеров не соответствуют заявленным.
В рамках ИИ этой некомпетенции становится все больше и больше с каждым годом: каждый второй менеджер мнит себя экспертом в ИИ, но когда начинаешь с ним общаться, понимаешь, что у него сверхповерхностные знания, которые он услышал вкривь и вкось в каком-то видео на YouTube. Отличаются они еще и тем, что кидают изображения, которые они нарисовали в Кандинском, или в какой-нибудь text2image модели, репостят какие-то научные статьи, которые сами не понимают. Или просят у тебя книжки по развитию в машинном обучении, хотя по факту откроют, прочитают, не поймут и закроют.
Хуже всего, когда такой менеджер является твоим руководителем: каждый созвон или стендап превращается в лекцию с объяснениями, что, как и зачем ты делаешь, чтобы на следующем стендапе начать все снова, вместо обычных 5-10 минутных стендапов со своим техлидом.
Еще часто бывает, когда проделанную тобой работу этот менеджер выдает за свою, то есть ты с ним на созвонах обсуждал реализацию, всю концепцию, интеграцию процессов и т. д., исходило от тебя, а менеджер просто взял и присвоил все себе. Все это он представляет своему руководителю как свою деятельность, при этом ты сам об этом не можешь узнать, так как на эти встречи он тебя не приглашает.
Как жить с этим? Глобально есть три пути.
Если ты резкий, дерзкий и готов брать на себя ответственность и видение, то в этом случае все просто: готовишь свое видение, демонстрируешь его руководителю выше, общаетесь с ним о продукте, делитесь мнением, и если вы оба понимаете, что этот самый менеджер не справляется или делает полную чушь, то тебя самого могут поставить на его место. Это самый подлый и дерзкий путь.
Если ты переживающий эмпат, то твой путь лежит через HR-бизнес-партнера, который попытается выстроить между вами диалог и попытаться решить эту проблему. Лично я не вижу в этом какой-то реальной эффективности, так как менеджер всеми способами будет пытаться выкрутиться, чтобы сохранить свою позицию, и будет выставлять тебя виноватым и негодяем во всем этом.
И самый пофигистичный: сидишь на месте ровно и работаешь, тебе каждый год будут повышать зарплату на 10%. Все эти менеджеры будут сами уходить со временем, и ты лениво будешь самостоятельно подниматься по этой карьерной лестнице. Такое бывает редко, в основном когда CEO, CTO, CPO — вменяемые люди.
Самое лучшее, что можно делать в этой ситуации, если варианты выше вас не устраивают, — это сделать skip-connection до руководителя выше или с руководителями, где у вас есть знакомые коллеги. Просто говоря о такой проблеме, можно ее решить.
Как по мне, главная задача менеджера — сделать условия для команды самыми комфортными, а не вмешиваться в процессы, если ты не понимаешь; таким образом, ты будешь только мешать всем.
В нашем динамично развивающемся мире, особенно в сфере высоких технологий и ИИ, крайне важно окружать себя компетентными специалистами.
Мне, как человеку, который не первый год работает в IT, часто приходится сталкиваться с ситуацией, когда компетенции некоторых сотрудников или менеджеров не соответствуют заявленным.
В рамках ИИ этой некомпетенции становится все больше и больше с каждым годом: каждый второй менеджер мнит себя экспертом в ИИ, но когда начинаешь с ним общаться, понимаешь, что у него сверхповерхностные знания, которые он услышал вкривь и вкось в каком-то видео на YouTube. Отличаются они еще и тем, что кидают изображения, которые они нарисовали в Кандинском, или в какой-нибудь text2image модели, репостят какие-то научные статьи, которые сами не понимают. Или просят у тебя книжки по развитию в машинном обучении, хотя по факту откроют, прочитают, не поймут и закроют.
Хуже всего, когда такой менеджер является твоим руководителем: каждый созвон или стендап превращается в лекцию с объяснениями, что, как и зачем ты делаешь, чтобы на следующем стендапе начать все снова, вместо обычных 5-10 минутных стендапов со своим техлидом.
Еще часто бывает, когда проделанную тобой работу этот менеджер выдает за свою, то есть ты с ним на созвонах обсуждал реализацию, всю концепцию, интеграцию процессов и т. д., исходило от тебя, а менеджер просто взял и присвоил все себе. Все это он представляет своему руководителю как свою деятельность, при этом ты сам об этом не можешь узнать, так как на эти встречи он тебя не приглашает.
Как жить с этим? Глобально есть три пути.
Если ты резкий, дерзкий и готов брать на себя ответственность и видение, то в этом случае все просто: готовишь свое видение, демонстрируешь его руководителю выше, общаетесь с ним о продукте, делитесь мнением, и если вы оба понимаете, что этот самый менеджер не справляется или делает полную чушь, то тебя самого могут поставить на его место. Это самый подлый и дерзкий путь.
Если ты переживающий эмпат, то твой путь лежит через HR-бизнес-партнера, который попытается выстроить между вами диалог и попытаться решить эту проблему. Лично я не вижу в этом какой-то реальной эффективности, так как менеджер всеми способами будет пытаться выкрутиться, чтобы сохранить свою позицию, и будет выставлять тебя виноватым и негодяем во всем этом.
И самый пофигистичный: сидишь на месте ровно и работаешь, тебе каждый год будут повышать зарплату на 10%. Все эти менеджеры будут сами уходить со временем, и ты лениво будешь самостоятельно подниматься по этой карьерной лестнице. Такое бывает редко, в основном когда CEO, CTO, CPO — вменяемые люди.
Самое лучшее, что можно делать в этой ситуации, если варианты выше вас не устраивают, — это сделать skip-connection до руководителя выше или с руководителями, где у вас есть знакомые коллеги. Просто говоря о такой проблеме, можно ее решить.
Как по мне, главная задача менеджера — сделать условия для команды самыми комфортными, а не вмешиваться в процессы, если ты не понимаешь; таким образом, ты будешь только мешать всем.
👍10
Оllama - это инновационная библиотека, позволяющая быстро развертывать и работать с крупными языковыми моделями, такими как Llama 2, Mistral, Gemma и другими, локально. Для пользователей macOS и Windows предоставляются прямые ссылки для скачивания соответствующих инсталляторов. Пользователи Linux могут установить ollama, используя команду curl. Кроме того, доступен официальный образ Docker ollama.
Быстрый запуск модели Llama 2 осуществляется через команду ollama run llama2. Библиотека поддерживает множество моделей, для каждой из которых предусмотрены команды для загрузки и запуска. Пользователи могут кастомизировать модели, импортировать их из различных источников, а также настраивать промпты. Помимо этого, ollama предлагает REST API для управления моделями и генерации ответов.
Установка на различных системах:
- macOS и Windows: Скачайте инсталлятор с официального сайта.
- Linux: Используйте команду
- Docker: Воспользуйтесь образом ollama/ollama с Docker Hub.
Для более детальной информации, посетите официальную страницу ollama на GitHub: https://github.com/ollama/ollama
Быстрый запуск модели Llama 2 осуществляется через команду ollama run llama2. Библиотека поддерживает множество моделей, для каждой из которых предусмотрены команды для загрузки и запуска. Пользователи могут кастомизировать модели, импортировать их из различных источников, а также настраивать промпты. Помимо этого, ollama предлагает REST API для управления моделями и генерации ответов.
Установка на различных системах:
- macOS и Windows: Скачайте инсталлятор с официального сайта.
- Linux: Используйте команду
curl -fsSL https://ollama.com/install.sh | sh
- Docker: Воспользуйтесь образом ollama/ollama с Docker Hub.
Для более детальной информации, посетите официальную страницу ollama на GitHub: https://github.com/ollama/ollama
GitHub
GitHub - ollama/ollama: Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models.
Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models. - ollama/ollama
🔥5❤4
Теория Жоп в работе
Теория Жоп, это теория о том что каждый этап карьеры начинается и заканчивается Жопой. Встреча с Жопой – это неизбежный этап на пути к повышению или при смене деятельности. Ключ к успеху – принимать эти Жопы как возможности для роста.
В основе теории лежит принцип, что при любом повышении или переходе на новую должность нас ожидает Жопа. Это может казаться пессимистичным, но на самом деле указывает на необходимость готовности к преодолению трудностей. "Жопа жопе рознь" подчеркивает, что уровень и сложность препятствий Жопы на разных ступенях карьерной лестницы.
Иерархия Жоп демонстрирует, что на нижних ступенях карьерной лестницы Жоп много, но они относительно небольшие. По мере продвижения вверх, количество Жоп уменьшается, но их размер и сложность увеличиваются. Таким образом, управленцы высших звеньев сталкиваются с крупными и значимыми Жопами, но уже не так часто, как на начальных этапах. Но размер этих Жоп может разом их поглатить.
Риск - это маленькие жопки! Задача менеджера распознавать и устранять на ранней стадии. Успех в управлении проектными жопками зависит от способности лидера идентифицировать и нейтрализовать эти жопки до того, как они перерастут в большие Жопы.
В мире управления проектами эскалация Жопы считается критическим моментом, когда Жопы низшего уровня всплывают на поверхность, требуя немедленного внимания вышестоящего руководства. Суть в том, чтобы избежать превращения маленьких Жоп в большие, создавая эффективные команды на каждом уровне, способные своевременно решать возникающие Жопки.
Как противостоять жопам?
Основываясь на правиле 20% самых токсичных Жоп, необходимо сосредоточить усилия на самых критических Жопах, используя регулярный обход всей вверенной территории с детектором Жоп. Это поможет обнаружить и устранить Жопы, прежде чем они вырастут в неуправляемые Жопы.
В этом и опыт руководителя – учуять маленькую Жопу и уничтожить. Иной менеджер настолько беспечен и неопытен, что Жопа его съест, а он и не заметит. Потому что Жопа больше него. Как Небо. Он думает что так и должно быть. Что это светлое отверстие - это Солнце над головой. А это не Солнце. Еще мгновение и "оно" погаснет...
Может показаться странным, но Жопа приносит пользу. Особенно когда это чужая Жопа. Хотя есть любители приключений на свою, но все таки приятнее в тиши и безопасности полистать страницы чужих Жоп. Почитать, порадоваться «а у нас не все так плохо!..».
Жопа - вот что заставляет мозги работать, буквально штормить. Другими словами, сказ о Жопе заставляет тебя задуматься – «а как бы я вышел из этой... ситуации?». Рассказы о случившихся Жопах позволяют использовать чужой опыт для себя, для проверки сообразительности кандидатов на интервью, в соревнованиях на тренингах.
Жопы необходимо принять, познать и признать , как неотъемлемой части карьерного роста, делегирования и управления проектными Жопами. Постоянное внимание к потенциальным и реальным Жопам, их своевременное решение и использование полученного опыта для развития – ключи к успешной карьере в виде одной большой Вашей Жопы.
Теория Жоп, это теория о том что каждый этап карьеры начинается и заканчивается Жопой. Встреча с Жопой – это неизбежный этап на пути к повышению или при смене деятельности. Ключ к успеху – принимать эти Жопы как возможности для роста.
В основе теории лежит принцип, что при любом повышении или переходе на новую должность нас ожидает Жопа. Это может казаться пессимистичным, но на самом деле указывает на необходимость готовности к преодолению трудностей. "Жопа жопе рознь" подчеркивает, что уровень и сложность препятствий Жопы на разных ступенях карьерной лестницы.
Иерархия Жоп демонстрирует, что на нижних ступенях карьерной лестницы Жоп много, но они относительно небольшие. По мере продвижения вверх, количество Жоп уменьшается, но их размер и сложность увеличиваются. Таким образом, управленцы высших звеньев сталкиваются с крупными и значимыми Жопами, но уже не так часто, как на начальных этапах. Но размер этих Жоп может разом их поглатить.
Риск - это маленькие жопки! Задача менеджера распознавать и устранять на ранней стадии. Успех в управлении проектными жопками зависит от способности лидера идентифицировать и нейтрализовать эти жопки до того, как они перерастут в большие Жопы.
«Жопы есть везде. Если Жопы нет, значит Вы ее не видите.»
В мире управления проектами эскалация Жопы считается критическим моментом, когда Жопы низшего уровня всплывают на поверхность, требуя немедленного внимания вышестоящего руководства. Суть в том, чтобы избежать превращения маленьких Жоп в большие, создавая эффективные команды на каждом уровне, способные своевременно решать возникающие Жопки.
Как противостоять жопам?
Основываясь на правиле 20% самых токсичных Жоп, необходимо сосредоточить усилия на самых критических Жопах, используя регулярный обход всей вверенной территории с детектором Жоп. Это поможет обнаружить и устранить Жопы, прежде чем они вырастут в неуправляемые Жопы.
В этом и опыт руководителя – учуять маленькую Жопу и уничтожить. Иной менеджер настолько беспечен и неопытен, что Жопа его съест, а он и не заметит. Потому что Жопа больше него. Как Небо. Он думает что так и должно быть. Что это светлое отверстие - это Солнце над головой. А это не Солнце. Еще мгновение и "оно" погаснет...
Может показаться странным, но Жопа приносит пользу. Особенно когда это чужая Жопа. Хотя есть любители приключений на свою, но все таки приятнее в тиши и безопасности полистать страницы чужих Жоп. Почитать, порадоваться «а у нас не все так плохо!..».
Жопа - это вызов, задача, экзамен жизни.
Жопа - вот что заставляет мозги работать, буквально штормить. Другими словами, сказ о Жопе заставляет тебя задуматься – «а как бы я вышел из этой... ситуации?». Рассказы о случившихся Жопах позволяют использовать чужой опыт для себя, для проверки сообразительности кандидатов на интервью, в соревнованиях на тренингах.
Жопы необходимо принять, познать и признать , как неотъемлемой части карьерного роста, делегирования и управления проектными Жопами. Постоянное внимание к потенциальным и реальным Жопам, их своевременное решение и использование полученного опыта для развития – ключи к успешной карьере в виде одной большой Вашей Жопы.
👍9❤2