Короче, меня позвали принять участие в качестве жюри на хакатоне Цифровой прорыв.
Скажу так, я никогда не видел хуже организации (хотя сам устраивал Авиахак). В общем, первый обсер, мне написали и попросили выбрать трек, на котором я буду участвовать, я выбрал трек от "Самолета". Наступает суббота, первое собрание жюри, и выясняется, что меня без моего ведома перевели на другой трек - трек по вычислению времени простоя строительной техники, типичный CV.
Началось самое интересное - само судейство. Так как я участвовал как техническое жюри, у меня были такие критерии:
- Запускаемость кода (макс. 3, вес 1)
- Обоснованность выбранного метода (макс. 3, вес: 1)
- Адаптивность/Масштабируемость (макс. 2, вес: 1)
- Отсутствие в решении импортного ПО и библиотек (макс. 2, вес: 1)
- Наличие интеграционных интерфейсов (макс. 1, вес: 2)
Максимум 11 баллов.
Но трек был про машинное обучение, где же метрики? Как понять, что у команды лучшее решение, которое не нанесет вред бизнесу? Правильно, никак. Я спросил у организаторов, почему нет метрик, а они ответили, что метрики в другом треке и тут их нет. Я был в шоке, организатор путал метрику и закрытую выборку.
С 10:30 до 14:30 слушал все выступления. Одна команда лучше другой, кто-то вообще не парился и сделал каскад Хаара для детекции объектов и тупо вычитал кадры, кто-то использовал сетку DINO, короче разброс решений был большой, но база - это Yolo8, каждая вторая команда использовала Yolov8.
Но после всего этого начинается самый большой пиздец - команда, которая сделала просто хороший фронт, где сетка не работала, попадает на первое место. Я был в шоке, второе место было занято похожей командой, но с верным и рабочим pipeline, который сделали GigaFlex, но они оказались на 7 месте. Я пояснил, что знаю команду GigaFlex, встречал их не один раз на ODS, CodeDojo и т.д. Все изменили и увеличили им баллы (а это разрешено), они попали на 2 место (ну как бы норм), НО врывается бородатый DS из оргов и говорит мол, оставляем все как было, выравниваем, чтобы не было несколько команд на одном месте и все, времени мало и т.д.
Я просто был в шоке, ливнул из зума и забыл про потраченное время выходного воскресенья. Кейсы организаторы подготавливать не умеют. Хотя типа это хакатон про ИИ (ибо на сайте написано Цифровой прорыв: сезон ИИ, и сайт hacks-ai). Нет метрик, нет наборов данных, ничего нет. Я был в шоке, что участники смогли сами разметить видео - за это прям респект.
Вывод один - не участвуйте в Цифровом прорыве, это рандом, или идите туда просто за опытом, не рассчитывайте, что если вы сделали технически верное решение, то вы выиграете. Лучше каглить, там хотя бы метрики и данные ясные. 💻👨💻🚀
А что бы не был просто сухой текст держите картиночки с демо.
Скажу так, я никогда не видел хуже организации (хотя сам устраивал Авиахак). В общем, первый обсер, мне написали и попросили выбрать трек, на котором я буду участвовать, я выбрал трек от "Самолета". Наступает суббота, первое собрание жюри, и выясняется, что меня без моего ведома перевели на другой трек - трек по вычислению времени простоя строительной техники, типичный CV.
Началось самое интересное - само судейство. Так как я участвовал как техническое жюри, у меня были такие критерии:
- Запускаемость кода (макс. 3, вес 1)
- Обоснованность выбранного метода (макс. 3, вес: 1)
- Адаптивность/Масштабируемость (макс. 2, вес: 1)
- Отсутствие в решении импортного ПО и библиотек (макс. 2, вес: 1)
- Наличие интеграционных интерфейсов (макс. 1, вес: 2)
Максимум 11 баллов.
Но трек был про машинное обучение, где же метрики? Как понять, что у команды лучшее решение, которое не нанесет вред бизнесу? Правильно, никак. Я спросил у организаторов, почему нет метрик, а они ответили, что метрики в другом треке и тут их нет. Я был в шоке, организатор путал метрику и закрытую выборку.
С 10:30 до 14:30 слушал все выступления. Одна команда лучше другой, кто-то вообще не парился и сделал каскад Хаара для детекции объектов и тупо вычитал кадры, кто-то использовал сетку DINO, короче разброс решений был большой, но база - это Yolo8, каждая вторая команда использовала Yolov8.
Но после всего этого начинается самый большой пиздец - команда, которая сделала просто хороший фронт, где сетка не работала, попадает на первое место. Я был в шоке, второе место было занято похожей командой, но с верным и рабочим pipeline, который сделали GigaFlex, но они оказались на 7 месте. Я пояснил, что знаю команду GigaFlex, встречал их не один раз на ODS, CodeDojo и т.д. Все изменили и увеличили им баллы (а это разрешено), они попали на 2 место (ну как бы норм), НО врывается бородатый DS из оргов и говорит мол, оставляем все как было, выравниваем, чтобы не было несколько команд на одном месте и все, времени мало и т.д.
Я просто был в шоке, ливнул из зума и забыл про потраченное время выходного воскресенья. Кейсы организаторы подготавливать не умеют. Хотя типа это хакатон про ИИ (ибо на сайте написано Цифровой прорыв: сезон ИИ, и сайт hacks-ai). Нет метрик, нет наборов данных, ничего нет. Я был в шоке, что участники смогли сами разметить видео - за это прям респект.
Вывод один - не участвуйте в Цифровом прорыве, это рандом, или идите туда просто за опытом, не рассчитывайте, что если вы сделали технически верное решение, то вы выиграете. Лучше каглить, там хотя бы метрики и данные ясные. 💻👨💻🚀
А что бы не был просто сухой текст держите картиночки с демо.
🔥9😱1