Запрети мне псевдолейблить
الذهاب إلى القناة على Telegram
Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов Для контакта пишите в сообщения канала, они бесплатные
إظهار المزيد3 582
المشتركون
-124 ساعات
+347 أيام
+18730 أيام
أرشيف المشاركات
На Kaggle новая драма — соревнование по разметке данных для боевых дронов
https://www.kaggle.com/competitions/leonardo-airborne-object-recognition-challenge
Официально задача звучит так: нужно построить модель, которая будет находить и классифицировать объекты на съемке с летательных аппаратов. В списке классов:
1. люди
2. летательные аппараты
3. дроны
4. машины
5. корабли
6. препятствия для самого носителя камеры — башни, скалы и т.д.
Проблема в том, что все и так прекрасно понимают, для чего сегодня особенно востребованы такие платформы с видео- и фотосъемкой и опцией подсветки снизу.
В датасете почти сразу нашли несколько довольно интересных последовательных кадров — они как раз приложены к посту. После того как началось публичное возмущение, Kaggle на время притормозил соревнование. Сейчас к нему уже нельзя подключиться заново, но те, кто успел зайти и что-то засабмитить, по-прежнему могут продолжать.
Отдельно стоит посмотреть на заказчика — Leonardo Helicopters, итальянскую многоцелевую компанию.
Во-первых, 30% компании принадлежит правительству Италии.
Во-вторых, Leonardo участвует в сотрудничестве с Baykar: у них совместное предприятие 50/50, а сама Baykar — производитель Bayraktar.
Из этого для россиян вытекают и вполне конкретные правовые риски. В действующей редакции статьи 275 УК РФ государственная измена — это не только шпионаж или передача гостайны, но и оказание иностранному государству, международной или иностранной организации финансовой, материально-технической, консультационной либо иной помощи в деятельности, направленной против безопасности РФ. Отдельно статья 275.1 УК РФ наказывает за конфиденциальное сотрудничество с иностранной организацией в целях такого содействия. А статья 189 УК РФ отдельно криминализует незаконную передачу иностранному лицу технологий, работ или услуг, если на них распространяется экспортный контроль.
Ну и в целом все это выглядит как жалкая пародия: несравненный оригинал на эту тему уже когда-то проводила ЧВК «Вагнер».
Мое мнение кстати простенькое:
Кагл хорошая платформа для поиска новых идей, но детекция/классификация объектов тема изъезженная. Думаю тут сорева нужен для хаеринга, а не топ решений/идей. Были бы нужны топ решения/идеи- на инференс давали бы больше ограничений, чем 9 GPU/Hours. Правда, есть и приз за быстродействие, но он считается среди топ участников отдельно.
@Kaggle_monitor_bot
Сделал подписчикам бота со статистикой по баскетболу и March Mania. Приходите и получайте
Бот работает быстрее кагла и шлет апдейты по тому, как сыграли команды
Send your Kaggle submission CSV as a document. The newest upload becomes your active submission.
Кнопки:
📌 Status - Текущий саб и его бриер скор
🏆 Rank - ваш ранг среди псевдолейблеров
🏁 Results - как вы предсказали уже прошедшие игры
🏀 Today - Игры на сегодня
🌙 Yesterday - Игры за вчера
+1
Мой сабмишн вот такой, лудка пошла.
Со своим сабмишном можно поиграть вот здесь:
https://marksmath.org/visualization/data/NCAABrackets/KaggleBrackets/
Сайт обновляется с лагом примерно в 10 часов, но прогресс трекать позволяет зачастую лучше, чем кагл
В комментах призываю поделиться своими сетками и поспорить, кто самый большой лудоман. Ну и поныть/радоваться после первых сетов матчей
Перевыложил многострадальный лоторейный билетик
Никому его не показывайте плз. Такие сильные ноутбуки нельзя выкладывать, когда до конца соревы так мало времени
Мой 🏀 баскетбольный 🏀 ноутбук кстати пока не вернули в паблик. Если в пн вечером не вернут- во вторник перевыложу сюда код для всех подписчиков
На днях будет мердж дедлайн в еще одной лоторее: Stanford RNA 3D Folding Part 2
Соревнование казалось каким-то неформатным для кагла и так и выходит: засабмитив топовый паблик дважды можно влететь в высочайший лб. Но этот лб уже на готовы последовательностях и плохо воспроизводится. Приватный тест будет на вновь собранных к концу соревнования данных и организаторы особо даже и не пишут ответа на вопрос «а сколько будет данных в привате?»
Для меня звучит как еще одна рандомная лотерея, в которой можно взять сологолд, а можно улететь в ад.
Я оценил распределение скоров нормальным и шанс выбить скор больше, чем у меня (а значит оказаться в момент написания поста в топ 15) сейчас примерно 10%.
Автор оригинального топ паблика кстати у нас уже в комментах.
Собственно инструкция для всех ленивых:
1. Присоединяемся у сореве
2. Копируем мой паблик
3. Сабмитим его пять раз в день
4. Смотрим на красивое место на лб
5. В ночь на 30 марта молимся богу сологолда
6. Ставим апвоут автору оригинального паблика @xbebra
7. Подписываемся на псевдолейблинг
Суть истории:
Велкий грандмастер обсжудений перевыложил ноутбук раддара
Я перевыложил ноутбук основанный на решении из топ 3 прошлого года, который в свою очередь основан на решение Raddar.
Рави каждую сореву очень хочет себе медальки за код и обсуждения, так что ревностно выкладывает ноутбуки, чтобы зафармить лайков буквально через пару дней после старта. В этот раз он приревновал лайки и кинул мне страйк :0
Кстати, следите за птицами. Он сейчас там тоже какую-нибудь ржаку выложит
Птицы все же вышли в этом году 🦅
https://www.kaggle.com/competitions/birdclef-2026
сегодня запустят птичек (планируют запустить) ... если кто-то ждет. Мое предположение было близко, но не Колумбия, а Бразилия и рядом лежащие области
Рубрика 'доменные мертики'
Люди давным давно занимаются прогнозированием того залетит ли ставочка, какая команда сильнее и в профессиональные аналитики (тм) даже придумали специальные рейтинги, чтобы определять это более честно.
Вместо того, чтобы смотреть на чистую разницу очков, подметили, что команды играют с разной скоростью. Давление таймера на баскетбольные команды только глобальное, хотя за 40 минут чистого времени можно разыграть совершенно разное количество 'владений'. Но если мяч забит, то обычно мяч переходит команде, в чьи ворота забили (за исключением штрафных).
Вот тут и кроется подвох: команда может хорошо или плохо обороняться, но скорость игры ей навязывает еще и команда соперника. В силу того, что это все спорт и элемент случайности все еще присутствует, андердогу выгодно 'играть медленно', чтобы иметь чуть больше шансов на удачу. Так же скорость игры регулируется тем, насколько команда физически подготовлена. Условно ветераны могут играть медленно, но очень технично и из каждой своей медленной атаки выходить победителем. Мы в школе например всегда быстро играли, потому что набивать опыт так легче, потому что играете больше владений + выносливость и скорость тренируется офлайн, без противников.
Перейдем к цифрам. Для начала оценим сырое число владений по бокс-скору:
(Число владений) = (все броски основного времени игры)−(подборы в нападении) + (потеря мяча) + 0.475× (число штрафных бросков)
Подборы в нападении вычитаем, потому что они 'продлевают владение' и мы не хотим два раза их считать.
Потеря мяча без броска тоже завершает владение досрочно.
Коэф 0.475 подобран эмпирически- примерно конверсия штрафных бросков в потерю мяча.
Посчитав такой коэффициент, мы можем получить 'нормализованную' эффективность нападений/обороны. Это будет оценка матожидания количества очков от владения мячом для конкретной команды в идеальных условиях.
Эффективность нападения:
(Количество забитых командой очков) / (Число владений) * 100
Эффективность защиты:
(Количество забитых команде очков) / (Число владений) * 100
Чтобы это все дело привести еще и к 'идеальному скору', надо это нормализовать на средние эффективности по лиге:
(Скорректированная эффективность нападаения) = (Эффективность нападаения) * (Средняя эффективность нападаения в лиге) / (Эффектиность защиты соперника)
(Скорректированная эффективность защиты) = (Эффективность защиты) * (Средняя эффективность защиты в лиге) / (Эффективность нападаения соперника)
Собственно эти две цифры и показывают честную силу команды, нормированную на скорость игры.
Свести их к одной позволяет еще одна волшебная формула:
(Вероятность победы против усредненного соперника)= (Скорректированная эффективность нападаения)^k/((Скорректированная эффективность нападаения)^k
+ (Скорректированная эффективность защиты)^k)
Вы спросите меня, а что за k? А это тоже поправочный коэффициент в 10.25.
Как это использовать в соревновании? Как фичи конечно. Можно спарсить torvik, чем я сейчас и занимаюсь.
Вообще у меня от этих формул эффект как от нейрослоп: вроде и узнаю похожие очертания, а как всмотришься- творится какая-то чертовщина
Фармим академические ачивки
Прямо сейчас проходят соревнования, хорошее место в которых позволит опубликовать свой work-note и выступить с воркшопом на конфах CVPR26 (тир A+ США) / CLEF (тир A в Германии). У этих челленджей сравнительно маленькая конкуренция и взять хорошее место на них даже проще, чем в соревнованиях для новичков каггла. Придется повозиться с данными, но зато можно увеличить свои шансы на поступление на пхд/магистратуру/стипендию/грант. Применимо это для любой страны, включая северную корею. Я бы лично решал, чтобы получить повышенную стипу.
1. AnimalCLEF26 @ CVPR & CLEF
Классифкационный трек, где нужно подумать как хендлить класс 'другое'.
В этом году надо отличить друг от друга: Евразийскую рысь, чашскую саламандру, греческих черепах и техасских рогатых ящериц. Причем последних в трейне нет, только в тесте. В прошлом году было 174 участника из которых только один кагл мастер. Не сильно ожидаю, что в этом году конкуренция будет больше, так что попасть в топ довольно изи.
2. PlantCLEF2026 @ LifeCLEF & CVPR-FGVC
Задача по мультиклассификации на 1000+ классов: в трейне даны снимки индивидуальных растений, а в тесте- один большой снимок, растения с которого надо распознать и перечислить. В прошлом году участвовало 38 участников, из которых только один кагл мастер. Причем тот же самый, что и в AnimalClef сореве
3. FathomNetCLEF2026 @ LifeCLEF & CVPR-FGVC
Соревнование по детекции на подводных снимках: надо по фото найти bbox-ы чего-то живого под водой. В прошлом году участвовало 79 человек и ноль кагл мастеров. Тут скорее задача в том, как файнтюниться под целевые класс на опенсорсном датасете.
По сравнению с прошлым годом случились потери:
Мало того, что BirdClef, за который традиционно дают очки рейтинга, так и не появился, так еще мы потеряли классификацию грибов (FungiClef) по фото и оценку разнообразия лесов (LifeClef) по спутниковым снимкам.
Зато появились еще одно академическое соревнование не из Clef трека:
ACCIDENT @ CVPR
По видео надо найти где и когда в кадре случилась авария, а так же ее тип. Можно попасть на воркшоп CVPR и даже можно успеть сделать визу
Думайте, подписаться
Дополнительный пост к второму месту на #santa2025. Это решил вынести в отдельный пост, потому что в одно тг сообщение просто не лезет.
Как трясти задачу упаковки? Авторы решения это называют 'Large neighborhood'
Как создать какое-то глобальное изменение для хорошего решения, но при этом контролируемо его испортить и не слишком сильно потерять глобальную структуру?
Все 4 шага есть картинками по порядку (картинки соответствуют этапам)
1. Удалим N случайных смежных деревьев
2. Выберем точку в получившемся пустом пространстве и растолкаем деревья в разны стороны от нее. При этом решение может испортиться и стать чуть-чуть больше
3. Рядом с точкой расталкивания вернем N деревьев случайным образом, лишь бы без коллизий
4. 'Ужмем' деревья назад
Теперь про каждый пункт по порядку.
Чтобы решить, какие деревья выбирать надо решить две вещи: целевую точку и количество деревьев.
Количество выбираем из равномерного распределения от 1 до 4.
Чтобы решить, какую точку 'ломать' все еще сложнее:
С вероятностью 0.1 выбираем один из углов
Чаще семплируем те места, где больше дисперсия направляющих углов елок
Чтобы 'растолкать деревья':
1. Увеличиваем квадрат немного с ближайшей стороны
2. Запускаем SA, который пытается сдвинуть каждое дерево от точки
Ну и конечно решение написано на rust + python. Причем на python по большей части графики.
🦀😡🦀
Прошлыt куски тут:
https://t.me/pseudolabeling/371
https://t.me/pseudolabeling/368
Как взять золото в March Mania? 🏀
В прошлом году анализировал то, как выигрывается March Mania и самая надежная стратегия- это модифицировать Raddar notebook. Я долго ждал, пока Raddar его выложит, но сколько можно? Я сам сделал вам Raddar Notebook.
Raddar- это такой кагл грандмастер, который был 10 лет назад топ 4 каглла, но сейчас подзабил на соревы и в основном лудит в March Mania. Прямо как мы с вами! Форки его ноутбука стабильно появлятеся в топ 10 уже 5 лет, но не он. Ему не везет настолько, что приходится жаловаться на форуме, что его жена стибильно выше него в ладдере March Mania.
База отработана почти с самого начала сорев по NCAA:
1. Берем фичи повторяющиеся из года в год
2. Берем XGBoost
3. Завышаем вероятности в 'неравных схватках'
4. Руками фиксим вероятности для самых первых матчей, чтобы хакнуть Brier Score.
Этот подход как автомат Калашникова, попадал в топ 10 каждый год. Весь секрет в том, чтобы изменить базовый ноутбук и тем самым стать чуть-чуть лучше или хуже, чем все остальные. Ну и молиться, конечно!
А вот если не модифицировать и ничего не крутить, то получишь скор как все те люди, что скопировали/сабмитнули и уж точно не выиграешь. Я об этом за вас подумал, и добавил к сабмитам чуть-чуть шума, чтобы скоры отличались. Вы можете сами это отключить, можете сами оверрайднуть матчи, можете выкинуть/добавить какие-то фичи. Рекомендую посмотреть новости о том, как изменятся составы прямо перед матчами и оверрайдить на их основе.
Самое главное в этом соревновании- это не упарываться. Рынок баскетбольных ставок настолько эффективен, соревнование так долго проводится и на него виляет так много факторов, что нет смысла пытаться придумать что-то новое. Надо тянуть билетик в лоторее и ждать результаты. И помните, можно взять аж два билета и эти билеты должны быть разными, потому что матожидание максимума от двух случайных величин больше или равно их матожиданиям.
Так что форкайте ноутбук, запускайте и делайте самбит, репостите другим людям. Чем больше будет команд- тем больше будет золотых медалек
🏀🏀🏀
https://www.kaggle.com/code/asimandia/this-year-s-raddar-notebook?scriptVersionId=300874279
متاح الآن! بحث تيليغرام 2025 — أهم رؤى العام 
