Запрети мне псевдолейблить

Следите за руками: 1. 30 сентября кончается ферма 2. Организаторы меняют версию энва (без балансных правок) 3. Некоторые боты превращаются в тыкву которую не продашь на рынке ехеххе У нас есть официальный ответ организаторов:

The latest change to the env was a version bump only with no associated code changes. The only change is that your agents will how see kaggle-environments package version as 1.33.0 instead of 1.32.7.

Проблема в том, что умный Клод запинил версию пакета в части ботов и те самым отстрелил ногу своим погонщикам.

Kaggle частично стал бенчмарком 'у нас работают умные люди, дайте денег для реализации интеллектуального ресурса'. Есть три примера: 1. Nvidia- кагл грандмастера на зп, которые потом продаются внешним компаниям как AI-консультанты по решению AI-вопросов. Дайте денег на лучших в мире Неолабы себе так прямолинейн говорить позволить не могут, так что делают хитрее и пытаются поднять инвестици: 2. Tufa Labs плотно фармит кагл, чтобы показать, что вот у нас самые умные люди, которые остались в европе. Дайте нам денег на компьют, чтобы они построили настоящий европейский (швейцарский) фронтир, а не Mistral 3. Внезапно Mostik в момент выхода из стелса тоже флексил top1 на лб ARC AGI. Сейчас они съехали на лб и красуются аккуратно перед одиноким русским шестнадцатилетним школьником, откуда можем сделать вывод, что инвестиции тоже собраны. Конкретно сегодня 420 место и последний сабмит месяц назад Есть еще исторический пример, который выбивается: X5. Там скорее можно было бомбить кагл для того, чтобы усилить HR бренд и упростить найм (и пофлексить). Выбивается потому, что формулировка сокрее была 'У нас умные люди, приходите к нам работать'. По этой схеме работают до сих пор например японцы из Rist и Go Drive. У них тоже кгм- это паровоз HR бренда компании. Ах да, заботливо обвел вам 'профессиональных киберспротсменов' из топ 10, чтобы было легче их отделить от любителей

Без помпы, но кагл рехостнул покемонов: https://www.kaggle.com/competitions/the-pokemon-company-ptcg-ai-battle-challenge-playground Медали не дают, призы- кагл мерч. Я его получал, он паршивый, но очаротвательный (на фото). Я бы сделал мерч, честно говоря, лучшего качества Из изменений- агенты теперь играют не bo1, а bo3.

Биохаб кончился и кончился неприятно. Как бы собрать сабмит на голд в ферме...

Количество золотых медалей на Kaggle соревновании выглядит примерно так. Можно сказать, что этой функции много явных неэффективностей для соревнований меньше ста человек. Проблемы на самом деле нет: правило ввели в 2016 году и с тех пор соревнования на менее чем 100 человек можно по пальцам пересчитать. Изменения правил было явно частью подготовки платформы перед продажей ее Google в 2017. Более того, с тех пор как Kaggle повернулся лицом к кодинг агентам, количество участников стабильно находится за границей в 2к в любом соревновании и продолжит расти. Из этого конечно можно сделать вывод, что фармить золото стало сложнее, но не все так просто: Количество усилий, которое прикладывает в среднем каждый засабмитивший явно снизилось. Теперь можно в два промта залить свое решение на лб, а не качать датасет и сабмитить бейзлайн. Субъективно, попасть в серебро теперь- вообще плевое дело, хотя раньше надо было потеть. Возможно, правда, я просто чему-то научился, пока вел этот канал. Так что, стало золото фармить легче?

Когда моя тима шагает по лб на странной эмпирике- это мы нашли стопроцентную хорошую эмпирику, которая помогает на привате и на паблике, все логично. Когда другие команды шагают по лб- это они сто процентов оверфитнулись, на привате мы им покажем. Никакого лицемерия

Моего тиммейта по Rogii забанили на каггле Он участвовал в проекте CayleyPy и развивал математику как Open Source на бесплатных ресурсах. К счастью, его канал остался на плаву и там можно почитать на тему 'как работается в Meta London'

Ферма перевалила за 10к участников!

Тем временем, алаймент вышел из под контроля

Новое соревнование от Google на Kaggle: Google - The Gemma 4 Developer Agent Competition Нужно файнтюнить Гемму, чтобы она лучше кодила

Еще раз. Есть ОДНО КОМАНДНОЕ ЗОЛОТО Одна золотая медаль, других золотых нет

Вопрос гипотетический и не про меня

🌱 Alfa Connectome ML Competition 🌱 Началось новое соревнование по машинному обучению от Wunder Fund. Задача: Вы будете изучать исторические торговые данные для двух связанных инструментов. Нужно создать модель, которая предсказывает индикаторы движения цены одного из них по информации об ордербуке, сделках и кое-чем еще. По сути, классическая работа кванта. Вы будете работать с реальными биржевыми данными. Когда: 11 сентября — 15 ноября Призовой фонд: $13,600 Победители получат денежные призы, приглашение побеседовать в Wunder Fund, а главное — большое интеллектуальное удовольствие. Сам Wunder Fund с 2014 года занимается высокочастотным трейдингом с дневным оборотом более $10 млрд. >> Участвовать

я 10 с лишним лет занимался интерпретациями масс-спеков, дожил до соревы на каггле 😍 хоть где-то не надо долго вникать в доменную область https://www.kaggle.com/competitions/enveda-CASMI26-molecule-id-mass-spectra

Тем временем кагл видимо планирует наконец-то обновить парк видекарт для кернелов и скоринга. P100 переезжают в статус 'пенсионерских'. На AIMO3 еще в 2025 можно было использовать H100, так что я ожидаю именно их как замену. По поводу T4 ничего не известно, но интерполируя прошлый абзац, это должны быть L4. Вероятно, нас еще ждет ротация TPU, но там все слишком закрыто. Их и так постоянно меняют, но в очереди на TPU модель выбрать нельзя и каждый раз играешь в лоторею. Для меня вся идея выдавать TPU на каггле выглядит как мертворожденный проект: 1. Новые TPU есть только у гугла 2. Старые TPU гугл разбирает и на вторичке их никак не купить Вывод: Скилл использования TPU- только для гуглеров и мб нейроагентов. TLDR: P100 (2016) -> H100 (2022) T4 (2018)-> (возможно может быть) L4 (2023)

Идея украдена

Тем временем в ферме участвует уже 8400 кагглеров. Во истину агенты дали соревнованиям новую жизнь

За покемонов раздали медали и я поднялся на 2 места (423 -> 421) Дальше для движения по рейтингу видимо надо либо одному/в маленькой команде, либо за золотом. И оба пункта довольно часто друг друга исключают

Нам пообещали починить Rl соревы на каггле! Кагл стафф пообещал починить будущие RL соревнования: будут прогонять модель Бредли-Террио после периода 'охлаждения' лб. Это ответ на огромную дисперсию и шатание рейтинга в покемонах. Сейчас используют вариацию на тему Glicko score и уже многие заметили ее нестабильность. Хочу вставить свои 5 копеек и повыпендриваться своими двумя мастерами в статах объяснить, почему это плохой фикс для Pokemon и даже Orbit Wars Для начала вспомним, что за Бредли Терри. Подробные выкладки можно почитать тут, а я попробую объяснить на пальцах. Изначально модель придумал Эрнст Цермело для оценки силы игроков в шахматных турнирах. Сам Эрнст известен тем, что отказался приветствовать фюрера перед каждой парой в университете Фрайбурга и ушел с места почетного профессора. А еще придумал аксиому выбора. Потом модель вновь переоткрыли, как это водится, через 30 лет. Базовая идея модели: хотим по стохастическим парным сравнениям определить ранкинг каких-то предметов. Например выяснить, не только то, кто самый крутой шахматист, а кто второй по силе, третий и тд. У нас есть статистика матчей и нам не слишком важно, чтобы каждый сыграл с каждым. Но нам очень важно, чтобы граф связей (игр/сравнений) был связный. Т.е. шагая от шахматиста к шахматисту по связям (матчам с известным исходом) мы всегда могли достичь любого шахматиста лиги. Хотим из нашего графа побед/поражений (частично заполненного, но связного) вывести такие theta_i, theta_j, что P(i победит j) = sigma(theta_i - theta_j). С точки зрения моделей мы банально учим логрег на одной фиче: разнице one hot энкодингов игроков. Пусть у нас три игрока и мы их кодируем: A. (1, 0, 0) B. (0, 1, 0) C. (0, 0, 1) Тогда один матч, где A играл с C и выиграл у нас будет представлен так: Фичи: (1, 0, -1) = (1, 0, 0) - (0, 0, 1) = A - C Таргет: (1) (A победил) Учим мы соотвественно theta_i. Они собой и представляют 'силу' каждого участника. Статистические предположения для такой модели следующие: 1. Попарные сравнения независимые (игра каждый раз начинается с начала игры и игры независимые) 2. Латентные качества не меняются (боты не становятся сильнее/слабее между играми) 3. Вероятность победы в паре определяется разностью сил 4. Нет никаких matchup эффектов Сама модель потом развилась в ELO и Glicko скоры как онлайн-вариант подсчета. И именно последняя используется сейчас на каггле. Если почитаете первую ссылку, то там еще и связь с Page Rank можно найти. И даже скоры силы в баскетболе тоже развитие этих идей. Так вот, почему идея использовать Бредли-Терри для каггла довольно странная: последние RL соревнования нарушают один из асампшенов модели. Для покемонов нарушаются два последних асапшена: у колод есть матчап эффекты и игроки заранее не равны. Т.е. сила определяется и колодой, и пилотирующим алгоритмом. А колоды работают по принципу камень-ножницы-бумага, которые по дизайну не могут быть отражены в модели. Более того, модель еще и не поддерживает случай игры вчетвером, поэтому починить дисперсию игр в Orbit тоже не выйдет. Придется использовать какое-нибудь расширение в стиле Плакетта-Люса. Единственный плюс: где первый фикс метрики, там и выбор разных алгоритмов формирования лб для разных соревнований. Логично силу агентов сравнивать разными способами для разных игр. А то представьте, что мы бы все челленджи по классификации меряли только с помощью Roc-Auc.

Pre-Release of Polars 2.0 (🔥 Score: 152+ in 3 hours) Link: https://readhacker.news/s/749mt Comments: https://readhacker.news/c/749mt