Запрети мне псевдолейблить
Ir al canal en Telegram
Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов Для контакта пишите в сообщения канала, они бесплатные
Mostrar más4 178
Suscriptores
+224 horas
+267 días
+8330 días
Carga de datos en curso...
Canales Similares
Nube de Etiquetas
Menciones Entrantes y Salientes
---
---
---
---
---
---
Atraer Suscriptores
septiembre '26
septiembre '26
+71
en 0 canales
agosto '26
+223
en 5 canales
Get PRO
julio '26
+208
en 6 canales
Get PRO
junio '26
+395
en 8 canales
Get PRO
mayo '26
+92
en 2 canales
Get PRO
abril '26
+161
en 0 canales
Get PRO
marzo '26
+226
en 8 canales
Get PRO
febrero '26
+96
en 1 canales
Get PRO
enero '26
+234
en 14 canales
Get PRO
diciembre '25
+123
en 2 canales
Get PRO
noviembre '25
+54
en 1 canales
Get PRO
octubre '25
+148
en 2 canales
Get PRO
septiembre '25
+34
en 0 canales
Get PRO
agosto '25
+60
en 1 canales
Get PRO
julio '25
+162
en 4 canales
Get PRO
junio '25
+37
en 0 canales
Get PRO
mayo '25
+33
en 0 canales
Get PRO
abril '25
+82
en 0 canales
Get PRO
marzo '25
+226
en 5 canales
Get PRO
febrero '25
+95
en 3 canales
Get PRO
enero '25
+68
en 1 canales
Get PRO
diciembre '24
+104
en 5 canales
Get PRO
noviembre '24
+20
en 1 canales
Get PRO
octubre '24
+33
en 0 canales
Get PRO
septiembre '24
+44
en 1 canales
Get PRO
agosto '24
+47
en 1 canales
Get PRO
julio '24
+38
en 0 canales
Get PRO
junio '24
+74
en 2 canales
Get PRO
mayo '24
+118
en 1 canales
Get PRO
abril '24
+88
en 0 canales
Get PRO
marzo '24
+136
en 2 canales
Get PRO
febrero '24
+106
en 1 canales
Get PRO
enero '24
+512
en 3 canales
Get PRO
diciembre '23
+366
en 3 canales
Get PRO
noviembre '23
+91
en 0 canales
Get PRO
octubre '23
+36
en 0 canales
Get PRO
septiembre '23
+596
en 0 canales
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 19 septiembre | +1 | |||
| 18 septiembre | +3 | |||
| 17 septiembre | +7 | |||
| 16 septiembre | +7 | |||
| 15 septiembre | +5 | |||
| 14 septiembre | +1 | |||
| 13 septiembre | +8 | |||
| 12 septiembre | +1 | |||
| 11 septiembre | +1 | |||
| 10 septiembre | +5 | |||
| 09 septiembre | +3 | |||
| 08 septiembre | +3 | |||
| 07 septiembre | +5 | |||
| 06 septiembre | +1 | |||
| 05 septiembre | +1 | |||
| 04 septiembre | +3 | |||
| 03 septiembre | +4 | |||
| 02 septiembre | +5 | |||
| 01 septiembre | +7 |
Publicaciones del Canal
🌱 Alfa Connectome ML Competition 🌱
Началось новое соревнование по машинному обучению от Wunder Fund.
Задача: Вы будете изучать исторические торговые данные для двух связанных инструментов. Нужно создать модель, которая предсказывает индикаторы движения цены одного из них по информации об ордербуке, сделках и кое-чем еще.
По сути, классическая работа кванта. Вы будете работать с реальными биржевыми данными.
Когда: 11 сентября — 15 ноября
Призовой фонд: $13,600
Победители получат денежные призы, приглашение побеседовать в Wunder Fund, а главное — большое интеллектуальное удовольствие. Сам Wunder Fund с 2014 года занимается высокочастотным трейдингом с дневным оборотом более $10 млрд.
>> Участвовать
| 2 | я 10 с лишним лет занимался интерпретациями масс-спеков, дожил до соревы на каггле 😍 хоть где-то не надо долго вникать в доменную область https://www.kaggle.com/competitions/enveda-CASMI26-molecule-id-mass-spectra | 1 257 |
| 3 |  Тем временем кагл видимо планирует наконец-то обновить парк видекарт для кернелов и скоринга.
P100 переезжают в статус 'пенсионерских'.
На AIMO3 еще в 2025 можно было использовать H100, так что я ожидаю именно их как замену.
По поводу T4 ничего не известно, но интерполируя прошлый абзац, это должны быть L4.
Вероятно, нас еще ждет ротация TPU, но там все слишком закрыто. Их и так постоянно меняют, но в очереди на TPU модель выбрать нельзя и каждый раз играешь в лоторею. Для меня вся идея выдавать TPU на каггле выглядит как мертворожденный проект:
1. Новые TPU есть только у гугла
2. Старые TPU гугл разбирает и на вторичке их никак не купить
Вывод:
Скилл использования TPU- только для гуглеров и мб нейроагентов.
TLDR:
P100 (2016) -> H100 (2022)
T4 (2018)-> (возможно может быть) L4 (2023) | 2 010 |
| 4 |  Идея украдена | 3 603 |
| 5 |  Тем временем в ферме участвует уже 8400 кагглеров. Во истину агенты дали соревнованиям новую жизнь | 2 564 |
| 6 |  За покемонов раздали медали и я поднялся на 2 места (423 -> 421)
Дальше для движения по рейтингу видимо надо либо одному/в маленькой команде, либо за золотом. И оба пункта довольно часто друг друга исключают | 2 505 |
| 7 |  Нам пообещали починить Rl соревы на каггле!
Кагл стафф пообещал починить будущие RL соревнования: будут прогонять модель Бредли-Террио после периода 'охлаждения' лб. Это ответ на огромную дисперсию и шатание рейтинга в покемонах. Сейчас используют вариацию на тему Glicko score и уже многие заметили ее нестабильность.
Хочу вставить свои 5 копеек и повыпендриваться своими двумя мастерами в статах объяснить, почему это плохой фикс для Pokemon и даже Orbit Wars
Для начала вспомним, что за Бредли Терри. Подробные выкладки можно почитать тут, а я попробую объяснить на пальцах. Изначально модель придумал Эрнст Цермело для оценки силы игроков в шахматных турнирах. Сам Эрнст известен тем, что отказался приветствовать фюрера перед каждой парой в университете Фрайбурга и ушел с места почетного профессора. А еще придумал аксиому выбора. Потом модель вновь переоткрыли, как это водится, через 30 лет.
Базовая идея модели: хотим по стохастическим парным сравнениям определить ранкинг каких-то предметов. Например выяснить, не только то, кто самый крутой шахматист, а кто второй по силе, третий и тд. У нас есть статистика матчей и нам не слишком важно, чтобы каждый сыграл с каждым. Но нам очень важно, чтобы граф связей (игр/сравнений) был связный. Т.е. шагая от шахматиста к шахматисту по связям (матчам с известным исходом) мы всегда могли достичь любого шахматиста лиги.
Хотим из нашего графа побед/поражений (частично заполненного, но связного) вывести такие theta_i, theta_j, что
P(i победит j) = sigma(theta_i - theta_j).
С точки зрения моделей мы банально учим логрег на одной фиче: разнице one hot энкодингов игроков. Пусть у нас три игрока и мы их кодируем:
A. (1, 0, 0)
B. (0, 1, 0)
C. (0, 0, 1)
Тогда один матч, где A играл с C и выиграл у нас будет представлен так:
Фичи: (1, 0, -1) = (1, 0, 0) - (0, 0, 1) = A - C
Таргет: (1) (A победил)
Учим мы соотвественно theta_i. Они собой и представляют 'силу' каждого участника.
Статистические предположения для такой модели следующие:
1. Попарные сравнения независимые (игра каждый раз начинается с начала игры и игры независимые)
2. Латентные качества не меняются (боты не становятся сильнее/слабее между играми)
3. Вероятность победы в паре определяется разностью сил
4. Нет никаких matchup эффектов
Сама модель потом развилась в ELO и Glicko скоры как онлайн-вариант подсчета. И именно последняя используется сейчас на каггле. Если почитаете первую ссылку, то там еще и связь с Page Rank можно найти. И даже скоры силы в баскетболе тоже развитие этих идей.
Так вот, почему идея использовать Бредли-Терри для каггла довольно странная: последние RL соревнования нарушают один из асампшенов модели.
Для покемонов нарушаются два последних асапшена: у колод есть матчап эффекты и игроки заранее не равны. Т.е. сила определяется и колодой, и пилотирующим алгоритмом. А колоды работают по принципу камень-ножницы-бумага, которые по дизайну не могут быть отражены в модели.
Более того, модель еще и не поддерживает случай игры вчетвером, поэтому починить дисперсию игр в Orbit тоже не выйдет. Придется использовать какое-нибудь расширение в стиле Плакетта-Люса.
Единственный плюс: где первый фикс метрики, там и выбор разных алгоритмов формирования лб для разных соревнований. Логично силу агентов сравнивать разными способами для разных игр. А то представьте, что мы бы все челленджи по классификации меряли только с помощью Roc-Auc. | 3 097 |
| 8 | Pre-Release of Polars 2.0 (🔥 Score: 152+ in 3 hours)
Link: https://readhacker.news/s/749mt
Comments: https://readhacker.news/c/749mt | 2 230 |
| 9 |  Sin texto... | 2 395 |
| 10 | А вы на вебинары по нетворкингу в универе не ходите | 2 120 |
| 11 |  Нашел вам интересный сайт с историческими ценами на компьют на vast.ai
Не смотря на ai бум цены на компьют почти не выросли
Но что произошло в июне? Заканчивался нейрогольф? | 3 387 |
| 12 |  Все, кто учился DL по слайдам постсоветской матшколы знают про Nesterov Accelerated Gradient. Статья вышла еще в 1983 году, но оценить ее реальный вклад можно только в последние лет 10-15. Производные от него методы оптимизации, к сожалению, не стали железным стандартом в индустрии, но довольно популярны у знающих людей
Так вот, за свой вклад в математику Юрий Нестеров получил премию Гаусса, с чем я его горячо поздравляю. Это буквально нобелевская премия, но для математиков и высшая форма признания вклада в науку.
О том, как работает метод оптимизации и в чем идея, лучше посмотреть вот в этом посте, а я хотел бы примерно рассказать, как так вышло, что метод с лучшей теоретической оценкой не стал стандартом.
Мои три подписчика с ММП скажут, что у Adan/NAdam не нормируют градиенты и из-за этого менее устойчивы к правильному LR -> хуже проскакивают турбулентные участки гиперповерхности лосса. Кстати, возмущенные неточностью подписчики с ммп ставьте обезьяну, узнаем сколько вас.
Но фатальным ударом для этих методов был таймлайн.
Статья про Nadam появилась в 2016, и в этот момент Attention is all you need (Aiayn) уже находилась в процессе написания, так что в ней использовали проверенный Adam как оптимизиатор. После, все побежали воспроизводить результаты у себя и следовали рецепту, описанному в статьей. У нас есть десятки тысяч статей, которые развивают идеи Aiayn и большая часть использует именно Adam. А значит ученых больше наблюдений для Adam и его имплементации больее оптимизированы под современное железо.
По практике скажу, что Nesterov momentum мне буста в качестве давал ровно ноль раз, так что приглашаю попустить меня в комментах и объяснить, почему нужно всегда учить именно с Adan. | 4 402 |
| 13 |  +8Как устроены ИИ-агенты, которые умеют программировать сами?
27 августа в 19:00 встречаемся в кампусе Центрального университета на митапе про кодинговых ИИ-агентов.
На митапе:
⚫️ узнаем, почему кодинговые агенты превращаются в отдельные сервисы и как устроены распределенные агентные системы;
⚫️ разберем протоколы ACP и A2A и посмотрим, как разные агенты и клиенты могут взаимодействовать между собой;
⚫️ на практическом мастер-классе создадим собственного автономного агента с помощью Deep Agents от LangChain — с планированием, управлением контекстом, файловой системой и параллельной работой сабагентов.
Мастер-класс — с ноутбуками, так что получится не только посмотреть, но и попробовать собрать агента своими руками.
Спикеры:
⚫️Денис Артюшин — технический владелец продукта агентской платформы в Т-Банке
⚫️Полина Реброва — ведущий инженер по разработке, Сбер
⚫️Александр Шахов — инженер-преподаватель и академический руководитель направления «Разработка» в Центральном университете
📍 27 августа, 19:00
📍 Кампус Центрального университета, Москва
Зарегистрироваться по ссылке | 3 544 |
| 14 |  Разбор ROGII - Wellbore Geology Prediction начнем с сетапа соревнования.
Представьте, что Герр Дональд Трамп сказал нам 'drill, baby, drill', а мы и поверили. И вот уже бурим скважину для исследования недр где-то в Техасе: у нас есть идеальный план бурения и наш бур напичкан кучей датчиков. Буром управляет опытный оператор, который знает, что у пласта породы плотность неравномерная: встречаются камни, пустоты и включения других пород. Из-за этого бур немного (или много) поворачивает внутри скважины и отклоняется от модельной траектории. Оператор смотрит на датчики и подруливает буром, чтобы оставаться как можно ближе к модельному плану бурения- его цель как можно корректнее разведать датчиками на буре показания как можно ближе к траектории.
Наша задача- понять, как глубоко в пласте мы находимся, зная предыдущие наблюдения + текущие показатели датчиков. В общем смысле это надо, чтобы бур не выскочил в другой пласт (нам не интересный) и не насобирал ненужной информации. Ну и спланировать, как мы будем качать нефть, сжигать попутный газ и с этой бесплатной энергии майнить битки
И того, у нас есть:
1. Координаты в каждый момент времени для бура для каждой скважины. Доступна информация до тех пор, пока бур спускается в целевой пласт и для часть скважины уже внутри пласта. Это наш train кусочек для авторегрессии. Еще для каждого участка скважины знаем длину пути от поверхности и оценочное расстояние в футах до границ всех нам известных пластов (оценивается по typewell, последний пункт).
2. Значения Gamma Ray (GR) на протяжении всего пути. Работает так: у каждой породы свой уровень гамма-радиоактивности, так что регулярно снимая показатели фоновой радиации с бура, мы можем по изменениям понять, что состав породы меняется. Для каждого пласта мы знаем примерны состав и показатель радиоактивности по typewell (следующий пункт), так что можем довольно неплохо понять, что слишком близко подошли к границе пласта и рулить назад.
3. Знаем те же показатели для ближайшей измерительной скважины (typewell): глубину, значение GR на этой глубине и метку того, в каком пласте находимся. Предполагается, что она пробурена вертикально вниз.
При этом данные реальные и близкие скважины переиспользуют одни и те же typewell и вообще у них направление и траектория бурения похожа, потому что пласты породы расположены друг на друге и это сильно влияет на оптимальную траекторию.
Можно было бы сказать, что в Техасе все данные по скважинам обязательно нужно сдавать правительству, но организаторы об этом позаботились и к каждой скважине и ее координатам добавили индивидуального шума, так что относительное расстояние между скважинами исказилось. И кажется даже немного перемешались ближайшие typewell. Мало того, скважины еще и обрезали, так что матчить их долго и совсем не ясно, какие скважины попали в тест, а какие нет, потому что это Code Comp.
Как решать будете? | 3 416 |
| 15 |  Наконец-то новый RL-мем в моем паблике по RL.
Создано специально для Азата, который не уйдет на пенсию, пока на каггле не кончится РЛ | 2 512 |
| 16 | Ого, ну раз пошла такая пьянка, придется ответить. Спасибо кстати, но поздравлять пока рано...
такой вот примерно рецепт усредненный получился:
- имитация на топовых игроках, точность около 85% была на валидации, давало 950-1100 эло за день игры
- ppo с подгрузом чекпоинта из имитации, где-то 400 топовых дек, играют все против всех, но с вероятностью 90% берем и меняем часть карт на рандомные - так учим эмбеды карт которых не было в имитации (а это процентов 80) ну и учимся играть против мусора чтобы не отлетать типам с 450 эло.
- ppo с подгрузом предыдущего шага, все против всех но теперь только 10% что карты будут меняться, плюс фриз эмбедов. дальше чемпионат по итогам которого я удалил 50% дек.
Сабмиты давали 1000-1100, примерно, какие-то лучше имитации, какие-то хуже, хрен поймешь.
- грузим прошлый чекпоинт, берем top 1 деку по итогам чемпионата (flg 55456110) и опять PPO, но один из игроков всегда играет топовую деку, другой одну из оставшихся 200
на хитрые штуки типа кастомных голов и MCTS времени совсем не осталось, фактически первый сабмит последнего шага был за 4 часа до делайна. ну и я нуб в RL, так что решение довольно ванильное, разве что я потырил некоторые штуки у топов orbits
учил на 4090, за неделю до конца снял 8x5090, итоговый пайплайн со всеми шагами двое суток где-то учился.
исходя из логов надеюсь на 3-8 место, из забавного так как по-сути 50% времени я тренировал деку flg и модель училась против него играть, то на играх за сутки винрейт больше 80% против него, лол. и с luca каким-то образом 55%, этого я уже никак не могу объяснить, возможно везет пока
совет молодым кто пойдет ферму решать, если позволите:
не торопитесь идти делать RL
сначала отточите пайплайн на имитации - он должен вас сходу закидывать в золото. если не закидывает - идите ловите ошибки, досыпайте и чистите данные. я что на orbits, что тут потратил 90% времени на это. codex/claude пишут довольно странный код если детально не смотреть, типа ставят LN после GELU, weight decay на эмбеды, при том что за батч 95% карт не будет сыграна и тд. если ваш пайплайн не способен тупо скопировать стратегию, то и все остальное вряд ли поможет. /goal на ночь и оптимизация кода на трейнах по 30 минут аля nanogpt speedrun часто давала фиксы и неожиданно полезные решения.
И помните, у самурая нет цели, только путь | 2 371 |
| 17 |  У покемонов прошлой ночью настал дедлайн сабмитов. Через две недели будут зафиксированы финальные места, но по моей оценке вас будет шатать на +-30 вверх и вниз от текущего уровня. Разбор соревнования сделаю в текстовом виде, чтобы закрепить все находки.
Ожидаю, что мы останемся с командой на ~100 месте, так что я видимо подфармил еще одно серебро. Уже восьмое
Что у нас работало:
BC
PSRO
Поиск мата за один ход (внезапно)
Тупо скейлить модель в ширину
AUX-голова на победу в матче (так называемая value-head для бедных)
AUX-голова на взятие приза
Что не работало:
Хитрый анализ колод
PPO
MCTS
AWR (вообще никак) | 2 127 |
| 18 |  До 20 августа еще открыт прием заявок в ИТ-магистратуру Центрального университета!
Это отличная возможность учиться на реальных бизнес-кейсах, а также совмещать учебу с развитием в карьере.
У всех абитуриентов есть шанс получить грант до 75% на весь срок обучения.
Регистрируйся в грантовом конкурсе по ссылкам:
➡️Офлайн программа
➡️Онлайн программа | 2 725 |
| 19 | Абсолют ioai завел свой канал
https://t.me/artem_to_agi/6
Вроде он даже подписан на псевдолейблинг | 3 423 |
| 20 |  Тем временем Мистраль стал первой моделью, которая автономно выиграла соревнование на Kaggle, взяв top-7 в Rogii Wellbore. Французская команда уже опубликова разбор решения модели: | 3 354 |
