Запрети мне псевдолейблить
Открыть в Telegram
Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов Для контакта пишите в сообщения канала, они бесплатные
Больше4 130
Подписчики
+324 часа
+177 дней
+17830 день
Загрузка данных...
Похожие каналы
Облако тегов
Входящие и исходящие упоминания
---
---
---
---
---
---
Привлечение подписчиков
август '26
август '26
+210
в 5 каналах
июль '26
+208
в 6 каналах
Get PRO
июнь '26
+395
в 8 каналах
Get PRO
май '26
+92
в 2 каналах
Get PRO
апрель '26
+161
в 0 каналах
Get PRO
март '26
+226
в 8 каналах
Get PRO
февраль '26
+96
в 1 каналах
Get PRO
январь '26
+234
в 14 каналах
Get PRO
декабрь '25
+123
в 2 каналах
Get PRO
ноябрь '25
+54
в 1 каналах
Get PRO
октябрь '25
+148
в 2 каналах
Get PRO
сентябрь '25
+34
в 0 каналах
Get PRO
август '25
+60
в 1 каналах
Get PRO
июль '25
+162
в 4 каналах
Get PRO
июнь '25
+37
в 0 каналах
Get PRO
май '25
+33
в 0 каналах
Get PRO
апрель '25
+82
в 0 каналах
Get PRO
март '25
+226
в 5 каналах
Get PRO
февраль '25
+95
в 3 каналах
Get PRO
январь '25
+68
в 1 каналах
Get PRO
декабрь '24
+104
в 5 каналах
Get PRO
ноябрь '24
+20
в 1 каналах
Get PRO
октябрь '24
+33
в 0 каналах
Get PRO
сентябрь '24
+44
в 1 каналах
Get PRO
август '24
+47
в 1 каналах
Get PRO
июль '24
+38
в 0 каналах
Get PRO
июнь '24
+74
в 2 каналах
Get PRO
май '24
+118
в 1 каналах
Get PRO
апрель '24
+88
в 0 каналах
Get PRO
март '24
+136
в 2 каналах
Get PRO
февраль '24
+106
в 1 каналах
Get PRO
январь '24
+512
в 3 каналах
Get PRO
декабрь '23
+366
в 3 каналах
Get PRO
ноябрь '23
+91
в 0 каналах
Get PRO
октябрь '23
+36
в 0 каналах
Get PRO
сентябрь '23
+596
в 0 каналах
| Дата | Привлечение подписчиков | Упоминания | Каналы | |
| 28 августа | +5 | |||
| 27 августа | +3 | |||
| 26 августа | +1 | |||
| 25 августа | +1 | |||
| 24 августа | +3 | |||
| 23 августа | +3 | |||
| 22 августа | +1 | |||
| 21 августа | +12 | |||
| 20 августа | +13 | |||
| 19 августа | +7 | |||
| 18 августа | +7 | |||
| 17 августа | +5 | |||
| 16 августа | +3 | |||
| 15 августа | +2 | |||
| 14 августа | +6 | |||
| 13 августа | +10 | |||
| 12 августа | +7 | |||
| 11 августа | +7 | |||
| 10 августа | +7 | |||
| 09 августа | +6 | |||
| 08 августа | +4 | |||
| 07 августа | +13 | |||
| 06 августа | +27 | |||
| 05 августа | +16 | |||
| 04 августа | +8 | |||
| 03 августа | +1 | |||
| 02 августа | +6 | |||
| 01 августа | +26 |
Посты канала
| 2 |  Все, кто учился DL по слайдам постсоветской матшколы знают про Nesterov Accelerated Gradient. Статья вышла еще в 1983 году, но оценить ее реальный вклад можно только в последние лет 10-15. Производные от него методы оптимизации, к сожалению, не стали железным стандартом в индустрии, но довольно популярны у знающих людей
Так вот, за свой вклад в математику Юрий Нестеров получил премию Гаусса, с чем я его горячо поздравляю. Это буквально нобелевская премия, но для математиков и высшая форма признания вклада в науку.
О том, как работает метод оптимизации и в чем идея, лучше посмотреть вот в этом посте, а я хотел бы примерно рассказать, как так вышло, что метод с лучшей теоретической оценкой не стал стандартом.
Мои три подписчика с ММП скажут, что у Adan/NAdam не нормируют градиенты и из-за этого менее устойчивы к правильному LR -> хуже проскакивают турбулентные участки гиперповерхности лосса. Кстати, возмущенные неточностью подписчики с ммп ставьте обезьяну, узнаем сколько вас.
Но фатальным ударом для этих методов был таймлайн.
Статья про Nadam появилась в 2016, и в этот момент Attention is all you need (Aiayn) уже находилась в процессе написания, так что в ней использовали проверенный Adam как оптимизиатор. После, все побежали воспроизводить результаты у себя и следовали рецепту, описанному в статьей. У нас есть десятки тысяч статей, которые развивают идеи Aiayn и большая часть использует именно Adam. А значит ученых больше наблюдений для Adam и его имплементации больее оптимизированы под современное железо.
По практике скажу, что Nesterov momentum мне буста в качестве давал ровно ноль раз, так что приглашаю попустить меня в комментах и объяснить, почему нужно всегда учить именно с Adan. | 2 169 |
| 3 |  +8Как устроены ИИ-агенты, которые умеют программировать сами?
27 августа в 19:00 встречаемся в кампусе Центрального университета на митапе про кодинговых ИИ-агентов.
На митапе:
⚫️ узнаем, почему кодинговые агенты превращаются в отдельные сервисы и как устроены распределенные агентные системы;
⚫️ разберем протоколы ACP и A2A и посмотрим, как разные агенты и клиенты могут взаимодействовать между собой;
⚫️ на практическом мастер-классе создадим собственного автономного агента с помощью Deep Agents от LangChain — с планированием, управлением контекстом, файловой системой и параллельной работой сабагентов.
Мастер-класс — с ноутбуками, так что получится не только посмотреть, но и попробовать собрать агента своими руками.
Спикеры:
⚫️Денис Артюшин — технический владелец продукта агентской платформы в Т-Банке
⚫️Полина Реброва — ведущий инженер по разработке, Сбер
⚫️Александр Шахов — инженер-преподаватель и академический руководитель направления «Разработка» в Центральном университете
📍 27 августа, 19:00
📍 Кампус Центрального университета, Москва
Зарегистрироваться по ссылке | 1 681 |
| 4 |  Разбор ROGII - Wellbore Geology Prediction начнем с сетапа соревнования.
Представьте, что Герр Дональд Трамп сказал нам 'drill, baby, drill', а мы и поверили. И вот уже бурим скважину для исследования недр где-то в Техасе: у нас есть идеальный план бурения и наш бур напичкан кучей датчиков. Буром управляет опытный оператор, который знает, что у пласта породы плотность неравномерная: встречаются камни, пустоты и включения других пород. Из-за этого бур немного (или много) поворачивает внутри скважины и отклоняется от модельной траектории. Оператор смотрит на датчики и подруливает буром, чтобы оставаться как можно ближе к модельному плану бурения- его цель как можно корректнее разведать датчиками на буре показания как можно ближе к траектории.
Наша задача- понять, как глубоко в пласте мы находимся, зная предыдущие наблюдения + текущие показатели датчиков. В общем смысле это надо, чтобы бур не выскочил в другой пласт (нам не интересный) и не насобирал ненужной информации. Ну и спланировать, как мы будем качать нефть, сжигать попутный газ и с этой бесплатной энергии майнить битки
И того, у нас есть:
1. Координаты в каждый момент времени для бура для каждой скважины. Доступна информация до тех пор, пока бур спускается в целевой пласт и для часть скважины уже внутри пласта. Это наш train кусочек для авторегрессии. Еще для каждого участка скважины знаем длину пути от поверхности и оценочное расстояние в футах до границ всех нам известных пластов (оценивается по typewell, последний пункт).
2. Значения Gamma Ray (GR) на протяжении всего пути. Работает так: у каждой породы свой уровень гамма-радиоактивности, так что регулярно снимая показатели фоновой радиации с бура, мы можем по изменениям понять, что состав породы меняется. Для каждого пласта мы знаем примерны состав и показатель радиоактивности по typewell (следующий пункт), так что можем довольно неплохо понять, что слишком близко подошли к границе пласта и рулить назад.
3. Знаем те же показатели для ближайшей измерительной скважины (typewell): глубину, значение GR на этой глубине и метку того, в каком пласте находимся. Предполагается, что она пробурена вертикально вниз.
При этом данные реальные и близкие скважины переиспользуют одни и те же typewell и вообще у них направление и траектория бурения похожа, потому что пласты породы расположены друг на друге и это сильно влияет на оптимальную траекторию.
Можно было бы сказать, что в Техасе все данные по скважинам обязательно нужно сдавать правительству, но организаторы об этом позаботились и к каждой скважине и ее координатам добавили индивидуального шума, так что относительное расстояние между скважинами исказилось. И кажется даже немного перемешались ближайшие typewell. Мало того, скважины еще и обрезали, так что матчить их долго и совсем не ясно, какие скважины попали в тест, а какие нет, потому что это Code Comp.
Как решать будете? | 2 259 |
| 5 |  Наконец-то новый RL-мем в моем паблике по RL.
Создано специально для Азата, который не уйдет на пенсию, пока на каггле не кончится РЛ | 1 861 |
| 6 | Ого, ну раз пошла такая пьянка, придется ответить. Спасибо кстати, но поздравлять пока рано...
такой вот примерно рецепт усредненный получился:
- имитация на топовых игроках, точность около 85% была на валидации, давало 950-1100 эло за день игры
- ppo с подгрузом чекпоинта из имитации, где-то 400 топовых дек, играют все против всех, но с вероятностью 90% берем и меняем часть карт на рандомные - так учим эмбеды карт которых не было в имитации (а это процентов 80) ну и учимся играть против мусора чтобы не отлетать типам с 450 эло.
- ppo с подгрузом предыдущего шага, все против всех но теперь только 10% что карты будут меняться, плюс фриз эмбедов. дальше чемпионат по итогам которого я удалил 50% дек.
Сабмиты давали 1000-1100, примерно, какие-то лучше имитации, какие-то хуже, хрен поймешь.
- грузим прошлый чекпоинт, берем top 1 деку по итогам чемпионата (flg 55456110) и опять PPO, но один из игроков всегда играет топовую деку, другой одну из оставшихся 200
на хитрые штуки типа кастомных голов и MCTS времени совсем не осталось, фактически первый сабмит последнего шага был за 4 часа до делайна. ну и я нуб в RL, так что решение довольно ванильное, разве что я потырил некоторые штуки у топов orbits
учил на 4090, за неделю до конца снял 8x5090, итоговый пайплайн со всеми шагами двое суток где-то учился.
исходя из логов надеюсь на 3-8 место, из забавного так как по-сути 50% времени я тренировал деку flg и модель училась против него играть, то на играх за сутки винрейт больше 80% против него, лол. и с luca каким-то образом 55%, этого я уже никак не могу объяснить, возможно везет пока
совет молодым кто пойдет ферму решать, если позволите:
не торопитесь идти делать RL
сначала отточите пайплайн на имитации - он должен вас сходу закидывать в золото. если не закидывает - идите ловите ошибки, досыпайте и чистите данные. я что на orbits, что тут потратил 90% времени на это. codex/claude пишут довольно странный код если детально не смотреть, типа ставят LN после GELU, weight decay на эмбеды, при том что за батч 95% карт не будет сыграна и тд. если ваш пайплайн не способен тупо скопировать стратегию, то и все остальное вряд ли поможет. /goal на ночь и оптимизация кода на трейнах по 30 минут аля nanogpt speedrun часто давала фиксы и неожиданно полезные решения.
И помните, у самурая нет цели, только путь | 1 993 |
| 7 |  У покемонов прошлой ночью настал дедлайн сабмитов. Через две недели будут зафиксированы финальные места, но по моей оценке вас будет шатать на +-30 вверх и вниз от текущего уровня. Разбор соревнования сделаю в текстовом виде, чтобы закрепить все находки.
Ожидаю, что мы останемся с командой на ~100 месте, так что я видимо подфармил еще одно серебро. Уже восьмое
Что у нас работало:
BC
PSRO
Поиск мата за один ход (внезапно)
Тупо скейлить модель в ширину
AUX-голова на победу в матче (так называемая value-head для бедных)
AUX-голова на взятие приза
Что не работало:
Хитрый анализ колод
PPO
MCTS
AWR (вообще никак) | 1 841 |
| 8 |  До 20 августа еще открыт прием заявок в ИТ-магистратуру Центрального университета!
Это отличная возможность учиться на реальных бизнес-кейсах, а также совмещать учебу с развитием в карьере.
У всех абитуриентов есть шанс получить грант до 75% на весь срок обучения.
Регистрируйся в грантовом конкурсе по ссылкам:
➡️Офлайн программа
➡️Онлайн программа | 2 725 |
| 9 | Абсолют ioai завел свой канал
https://t.me/artem_to_agi/6
Вроде он даже подписан на псевдолейблинг | 3 276 |
| 10 |  Тем временем Мистраль стал первой моделью, которая автономно выиграла соревнование на Kaggle, взяв top-7 в Rogii Wellbore. Французская команда уже опубликова разбор решения модели: | 3 211 |
| 11 |  Кстати медали раздали и я позорно не вошел в топ 400 даже :( | 2 909 |
| 12 |  +1Medals come and go bro
But you know I stay | 2 511 |
| 13 |  Видеосообщение | 2 726 |
| 14 | 14 из 22 кагглеров улетают из золота на привает
А из призов выкинуло буквально всех | 2 553 |
| 15 | 93 место и серебро нафармлено. Пойду спать, удачи не произошло | 2 737 |
| 16 |  Пошла возня | 1 |
| 17 | Все считается/парсится прямо на бизибаре, ему нужен только ваш токен каггла и желание фармить медальки | 2 612 |
| 18 |  Видеосообщение | 3 420 |
| 19 |  На каггле захостили новую RSNA Knee Abnormality Detection:
https://www.kaggle.com/competitions/rsna-knee-abnormality-detection
Традиционно челлендж посвящен МРТ данным в 2.5D формате. На этот раз надо обнаруживать 12 видов остеопорза в коленках пациентов
570 ГБ снимков в высоком разрешении, самое время нафармить золото за счет ваших бесконечных ресурсов (ну и помахаться с NVIDIA заодно). Главное, чтобы инференс влез в 9 часов на кагл гпу.
Соревнование проходит уже 8 лет подряд, так что массив опыта в нем накоплен титанический. Возможно, и мне пора вкатиться и поучаствовать, но в прошлые годы, признаюсь, меня просто пугал объем хаков, в которые надо вкатиться. | 2 945 |
| 20 |  Видеосообщение | 1 |
