Запрети мне псевдолейблить

cccccbleeveejnddfebdkdbljlukcdvvlkdlhnbgvkcf

Я там тоже альтрузимом занимаюсь, и вас советую присоединиться

Тут мой старый знакомый, Александр Червов, автор sberloga, делает какой-то большой научный проект по нейронкам, которые собирают кубик рубика 👨‍🔬 Проект В общем, ему нужны волонтёры для написания моделей и проведения экспериментов. Взамен вы получите опыт написания реальных RL, DL, ML моделей под наставничеством Александра. Участникам проекта нужно будет проводить эксперименты и создавать модели аналогичные AlphaGo для теории групп, например для группы кубика Рубика. 📜 Что вам это даст - Реальный опыт работы с RL, DL, ML - Ценный пункт в вашем резюме, который подчеркнет ваш профессионализм и знания в области - Инсайты можно будет опубликовать в научной статье для научного журнала 💌 Пишите Саше Червову

🚀 @SBERLOGASCI webinar on data science: 👨‍🔬 Obozov M.A. "Proximal Policy Optimization. От графов Кэли до RLHF." ⌚️ Пятница 14 июня 19.00 по Москве PPO - достаточно современный и интересный Policy Gradient метод, который базируется на идее клиппинга и обучение policy network с специальной целевой функцией. Концептуально алгоритм решает проблему больших policy обновлений, что значительно улучшает сходимость. При этом его применение часто очень нетривиально, а понимание алгоритма к сожалению нередко заканчивается абстрактными идеями и просто знанием об его существование. Данная лекция ориентирована на исправление этой проблемы. Всего лекция состоит из четырёх частей: 1. Пользовательское понимание PPO, концепции и основные идеи, отличие от REINFORCE и других PGM. 2. Более глубокое понимание и описание математики стоящей за этим алгоритмом. 3. Применение к реальным задачам в том числе и к графовым. 4. RLHF с PPO. Эта часть ориентирована именно на LLM инженеров. Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe

Приходите к ребятам на семинар про сборку многомерных кубиков Рубика. Ваша возможность поучаствовать в ресерче на стыке математики и мл

13% - лютейшая нищета на грани выживания 15% - обычная нищета, ипотека на 20 лет, кино и рестораны раз в неделю, еда из ашана 18% - нормальная жизнь, ипотека на 10 лет, машина среднего класса (B, C) 20% - хорошая жизнь, ипотека на 5 лет, путешествия 22% - достаточно хорошая жизнь, ипотека на 2 года, машина бизнес класса, девушка

Никто кстати не понял прикол: чел ушел фултайм каглить, а не то, что вы подумали

Смотрите кого выпустили из чулана!

#HMS 8 место, мастер-класс от Криса Дейота: Самое первое, на чем акцентирует внимание Крисс: нам в соревновании не надо поставить диагноз, нам надо угадать мнения разметчиков. Казалось бы так всегда, но конкретно в этом соревновании из-за разнородности разметчиков это решало сильнее, чем обычно. Крис прочитал статью организаторов и выяснил, что аннотаторов было всего 119 в трейне и 20 в тесте. А еще он вычитал, что судороги в трейне предсказывали в 18.8% случаев, а в тесте- 1.5%. И вот именно вычистку этих самых малоушмных экспертов из теста и делал хак с разделением трейна

train.loc[train.vote_count>=10]

Он так же посмотрел на то, как проходил процесс разметки данных и увидел там, что разметка проходила и по спектрограммам и по обычным графикам формы волны одновременно. Значит это и надо подавать как инпут моделей. И того у него было три модели: 1. По сырым сигналам, a-la WaveNet 2. Трансформемер по спектрограммам 3. Трансформемер по plt.plot форм волны В СМЫСЛЕ ОН ВЗЯЛ И ИСПОЛЬЗОВАЛ МАТПЛОТЛИБ ДЛЯ ИНПУТА, НУ ГЕНИЙ Используя уже эти три модели он псевдолейблил кусочки трейна, в которых было меньше 10 размечающих. Ну и все, 0.29 на приватном лидерборде. Так же Крис заботливо выделил для нас лайфхаки: 1. Все сырые данные обработал с помощью библиотеки MNE. Она как раз специализированна для работы с ЭЭГ 2. Для перфоманса можно было все сырые ЭЭГ загрузить в RAM и формировать спектрограмы используя torchaudio.transforms 3. На каждой эпохе показывать одну ЭЭГ один раз, но семплировать каждый раз случайно. 4. Пользоваться его гайдом по подбору ЛР для модели Скажу, что читать райтапы Криса- сплошной кайф. Однажды он прочитает моей райтап и скажет то же самое

#HMS Поступил вопрос про пункт 3 и заявление, что там ничего не ясно. А там с одной стороны классика, с другой не совсем интуитивно: Допустим у нас есть 150 моделей на одинаковых OOF и мы по ним хотим построить какой-то ансамбль, который будет лучше каждой индивидуальной. 1. Возьмем оптимизатор L-BFGS-B (знаю, в подписчиках есть фанаты) и на OOF построим оптимум заданной лосс функции 2. У какой-то доли моделей веса будут близкими к нулю, потому что они не слишком хорошо перформят относительно прочих. Так давайте установим трешхолд, например 0.01, и все модели с весом меньше этого из списка выкинем и пользоваться ими не будем 3. На оставшихся повторим процедуру и будем делать до тех пор, пока у всех моделей веса не будут больше, чем заданный наперед трешхолд 4. ... 5. Profit! У нас остались только уверенные и разнообразные модели В этом смысле прием похож на совсем уж античную классику: отобрать фичи с помощью L1-регрессии и на выбраных фичах обучить уже обычную линейную/гребневую