🏆 Data Feeling | AIeron

Мало кто знает про мою прошлую карьеру школьного препа:)

Помню, как код назад я проснулся в этот день будто бы в новой реальности.

Савадика, братцы! Пару кадров Биг Будды с неба.

Положительно влияю? Организовал вчера уже вторую поездку по островам Пхукета на яхте с IT ребятками. Проводили закат, покатали на сапах, попрыгали со второго этажа в воду. Было в этот раз 25 талантов. Зачем? Общение с единомышленниками на отвлеченные от работы темы очень перезагружает. Я потом проще фокусируюсь в работе. Мозг легко вгрызается в новые задачи. А еще мне классно когда вокруг меня много интересных людей нетворкаются. А один особенный вчера момент растопил мое сердце напрочь. Дело было так. Стою общаюсь с 3-мя data scientist’ами. Плывем где-то в океане. В один момент звучит вопрос почему Пхукет? И все трое отвечают - потому что увидели пост Алерона про его опыт пребывания в Таиланде. Как же было приятно в этот момент от этого, чуть на небо не взлетел 😄 Еще клево было узнать, что на яхте было одновременно два прОдукта из двух конкурирующих онлайн-школ. Обменялись опытом (Не skillbox 😅) Кстати, это уже моя третья нетворкинг сессия. Первая была в Москве. В общем, если вести блог, то не только ради шеринга знаниям, но еще и ради объединения талантов. Надеюсь, вы тоже убеждались на своем опыте, как сильно может забустить вас встреча с нужным человеком.

Нет времени объяснять. Организовал вебинар, а вас позвать забыл. Ссылка на вебинар. Уже идет!

Нет время объяснять. Организовал вебинар, а вас позвать забыл.

Кто рано встает, тому бог подает GOODMORNING

А вот это я месяц назад. Еще пока не знаю, что меня ждут. Наивно рассуждаю о стратегии возврата 😂

Снова пользуюсь своим положением во благо. Извините. В общем, нашел тогда студента, которому сдал квартиру. А он спустя три месяца ехал из России внезапно. В общем, снова ищу человека, кому пересдам квартиру со сладкими условиями.

Выиграть 100к или как написать лучшую статью на Хабре. Год уходит. Подводить итоги буду завтра, а сейчас просто хочу поделиться небольшой радостью. Выиграл в конкурсе авторов! За этот год я написал 8 статей на Хабре. Почти каждая была в топе лучших среди недели. Три из них висели в топе лучших за месяц, а одна оказалась в топе всех топов, закинув меня в топ-1 на Хабре и, как выяснилось сегодня, принесла мне возможность покрыть расходы на идею с курсами на 100к, о которой писал выше. Кстати, перед публикацией той статьи у меня не было в мыслях выставлять ее на конкурс, я просто классно провел время играя с новой игрушкой и фантазируя надо альтернативами лого для red_mad_robot. На момент завершения статьи, у мня встал выбор, добавить в статью рекламу и получить ~3к-5к или просто публикануть, включив в конкурс. Чтоб выиграть, мне надо было побороть хотя победителя прошлых лет. Спарсив рейтинги других статей Хабра и сравнив со своими - понял, что мат ожидание выигрыша вышел, чем просто разовая плата. Как видите, оценка была хорошей. Знаете почему я вообще начал писать свои статьи? Все от дури! Однажды ночью мою голову просто разрывал поток мыслей и идей, не дающих спать. Не переселив желание поделиться, я просто сел за чистый ворд и начала писать, облегчая так свой "приступ". Так родилась моя первая статья, которую по фану решил заслать на Хабр утром. Тот день был моим первым рабочим днем в Х5. Мне очень нравится писать про штуки, которыми редко кто стал бы делиться. Всякий технический схематоз - это прям мое любимое, то за что я полюбил Хабр. Скучно писать что-то, про что писали уже до тебя, а вот накропать что-то такое от чего читатель сказал бы: "Вау, это надо запомнить" - это бесценно. #Хабр

Узнал необычный трюк по соревнованиям, где метрика - корреляция. Накидываете на свой ответ шум и скор с ненулевой вероятностью подрастает. Если скор подрос, накидываете еще шум и так пока не станете медалистом. Оказывается, нужно не так много попыток, чтоб зайти в золото и обессмыслить лидерборд. Продолжаем с тиммейтами валидировать модели. Радует, что локальная валидация коррелирует с бордом. Еще один трюк, который внезапно помог - это учить ансамбль моделей на тех данных, на которых базовые модели имеет такую же точность как и на тесте. Это называется мета-лернинг. Очень парадоксально, чтоб в этом чемпионате можно проверять моделии сперва на тесте, а только потом уже валидировать на трейна 🤪

В целом, это верный путь в любой сфере. Если сильно надо - бьешь в одну точку, пока не треснет. Кстати, с пасибо за ваши ответы вчера. Мы нашли пару идей для себя. Мне понравились варианты с Adversarial Validation и со смешиванием моделей заранее в единую фичу с весами пропорционально известной точности (корреляции) на тесте. Последнее, кажется, может докинуть. Надеюсь, вам тоже было полезно подумать над кейсом. Аудитория у меня, конечно, заряженная 💪

Уперлись с командой очень необычный кейс ... Вот у вас есть три предобученные модели, на тесте эти модели дают точность 90%, 80%, 70%. Вы решили отвалидировать ансамбль из трех моделей на трейне. Подали прогнозы моделей как фичи + дополнительные фичи в бустинг. Как итог, бустинг отранжировал выходы моделей по важность абсолютно противоположно тесту. Как итог, на тесте ансабль дал точность ~75%... Вот думает, что делать) Метрика на тесте - корреляция Спирмена. Из идей, навесить на фичи веса, чтоб бустинг через "не хочу" ранжировал фичи в соответствии с информацией с теста.