🏆 Data Feeling | AIeron

Так, ну окей. Теперь я еще спокойнее и вот-вот буду радовать вас снова прикольными приемами и техниками в ML/DS.

Продолжаю восхищаться динамическим ценообразованием. Подсвечивают понижение цены на билет, хотя из билета просто убрали багаж. Мдам-с А ведь какому-то продукт-менеджер зп получает, за придумку эту фичи.

Динамическое ценообразование любопытная вещь. 🤔 Интересно, это руками так подбирается или действительно есть алгоритм на такие случаи...

Тут на Kaggle приехала интересная биологическая задачка. Надо по аминокислотной последовательности белка фиксированный длины предсказать температуру плавления этого белка. В общем, просят реализовать AlphaFold от DeepMind на минималках. AlphaFold предсказывал 3D структура, а тут все намного проще - надо всего лишь температуру плавления. Что-то похожее я уже решал однажды в прошлой жизни биоинформатика. Посмотрел, как люди на форуме пытаются решить эту задачу и там какой-то детский сад. По типу tf-idf + модель. Очевидно, это никак не раскрывает свойства такого сложного 3D объекта как белок. Решил, что буду участвовать. Хочу усилить свою команду и провести эксперимент. Ищу новых тиммейтов с биологическим бэкграундом! Я ищу именно тебя, если ты: - Понимаешь основы молекулярной биологии. Отличаешь ДНК от аминокислот. - Имеешь опыт аннотации белков. - Любишь ресерчить статейки и даже слышал, как устроен AlphaFold. С меня вся ML часть. Ресурсы и личный опыт. В планах пойти каглерским путем. Настакать фичей разной природы и дальше по классике ансамбль бустинга и сетки. Пиши в личку, если тебе интересна задача и тебе нужны медали на Kaggle! Думаю, что особенно актуально для тех кто переходит из биоинфы в DS/ML.

[In reply to Data Feeling] [ Photo ] Не повезло, не фартануло. Корреляция между приватной выборкой и тестовой оказалось очень неплохой. Не заняв медальную зону сразу, мы не заняли ее и послей шейкапа на привате. Что зашло? - Систематичность. Мы почти каждый день созванивались с командой. Заполняли табличку гипотез. Приоретизировали и распределяли. - Мощности. Повезло, что в этот раз было относительно не много проблем с GPU. Почти все время могли запускать что-то. Модели одного фолда учились всего по два-три часа - Опыт. Множество технически проблем с архитектурой и инфраструктурой решались быстро, либо еще быстрее командным бруд-форсом. Какие вижу ошибки? - Поздно разгадали, какие архитектуры и приемы поднимают скор. Бленд двух моделей со скором 0.71 и 0.72 давал финальный скор в 0.76. То есть бери и просто бленди разные по природе модели. Всего у нас было 4 архитектуры. Стоило проверить больше вариаций. - Слабо изучили датасет. Данные как всегда с мусором, который в идеале было почистить или переразаметить pseudo labeling. - Под конец только пришла идея использовать в Test Time Augmentation цвето-коррекцию. - Не решились закинуть модельку в Optuna на пару дней, чтоб провести эксперименты более массово. - Бленд модели с мастерами по каким-то причинам только ухудшал скоро. Возможно неверные трешхолдны на классы брали. - Не успели добавить в бленд сильную модель наших друзей-аппонентов из поста выше. (Да, мы делились идеями через форум, но применить доп модели друг друга не смогли из-за неудобства разных подходов.)

Не повезло, не фартануло. Корреляция между приватной выборкой и тестовой оказалось очень неплохой. Не заняв медальную зону сразу, мы не заняли ее и послей шейкапа на привате. Что зашло? Какие вижу ошибки? - Поздно разгодали, какие архитектуры и приемы поднимают скор. Блен двух моделей со скором 0.71 и 0.72 давал финальный скор в 0.76. То есть бери и просто бленди разные по природе модели. Всего у нас было 4 архитектуры. Стоило проверить больше. - Слабо изучили датасет. Данные как всегда с мусором, который в идеале было почистить или переразаметить pseudo labeling. - Под конец только пришла идея использовать в Test Time Augmentation цвето-коррекцию. - Не решились закинуть модельку в Optuna на пару дней, чтоб провести эксперименты более массово. - Бленд модели с мастерами по каким-то причинам только ухудшал скоро. Возможно неверные трешхолдны на классы брали. - Не успели добавить в бленд сильную модель наших друзей-аппонентов из поста выше. (Да, мы делились идеями через форум, но применить доп модели друг друга не смогли из-за неудобства разных подходов.)

Что ж. Финиш. Закрепились в HubMap в топ-150 из 1300 человек. Надо подняться всего на 8 мест наверх. Собрали ансамбль из 16 моделей. Ждем шейкапа наверх. Ставьте 👍 или 👎 если верите что зайду с тимой в медали или не зайдем соответственно. Кстати, сегодня сходил на конференцию возобновившихся ML тренировок. Если буду активнее фармить возможно когда-нибудь там выступлю. Добрых снов😌

🙈У нас тут с пацанами разворачивается настоящий кипишь. Начинали фармить вместе, теперь фармим по разным тимам💪. Идем в медали ноздря в ноздрю. Вот-вот доблендить еще парочку моделей и зайдем в бронзу, надеюсь.

Ситуация непростая. Для тех кто решил релокейтиться куда-нибудь вот вам мои мысли по моему опыту. С февраля я успел попробовать три страны для проживания. Турция, Казахстан и Таиланд. Если вы прям вот совсем в панике и уже выбираете куда можно поехать пока всё не утихнет, то это хорошие варианты для раздумье. Начну с самого простого. Казахстан. Тут все понятно. Говорят все на русском. Еда относительно дешевая. Жилья много, со съемом его проблем нет. Успел там пробыть около суток у друзей. За день пребывания в центре Астаны на еду в рестиках/лофтах на двоих ушло примерно ~ 3к. Если выбирать что-то скромнее, то жить там можно долго. Турция. Если раньше там не прибывали на долгое время, то это не самый просто вариант. Найти жилье и закупаться там едой по оптимальным ценам чтоб долго протянуть. Жилье дорогое, так просто его не снять. Но если туда ехать, я бы советовать побережье Алании или Анталии, где вне сезона цены ниже. Оставаться в Турции по заграну можно только на два месяца. Дальше надо что-то делать. Таиланд. Не очевидно, но это самый лучший из этих трех вариантов. Еда дешевая. Население очень дружелюбное. Весь год лето. Океан. Хватает для общения базового английского. Самому удавалось снимать двухэтажную виллу с бассейном за 14К бат в месяц (~45к рублей). Единственное, что билеты дорогие (от 35к до 70к в среднем). Продлевать визу там можно бесконечно. Лететь советую через Казахстан. Через Турцию сейчас будет очень дорого. Кстати, мы еще подняли скор. Шаг за шагом идем в медали, не поддаваясь панике.

Мне некогда думать о какой-то там мобилизации, у нас медали на Kaggle горит. Подняли скор, кстати. А у вас как дела?

Не заходит пока, но мы пытаемся 😅 А у вас как дела?

Доброе утро! Мы тут с парнями из Redmadrobot пытаемся выиграть HubMAP (задача сегментации изображений). Вчера миновали точку объединения в команды. Остается неделя до конца. Неделя упорной работы и отчаянной проверки новых гипотез, в надежде подняться вверх. Сейчас мы в топ-200 из 1200 участников. Ради эксперимента, решил пригласить пару Kaggle мастеров в команду. Как итог, проснулись с двумя мастерами в команде. Посмотрим к чему это приведет. Буду держать вас updated. Гоу "приват шейринг" в комменты!

В Русский орфографический словарь внесли 150 новых слов. Это первое масштабное обновление словаря в текущем году. Тринадцать новых слов относятся к IT-сфере. Я погуглил и был приятно удивлен, среди новых есть такие слова как: - Телеграм-канал - Погуглить - Фармить - Каглер / Грендмастер - Блендинг / Стэкинг - Бэггинг / Бустинг - Приват / Паблик - Бутстрэп / Семплирование - Псевдолейблинг - Шейкап - фаанг - Удаленка - Пруф / Апвот #fake_news

В Русский орфографический словарь внесли 150 новых слов. Это первое масштабное обновление словаря в текущем году. Тринадцать новых слов относятся к IT-сфере. Я погуглил и был приятно удивлен, среди новых есть такие слова как: - Телеграм-канал - Погуглить - Фармить - Каглер / Грендмастер - Блендинг / Стэкинг - Бэггинг / Бустинг - Приват / Паблик - Бутстрэп / Семплирование - Псевдолейблинг - Шейкап - фаанг - Удаленка - Пруф / Апвот #fake_news

Мне в личку часто пишут платные предложения о размещении вакансий. Однако, мой канал был придуман не для этого, и я почти всегда отказываюсь или реферю кентов. Однако, я хочу, чтоб HR'ы присылали не только мне открытые и интересные вакансии. Поэтому, как вы помните, я создал под это дело специальный канал, куда регулярно отправляю всех HR'ов, которые стучатся мне в личку. Так я делюсь вакансиями с вами. Недавно там снова замелькали вакансии на Data Engineer'ов и ML Engineer'ов в Турцию. Кому-то это будет интересно. Забирайте. Вот сам канал. В нем уже больше 3к человек😱🤪✅😊 #Алерон_делится

Помните мой пост про логарифмирование таргета в задаче регрессии? Логарифмирование таргета хорошо помогает в случае линейных моделей. А вот более сложным моделям по типу градиентных бустингов (Catboost / LigthGMB / XgBoost) неважно распределение таргета. И или все такие важно? С одной стороны, при построении дерева абсолютно неважна шкала по которой делать сплит, то есть логарифмирование таргета не важно. 🤔 Однако, как показывает практика (Raif-Hack 2021), логарифмирование таргета все же может помочь поднять скор. Как так?! Моя версия: при построении дерева валидационная метрика все же зависит от шкалы (MSE/MAE/MAPE и тп). Поэтому от логарифмирования все же что-то меняется. А как вы думаете, что может при построении дерева в бустинге измениться. Услышал еще клевую идею про влияние на сцепку признаков от @Ppilif И про влияние на бинаризацию от @slivka_83 А как думаете вы? Или это все бред и эффекта от этого не будет?! Услышал от знакомых разные версии,

Когда собесишь джуна и в конце спрашиваешь его, какими задачами он хотел бы заниматься. А он такой:

Переверну за вас календарь. Недорого.

Год назад слушал доклад по авто-ML от LAMA и как он автоматизирует работу DS'ов в Сбере. Тогда пришел мыслями к критерию. Если ты знаешь, как обойти авто-ML по точности, значит, ты будешь востребованным специалистом. Кстати, наивную идею на изи выигрывать, использую авто-ML я слил еще год назад, когда три чемпионата подряд ничего не выиграл.

С первым днем осени вас, чемпионы! Утром понял, что надо вести мелкого в первый класс написать статью, про свои идеи решений по недавним двум соревнованиями на Kaggle, принесшим мне медали🥉🥈. Amex оказался самым разнообразным в плане идей. Прикладываю схему, которую разберу на в статье на Хабр. Так же, расскажу еще про решение другие участников. Там есть очень классные задумки. Вижу тренд, как трансформеры начинают успешно конкурировать сочетаться с бустингами.