🏆 AIeron | Data Feeling

Так, прочитал все возражения. Их глобально три. 🧠 Непонятно, а про что курс и какая вообще программа? Что там и что вам это даст? И тут я осознал, что почти ничего не сказал о том, что мы вообще рассказываешь на курсе и каких целей хотим достичь!? Хорошо, в последующих постах расскажу про наше видение соревновательного ML и чему мы можем научить в рамках курса. 🧠 10 000 это большая цена за авторский курс. Про то, почему мы сделали наш курс платным и на что тратим написал в посте тут. Плата за курс дает нам большие возможности для творчества. Вычислительный сервер с большой оперативкой, мерч, качество материала, интеллектуальная ценность и другое. 🧠 Курс про соревновательный ML, но при это авторы курса не Kaggle Grand Master'а. Это оказался самый болезненный пункт. Почему-то считается, чтоб научить людей каким-то вещам в ML, обязательно надо завоевать титул именно на Kaggle. Однако, все забывают, что для качественного и методически правильного курса только этого мало. Чтобы после каждой решенной задачи человек произносил: "Вау, а так разве можно было?!" - требуется иметь еще ряд скиллов. А скажу, что соревновательный опыт можно получить не только на Kaggle. Да, Kaggle самый популярный и мы в нем участвуем, но вне Kaggle так же проходит большое число чемпионатов, которые дают больше шансов выиграть призовые, но не дают медалей на Kaggle. Наша команда курса имеет хороший боевой опыт в решении чемпионатов. Не всегда это были топ-1, но часто в пределах топ-3 с призовыми. Лично сам, я сильно согласен с последней претензией. Систематично трачу время на решение Kaggle. Особенно хорошо это получается делать летом. Есть много времени. Однако, пока я и мои соавторы идем к титулу Мастеров, ничего не мешает нам наплодить Kaggle Expert'ов. Кто запретит нам быть примером?! Можно бесконечно рассуждать, кто имеет право учить людей, а кто нет. Однако, мы уже здесь и сейчас помогаем в большому числу ребят достижении титулов. Дело ресурсоемкое. Даже мой титул эксперта дался мне с трудом. Ушло три недели на первое серебро. И тем не менее, мой азарт от соревнований огромен. Мне и команде в кайф участвовать и проверять свои соревновательные технические скиллы, которые никогда бы не смогли отработать в рамках компании. А еще нам в кайф делиться опытом в доступной форме.

Так, прочитал все возражения. Их глобально три. 🧠 Непонятно, а про что курс и какая вообще программа? Что там и что вам это даст? И тут я осознал, что почти ничего не сказал о том, что мы вообще рассказываешь на курсе и каких целей хотим достичь!? Хорошо, в последующих постах расскажу про наше видение соревновательного ML и чему мы можем научить в рамках курса. 🧠 10 000 это большая цена за авторский курс. Про то, почему мы сделали наш курс платным и на что тратим написал в посте тут. Плата за курс дает нам большие возможности для творчества. Вычислительный сервер с большой оперативкой, мерч, качество материала, интеллектуальная ценность и другое. 🧠 Курс про соревновательный ML, но при это авторы курса не Kaggle Grand Master'а. Это оказался самый болезненный пункт. Почему-то считается, чтоб научить людей каким-то вещам в ML, обязательно надо завоевать титул именно на Kaggle. Однако, все забывают, что для качественного и методически правильного курса только этого мало. Чтобы после каждой решенной задачи человек произносил: "Вау, а так разве можно было?!" - требуется иметь еще ряд скиллов. А скажу, что соревновательный опыт можно получить не только на Kaggle. Да, Kaggle самый популярный и мы в нем участвуем, но вне Kaggle так же проходит большое число чемпионатов, которые дают больше шансов выиграть призовые, но не дают медалей на Kaggle. Наша команда курса имеет хороший боевой опыт в решении чемпионатов. Не всегда это были топ-1, но часто в пределах топ-3 с призовыми. Лично сам, я сильно согласен с последней претензией. Систематично трачу время на решение Kaggle. Особенно хорошо это получается делать летом. Есть много времени. Однако, пока я и мои соавторы идем к титулу Мастеров, ничего не мешает нам наплодить Kaggle Expert'ов. Кто запретит нам быть примером?! Можно бесконечно рассуждать, кто имеет право учить людей, а кто нет. Однако, мы уже здесь и сейчас помогаем в большому числу ребят достижении титулов. Дело ресурсоемкое. Даже мой титул эксперта дался мне с трудом. Ушло три недели на первое серебро. И тем не менее, мой азарт от соревнований огромен. Мне и команде в кайф участвовать и проверять свои соревновательные технические скиллы, которые никогда бы не смогли отработать в рамках компании. А еще нам в кайф делиться опытом в доступной форме.

Такс, вижу какое-то неодобрение по реакциям. Что не так?

Курс по соревновательному анализу данных бесплатно на лето! 🙈 Напомню, что на этот год моя преподавательско-каглерская цель - вырастить 30 Kaggle медалистов. Мои цели на год для меня не пустой звук. 👨‍💻 Для выполнения этой цели, я с несколькими авторами создали курс по соревновательному анализу данных. Курсу исполнилось 3+ месяца. Курс уже оттестирован. Проходит его уже 400+ человек. Из них 20+ дошло до сертификата, и даже есть 3 Kaggle медалиста!🥈🥈🥈🤫 🤔 Однако, нужно еще 27 медалей. Просто делиться своим соревновательным опытом круто, но еще важна практика участников. А так же нужна пнуть под зад мотивация, окружение единомышленников и вычислительные ресурсы. ✅ Все эти аспекты мы закрываем в рамках комьюнити нашего курса. Делимся боевыми соревновательным ML техниками, снабжаем вычислительными ресурсами лучших, помогаем найти мотивированных тиммейтов, периодически проводим разборы соревнований. 🥳 Так вот чтоб все-таки выполнить цель в 30 медалистов я объявляю конкурс. 🧠 Если вы сейчас купите курс и до конца лета выиграете хотя бы одну медаль на Kaggle, то мы вернем деньги. При этом, все лето я и моя команда опытных DS'ов будем вам в этом помогать - снабжать вас ресурсами, делиться знаниями, мотивировать побеждать и слушать про ваши успехи. 🙂 Покупать строго по рефералке (иначе акция не действует, так как Степик берет свою комиссию и мы не сможем вернуть ваши деньги в полном объеме).

На этом все. Все мои гештальты по Таиланду в плане постов закрыты. Смогу теперь на вопросы про Тай отправлять эти посты. Спасибо за внимание! 🍿 Заключение и планы. Это была моя вторая зима, проведенная не в России. Этой серий постов хотел привести вас к мысли, что путешествия в других странах, особенно будучи в IT очень сильно вас прокачивает. Похожее чувство, мы могли уже испытывать, когда уезжали учиться в ВУЗ, а по приезде назад в родной город, вы ощущали как ваши сверстники отстали от вас в развитии. Тут конечно есть исключения, но в целом, личностный рост ощутите. Понял лично для себя, что теперь уже не смогу спокойно проживать годами напролет в одной стране. Каждый раз, когда слышу про новую страну, где не был - я задумываюсь, а вот прикольно было бы там пару месяцев хотя бы пожить?!.

🍌 Условия, сложности. 🏝 Про качество жизни в Тае Сниженный информационный шум. Буст продуктивности. Доступная и очень разнообразная еда. Нет метро. До любой точки острова долетаешь за 15 минут байком. Трассы такие, что хочется все время снимать дорогу. В каждой вилле бассейн. Забываешь про уборки и мытье посуды - все это берут на себя тайки. Высвобождается больше времени. Инвестируешь больше времени в творчество. Каждый день лето. Не заморачиваешь из-за одежды. Экзотические фрукты, которые ты скупаешь килограммами. В основном в виде смузи. Все онлайн сервисы тебе все еще доступны. 🎠 Разнообразие отдыха и развлечений Удивительно, но если отбросить всякую туристическую тему с экскурсиями, то все еще остается много чего для бесплатного "проветривания" головы. Походы на вьюпоинты закату, сноркинг, массаж, хайкинг, зал для кроссфита, корт для бадминтона. И это все в пределах 15 минут дома. Подкрепляя это все компанией единомышленников и приятелей - получаем идеальный work-life balance. 😛 Сложности и риски То, что все-таки не нравилось в Тае. - Уличные тайцы часто плохо говорят на английском. Они часто отвечают короткими пресловутыми фразами "no have", вместо "I don't have" или "can not", вместо "I can't". Режет слух поначалу, потом привыкаешь. Замечал, как британцев это бесило донельзя. - В Таиланде нельзя получить ВНЖ или что-то в таком духе. Присутствует чувство, что ты тут чужой, даже если тебе тут рады. - Тай, это все-таки более агрессивная среда, чем та же Москва. Всегда есть риск встретиться с животными в лесу, океане или парке. Так мне однажды приходилось прокалывать курс уколов от бешенства. Неприятная вещь. Все время приходилось держать в голове даты уколов. 💰 Цены и чеки Прикрепляю один из чеков за жилье в батах. Если учесть только жилье (28к бат), аренду байка (3к бат), еду (1к бат), страховку (1к бат), визу (4к бат/месяц) и накинуть еще 20% всякую операционку (интернет, бензин), то выходит за месяц так: 42к бат. Если считать по текущему курсу 2.3, то выходит в районе ~100к рублей.

💼🌴 Зачем и почему Таиланд? 🗽 Смена обстановки. Когда усталость от городской суеты и поездок в метро переполняют, начинаешь мечтать о тихом уголке, где можно забыть о сеуте и информационном шуме. Просто насладиться жизнью. Для многих таким местом становится Тайланд. Этот южноазиатский рай предлагает богатый выбор культурных и природных чудес: от великолепных буддистских храмов до невероятных пляжей с белым песком, прозрачной водой и порящими скалами. Здесь каждый найдёт что-то по душе! 🗣️ Языковая практика У меня с вуза была мечта прыгнуть в языковую среду. Если вы тоже давно хотели попрактиковать английской в боевых условиях, тогда Тайланд может стать идеальным местом для погружения в языковую среду. Хотя тайский язык - это главный язык в стране, английский широко используется в туристическом секторе, гостиничном бизнесе и, конечно, в международной коммьюнити цифровых номадов. Это создает возможности для практики английского в ежедневной жизни. Да, у тайцев средний уровень английского плох, но это не влияет на приезжающих туда носителей. В Тайланде много языковых школ, где можно получить визу на год и улучшить английский. Многие школы предлагают гибкие графики обучения, которые подходят для совмещения с работой. 🤝 Нетворкинг. На остров кто попало не приезжает. Тут все по принципу Эвереста. Если ты видешь человека живущего в Тае, то сразу очень много про него знаешь. Каждый встречный, это либо предпрениматель, либо программисты, либо просто творческая личность, которая научит тебя через рилсы по инсте двигаться или закроет тебе пару гештальтов. . 🏞️ Путешествия и фотки. Спустя еще пол года жизни на Пхукете мог сказать, что посетил только лишь ~50% популряных мест. В какую часть острова ты бы не приехал, ты всегда проведешь вечер либо с новым красивым видом, либо вкусно и в интересной компании. И все вокруг выглядит эстетично. До сих пор фотки в телефоне разгребаю

Небольшая затравка про моральное право говорить за digital кочевничество. За последний год я посетил 7 стран. В каждой прожил не меньше недели. Таиланд был самый долгий. Суммарно прожил тут без месяца год. И лето бы прожил, если бы не семейные обстоятельства. За этот год я приобрёл несколько тайско-кочевнических деформацией: ✅ Освоил силу временного шифт в +4 часа, без него теперь мне сложно представить утро. Из-за него же перестал преподавать. ✅ Нашел новых единомышленников и друзей из других стран. Почти все экспаты - это таланты или предприимчивые ребята. ✅ Научился не работать в обед хотя бы час, а тратить время на спорт по типу плавания в бассике. ✅ Могу заказать себе еды на тайском. Сходу отличаю ингландов от американцев по акценту. ✅ Привык ко всей этой теме с «no have» и «can not» в тайском английском. ✅ Уверен в английском, когда надо поторговаться на рынке за фрукты, забронировать что-либо по телефону, съездить в госпиталь или завести знакомство на улице. Мой следующие три поста будут про: 🍍Зачем и почему в Тай? 🍌 Условия и сложности 🥥 Личные ощущения и отзыв

Последний раз пользуюсь своим положением. Если вы вдруг сегодня в Симферополе. То как вам идея встретиться? Пишите в лс, сходим в кино на "Магалодон" 🙈😅. Застрял тут еще на сутки, поэтому с радостью бы познакомился с кем-то из местных DS'ов. Подеюсь опытом, если будет запрос. Однажды, я так виделся с DS ребятами в Казахстане. До сих пор в коннекте. Очень классный опыт. Так-то я живой, и не могу писать все время сугубо только про IT. Кстати, на завтра я приготовил для вас серию постов про свой годовой опыт жизни digital кочевником вне РФ.

Давно мы с вами не обменивались вайбом рабочих мест. Накидайте своих ворк спейсов в комменты

Копался сейчас в коде, присланного подписчиком. Не знал, но код сгенерирован chatGPT. Спустя время нашел незаметную ошибку, которая не давала побить порог по точности. Цикл обходился по строчкам, а не столбам, но не сразу заметишь, если не сам писал. Мораль для новичка: Если ты новичок, будь осторожнее с нейросеточным кодом. Мораль для меня: Спрашивать предварительно у людей откуда код. Видосик чисто потому что другой пикчи для поста не нашел.

Так что это получается, в Data Science можно попасть двумя путями? 😳 В целом, когда длина промптов доходит до 700 токенов и у сервиса уже есть монетизация, то я готов поверить, что для этого нужна отдельная позиция.

Чтобы давать интервью про нейросети надо всего лишь уметь иносказательно объяснить, что такое перцептрон (нейрон). Пришел к такому выводу после череды последних интервью каких-либо блогеров у людей из мира AI. Вообще плевать, что ты там знаешь, просто проводишь аналогию с нейрона в мозге и всем понравится. Если спрашивают про chatGPT тоже можешь про перцептрон рассказать и люди схавают.

Любишь фичи генерировать, люби и отсеивать На прошлых выходных фармил чемпионат по предсказанию игровой активности студентов. Решил решать с нуля и генерировать признаки сам. Сильно скоррелированная локальная валидация с лб позволила почти не смотреть на лб и проверять гипотезы локально. Все шло хорошо, пока число фичей не стало ~2к. А как известно, много фичей не очень хорошо, влияет на стабильность и скорость. Поставил считаться эксперимент с рекурсивным удалением фичей на несколько дней. RFE это ресурсоемкая процедура, поэтому я решил удалять фичи из нескольких группы одновременно. Группа 1 - признаки с очень низкой важностью для модели. Группа 2 - признаки с большим числом пропусков Группа 3 - подозрительные на мой субъективный взгляд признаки и агрегаты Группа 4 - слабо вариативные Группа 5 - просто бруд-форс. Запустил фильтрацию по всем группам, синхронизировав результаты в единый файл, чтоб алгоритмы не повторяли эксперименты и всегда знали какой лучший текущий скор валидации. Модель и валидация фиксированные. Несколько выводов, к которым пришел. 🤔 Фильтрация поднимает скор. 🤔 Бруд-форс находил вредную фичу 1 раз на 50 экспериментов. (1/20) 🤔 Среди маловажных реально много не влияющих. (~1/5) 🤔 Фичи с пропусками тоже чаще отлетают (~1/10), но удаление некоторых сильно просаживает скор. 🤔 Подозрительные фичи тоже хорошо отсеиваются. Все что было не нормировано на длину сессии больше вредило (~1/8). 🤔 Слабо вариативные чуть лучше бруд-форса, но не сильно (~1/15) 🤔 Полезно увидеть закономерность и добавлять эвристику для повышения приоритета в удаление фичей. Так фичи будут отлетать сразу пачками. 🧠 Вредные признаки бывают не очевидны. 🧠 Вредные признак помогают найти полезные. 🧠 Самописная фильтрация удобнее и быстрее. Сможете задавать порядок обхода, хеширование и синхронизацию . 🤖 Эксперимент кустарный, воспроизвести я его не возьмусь ибо это 4 дня на 20 ядрах считалось. Все как всегда зависит от данных, но зато выводы согласовываются с моим ранним представлением!

Ого, вот это новый уровень спама. Только что в лс прислали. И ведь действительно тут же доказали, что они шарят за нейронки

Да харе уже Бабушкина приглашать на всякие стримы по поводу и без повода. Дед от раза к разу отвечает на одни и те же вопросы. Дайте ему хотя бы пол годика пожить спокойно. Пусть накопит новых шуток.

Для полноты картины все-таки напишу, что тот парень таки добил задачу 💪 Всем такой упорности! Кстати, сейчас на Kaggle опубликовали еще несколько сочных сорев. Много табличек и везде можно отпрактиковать feature engineering в бою

Кто-то решил?) Всего две не хитрые фичи. Рекомендую комбинировать визуализацию с генерацией фичей.

Как и обещал, ловит крутую задачку на Feature Engineering Условия на скрине. Датасет для решения тут. Как понять, что верно решено? - Классы разделятся однозначно. В рамках тг заслать тест не получится, но хотя бы так.