🏆 Data Feeling | AIeron

Слишком много дизов, а если я вам покажу кусочек видео с очень сочной картинкой?

Это вам анонс нового выпуска с Ваней, который тоже лидирует команду DS-ов в Яндекс.Лавке. Ждите!

Вижу, как вам понравилась тема с MLOps лайфхаками, буду чаще про такое писать. Вот вам кстати, конференция Большой DS-митап о персонализации от СберМаркет Tech🔥 Встречаемся на Data Science Meetup 5 июля в 19:00 в московском офисе СберМаркета или на онлайн-трансляции. В программе: 🟡 Как мы делали проект по персональному ML-ранжированию каталога и почему из этого ничего не получилось, а потом внезапно каааааак получилось // Антонина Горячева, и.о. директора по анализу данных в СберМаркете. 🟡 ML-персонализация для карьерной платформы: о продукте, что для него делали, какие проблемы были и как их решали // Петр Чуйков, DS Team Lead, HeadHunter. 🟡 Кросс-категорийные рекомендации в Авито: зачем они нужны, как добавляли и что из этого вышло // Михаил Каменщиков, Recommendations Unit Lead Авито. 🟡 Персональный тарифный план для новой базы: key learnings после запусков пилотов, как и почему реальность разошлась с ожиданиями и что с этим делаем // Дарья Шатько, Data Science Teamlead Мегафон BigData. После каждого доклада дарим подарки за лучший вопрос 🎁 Регистрируйся по ссылке и до встречи на митапе!

Сейчас сэкономлю вам кучу времени. Мне тут на работе выпало делать голосового помощника. И если вы делаете что-то похожее или просто хотите поднять себе собственную бесплатную chatGPT, то этот пост для вас. Первое, что вам придется сделать, это понять, какого качества LLM'а вас устроить. Моделей сейчас хватает, vicuna, llama, alpaca, koala - целый зоопарк. Чтоб лишний раз не мучать этих милых животных и не потратить свои драгоценные недели дни на выкачивание и запуск моделей чтоб поэкспериментировать, можно взять вот этот крутецкий сайт. Где за вас подняли все chatGPT-like модели. А чтоб быстрее сойтись и прийти к оптимальной модели под ваши задачи, можно еще на вот эту статью обратить внимание. Тут chatGPT принят за эталон, а другие модели оценили относительно его. Скрин в посте из нее. Сам сперва пробовал развернуть на своих серверах LLAMA 13b, но по итогу реально хорошо себя показала Vicuna 13b. Обе модели без какой-либо квантилизации уместил на двух GPU по 16 гигов. #DevOps_это_боль

70% всего спама в телеграм это арбитраж черед крипту. Кто вообще на это видеться!? Последний бум наступил в рамках этого года. Пришлось даже свой небольшой классификатор написать, чтоб банил. Change my mind!

70% всего спама в телеграм это арбитраж черед крипту. Change my mind!

Начни свое лето жарко!!!! Всем !Всем! Кто интересуется темой стартапа приглашаем на ежегодное мероприятие от Кафедры РВК "Прожарку технологических проектов". Что тебя ждёт? - питч проектов от студентов МФТИ, которые прошли марафон «Прожарка технологических проектов» или выбрали в качестве факультатива майнор «Стартап с 0: от идеи до выхода на рынок» - feedforward от экспертного совета - награждение победителей, специальный приз от спонсора ПАО «Газпром нефть» и партнёров - возможность пилотного запуска своего проекта - неформальная часть мероприятия Примеры нескольких проектов: 👁 SVET - инновационный способ проверки здоровья глаз в очках виртуальной реальности 👩‍💻 Souldev Hacks - платформа для проведения хакатонов 💸 Креаточка - сервис для помощи предпринимателям из сферы креативных индустрий 🎛 DJ Replacer - приложение, которое создает персонализированный DJ сет с помощью AI 🏥МедСкор - система цифрового медицинского скоринга 🏗СityGIS - аналитическая система для тех кто строит комфортные города 🥋Salex s1 - Система ухода за одеждой В качестве членов жюри приглашены представители: - Руководства МФТИ - Российской венчурной компании - Кафедры РВК «Управление технологическими проектами» - Венчурных и инвестиционных фондов (ФРИИ, ТилТех Капитал и др) - Корпоративных акселерационных программ (МТС, X5 Retail Group, др) - Руководитель направления Департамента технологических партнерств и импортозамещения ПАО "Газпром нефть и других технологических компаний 🗓8 июня ⏰17:00 📍Физтех, корпус «Цифра», аудитория 4.18 Ждем тебя 💜

Закончил Физтех, а значит если вижу годноту от физтехов, то делюсь ей. А еще мне вот такие носки пообещали, поэтому ловите пост…

Кстати, тут продлили на две недели чемпионат этот. Какие есть особенности? Несколько фактов, к которым пришел пока решаю. - Табличные данные, а значит тема горячая 😉 - Задача мульти-лейбл классификации - Code Competition - ответ должен генерироваться кодом, тест скрыт. - Данные это логи пользователей, размер которых больше, чем может позволить оперативка. - Легко можно батчами обработать и собрать готовый датасет из фичей. - Нельзя использовать при инференсе GPU или TPU, только два ядра CPU - Локальная валидация хорошо отражает скор на лидерборде -

Кстати, тут продлили на две недели чемпионат этот. Какие есть особенности? Несколько фактов, к которым пришел пока решаю. - Табличные данные - Данных в виде логов, размер которых больше, чем может позволить оперативка. Зато легко можно батчами обработать и собрать готовый датасет из фичей. - Нельзя использовать при инференсе GPU или TPU, только два ядра CPU - Локальная валидация хорошо отражает скор на лидерборде -

Получил много обратной связи про Тай. Рад, что пост оказался полезным. Честно скажу, что в ценах которые привел как пример я просто назвал фактические число на месяц. Да, можно жить дешевле, да можно жить дороже. Однако, цифры есть цифры. Цены и качество жизни в Азии людей чаще всего устраивает. И на удаленку едут и бизнесы там тоже открывают. Кстати, для тех, кто хочет остаться на Пхукете надолго и вести здесь бизнес - рекомендую обратиться в компанию «Expoint» by SLS CENTER”. Вот пост про этих ребят.

Так, прочитал все возражения. Их глобально три. 🧠 Непонятно, а про что курс и какая вообще программа? Что там и что вам это даст? И тут я осознал, что почти ничего не сказал о том, что мы вообще рассказываешь на курсе и каких целей хотим достичь!? Хорошо, в последующих постах расскажу про наше видение соревновательного ML и чему мы можем научить в рамках курса. 🧠 10 000 это большая цена за авторский курс. Про то, почему мы сделали наш курс платным и на что тратим написал в посте тут. Плата за курс дает нам большие возможности для творчества. Вычислительный сервер с большой оперативкой, мерч, качество материала, интеллектуальная ценность и другое. 🧠 Курс про соревновательный ML, но при это авторы курса не Kaggle Grand Master'а. Это оказался самый болезненный пункт. Почему-то считается, чтоб научить людей каким-то вещам в ML, обязательно надо завоевать титул именно на Kaggle. Однако, все забывают, что для качественного и методически правильного курса только этого мало. Чтобы после каждой решенной задачи человек произносил: "Вау, а так разве можно было?!" - требуется иметь еще ряд скиллов. А скажу, что соревновательный опыт можно получить не только на Kaggle. Да, Kaggle самый популярный и мы в нем участвуем, но вне Kaggle так же проходит большое число чемпионатов, которые дают больше шансов выиграть призовые, но не дают медалей на Kaggle. Наша команда курса имеет хороший боевой опыт в решении чемпионатов. Не всегда это были топ-1, но часто в пределах топ-3 с призовыми. Лично сам, я сильно согласен с последней претензией. Систематично трачу время на решение Kaggle. Особенно хорошо это получается делать летом. Есть много времени. Однако, пока я и мои соавторы идем к титулу Мастеров, ничего не мешает нам наплодить Kaggle Expert'ов. Кто запретит нам быть примером?! Можно бесконечно рассуждать, кто имеет право учить людей, а кто нет. Однако, мы уже здесь и сейчас помогаем в большому числу ребят достижении титулов. Дело ресурсоемкое. Даже мой титул эксперта дался мне с трудом. Ушло три недели на первое серебро. И тем не менее, мой азарт от соревнований огромен. Мне и команде в кайф участвовать и проверять свои соревновательные технические скиллы, которые никогда бы не смогли отработать в рамках компании. А еще нам в кайф делиться опытом в доступной форме.

Так, прочитал все возражения. Их глобально три. 🧠 Непонятно, а про что курс и какая вообще программа? Что там и что вам это даст? И тут я осознал, что почти ничего не сказал о том, что мы вообще рассказываешь на курсе и каких целей хотим достичь!? Хорошо, в последующих постах расскажу про наше видение соревновательного ML и чему мы можем научить в рамках курса. 🧠 10 000 это большая цена за авторский курс. Про то, почему мы сделали наш курс платным и на что тратим написал в посте тут. Плата за курс дает нам большие возможности для творчества. Вычислительный сервер с большой оперативкой, мерч, качество материала, интеллектуальная ценность и другое. 🧠 Курс про соревновательный ML, но при это авторы курса не Kaggle Grand Master'а. Это оказался самый болезненный пункт. Почему-то считается, чтоб научить людей каким-то вещам в ML, обязательно надо завоевать титул именно на Kaggle. Однако, все забывают, что для качественного и методически правильного курса только этого мало. Чтобы после каждой решенной задачи человек произносил: "Вау, а так разве можно было?!" - требуется иметь еще ряд скиллов. А скажу, что соревновательный опыт можно получить не только на Kaggle. Да, Kaggle самый популярный и мы в нем участвуем, но вне Kaggle так же проходит большое число чемпионатов, которые дают больше шансов выиграть призовые, но не дают медалей на Kaggle. Наша команда курса имеет хороший боевой опыт в решении чемпионатов. Не всегда это были топ-1, но часто в пределах топ-3 с призовыми. Лично сам, я сильно согласен с последней претензией. Систематично трачу время на решение Kaggle. Особенно хорошо это получается делать летом. Есть много времени. Однако, пока я и мои соавторы идем к титулу Мастеров, ничего не мешает нам наплодить Kaggle Expert'ов. Кто запретит нам быть примером?! Можно бесконечно рассуждать, кто имеет право учить людей, а кто нет. Однако, мы уже здесь и сейчас помогаем в большому числу ребят достижении титулов. Дело ресурсоемкое. Даже мой титул эксперта дался мне с трудом. Ушло три недели на первое серебро. И тем не менее, мой азарт от соревнований огромен. Мне и команде в кайф участвовать и проверять свои соревновательные технические скиллы, которые никогда бы не смогли отработать в рамках компании. А еще нам в кайф делиться опытом в доступной форме.

Такс, вижу какое-то неодобрение по реакциям. Что не так?

Курс по соревновательному анализу данных бесплатно на лето! 🙈 Напомню, что на этот год моя преподавательско-каглерская цель - вырастить 30 Kaggle медалистов. Мои цели на год для меня не пустой звук. 👨‍💻 Для выполнения этой цели, я с несколькими авторами создали курс по соревновательному анализу данных. Курсу исполнилось 3+ месяца. Курс уже оттестирован. Проходит его уже 400+ человек. Из них 20+ дошло до сертификата, и даже есть 3 Kaggle медалиста!🥈🥈🥈🤫 🤔 Однако, нужно еще 27 медалей. Просто делиться своим соревновательным опытом круто, но еще важна практика участников. А так же нужна пнуть под зад мотивация, окружение единомышленников и вычислительные ресурсы. ✅ Все эти аспекты мы закрываем в рамках комьюнити нашего курса. Делимся боевыми соревновательным ML техниками, снабжаем вычислительными ресурсами лучших, помогаем найти мотивированных тиммейтов, периодически проводим разборы соревнований. 🥳 Так вот чтоб все-таки выполнить цель в 30 медалистов я объявляю конкурс. 🧠 Если вы сейчас купите курс и до конца лета выиграете хотя бы одну медаль на Kaggle, то мы вернем деньги. При этом, все лето я и моя команда опытных DS'ов будем вам в этом помогать - снабжать вас ресурсами, делиться знаниями, мотивировать побеждать и слушать про ваши успехи. 🙂 Покупать строго по рефералке (иначе акция не действует, так как Степик берет свою комиссию и мы не сможем вернуть ваши деньги в полном объеме).

На этом все. Все мои гештальты по Таиланду в плане постов закрыты. Смогу теперь на вопросы про Тай отправлять эти посты. Спасибо за внимание! 🍿 Заключение и планы. Это была моя вторая зима, проведенная не в России. Этой серий постов хотел привести вас к мысли, что путешествия в других странах, особенно будучи в IT очень сильно вас прокачивает. Похожее чувство, мы могли уже испытывать, когда уезжали учиться в ВУЗ, а по приезде назад в родной город, вы ощущали как ваши сверстники отстали от вас в развитии. Тут конечно есть исключения, но в целом, личностный рост ощутите. Понял лично для себя, что теперь уже не смогу спокойно проживать годами напролет в одной стране. Каждый раз, когда слышу про новую страну, где не был - я задумываюсь, а вот прикольно было бы там пару месяцев хотя бы пожить?!.