EasyData

Всем привет! Февраль вступил в свои права, а это значит, что пора составить новый список мероприятий на ближайший месяц🕺 Кроме конференций также начинаются наборы на новые потоки открытых курсов🙃 🌱 6 февраля в 19:00 пройдёт день открытых дверей Академии Data Science от Тинькофф.Формат участия: онлайн и офлайн В Москве. Регистрация: по ссылке. 🌱 До 10 февраля можно записаться на новый поток Deep Learning School. В весеннем семестре можно пройти курс по CV или по NLP. Регистрация: по ссылке. Формат участия: онлайн и офлайн В Москве. 🌱 15 февраля состоится митап по Greenplum от Яндекса. На нём расскажут об эффективных приёмах разработки и управления этой СУБД. Формат участия: онлайн и офлайн в Москве. Регистрация: по ссылке. 🌱 17 февраля запланирован Субботник по инфраструктуре, тоже от Яндекса. Формат участия: онлайн и офлайн в Москве. Регистрация: по ссылке. 🌱 20 февраля в 18:00 начнётся празднование Дня Рождения Python в Сбере. Формат участия: офлайн в Москве (((шанс побывать в их красивом офисе))) Регистрация: по ссылке. 🌱 6-7 марта пройдёт международная конференция OpenTalks.AI. This is an international independent Open conference on Artificial intelligence:) Формат участия: офлайн в Тбилиси, онлайн-трансляция, думается, тоже будет. Регистрация: here. 🌱 16-17 марта пройдёт IT Purple Conf, организованная МФТИ. Планируются интересные научные доклады, про индустриальный IT, soft skills и трудоустройство. Формат участия: онлайн и офлайн В Москве. Регистрация: по ссылке. Хорошего дня!🌺

Доброго вечера всем любителям Jupyter-ноутбуков и не только! Приходилось ли вам писать отдельный py-модуль, а функциями из него пользоваться в ноутбуке? Проблема в том, что при каждом обновлении py-файла, чтобы оно активировалось внутри Jupyter-ноутбука, необходимо перезагружать ядро☄️ Это не только трата времени, но и потеря всех локальных переменных текущей сессии:( Эту проблему исправит метод importlib из библиотеки reload🌟Предположим, наш модуль называется my_module, тогда нам понадобится следующий код: from importlib import reload import my_module my_module = reload(my_module) Запустив эти строки после обновления файла с модулем, все последние изменения станут доступны в Jupyter-ноутбуке😊 Хорошего вечера!🌆

Доброго вечера, друзья! Отгремели новогодние праздники, и, возможно, для некоторых это повод найти новую работу🤑 В дополнение к предыдущим постам со ссылками на каналы и чаты с вакансиями, держите новую подборку: 🏅t.me/odsjobs - возрождение чата с вакансиями от ОДС в телеграмм 🏅 t.me/datasciencejobs - большой канал с вакансияи по всем data-профессиям 🏅 t.me/phystechcareerchannel - канал, рождённый в МФТИ 🏅 t.me/vacancy_cs - канал, рождённый в ВШЭ 🏅t.me/sberlogajobs2 - канал, рождённый в Сбере 🏅t.me/not_boring_ds_jobs - канал, рождённый в Альфа-банке А где вы ищете работу? Делитесь в комментариях😊 Успехов в поисках и интересных задач!🖖

Добрый вечер, друзья! Бывало такое, что запустили цикл, а он никак не завершается и когда закончится непонятно? Или применяете функцию, и ячейка зависает на неопределённый срок? Не очень здорово, когда код превращается в "чёрный ящик" с неизвестным временем выполнения☹️ К счастью, эту проблему можно решить при помощи библиотеки tqdm🔮 Вот несколько примеров её самых полезных возможностей: ➡️ for i in tqdm(range(1000)): Если итерируемый объект в цикле for обернуть в tqdm, мы увидим прогресс-бар, который покажет продвижение по итерациям цикла и оставшееся время выполнения. ➡️ df['col'_1] = df['col'].progress_apply(func_1) При работе с pandas-датафреймами обычный apply можно заменить на progress_apply, тогда также будет показываться прогресс-бар. Это бывает полезно при больших размерах датасета. ➡️ df['col_2'] = process_map( func_2, df['col'], max_workers=8, chunksize=64, desc='Description', colour='green' ) А это "прогрессивный" аналог map, только здесь ещё можно распараллелить процесс при помощи аргументов max_workers и chunksize + везде можно добавлять подпись для прогресс-бара и его цвет💚 Ещё больше интересных приёмов можно узнать из официальной документации🦋 Хорошего вечера и быстрого кода!⚡

Наверное, многие слышали выражение в духе "модель в вакууме бесполезна". Имеется в виду, что как бы ни была хорошо обучена модель, пока её не внедрят "в production", обычный пользователь не сможет ею воспользоваться - а значит, и никакого смысла в её создании пока нет🥲 В этот момент может показаться, что обязательно должна найтись какая-то компания, которая возьмёт вашу модель и начнёт её использовать на реальных пользователях. Но вообще говоря, это не совсем так😉 Под выражением "этап вывода в production" (особенно в учебной практике) подразумевается просто обёртка в какое-нибудь простое приложение, развёрнутое на локальном сервере (т.е. на вашем компьютере). Пример можно увидеть на скрине - это полноценная веб-страница, на которой можно интерактивно получить предсказание вида ириса по его характеристикам (да-да, это модель, обученная на датасете iris.csv🌸).  Смысл такой "локальной" демонстрации в том, что можно как минимум наглядно показать людям, далёким от программирования (например, это могут быть те же заказчики ваших ml-решений на работе) возможности и принцип работы модели. А если ещё заморочиться с дизайном покрасивее и развернуть приложение на удалённом сервере (это, кстати, можно сделать бесплатно, но, как правило, с ограниченным числом запросов к нему) - то получится настоящая демо-версия проекта👑 Такую вещь, на самом деле, легко реализовать при помощи библиотеки Flask на Python буквально в 20 строчек кода, ловите шаблон этого мини-проекта в архиве☄️ 🚀 запускать из папки flask_example командой python app.py 🚀 после этого приложение запустится и будет доступно по локальному адресу http://localhost:5000 - можно открыть его в браузере и протестировать 🚀 в файле index.html хранится html-шаблон веб-страницы: по надписям, которые мы видим на ней в браузере, можно определить, какие места в коде за них отвечают, и изменить их:) Из альтернативных способов «вывода в production», которые можно реализовать в домашних условиях - телеграмм-бот или приложение streamlit, про них расскажем в следующих выпусках🤗

С завершением первого (официального) рабочего дня в этом году!👨‍💻 Сегодня снова поговорим про данные, а точнее про инструменты для их разметки😎 В прошлом посте обсуждали сайты-источники, на которых можно найти датасеты для разных задач. Но что, если необходимо обучить модель для более узконаправленной и конкретной цели? Например, создать чат-бота для определённого магазина, который будет консультировать по ограниченному списку товаров; или обучить модель детекции, которая будет определять, что ваша собака несанкционированно залезла на диван😅 Тогда встаёт вопрос о необходимости самостоятельного сбора нужных данных, а вместе с ним и их разметки. И на этот случай есть множество инструментов, которые помогают удобно размечать и текст, и картинки: 👣 labelImg - это простой "разметчик" для задач детекции в CV, при помощи него можно маркировать объекты на изображениях в bounding box. Размеченные данные экспортируются файлами в XML-формате. 👣 labelme - этот онлайн-инструмент тоже для изображений и поддерживает 6 типов аннотаций: многоугольники, прямоугольники, круги, линии, точки и линейные полосы. 👣 supervisely - продвинутая веб-платформа для аннотирования изображений и видео со своим комьюнити. 👣 bella - а этот фреймворк позволяет быстро обрабатывать текстовые данные. А вообще, сервисов для разметки данных сейчас уже довольно много: например, Сбер создал платформу, через которую любой желающий может зарабатывать на разметке😁 А какими инструментами пользуетесь вы?👀

С Наступившим, друзья! Надеюсь, все уже доели новогодние салаты😜 А я к вам с традиционным анонсом ML-ных мероприятий на январь👣  Похоже, что месяц будет полупраздничным: никаких серьёзных конференций не запланировано🙃 Зато будет кое-что поинтереснее... 🦜 13 января 2024 года состоится Data Ёлка от ODS с подведением итогов 2023 года по всем направлениям: RecSys, NLP, CV, в медицине, производстве и т.д... ❄️ Время: 13.01.2024 с 11:00 до 19:00 по мск времени. ❄️ Формат участия: до 16:00 только онлайн, после чего митап будет дублироваться и в офлайн части - она перейдёт в мероприятие "Data Ёлка в гостях у МТС" и пройдёт в Москве в офисе МТС Банка на проспекте Андропова 18к1. ❄️ Регистрация и программа: тык. 🏦 22 января 2024 года запланирован IT-каток от Тинькофф. Кроме обычного катания на коньках можно послушать различные доклады, поиграть в хоккей и кёрлинг, пройти квесты и покушать😜 ❄️ Время: 22.01.2024 с 18:00 до 22:00 по мск времени. ❄️ Формат участия: офлайн части в Москве в парке Горького (в онлайне, возможно, будет организована трансляция выступлений). ❄️ Регистрация и программа: тык. На этом пока всё:) Хороших выходных!

Друзья, всем привет! Конец года для многих напряжённое время, нужно успеть сделать все дела и закрыть задачи💻 Но Новый Год и каникулы уже совсем близко!🌟 Если вдруг станет скучно, держите интересную идею для подарка досуга - навыки Алисы📱 Что это такое? С точки зрения пользователя, навык — это приложение для Алисы, в которое можно перейти через каталог, подсказку в Алисе или назвав определенную активационную фразу. Такое приложение может выполять абсолютно любую функцию, вот несколько наглядных примеров: - помощник в изучении английского - включение подсветки в колонке Алисы - 7-минутная тренировка - помощник одного банка для оплаты счетов - игра по изучению айтишного сленга Вообще, примеров и идей в каталоге довольно много (сейчас более 4000 навыков), но если вам захочется создать что-то своё - будь то игра или помощник для бизнеса - это очень просто релизовать самостоятельно😊 Любой пользователь может разработать абсолютно любой навык Алисы, используя, например, питон и особые схемы обработки запросов. Сперва нужно продумать сценарий диалога, а затем оформить его в интенты - это задачи, которые пользователь формулирует в конкретной реплике. Интенты необходимо заполнять по форме, подобной словарям. После этого можно бесплатно задеплоить навык в Яндекс-облако. Подробнее все детали, инструкцию и примеры можете найти в официальной документации. Или если лень читать, можно узнать ключевые моменты из их мини-курса😉 С наступающим Новым Годом!!!🎄🎅🎁

Поздравляю всех программистов! Нейросети добрались и до нас 🚀 Наверняка, многие уже пробовали попросить ChatGPT написать какой-то код? Мне он выдавал действительно рабочие варианты далеко не всегда:) Теперь есть полноценная онлайн-среда разработки Replit (правда, она была ей и до этого), но недавно в неё добавилась функция "Code with AI" - генерация кода по запросу. От обычного ChatGPT она отличается тем, что эта модель обучена конкретно под кодинг - соответственно, работает она гораздо лучше (смогла решить задачу с leetcode medium верно с первой попытки✨) Так что, у StackOverflow появился конкурент🙃 Инструкцию по первому запуску как всегда держите в pdf🤖 Приятной работы🤗