Data Science | Machinelearning [ru]

​​Решение задачи определения границ предложений В последнее время в Data Science сообществе фокус исследований сместился в сторону качества данных. Если еще пару лет назад большинство специалистов утверждали, что при использовании подходящих алгоритмов проблему можно решить достаточно хорошо, то сейчас большое внимание уделяют оценке качества данных. Читать...

​​​🤖 Data Science - Новая нефть 2022 года!  В канале Data Now вы найдёте очищенную от воды информацию по Data Science и Machine Learning. Множество шпаргалок, интересных статей, бесплатных курсов и книг уже ждут вас на канале!  Подписывайтесь, пригодится: @data_now

​​Все, что нужно знать об ALBERT, RoBERTa и DistilBERT Обзор различий и сходств различных трансформеров BERT из библиотеки Hugging Face и как их использовать. 👉 Читать перевод... 👉 Читать оригинал...

​​Применять чистый AI также опасно, как и чистый спирт Банки и предсказания. Рассмотрим самую простую задачу предсказания поведения, проще некуда, но весьма распространенную и пользующуюся повышенным спросов в некоторых кругах. Это задача скоринга в банке. Получить массив параметров, вектор, матрица, куб - это уже на вкус разработчиков, обработать и выдать вероятность возврата средств, если они будут выданы тому, кого описал массив информации. Читать далее...

​​Feature Engineering или стероиды для ML моделей Часто при построении ML моделей мало просто взять сильную модель. Оказывается, иногда грамотная предобработка данных существенно важнее. Сегодня речь пойдёт про feature engineering. Рассмотрим несколько кейсов на эту тему более подробно. Данные будут упрощённые, но обещаю, от этого примеры не станут менее интересными 😉. Читать...

​​11 августа состоится Alfa Data Science MeetUp в стиле кибер-футуризма📟 Если вы в Москве 👉 регистрируйтесь на сайте и приезжайте в офис Альфа-Банка по адресу: проспект Андропова 18, корп. 6 или подключайтесь к онлайн трансляции!  Темы и спикеры: 🖲 Развитие клиентской базы: моделирование LTV и прогноз будущих доходов - Сергей Королёв, Middle Data Scientist Альфа-Банк 🖲 Uplift-моделирование в ценообразовании кредитных продуктов - Максим Коматовский, Junior Data Scientist Альфа-Банк 🖲 Совершенный код расчёт - Максим Cтаценко, Team Lead/Senior DWH Developer в Яндекс 🖲 Побеждаем смещение распределения в задаче нейросетевого кредитного скоринга - Алексей Фирстов, Senior Data Scientist Альфа-Банк Мероприятие пройдет в необычном формате. У вас будет время вспомнить «Бегущего по лезвию» или «Cyberpunk 2077», вдохновиться, поучаствовать в конкурсе и получить призы за креативность 🕶 Регистрируйтесь на сайте, приходите в гости, будет интересно!

​​Почему ваш pandas работает в 3000 раз медленнее? На простом примере разберу несколько методов pandas, которые, к слову, известны почти всем уверенным аналитикам, и сравним их скорость работы. Кроме того, разберу причины большой разницы в скорости. Зная, как работают методы pandas, работа с ними может открыться с другой стороны. Читать...

​​Снижаем размерность. Факторный анализ и метод главных компонент Факторный анализ – многомерный метод, который применяется для изучения связей между переменными, когда существует предположение об избыточности исходных данных. Вращение Varimax в ходе факторного анализа способствует нахождению наилучшего подпространства признаков. Метод главных компонент – метод статистического анализа, позволяющих снизить размерность пространства признаков и потерять при этом минимальное количество информации. Достигается это за счёт построения подпространства признаков меньшей размерности таким образом, чтобы дисперсия, распределённая по получаемым осям, была максимальна. Читать...

​​Всем привет!  Продолжается набор на бесплатное обучение в Академии больших данных MADE.  Мы полностью обновили программу. Теперь за один год вы сможете получить базовые знания и опыт в области больших данных. Основной упор сделан на практическую часть — во время обучения вы дважды пройдете полный цикл реализации DS- и ML- продуктов.  Регистрация открыта до 6 августа: https://vk.cc/ceWkU7

Как мы в Brand Analytics разработали Детектор сбоев и как вы можете помочь его улучшить Мы тут решили выйти из тени, на этот раз по-настоящему, технически, без маркетинговых текстов. А раз без маркетинга, то почитать про сам Brand Analytics можно на сайте или очень кратко под катом. Меня зовут Островский Григорий, я CTO Brand Analytics. Сегодня расскажу, как за 4 недели мы запускали Детектор сбоев взамен ушедшему из рунета Downdetector: на какие задачки напоролись, как с ними боролись и как пришла идея — дать возможность сообществу улучшить определение сбоев на больших данных в нашем первом контесте. Читать...

​​Хотите попробовать силы в Data Science? Пройдите бесплатный онлайн-интенсив по обработке и анализу данных с 4 по 6 августа. Начало прямых трансляций — в 21:00 по московскому времени.  Записывайтесь: 👉 https://clc.to/yRytBA Кому полезен интенсив: 📌 Интересующимся новичкам. Узнаете, с чем сталкиваются в работе специалисты по данным. Решите несколько реальных задач и оцените, интересна ли вам эта профессия. 📌 Начинающим специалистам. Научитесь применять Python для построения статистических моделей. Поработаете с библиотеками Pandas и Matplotlib. Разберёте несколько практических заданий и повысите свой уровень. 💬 Спикер интенсива — Михаил Овчинников, главный методист технического направления Skillbox. Разрабатывает ПО последние 17 лет. Докладчик крупнейших IT-конференций России. Специалист в области разработки высоконагруженных систем, обработки больших данных и машинного обучения. 🎁 Участвуйте, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox. Присоединяйтесь!

​​Поиск объектов на видео с помощью Python В данной статье хочу рассказать про поиск объектов на видео с помощью Python и OpenCV. Помимо обычных видео, можно использовать и камеры. Читать...

​​🚀 @machinelearning_interview - в Канале публикуются все возможные вопросы и ответы с собеседований по Машинному обучению, нейронным сетям и Глубокому обучению и науке о данных. Для всех уровней разработчиков при поддержке авторов популярного канала Machine learning.  Материалы канала реально помогут пройти data science собеседование. 👉Посмотреть

​​Хранение данных, опыт Oxygen: профессиональные СХД становятся еще более востребованными В этом посте речь пойдет о преимуществах виртуализации хранилищ NetApp, о том, что дают нам СХД Huawei, как организовано подключение пользователей к виртуальному хранилищу облака Oxygen. Также мы рассмотрим несколько примеров, когда преимущества профессиональных СХД остаются неоспоримыми. Читать...

​​Орел или решка? Основы теории вероятностей простыми словами Теория вероятностей – это раздел математики, изучающий случайные события, их свойства и действия над ними. В этой статье мы рассмотрим ее определение, основы и применение. Плюс три простых задачи с решениями. Читать...

​​​​⚡️Рассказываем про альтернативу зарубежным облакам для ML-разработки⚡️ Лавры высокотехнологичной компании манят всех. Но разговоры о BigData, AI и ML становятся тише, когда на стол ложится смета на обновление инфраструктуры. ✅Платформа ML Space станет отличным местом для первых шагов в ML-разработке для компаний с любым уровнем погружения в AI, и вот почему: 1️⃣Полный цикл работ: от импорта данных и обучения модели до эксплуатации готового AI-сервиса. 2️⃣ Для обучения моделей доступны CPU и GPU-ресурсы, что ускоряет сроки разработки и приближает момент получения выгоды от AI на несколько месяцев. 3️⃣ Оплата pay-as-you-go исключает капитальные затраты и позволяет масштабировать ресурсы. 4️⃣ Платформа аттестована по УЗ-1, входит в Единый реестр российского ПО, имеет лицензии ФСТЭК и ФСБ, так что проблем с безопасностью не будет. 🔥Ну, и главный плюс — для знакомства вложений не требуется, достаточно зарегистрироваться как юрлицо и получить грант от 5 до 180 тысяч рублей. 📍Протестировать

​​О важности датасета и о том, как сделать его лучше. Опыт нашей компании Мы подготовили 7 основных шагов, которые превратят набор картинок из гугла не просто в мощный базовый блок системы компьютерного зрения, но и основной инструмент по выявлению и устранению ошибок распознавания. Читать...

​​Курс «Английский для IT-профессий» от Яндекс Практикума Для тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде. Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков: ✋Стендапы. Подготовитесь обсуждать задачи, задавать вопросы и просить о помощи. 👨‍💻 Работа с заказчиками. Научитесь презентовать решения, говорить про баги и фичи. 📣 Митапы. Сможете понимать на слух доклады и выступать сами. 😎 Собеседования. Научитесь рассказывать про свой опыт, понимать вопросы и тактично переспрашивать. 👯 Неформальное общение с коллегами. Сможете рассказать о своих интересах, опыте, планах на будущее. 💻 Код-ревью. Сможете описать сделанное, дать обратную связь, тактично отстоять своё мнение. Запишитесь на бесплатную консультацию. Определим ваш уровень языка, расскажем про обучение и ответим на все вопросы

​​Как я перешел из нефтянки в IT за 1 год Данная статья, скорее всего, подойдет начинающим разработчикам, а также тем, кто уже добился кое-какого опыта в своей сфере, и не может решиться сменить ее. Я поделюсь моим опытом вхождения в IT, тем какие цели я для себя ставил и как преодолевал трудности, с которыми я столкнулся. А для тех, кто не любит много читать, я в конце дам несколько советов, а также приведу краткий план своего развития.  Читать...

Дата-саентист, пост для тебя. 28 июля — Tech Talks: Data Science в аналитике данных. Регистрация открыта: okko-event.timepad.ru/event/2102408 Приглашаем на митап, посвященный Data Science в аналитике данных. На примере реальных кейсов расскажем о поведении пользователей Okko, о прогнозировании временных рядов, что позволяет планировать нагрузку колл-центров. Приглашенные спикеры из «Звука» поделятся опытом использования кликстрима, а также расскажут о решении проблемы распознавания мошеннических действий пользователей. Митап пройдёт в офлайн и онлайн-формате. Количество мест в офлайне — 70, поэтому спеши зарегистрироваться.