Data Science | Machinelearning [ru]

​​Библиотека PyOD: сравниваем алгоритмы поиска выбросов Предлагаем рассмотреть несколько алгоритмов поиска выбросов, проведём первичное сравнение на различных датасетах и определим несколько наиболее оптимальных из них. Читать...

​​Хотите освоить профессию ML-инженера, но устали проходить десятки мини-курсов по машинному обучению? Ищете способ структурировать знания и закрепить их на практике? На курсе Start ML за 7 месяцев вы получите все знания и навыки, необходимые сильному ML-специалисту. Вы научитесь разрабатывать приложения на Python, обучать модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов — всё под руководством практиков из топовых компаний. К концу обучения у вас будет готовый сервис по ранжированию и выдаче релевантных постов в социальной сети, о котором вы сможете рассказать будущему работодателю. На отдельных занятиях вы разберёте типовые задачи с собеседований на Junior позицию, а наш HR обязательно поможет с трудоустройством — в течение трёх месяцев работу находят 90% наших выпускников. Переходите по ссылке и записывайтесь на курс до 10 октября — по промокоду DEVSP13 дарим скидку 10%. А ещё для всех желающих на сайте доступна бесплатная демоверсия.

​​ClearML | Туториал ClearML — это довольно мощный фреймворк, основным предназначением которого является трекинг ML-экспериментов. Для рассмотрения его возможностей построим небольшой пайплайн обучения ML-модели... Читать...

​​Сравнение FineBI и Power BI За последнее время, на рынке BI-услуг все чаще можно услышать упоминание нового игрока в лице китайской компании FanRuan. Основанная в 2006 году, она является китайским лидером в продвижении систем бизнес-анализа в массы, с 15% долей локального рынка и более чем 15 тысяч клиентами. Производитель китайского BI-решения, представляет продукт Fine BI как удобный инструмент для Self Service BI-анализа, способный стать заменой такому мировому гиганту как PowerBI, в сравнении с которым он будет сегодня рассмотрен более подробно. Мы только начали делать это сравнение, поэтому будем рады, если вы в комментариях подскажите, какие блоки и функционал продуктов нужно сравнить. Читать...

​​Прокачайте свои навыки в сфере IT и аналитики данных — примерьте роль Data Scientist! Участвуйте в бесплатном онлайн-интенсиве, который пройдёт с 6 по 8 октября. Начало — в 21:00 по московскому времени.   Записывайтесь: 👉 https://clc.to/LVpI9g. Сразу после регистрации отправим вам на почту материал по Data Science с полезными ресурсами и советами, где найти первые заказы для портфолио. За 3 дня вы научитесь: ⚡️ исследовать данные с помощью языка программирования Python; ⚡️ строить модели для реальных кейсов; ⚡️ находить аномалии в данных; ⚡️ автоматизировать решение бизнес-задач с помощью искусственного интеллекта и машинного обучения. Спикер интенсива — руководитель направления исследования данных в Сбере с семилетним опытом в программировании Анастасия Борнева. 🎉 Участвуйте, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox.  Присоединяйтесь!

​​Исследуем микроорганизмы Байкала. Открытый проект MaritimeAI и Yandex Cloud Ещё недавно подсчёт и определение разнообразных видов планктона сотрудники выполняли вручную: с помощью микроскопа, глаз и бланка, в котором отмечали наличие того или иного организма. Мы решили это автоматизировать — а заодно поделиться датасетом с сообществом на Гитхабе. В конце поста поясню, кому может быть полезен датасет, как он будет обновляться и что ещё появится в репозитории. Но давайте обо всём по порядку. Читать...

​​Решение задач из области компьютерного зрения — одно из самых популярных направлений ML-разработки. А платформа ML Space — отличный инструмент для работы дата-инженеров и дата-сайентистов. Однако для хорошей работы модели нужны качественно размеченные данные. Поэтому команда Cloud запускает бесплатный вебинар, чтобы вы узнали: ✅ как собрать и качественно разметить большие объемы данных для задач компьютерного зрения на примере датасета жестов HaGRID, который размещен в DataHub ML Space и доступен в пару кликов для обучения модели. ✅ спикеры поделятся лайфхаками по работе с краудсорсинговыми платформами и пайплайном обучения классификаторов. ✅ как можно применять датасет HaGRID: от лайков к онлайн-выступлению до управления автомобилем. Вебинар будет полезен: дата-инженерам, дата-сайентистам и всем, кто неравнодушен к машинному обучению. Регистрируйтесь на вебинар на нашем сайте

​​Как за месяц создать систему учета посещаемости на базе распознавания лиц В этом месяце наша система управления посещаемостью достигла отметки в 900 000 событий всего через год после запуска. Однако радость от сегодняшних достижений не может стереть из памяти то, как нелегко начиналась работа над этим проектом. Наша команда, состоящая всего из двух инженеров, смогла создать рабочий прототип системы управления посещаемостью менее чем за месяц и масштабировать ее до более чем 1 000 сотрудников менее чем за 3 месяца. Эта статья — история о подготовке к запуску программного продукта и технических проблемах, с которыми пришлось столкнуться при его создании. Читать...

​​Что означает идиома на английском " It's not rocket science"?

Умная прокачка сети: как используем big data в строительстве вышек ⚙️ Ежегодно МегаФон строит около 2 000 базовых станций в стране и модернизирует порядка 20 000. Новую вышку мы возводим после тщательного анализа данных. Наши специалисты: ▪️ замеряют динамику скорости и трафика мобильного интернета; ▪️ рассчитывают количество абонентов и конфигурацию сети; ▪️ оценивают характер местности, её рельеф и тип застройки; ▪️ анализируют, какая инфраструктура есть в локации. Дальше большие данные (big data) обрабатывают с помощью сервиса Smart Capex. Он способен проанализировать данные и порекомендовать оптимальное решение для усиления сети. 📍Чтобы разгрузить сеть Через сервис прогнозируем изменение скорости и других технических показателей до и после модернизации. Так мы выбираем наиболее подходящее техническое решение в отдельной геоточке или регионе. 📍Чтобы построить новую БС Если после анализа данных система понимает, что только модернизации будет недостаточно, то автоматически запускается поиск новой локаций для строительства базовой станции. 📍Что дальше? На основе данных, которые собрали датасаентисты, их коллеги из планирования сети и Сборной качества решают, где именно будет построена новая базовая станция или модернизирована уже существующая. Сегодня в 40% программ стройки и модернизации участвуют модели Smart Capex.

​​Google представил нейросеть для детекции туберкулеза на радиограммах Каждый год туберкулез убивает 1,4 миллиона человек по всему миру. Google присоединился к борьбе с болезнью, разработав нейронную сеть для автоматизации обнаружения и ускорения лечения туберкулеза. Применять ее планируется в местах, где не хватает квалифицированных врачей. Читать...

​​Регистрируйся на онлайн-хакатон MORE.Tech 4.0 от ВТБ с WEB и DATA треками Тебя ждут:  🔹призовой фонд 1.100.000 руб.,  🔹практические кейсы от ВТБ, 🔹знакомства с интересными людьми и экспертами ВТБ. Треки:  🔹Трек 1 – WEB 🔹Трек 2 – DATA: Разработай профильную ленту бизнес-новостей Банк ВТБ обслуживает более 1 млн предприятий среднего и малого бизнеса.   Если нет своей команды — поможем ее собрать! Успей зарегистрироваться на сайте до 3 октября включительно Заходи в чат участников   Ждём на хакатоне MORE.Tech 4.0!

​​Ищем учеников на бесплатный интенсив по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖 Гарантия трудоустройства всем выпускникам университета! Удаленная работа из любой точки мира! Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ и СНГ, вы с легкостью напишете свой первый искусственный интеллект👨‍💻 Какие нейронные сети вы создадите? 👉Классификация марок молока 👉Классификация людей на входящих и выходящих из автобуса 👉Обнаружение возгораний 👉Оценка стоимости квартир 👉Классификация отзывов на Teslа 👉Оценка резюме соискателей 👉Прогнозирование стоимости полиметаллов 👉Сегментация изображений самолетов 👉Распознавание команд умного дома⠀ Лучше освоить навыки создания нейронных сетей вам помогут домашние задания с проверкой от кураторов.⠀ Приходите на бесплатный интенсив и напишите искусственный интеллект за 3 вечера💪 Регистрируемся тут

Всем привет!😉 На связи команда Podlodka — организатор IT-подкаста и онлайн-конференций. Приглашаем на новый сезон Podlodka Techlead Crew, который стартует уже 3 октября. Присоединяйтесь!  🕵️ В программе каждого сезона море практики и узкой экспертизы. Новый сезон с темой «Observability: monitoring, alerting, tracing» — не исключение. Всего за 5 дней конференции вы: 💰 Научитесь разрабатывать и внедрять в код SRE-подходы, изучите основы SRE и сможете внедрять их в работу команды. Дмитрий Масленников из «Тинькофф» научит методологии Google SRE, расскажет о SLO, SLA, SRE budget и о том, какие проблемы решает SRE-специалист. 👨‍💻 Узнаете больше о логировании, мониторинге, трейсинге и рассмотрите новые способы инструментировать код. Григорий Кошелев из «Контур» расскажет, какую пользу можно извлечь из распределенных трассировок, разберет очевидные и не очень сценарии их использования. В основе доклада — личный опыт. 📝 Сможете делать приложения наблюдаемыми, разберетесь, что происходит в продакшне и настроите бизнес-мониторинг под ваш продукт. Олег Федоткин из «СберМаркет» проведет воркшоп по разбору post mortem. Эксперт научит эффективно работать с post mortem и возвращать его в разработку.  Успейте купить билет на нашем сайте. С нетерпением ждем вас на борту!

​​Ты DevOps-инженер? Ты Python-разработчик? Умеешь работать с базами данных?   С 7 по 9 октября 2022 года компания IT_ONE проведет онлайн-хакатон IT_ONE DevOps CHAMPION! IT_ONE – крупный разработчик ПО, который занимается трансформацией и цифровизацией российских компаний. Не упусти свой шанс поработать с профессионалами своего дела.   Тебе предстоит решить одну из двух задач на выбор:   – Автоматизировать задачу клонирования координаторов из одной среды ClouderaHUE в другую.   – Раскатать helm чарт через qbec.   Выполни задание одного из двух кейсов хакатона и получи до 70.000 рублей!    🗓 Даты хакатона: 7–9 октября 2022 года  📌 Дедлайн регистрации: 3 октября 23:59  👉 Регистрация и подробности: https://www.zavodit.ru/ru/calendar/event/19   На хакатоне тебя ждет:   📌 Призовой фонд – 200.000 рублей  📌 Стильный мерч 📌 Новые знакомства  📌 Мастер-классы и обратная связь от топовых экспертов

​​Подготовка датасета для машинного обучения: 10 базовых способов совершенствования данных У Колумбийского университета есть хорошая история о плохих данных. Проект в сфере здравоохранения был нацелен на снижение затрат на лечение пациентов с пневмонией. В нём использовалось машинное обучение (machine learning, ML) для автоматической сортировки записей пациентов, чтобы выбрать тех, у кого опасность смертельного исхода минимальна (они могут принимать антибиотики дома), и тех, у кого опасность смертельного исхода высока (их нужно лечить в больнице). Команда разработчиков использовала исторические данные из клиник, а алгоритм был точным. Читать...

​​Как мы строим свою платформу для аналитиков Привет, с вами снова Галина Вакулина, и в этой статье я расскажу, как мы строим платформу для аналитиков и избавляем их от ненужной работы. Цель нашей команды — сделать так, чтобы в Точке работать с данными было удобно и быстро. Чем меньше времени аналитик тратит на рутину, тем больше сил у него остаётся на исследования, придумывание новых метрик, построение дашбордов, проверку гипотез и просто захватывающее копание в данных. Читать...

​​Курс «Английский для аналитиков» от Яндекс Практикума Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков: • Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе. • Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании. • Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков. • Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли. • Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах. • Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы. Запишитесь на бесплатную консультацию. Определим ваш уровень языка, расскажем про обучение и ответим на все вопросы

​​Архитектура приложений Web 3.0 Архитектура приложений Web 3.0 (или «DApps») полностью отличается от приложений Web 2.0.  Читать...

​​Привлекаем внимание технологов (и не только «Норникеля»)! Визуализация ML-модели на «архивных» данных Идет очередной этап работы датасаентиста… обучена ML-модель, которая снизит издержки, повысит эффективность, сделает жизнь лучше, ничего не изменит, зато звучит модно. И вот настало время презентовать результаты ее работы. Если вы, как и я, работаете в промышленности, то на запланированную встречу наряду с менеджерами наверняка пригласят технологов с производства - именно они будут пользователями вашей системы, и успешность проекта может во многом зависеть от их заинтересованности и вовлеченности в совместную работу. Раз надо их заинтересовать, сделаем! Читать...