Data Science | Machinelearning [ru]

Яндекс ищет backend разработчиков в команды Поиска, рекламных и облачных сервисов, Маркета и Яндекс Go. Если вы пишете на С++/Java/Python/C#/Go/Kotlin/Scala, то у вас есть возможность присоединиться к команде за выходные 🔥 Weekend Offer пройдет 13-14 ноября. Чтобы получить предложение нужно: - подать заявку - решить несколько задач до 7 ноября - пройти 2 секции с кодом 13 ноября - пройти часовые финалы с командами сервисов 14 ноября Интересно? Пора регистрироваться по ссылке.

​​Как с белкой и ИИ мы экономим ресурсы при обогащении руды В последнее время у нас на СГОКе (это Стойленский горно-обогатительный комбинат) можно услышать фразы типа: «А что тебе белка сегодня советовала?» Со стороны странновато, но объясняется просто: мы запустили систему с ИИ, которая рекомендует операторам оптимальные настройки оборудования при любом из тысяч возможных сочетаний технологических параметров (все это для получения максимальной производительности обогатительной секции). Официальное название системы очень длинное, а неформально мы зовем ее «Белка» — по аналогии с названием компании, которая помогала нам в разработке, хотя многие сотрудники уверены, что название происходит от пушистого грызуна, которому, теоретически, может и руда по зубам. Читать...

​​​​Умение анализировать данные полезно всем    Мы каждый день сталкиваемся с большим количеством данных и важно уметь делать правильные выводы на их основе. Для этого не обязательно разбираться с языками программирования. Для задач, не посильных Excel существуют специализированные решения — платформы продвинутой аналитики.    Loginom — low-code платформа позволяющая решать задачи интеграции, очистки, подготовки данных, моделирования, визуализации без программирования. Loginom позволяет бизнес-пользователям самостоятельно решать большинство востребованных задач: автоматизация принятия решений, кредитный скоринг, противодействие мошенничеству, прогнозирование спроса, прогнозирование оттока клиентов, очистка и дедупликация данных, кросс-продажи, сегментация клиентов...    Практические кейсы применения аналитики данных в бизнесе можно будет увидеть на ежегодной конференции по продвинутой аналитике Loginom Days, которая пройдет с 19 по 21 октября в онлайн-формате.   Представители бизнеса поделятся реальными кейсами трансформации бизнеса:    * Process Mining — глубинный анализ и оптимизация бизнес-процессов  * Системы поддержки принятия решений в процессы кредитования  * Снижение оттока клиентов и увеличение LTV с помощью Machine Learning  * Цифровой советчик дуговой плавильной печи — предсказание поломок и выдача рекомендаций    Участие бесплатное, регистрация по ссылке https://day.loginom.ru/

​​Построение модели оттока сотрудников для разработки стратегии удержания Увольнение сотрудников дорого обходится компаниям. Стоимость замены ушедшего сотрудника зачастую очень высока. Исследования Центра Американского прогресса говорят, что компании обычно тратят около одной пятой части годовой зарплаты сотрудника, чтобы найти ему замену. И траты эти могут изрядно возрасти, если требуется замена для руководящего или высокооплачиваемого сотрудника. Затраты приходятся на проведение интервью в процессе поиска замены, бонусы на входе, и потерю производительности работы в течение первых месяцев, пока сотрудник входит в новую роль. Понимание когда и почему сотрудники более всего склонны к уходу из компании поможет качественнее их удерживать, или хотя бы заранее планировать работы по поиску новых сотрудников. Читать...

​Нам нужны не дата-саентисты, а дата-инженеры Данные. Они повсюду и их становится только больше. За последние 5-10 лет data science привлекла множество новичков, пытающихся ощутить вкус этого запретного плода. Но как сегодня выглядит ситуация с наймом в data science? Читать...

​​Построение и отбор признаков. Часть 1: feature engineering Машинное обучение – это не просто подбор правильных параметров для модели. Рабочие процессы ML зависят от построения и отбора признаков. В сообществах специалистов по Data Science эти понятия ошибочно отождествляют. Разберемся, для чего нам нужны признаки, а также изучим особенности реализации техники feature engineering. Читать...

​Найти инсайт для бизнеса в массиве данных — как отыскать иголку в стоге сена. Data Science-специалисты востребованы везде: от медицины до ритейла. На обзорном курсе «Старт в аналитике» в Нетологии вы получите базовые навыки Data Science и построите план дальнейшего развития. За 9 занятий успеете влюбиться в аналитику и познакомиться с 6 основными инструментами, пощупаете код и активируете data-driven мышление. Сделайте первый шаг к большим возможностям ↓ https://netolo.gy/g61

​​Успеть за 12 минут: как мы научились прогнозировать время доставки товаров из Утконос ОНЛАЙН В этой статье рассказывается о том как рассчитывается время обслуживания клиента, почему в этом больше помогают данные GPS-координат автомобилей, а не отметки о прибытии на точку, и какая математическая модель была построена, чтобы оптимизировать работу курьеров. Читать...

​​Почему мы создаем инфраструктуру машинного обучения в Go, а не в Python Ни для кого не секрет, что Python является наиболее востребованным языком для проектирования машинного обучения. В то время как R, C++ и Julia имеют своих приверженцев и отдельные случаи применения, Python остается максимально универсальным языком, используемым в каждом фреймворке, посвященном машинному обучению. Наша же кодовая база на Cortex — открытой платформе для внедрения моделей машинного обучения в качестве API на 87,5% написана на Go. Читать...

​​5 применений ИИ, в которых он конкурирует с человеком С момента появления искусственного интеллекта прошло почти 70 лет. За эти годы он превратился в доступный рабочий инструмент, которым могут воспользоваться для своих целей даже школьники. Мы сталкиваемся с ИИ буквально на каждом шагу, произнося «окей, гугл» или «слушай, Алиса!», общаясь с чат-ботами банков и получая «письма счастья» со штрафами за нарушение ПДД. И всё чаще раздаются голоса, говорящие, что в скором времени более быстрый и сообразительный, чем человек, ИИ заменит людей, которые останутся без работы и без средств к существованию. Не заменит. Но вот пять сфер, в которых ИИ может серьёзно потеснить людей, — разберёмся, стоит ли нам опасаться конкуренции с «бездушной железякой». Читать...

​​Чем рука робота лучше вашей, или Автоматизация контроля качества на производстве Закройте глаза и представьте себя в цехах большого завода. Пусть это будет производство вакцин в ампулах. А вы, как и еще 70 человек, заняты тем, что целыми днями просматриваете ампулы, чтобы отобрать дефектные. И так весь день… Сколько ампул с малейшими отклонениями от нормы вы бы не заметили? Задачу усложняет то, что дефектом считается не только неправильная запайка, но и едва заметная точка на дне ампулы. Можете ли вы быть на 100% уверены, что не пропустили ни одного дефекта? Статья

​​Как классифицировать данные без разметки Пользователи iFunny ежедневно загружают в приложение около 100 000 единиц контента, среди которого не только мемы, но и расизм, насилие, порнография и другие недопустимые вещи. Статья

​​process mining: 100 строк кода и генератор логов у нас в руках Продакт-менеджерам посвящается... Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему. статья

​​Как мы улучшали процесс загрузки товаров на AliExpress.ru: машинное обучение, проблемы и решения Статья

​Фронтам на заметку: весь код уже написан. Чтобы быть спецом, не нужно изобретать велосипед. Просто берёте готовый код, редачите под себя и вуаля – он работает. А где брать такие заготовки? На канале Frontender’s notes. Внутри полезные фичи для работы с кодом, готовые подборки кода с описанием и статьи-советы, которые сэкономят часы нервов каждому фронтендщику. Вы знаете, что делать - Frontender’s notes

3 Крутых языка для Big Data Python Да, 39% набрал один из самых крутых языков программирования, который совсем не случайно оказался популярен и среди людей, работающих с обработкой больших потоков данных. В некотором роде это компромисс между изощренностью R и лёгкостью, которую дарит язык Python. Его популярность обосновывается как раз отсутствием необходимости применения идеальных алгоритмов в угоду возможности включать в работу группу программистов, не имеющих специальных навыков. Если вы хотите начать изучать этот язык, рекомендуем пройти наш онлайн-интесив по питону. Julia Язык, который возник совсем недавно, но уже попал на радары всех специалистов Big Data. Он прост и масштабируем, как Python, при этом эффективен, как R. Пока язык Julia молод, ему не хватает мелких доработок, библиотек и элементарной человеческой поддержки, но сомнений в его безоблачном будущем практически нет. Scala Если вы никогда ранее не слышали об этом языке, то можете просто ознакомиться со статистическими данными ,чтобы понять насколько успешен сегодня и насколько перспективен завтра будет Scala. Java-подобный язык может быть развёрнут под веб и платформу Android. Но главное его преимущество заключается в удобстве и гибкости, которые не дадут вам многие другие языки из Big Data. Twitter, Siemens и LinkedIn подтверждают.

​​🤖 Практическое руководство по NLP: изучаем классификацию текстов с помощью библиотеки fastText Рассматриваем практическое применение supervised NLP модели fastText для обнаружения сарказма в новостных заголовках. Статья

​Европейская компания DataWorkshop не так давно запустила свой канал, в котором делится последними событиями из мира Machine Learning. DataWorkshop регулярно запускает различные образовательные программы по ML, на которых обучилось уже более 10 000 участников из разных стран. Если вы искали, где можно получить практику в ML на реальных данных, без воды и где сложные вещи объясняются простым языком - вам точно к ним. Тем более, что в эти выходные они запускают бесплатный (для первой 1000 записавшихся) интенсив по прогнозированию цен на автомобили с помощью ML. Поспешите! Подробности по ссылке в их канале.

​​Как принципы ResponsibleAI помогают ML-моделям работать по максимуму? С помощью ML-моделей сегодня выдают кредиты, регулируют движение на дорогах, определяют цены на товары и многое другое. Однако, процесс их разработки и вывода в продуктивную среду сложен и полон подводных камней. Очень часто качество прогноза, основанного на реальных данных, не соответствует ожиданиям пользователей. Статья