Data Science | Machinelearning [ru]

​​Мониторинг в Apache NiFi. Часть вторая В первой статье мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi. Теперь рассмотрим, как передать необходимые метрики и отчеты об ошибках и состоянии кластера во внешние системы. Читать...

​​🌃 Big Data - действительно полезный блог для всех, кто работает с данными.   - огромный набор бесплатных наборов данных  - инструменты для работы с данными - обучающие материалы для датасаентистов  - лучшие практики Машинного Обучения - перевод книг и статей 🔥 Подписаться

​​Как в Тинькофф создавали Data Catalog В чем главная задача аналитика? Думать головой и принимать решения. А правильные решения можно принять только при наличии нужных данных. Но как найти данные в большой компании? Раньше мы решали эту проблему с помощью ручного ведения документации о данных в Confluence, но с ростом объемов этот подход становился все менее эффективным. Пришло время что-то менять. Меня зовут Дмитрий Пичугин, я занимаюсь внедрением Data Governance и Data Quality в Тинькофф. Я расскажу, как мы решали проблему поиска данных. Помогать мне в этом будет Роман Митасов. Он виновен в появлении большей части бэкенда Data Detective и расскажет про технические детали проекта. Читать...

​​Как математика помогает логистике быть точнее. Опыт ПГК Цифровые алгоритмы помогают решать реальные бизнес-задачи в самых разных сферах. Логистика — не исключение. Главные инструменты логиста — вовсе не карта, линейка и калькулятор, а сложные IT-системы, которые основаны на математическом моделировании и алгоритмах искусственного интеллекта. Эксперты в этой области ориентируются в цифровых продуктах, умеют их использовать и извлекать выгоду для компании. Почему? Потому что основная задача логиста – экономия. Он критически оценивает существующие процессы и предлагает способы их оптимизации. Расскажем, как ПГК использует математический подход в бизнесе. Читать...

Олимпиада студентов "Я - Профессионал" дает возможность поступления в магистратуру и аспирантуру МФТИ. Регистрируйтесь на направления: математика, физика, искусственный интеллект и физика мегасайенс до 15 ноября 2022 г. Дипломантам - денежные призы, льготы при поступлении МФТИ и другие ведущие вузы страны, стажировки, вакансии и консультации в крупных компаниях-партнерах олимпиады. https://yandex.ru/profi

​​Если вы начинающий разработчик, дата-инженер или выпускник смежных специальностей, а ещё хотите расти и инвестируете в своё дальнейшее развитие, вам подойдет новый курс Яндекс Практикума «‎Инженер машинного обучения». https://practicum.yandex.ru/promo/ml-engineer За 4 месяца вы научитесь: • Переводить бизнес-задачу на язык машинного обучения и применять алгоритмы и архитектуры ML-решений. • Выявлять источники качественных данных, выбирать эффективные способы их разметки и работать с большими данными. • Разрабатывать код моделей и готовить к использованию в продакшн под большой нагрузкой. • Развёртывать ML-модели в облаке, поддерживать качество работы модели на меняющихся данных. К концу курса вы разработаете 3 полноценных сервиса: • Рекомендательную систему для товаров на маркетплейсе. • Научитесь предсказывать отток клиентов в банковском секторе. • Сформируете сегменты для продвижения маркетинговых активностей, смоделировав uplift для пользователей телеком оператора. Приходите учиться, не обещаем, что будет легко, но наша команда всегда поддержит вас в трудную минуту. А еще 77% наших выпускников находят новую работу и большинство из них в течение 4-х месяцев.

​​Автоматический подбор параметров для Spark-приложений В этой автор рассказывает о том, как они научились автоматически подбирать параметры для Spark-приложений на основе логов. Читать...

​​Что учесть при разработке интеграций информационных систем Невозможно представить современную информационную систему (далее – ИС), которая бы стояла особняком, и не была бы интегрирована с другими. Особенно, если мы говорим о корпоративных или государственных данных. Вопросу интеграций посвящены целые книги, такие как «Шаблоны интеграции корпоративных приложений» Грегора Хопа. Некоторые издания пытаются рассматривать не только технические, но и организационные вопросы интеграции (например, «Предметно-ориентированное проектирование (DDD)» Эрика Эванса). Между тем, современный уровень технологий и высокий уровень компетентности разработчиков очень сильно снижает технические риски, выставляя на первый план организационные. В этой статье мы рассмотрим интеграции информационных систем именно с точки зрения организационных рисков.  Читать...

​​Как стать ML-инженером и развиваться дальше? Для того, чтобы решать прикладные задачи, мало умения создать модель в своём ноутбуке. Важно управлять её жизненным циклом. Эксперты расскажут: -Какие задачи для ML-инженеров существуют на рынке -Как внедрять модель и работать с ней дальше -Как новый курс Практикума «Инженер машинного обучения» помогает сделать следующий шаг в области ML Ждём вас 31 октября в 19:00 по Москве. Будет много полезного! Ссылка для регистрации.

​​Отдай ребёнка дьяволу или купи мне пиво: вот, чем вы рискуете, когда используете свободное ПО Возможно, вам всё-таки придётся заплатить за свободное ПО. Но не деньгами: показываем примеры абсурдных требований в лицензиях программ с открытым исходным кодом. Читать...

​​Realtime-матчинг: находим матчи за считанные минуты вместо 24 часов Задача матчинга в последнее время набирает всё большую популярность и используется во многих сферах: банки матчат транзакции, маркетплейсы – товары, а Google и другие IT-гиганты проводят соревнования по решению таких задач на Kaggle. Читать...

Занимаетесь кодингом, разрабатываете и оптимизируете проекты, интересуетесь грамотными подходами их проектирования? Тогда вам к нам!      На Just code IT вы узнаете много крутого из мира программирования😏      — Обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов;   — Посты про качество кода и системное программирование;   — Дайджесты в сфере прикладного IT и научно-популярные статьи.      Ловите несколько горячих постов про архитектуру и механизмы работы проектов:      ● ОС для OISC-процессоров;   ● Первое знакомство с языком ассемблера;   ● Поддержка микроядер в железе;   ● Хардкорные инструменты для WEB-разработки.      Переходите по ссылке, чтобы не пропустить ни одного полезного материала🔥

​​9 продуктов для создания дашбордов Семь Open Source и два low-code-продукта для визуализации BI-аналитики от AFFINAGE Для решение клиентских задач мы постоянно ищем способы сделать лучше. И очень часто сделать лучше значит сменить продукт. Поэтому мы постоянно анализируем рынок различных nocode-решений. Мы решили поделиться накопленными знаниями о такой важной задаче как построение аналитических дашбордов. Читать...

​​На этой схеме приведены все актуальные технологии в 2022 году.  Сможете ли вы объяснить хотя бы половину названий?  Есть всё понятно — то вам нечего переживать за своё будущее в любой точке мира. Если же больше трех терминов для вас непонятно — это повод немедленно начать восполнять пробелы. В помощь вам канал CDO2day, где в сжатой и доступной форме собраны знания про цифровизацию. Просто подпишитесь, и у вас всегда под рукой будет источник информации об актуальных технологических трендах.

​​Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур EDW Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений. Читать...

​​Geointellect.Urban — индекс комфортности по кварталам Автор работает аналитиком в компании “Центр пространственных исследований” и в этой статье он рассказывает об одном из инструментов, который они используют при оценке удобства проживания в городе. Читать...

​​Найти работу программистом можно 2 методами: Первый. Бесконечно скроллить HeadHunter и пытаться что-то выклевать на LinkedIn. Офигеть от условий и закрыть. Второй. Подписаться на Python Job. Это база адекватных предложений, где даже для новичков много мест с хорошей з/п. Тут найдете работу как в Яндексе (именно сюда крупняки присылают вакансии напрямую), так и в молодых стартапах! В общем, не теряйте времени и находите работу в 2 клика: @job_python 🔥 Подписаться - https://t.me/+Ep5Q9UZDEjdlNTAy

​​Увлекаетесь Data Science? Рассказываем, как войти в IT за 3 месяца бесплатно, без регистрации и SMS, и найти работу мечты в финтехе. У Alfa Campus, образовательных курсов от Альфа-Банка, стартует новый набор: получите шанс попасть на факультеты тестирования, мобильной разработки для iOS и Аndroid, JavaScript, системной аналитики, low-code платформы Pega, микросервисной архитектуры, а также IT-рекрутмента. Подписка на Alfa Campus — это самый быстрый способ узнать о наборе и попасть на собеседование раньше других. А ещё тут вас ждёт атмосфера студенческого кампуса: разговоры об учёбе и преподах, интервью, новости и анонсы, розыгрыши мерча, шутки после пар. Полезная информация для будущих студентов уже ждёт вас в канале, вступайте 🙌

​​Линейный прогноз в Tableau. Терапевтический очерк Линейный прогноз. Такой простой, понятный и востребованный, практически, в любой коммерческой отрасли. Казалось бы, посчитать его можно где угодно без особого труда. Но у Tableau на этот счет есть иное мнение... Читать...

​​Мечтаешь стать дата саентистом, но математика рушит все планы?  Именно для тебя мы делаем скидку на один из наших наиболее популярных онлайн-курсов, в котором есть вся необходимая база — Математика для Data Science. Скидка 50% действует до 31 сентября. 💥Что тебя ждёт на курсе?  -Программа разработанная преподавателями ВМК МГУ, одного из лучших математических факультетов страны -Поддержка от предподавателя 24/7 -Полный набор знаний математики для старта в Data Science -Интересные и полезные практические задания -Ты научишься понимать специальную терминологию и сможешь читать статьи по Data Science без «словаря» К концу обучения ты освоишь математический аппарат, который необходим, для того чтобы стать специалистом в Data Science 👉🏻 Подробнее о курсе: https://proglib.io/w/9c8895be