Data Science | Machinelearning [ru]

​​📝Форматы ORC и Parquet на базе HDFS В статье мы рассмотрим тему форматов ORC и Parquet, как их правильно использовать и хранить, чтобы всем было хорошо. Читать...

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии. В сообществе вы найдете:  ▫️ Новости индустрии production ML; ▫️ Полезные статьи, инструменты и технологии; ▫️ Опыт коллег и лучшие практики. Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+5mBvVOEfED42YTcy Реклама ООО «Селектел» 2Vtzqwi1EeB

​​14 сентября, 18:00  Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей. В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neoflex и Русагро рассмотрят актуальные сложности, тренды и инструменты построения production ML-систем. Темы докладов: ◽️ Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts ◽️ Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы ◽️ Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM ◽️ Оптимизация работы видеоаналитических сервисов в животноводстве с помощью Prefect В конце пройдет дискуссия «Потребности ML-рынка России», где вы получите ответы на интересующие вопросы и сможете пообщаться с экспертами в неформальной обстановке. Регистрируйтесь на офлайн-встречу в Санкт-Петербурге: https://slc.tl/wrrsp Регистрируйтесь на онлайн-трансляцию: https://slc.tl/cpn0l  Реклама ООО «Селектел» 2Vtzquqv9xt

🧑‍💻 Что прикольного (и полезного) почитать из IT? Нашли канал предпринимателя, который пилит свои проекты на Python. А потом с шутками рассказывает, как он их делал.  Канал называется LOVESYUK (https://t.me/lovesyuk). На него уже залили посты о том:  — Как написать расширение (https://t.me/lovesyuk/128) с GPT-4 для пикапа девушек на сайтах знакомств — Как сделать онлайн-игру (https://t.me/lovesyuk/141) для компании с 6.000 шуток  — Как работает нейросеть (https://t.me/lovesyuk/134) на Python, переписывающая собственный код  Подписывайтесь, у него интересно → @lovesyuk

​​🌻ML в полях. Как упростить жизнь агрономов? В этой статье мы обсудим, как ML-решения помогают формировать задания для агрономов, и почему точной модели не всегда достаточно, чтобы спланировать уборку полей. Читать...

​​👾От логики и риторики до теории множеств и матанализа. Полезные материалы по Data Science и машинному обучению В этой статье автор поделится полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Читать...

​​RSHB Data Integration Meetup: управление данными, ИИ, DS-метрики 🗓 28 сентября в 19:00 🌐Онлайн — трансляция на сайте 📍Офлайн — Москва, ул. Профсоюзная 125а В программе: ✔ Вячеслав Жуков, Aero — «Концепция Data Governance для систематизации работы с данными»  Поговорим о том, как создать стабильную систему принятия решений в компании на основе данных. ✔ Антон Агеев, РСХБ-Интех — «Управление данными как шаг к применению искусственного интеллекта» Антон расскажет о возможности внедрения практик и руководящих принципов DAMA-DMBOK2 как предпосылок к использованию ИИ в бизнес-процессах организаций.  ✔ Павел Филонов, независимый консультант — «Как оценить влияние DS-метрик на итоговые бизнес-результаты проекта» Павел покажет, как строить пирамиду метрик, чтобы сопоставить неочевидные DS-метрики с реальной экономикой. Участие бесплатное, достаточно зарегистрироваться. Реклама, ООО «Джуг Ру Групп», ИНН 7801718607, erid 2RanykqkHtU

​​📊Как сделать вашего телеграм-бота лучше? Конечно, добавить ему аналитику В этой статье мы рассмотрим как реализовать аналитику для телеграм-бота. Читать...

​​Подключайтесь к трансляции Yandex Scale 2023!   Сегодня стартует масштабная конференция Yandex Cloud. Эксперты компании и приглашенные спикеры поделятся новостями платформы, расскажут о новых сервисах для бизнеса, разберут кейсы клиентов и партнеров, а также обсудят будущее облачных технологий.     На трансляции вас ждет: 🚀 25 сентября — онлайн-открытие и секретный доклад о нашем росте и изменениях за последнее время.    🚀 26 сентября — доступ к 30+ докладам, 6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML;   📊 Кейсы клиентов и партнеров — Азбука вкуса, Skyeng и другие;   💬 Общение и нетворкинг в режиме реального времени в канале Yandex Scale.    Подключайтесь к трансляции по ссылке Реклама ООО "Яндекс.Облако" ИНН 7704458262

​​⚡️Azure Data Factory + Databricks. Миграция сценариев инициализации в Databricks из DBFS в Workspace 2023/2024 В этой статье поговорим о том, как сделать простой процесс загрузки данных с помощью Microsoft Azure Data Factory и Databricks в 2023/2024 году. Читать...

​​🧠Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов В этой статье я делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Читать...

​​🗂20 проектов по аналитике данных для новичков в 2023 году В этой статье мы обсудим 20 проектов по аналитике данных для новичков, которые помогут приобрести базовые и полезные знания в обработке данных. Читать...

​​🤫Reinforcement learning для оптимизации цен в ритейле В данной статье мы рассмотрим практические проблемы применения модели RL/ST для оптимизации цен, чтобы доказать, что RL/ST - не волшебная палочка и точно также требует глубокой проработки, как и ML подход. Читать...

​​😉Искусство ETL. Пишем собственный движок SQL на Spark [часть 4 из 5] В данной статье я расскажу о том, как написать на собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. Читать...

​​🧑‍💻Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов В этой статье расскажу о workflow экспериментов и пайплайнах обработки данных. Читать...

​​27 сентября X5 Tech проведет X5 Data Quality Meetup На нем обсудят правила и стратегии для обеспечения точных и надежных данных: чем поможет регулярная проверка полученной информации на качество, зачем дорабатывать специализированный инструмент Ataccama ONE и сколько базовых проверок необходимо. Спикеры:   🗣 Анастасия Щедрякова, ведущий менеджер по качеству данных, X5 Tech 🗣 Наталья Цой, ведущий менеджер по качеству данных, X5 Tech 🗣 Лилия Скляр, модератор митапа и руководитель направления, X5 Tech   Событие состоится онлайн  27 сентября, 18:00 Зарегистрироваться Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689 , erid: LjN8KKRd2

​​🤖Есть один нюанс: как мы спасаем нейросети от классификации неоднозначных текстов В этой статье я расскажу подробнее о нашем методе и процессе его разработки. Читать...

​​🚀Process Mining. «Рентгеновская диагностика» бизнеса В этой статье я расскажу, как для оптимизации процессов можно использовать технологии Process Mining на примере нашего продукта. Читать...

​​🔥 Мы в Yandex for Developers запускаем четыре новых канала для разработчиков Теперь Yandex for — это целая семья телеграм-каналов по разным направлениям: фронтенд, бэкенд, мобильная разработка и ML. В каждом из них мы будем рассказывать всё о жизни определённого комьюнити инженеров внутри Яндекса — начиная с анонсов всех стековых мероприятий и заканчивая техническими подборками от разработчиков, интервью с инженерами и полезной информацией по найму. А в этом большом телеграм-канале мы продолжим рассказывать про главные события Яндекса для разработчиков, уже не боясь немножечко поднадоесть вам. Давайте обсуждать технологии, знакомиться и развивать сообщество инженеров:  ➡️ Yandex for Mobile ➡️ Yandex for Frontend ➡️ Yandex for Backend ➡️ Yandex for ML В общем, переходите на наши каналы — всё самое интересное только начинается! Подписывайтесь 👉 @Yandex4Developers Реклама. ООО "Яндекс". erid: 2VtzqvyJJuX

​​🙃Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5] В этой статье я рассказываю о том, как написать собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных. Читать...