Data Scientist | IT

Генерация синтетических изображений с использованием диффузионно-трансформерной модели (DiT) #почитать #middle Задумка состояла в следующем: найти готовую модель для image2image генерации, обучить ее на наших данных, а затем нагенерировать нужное количество изображений для дальнейшего использования. Читать статью

Эволюция ритейла: Х5 Tech проводит онлайн-конференцию по большим данным 31 августа в онлайне обсудят актуальные проблемы DS, аналитику и модели на данных. В программе только спикеры и темы X5 Tech, а также открытая дискуссия. 📣 На конференции XData выступят: - Максим Павлов, руководитель направления подготовки и валидации - Святослав Орешин, владелец продукта «Модельный риск» - Александр Сахнов, руководитель управления мультивариативного анализа - Мария Шабалкова, владелец продукта «Платформа А/Б-тестирования» - Никита Сурков, руководитель направления аналитики данных - Михаил Неверов, директор по анализу данных 🔔 31 августа, 11:00 - 13:00 Подробности и регистрация на событие здесь

В прошлом месяце Stability AI выпустила Stable Diffusion XL 1.0 (SDXL) и открыла её исходный код, не требуя разрешений для доступа к ней #почитать Обучение SDXL на плохих изображениях с целью его улучшения технически является формой обучения с подкреплением на основе отзывов людей (RLHF): та же техника, которая используется для того, чтобы сделать ChatGPT настолько мощной, насколько она есть. В то время как OpenAI использует обучение с подкреплением, чтобы улучшить модель на основе положительных взаимодействий с пользователем и неявно уменьшить негативное поведение, здесь я использую негативные взаимодействия с пользователем (т. е. выбор заведомо плохих изображений) для неявного увеличения положительного поведения. Читать статью

Как мы узнаём, какая музыка играет в кино #почитать Вот что делает код: ✔️ собирает и обрабатывает информацию о фильмах, треках и сериалах — забирает аудиодорожки, конвертирует их при необходимости; ✔️ находит в дорожках музыкальные аудиофрагменты; ✔️ подготавливает эти дорожки, мета-информацию и загружает их как задания асессорам; ✔️ получает от асессоров размеченные музыкальные фрагменты; ✔️ агрегирует эту информацию; подготавливает данные для распознавания и распознаёт музыку; ✔️ забирает данные о валидации и учится их агрегировать; ✔️ мёрджит их между собой. Читать статью

Кластерный PyTorch #почитать Глубокие модели становятся всё больше и всё реже помещаются на один компьютер. Решением этой проблемы может быть распределённое обучение, когда используются ресурсы нескольких вычислительных узлов. Читать статью

🔥Бесплатный открытый урок по аналитике данных Тема: Базовый сбор требований в работе дата-аналитика, 23 августа Дата: 23 августа в 20:00. Вебинар приурочен к старту онлайн-курса "Аналитик данных" от OTUS. ⚡️Что разберём на уроке: -Жизненный цикл задачи в анализе данных; -Какие вопросы нужно обязательно задавать и как правильно фиксировать ответы; -Как преодолевать возражения и не заработать ненужный стресс в процессе. ✨Урок будет полезен: -Новичкам в области анализа данных, которые задумываются об углублении знаний; -Специалистам, которые уже делают первые шаги в этой профессии; -Аналитики, работающие с подготовкой ручной отчетности. Продолжить обучение можно на онлайн-курсе "Аналитик данных", который можно приобрести в рассрочку. 💪Пройдите тест для регистрации на открытый урок: https://otus.pw/vHEP/ Нативная интеграция. Информация о продукте www.otus.ru

Добрый день. Пост на сегодня: 17.08 datascience_it 🔥Бесплатный открытый урок по аналитике данных Тема: Базовый сбор требований в работе дата-аналитика, 23 августа Дата: 23 августа в 20:00. Вебинар приурочен к старту онлайн-курса "Аналитик данных" от OTUS. ⚡️Что разберём на уроке: -Жизненный цикл задачи в анализе данных; -Какие вопросы нужно обязательно задавать и как правильно фиксировать ответы; -Как преодолевать возражения и не заработать ненужный стресс в процессе. ✨Урок будет полезен: -Новичкам в области анализа данных, которые задумываются об углублении знаний; -Специалистам, которые уже делают первые шаги в этой профессии; -Аналитики, работающие с подготовкой ручной отчетности. Продолжить обучение можно на онлайн-курсе "Аналитик данных", который можно приобрести в рассрочку. 💪Пройдите тест для регистрации на открытый урок: https://otus.pw/vHEP/ Нативная интеграция. Информация о продукте www.otus.ru

Обработка больших и очень больших графов #почитать Обзор основных фреймворков для обработки графов: Pregel, GraphLab и PowerGraph. Описываются способы разбиения графов для параллельной обработки. Определение power-law графа, которых в реальном мире большинство. И немного об Apache Spark. Читать статью

Примеры Data Observability #почитать Классический мониторинг - это наблюдение за работой инфраструктуры и приложений. А вот Data Observability это мониторинг потоков данных (и даже бизнес-процессов) и поиск в них сбоев. Читать статью

💣 Научитесь создавать рекомендательные системы для контента 📌 Приходите 24 августа в 20:00 (мск) на открытый урок «Векторизация текстов для практических задач» в рамках курса «Natural Language Processing» от OTUS! ✅ Что будем делать: — Обсудим, как можно получать векторы текстов и использовать их в практических целях; — Узнаем, как быстро сделать рекомендательную систему для текстов; — Рассмотрим похожие статьи на основе тематического моделирования, экстрактивной суммаризации и векторизации FastText; — Поищем похожие товары на основе векторизации TF-IDF; — Обсудим векторизацию текстов архитектурой BERT. 👉 В результат вы узнаете, как эффективно подбирать похожие по смыслу и тематике тексты. 💻 Успейте зарегистрироваться по ссылке https://otus.pw/Zf0y/ , количество свободных слотов на регистрацию ограничено. Нативная интеграция информация о продукте www.otus.ru

🟡Привет, DS и ML инженеры! Свежий дайджест полезных материалов по DS & ML от канала DS Live 🚩 Data Science и машинное обучение за неделю с 7 по 13 августа! 🔖 Почитать: ▪️ ML-искусство переживать проблемы: как избегать разочарований и находить аналоги товаров в периоды out-of-stock ▪️ Что такое Data Observability и с чем ее едят? ▪️ Физически информированное машинное обучение, или Как я перестал бояться и полюбил искусственный интеллект ▪️ Надёжные сервисы на нейросетях, или почему восклицательные знаки лучше цифр ▪️ Как запомнить что-нибудь навсегда? ▪️ Обучение YOLOv8s на Google Colab: детектим дорожные знаки ▪️ Обработка больших и очень больших графов ▪️ Как правильно дифференцировать дискретные функции (Часть 1. Тестируем и улучшаем Numpy) ▪️ Определение области коллизии ▪️ Помощник металлурга: ML-решение для сталеваров ▪️ Распределённое обучение с PyTorch на кластере для тех, кто спешит 👀 Посмотреть: 🌐 Реальное Собеседование Data Science (⏱ 16:27) 🌐 Что почитать? Лучшие КНИГИ для АНАЛИТИКА (a/b тесты, статистика и data science) (⏱ 16:11) 🌐 С чего начать анализ данных в Data Science? Интенсив по программированию (⏱ 1:53:05) 🌐 Вы тоже ЭТО делаете: Data Science в повседневной жизни (⏱ 56:55) 🌐 Профессия Data Science - это проще, чем кажется // Демо-занятие курса «Machine Learning» (⏱ 1:02:46) Хорошего дня! Подпишитесь на DS Live и получайте дайджесты на регулярной основе!

Обучение YOLOv8s на Google Colab #почитать Туториал. Colab + Kaggle. Читать статью

Критерии классификации атак на нейронные сети #почитать "Самый серьезный конструктивно-обусловленный их недостаток – потенциальная нестабильность работы. Суть заключается в том, что можно подобрать специальные примеры, называемые вредоносными, которые будут мало отличаться от типичных входных данных сети, на которых она, однако, будет выдавать совершенно некорректный ответ." Читать статью

Как развиваются технологии ИИ в Латинской Америке #почитать "Лидером по инициативам в области искусственного интеллекта оказалась Колумбия". Читать статью

Проекты-аналоги библиотек для DS #почитать "Пощупать нутрянку многомерных массивов, реализовать слайсы, датафреймы, статистические методы и методы машинного обучения самостоятельно, ощутив на своей шкуре всю прелесть бесконечных челенджей разработчиков библиотек". Читать статью

Теория вероятностей в разработке: где применяется и что можно изучить для более глубокого понимания темы #почитать #junior #middle Часто приходится слышать, что математика, включая статистику и теорию вероятностей с комбинаторикой, не слишком нужна разработчику. Что ж, в некоторых случаях это действительно так. Но для представителей ряда направлений всё это нужно. Кому именно требуется теория вероятностей с сопутствующими дисциплинами и зачем? Об этом — в материале. Статья предназначена для начинающих специалистов. Читать статью

Как создавать качественные ML-системы #почитать #middle #senior Серия статей о жизненном цикле ML-проекта, проектной документации, ценности для бизнеса и требованиях. О том, как начинать с малого и быстро отказываться от слабых идей. Руководство пригодится дата-сайентистам, специалистам по машинному обучению, руководителям отделов, техническим руководителям или тем, кто хочет дорасти до этого уровня. ▫️Часть 1: каждый проект должен начинаться с плана ▫️Часть 2: приручаем хаос

❓Какая предобработка данных нужна для построения ML-моделей? Расскажем на бесплатном открытом уроке "Разведочный анализ данных на Python для Machine Learning" от OTUS. Вебинар приурочен к старту онлайн-курса "Специализация Machine Learning". 🗓Дата: 9 августа, 18:00 На занятии мы поговорим о том как проводить первичный анализ данных с использованием фреймворка Pandas. Расскажем об основных аспектах анализа данных. Научимся обрабатывать признаки и заполнять пропущенные значения. ✅Кому подходит урок: - IT-специалисту, который хочет перейти в Data Science; - Начинающему Data Scientist, желающему углубиться в профессию; - Тому, кто самостоятельно изучает Data Science; - Для того, кто хочет войти в IT, но не знает что выбрать. После урока будет открыт доступ ко второму занятию "Введение в Machine Learning", а курс можно будет приобрести в рассрочку по спец.цене. 🔥Регистрируйтесь и готовьте свои вопросы к спикеру: https://otus.pw/Kgx9/