Data Science | Machinelearning [ru]

E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы Решайте ML-задачи в стиле Ozon Tech. Девять победителей разделят призовой фонд соревнования — 7 200 000 рублей 🔥 Тест-драйв работы в e-com бигтехе стартует здесь. 🗓 Регистрация: https://cnrlink.com/ecup25dsml 💻 Формат участия: онлайн 👥 Команда: от 1 до 5 человек 🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS. Что вас ждёт: 🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России. 🔹 Обмен опытом с экспертами Ozon Tech. 🔹 Эксклюзивный мерч для победителей и подарки для самых активных участников. 🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку. Три трека E-CUP: 1️⃣ Рекомендации: предсказание следующей покупки пользователя 2️⃣ Логистика: автопланирование курьеров 3️⃣ Контроль качества: автоматическое выявление поддельных товаров Регистрация на платформе Codenrock: https://cnrlink.com/ecup25dsml

🔥 Самые интересные статьи за последние дни: • Что читали на Хабре в 2024 году: анализ статей с Node.js, Google Sheets и каплей ChatGPT • Поднимаем в облаке расшифровку речи в текст с помощью нейросетей. VPS на пределе возможностей • Стоит ли ChatGPT о1 Pro своих денег? Небольшой тест-драйв модели • Возможности LLM и RAG на примере реализации бота для поддержки клиентов • Гетерогенные вычисления: проектирование и разработка вычислительной системы для нейросетей

➡️ Multichannel Keyword Spotting for Noisy Conditions. Исследователи Яндекса рассказали о технологии, которая распознает голосовые команды даже на фоне сильного шума. Ключевая идея — attention-механизм, который обрабатывает сразу два входных сигнала: один — после шумоподавления, второй — после эхоподавления. Технология уже работает в устройствах Яндекса, а теперь доступна и разработчикам по всему миру. Исследование приняли на Interspeech 2025 — ведущую конференцию по речевым технологиям. Читать...

👩‍💻 Удаление выбросов из набора данных Напишите функцию, которая принимает pandas.DataFrame и название столбца, а затем возвращает новый DataFrame, в котором выбросы (значения, выходящие за пределы 1.5 межквартильного размаха) удалены. Пример:

import pandas as pd

data = pd.DataFrame({
    "values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)
# Ожидаемый результат:
#    values
# 0      10
# 1      12
# 2      15
# 4      14
# 5      13
# 6      11
# 8      16

Решение задачи🔽

import pandas as pd def remove_outliers(df, column): Q1 = df[column].quantile(0.25) Q3 = df[column].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)] # Пример использования: data = pd.DataFrame({ "values": [10, 12, 15, 100, 14, 13, 11, 102, 16] }) cleaned_data = remove_outliers(data, "values") print(cleaned_data)

⚙️ Пишем сервис инференса ML-модели на go, на примере BERT-а Статья объясняет, как внедрить ML-модель, обученную на Python, в сервис на Go, используя ONNX. Рассматривается пример работы с моделью seara/rubert-tiny2-russian-sentiment для анализа сентимента текста. Читать...

Компьютерное зрение, студкемп, Нижний Новгород Яндекс Образование совместно с Неймарком и ФКН ВШЭ подготовили программу теории и практики ввода компьютерного зрения в робототехнику и автономные системы. Лекции и личное общение с экспертами, командные проекты и практические задания. После студкемпа получите возможность начать карьеру в computer science и практические навыки работы. Чтобы участвовать, нужно зарегистрироваться по ссылке до 14 августа. На студкемп может попасть любой студент, из любой точки РФ, но есть отбор. Победителям организаторы оплатят и дорогу, и проживание.

🤖 Как мы сделали клиентскую поддержку интернет-магазина действительно умной: опыт внедрения RAG-бота Статья описывает разработку «умного» помощника для клиентской поддержки интернет-магазина. Рассматриваются проблемы, с которыми сталкивался клиент, и пути их решения с помощью ИИ. Читать...

VIP доступ к будущему, которое уже наступило: новая папка «IT & Технологии»! 💻 Мы собрали лучшие IT-каналы – это прямой доступ к актуальным новостям, трендам и экспертизе в мире технологий. Только самое ценное, без воды! 🌟 🔹 Техно-тренды: AI, Cybersecurity, Cloud и др. 🔹 Карьера: Найди работу мечты в IT. 🔹 Практика: Советы от профи. 🔹 Инструменты: Для эффективной работы. Один клик – и ты в IT-будущем! 🔥 👉 ЗАБРАТЬ ПАПКУ СЕБЕ

⚙️ Что такое модуль shutil в Python и зачем он используется? Модуль shutil предоставляет функции для работы с файлами и директориями, такие как копирование, перемещение и удаление. Он полезен для автоматизации задач управления файлами. ➡️ Пример:

import shutil

# Копирование файла
shutil.copy('source.txt', 'destination.txt')

# Перемещение файла
shutil.move('destination.txt', 'folder/destination.txt')

🗣️ В этом примере shutil.copy копирует файл, а shutil.move перемещает его в другую директорию. Это облегчает выполнение операций с файлами и папками.

🖥 Подробнее тут

☝ Машинное обучение для начинающих: Введение в нейронные сети Этот пост предназначен для абсолютных новичков и предполагает НУЛЕВЫЕ предварительные знания машинного обучения. Мы разберемся, как работают нейронные сети, и реализуем одну из них с нуля на Python. Читать...

➡️ DeepSeek AI: От инъекции промпта до захвата аккаунта Статья рассказывает о новой AI-модели DeepSeek-R1-Lite, созданной для логических рассуждений. Рассматриваются её возможности, тестирование и перспективы применения в задачах анализа и вычислений. Читать...

👩‍💻 Удаление выбросов из набора данных Напишите функцию, которая принимает pandas.DataFrame и название столбца, а затем возвращает новый DataFrame, в котором выбросы (значения, выходящие за пределы 1.5 межквартильного размаха) удалены. Пример:

import pandas as pd

data = pd.DataFrame({
    "values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)
# Ожидаемый результат:
#    values
# 0      10
# 1      12
# 2      15
# 4      14
# 5      13
# 6      11
# 8      16

Решение задачи🔽

import pandas as pd def remove_outliers(df, column): Q1 = df[column].quantile(0.25) Q3 = df[column].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)] # Пример использования: data = pd.DataFrame({ "values": [10, 12, 15, 100, 14, 13, 11, 102, 16] }) cleaned_data = remove_outliers(data, "values") print(cleaned_data)

➡️ Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля. Читать...

🚀 Анализ текстов задерживает скорость разработки? Разбираемся, как классический трансформер BERT справляется с миллионами документов за доли секунды! На открытом уроке «Решаем задачи текстовой классификации с помощью BERT» мы расскажем: 🔹 Внутреннее устройство BERT 🔹 Методы дообучения и интеграции в реальные проекты 🔹 Практические примеры от эксперта OTUS 📅 Когда: 30 июля, 18:00 МСК 🎟 Регистрация бесплатная — зарегистрируйтесь сейчас и получите скидку на программу обучения «NLP / Natural Language Processing»: https://vk.cc/cO4sa6 Не пропустите шанс повысить свою экспертизу в области NLP! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🔥 Самые интересные статьи за последние дни: • Не бойтесь потоков в Python, они не кусаются • Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM • Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»? • Семантический веб: краткий обзор технологий и инструментов • Инструмент обеспечения качества данных: от теории к практике

VIP доступ к будущему, которое уже наступило: новая папка «IT & Технологии»! 💻 Мы собрали лучшие IT-каналы – это прямой доступ к актуальным новостям, трендам и экспертизе в мире технологий. Только самое ценное, без воды! 🌟 🔹 Техно-тренды: AI, Cybersecurity, Cloud и др. 🔹 Карьера: Найди работу мечты в IT. 🔹 Практика: Советы от профи. 🔹 Инструменты: Для эффективной работы. Один клик – и ты в IT-будущем! 🔥 👉 ЗАБРАТЬ ПАПКУ СЕБЕ

👩‍💻 Поиск числа с максимальной суммой цифр Напишите функцию, которая принимает список положительных чисел и возвращает число с наибольшей суммой цифр. Если таких чисел несколько, вернуть первое из них. Пример:

numbers = [123, 456, 789, 234]
result = max_digit_sum(numbers)
print(result)
# Ожидаемый результат: 789 (7+8+9=24, это максимальная сумма)

Решение задачи🔽

def max_digit_sum(numbers): def digit_sum(n): return sum(int(digit) for digit in str(n)) return max(numbers, key=digit_sum) # Пример использования: numbers = [123, 456, 789, 234] result = max_digit_sum(numbers) print(result) # Ожидаемый результат: 789

⚙️ Physics-based и data-driven моделирование Статья объясняет различия между физически обоснованными моделями и моделями, основанными на данных, с примерами задач машинного обучения. Рассматривается подход к обработке данных, выбору моделей и их обучению. Читать...

➡️ Машинное обучение: общие принципы и концепции В этой статье я рассказываю про основные концепции, типы обучения, типы задач в машинном обучении и также делаю постановку задачи машинного обучения (МО). Все это я рассказываю в своем стиле и понимании. Читать...

📋 Документация — это не про "всё", а про "важное" Ты не обязан описывать каждую кнопку, каждый метод. Но ты обязан объяснить, как с этим жить. 👉 Совет: документируй не детали, а маршруты: как запустить, как добавить фичу, как починить баг. Хорошая документация — это не энциклопедия, а инструкция к выживанию.