Data Science | Machinelearning [ru]

⚙️ Пишем свою Diffusion модель с нуля Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели. Читать...

⚙️ Что такое train_test_split в Scikit-learn и зачем он используется? train_test_split — это функция из библиотеки Scikit-learn, которая используется для разделения данных на тренировочный и тестовый наборы. Это необходимо для оценки качества модели на данных, которые она не видела во время обучения. ➡️ Пример:

from sklearn.model_selection import train_test_split
import numpy as np

# Данные
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([10, 20, 30, 40, 50])

# Разделение данных (80% на обучение, 20% на тест)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

print("Тренировочные данные:", X_train, y_train)
print("Тестовые данные:", X_test, y_test)

🗣️ В этом примере данные разделяются на тренировочный и тестовый наборы в соотношении 80/20. Это позволяет модели обучаться на одной части данных и проверять точность на другой, что предотвращает переобучение.

🖥 Подробнее тут

⚙️ Как обеспечить Data Quality терабайтов данных и зачем: опыт СИБУРа Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях. Читать...

📕 Практические кейсы использования ClickHouse для разработчиков, администраторов, специалистов по базам данных, Data engineers, Backend и FullStack-разработчиков На открытом уроке 24 июля в 20:00 мск мы погрузимся в тонкости работы с ClickHouse: 📗 На вебинаре разберём: 1. Основные принципы работы, архитектура и преимущества использования ClickHouse; 2. Реальные кейсы использования ClickHouse для анализа веб-логов, IoT данных и финансовых транзакций; 📘 В результате на практике разберетесь в настройке и использовании ClickHouse для обработки больших объемов данных. 👉 Регистрация и подробности о курсе NoSQL: https://vk.cc/cNTrRb Все участники открытого урока получат скидку на курс "NoSQL" Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

Как мы делаем СУБД Pangolin? Привет! На связи команда разработки СУБД Platform V Pangolin DB. Мы делаем полезное сообщество для всех профессионалов из мира СУБД и всех, кому интересен наш продукт. Пишем о том, как делаем Pangolin, разбираем ваши кейсы в чате, помогаем решать рабочие задачки, зовем на бесплатные вебинары и митапы, проводим квизы про базы данных, разбираем английский сленг, а еще у нас есть вакансии и идеи для хобби айтишников... Подпишитесь, у нас как раз много нового! Узнать больше #реклама 16+ О рекламодателе

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

📊 ИИ в Крипто-Торговле: Возможен ли Успех? Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки. Читать...

СРОЧНО❗️Закидываем мастхев-каналы для Python и Java разработчиков. ➡️Прокачай свои хард-скиллы на максимум: Pythoner и Javer ➡️Сотни гигов платных материалов, книг и статей: Книжный python и Библиотека Java ➡️Скрипты, фишки и конечно же мемы: IT HUB и Memes Доступ открыли на 48 часов, успейте подписаться! ⚡

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...

🔄 Архитектура — это не схема, а привычка Ты можешь нарисовать идеальную схему слоёв и связей. Но если каждый в команде её игнорирует — она мертва. 👉 Совет: внедряй архитектуру через повседневные действия: шаблоны PR, линтеры, примеры. Пусть правильный подход становится нормой, а не лекцией. Настоящая архитектура — это то, что работает без напоминания.

✔️ Big Data мертвы, да здравствуют Smart Data Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное. Читать...

⚡️Соберите свой первый проект для портфолио аналитика Как получить коммерческий опыт до выхода на первую работу, положить в портфолио классный пет-проект и впечатлить работодателя умением не просто действовать по шаблону, а сходу решать задачи бизнеса? Для этого мало просто разбираться в Python и SQL, нужно набивать руку на реальных кейсах бизнеса и тренировать насмотренность — смотреть на то как бизнесу растят метрики опытные аналитики. Решить такой кейс и добавить его к себе в портфолио можно будет на вебинаре с Андроном Алексаняном, аналитиком с 8 летним опытом и по совместительству CEO Simulative. В прямом эфире он решит реальный кейс компании: проанализирует продажи на Wildberries с помощью Python, чтобы создать эффективную стратегию — будет в разы быстрее, чем с использованием любых других инструментов. Что будем на вебинаре: 🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам; 🟠Построим наглядные визуализации для отслеживания динамики ранжирования. 🟠Обсудим, как упаковать этот проект в идеальное портфолио. 😶Зарегистрироваться на бесплатный вебинар

🤔 Прогнозирование продаж с использованием библиотеки Prophet Статья посвящена прогнозированию продаж FTTB-FMC для ежедневной отчетности. Рассматриваются подходы к анализу данных, ключевые KPI и методы, используемые для прогнозирования продаж в сегменте ШПД и конвергентных продуктов. Читать...

⚙️ Что такое декораторы в Python и как они работают? Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции. ➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

🤖 Как развернуть LLM с помощью vLLM и TorchServe Хочешь запустить большую языковую модель в продакшене, но не знаешь, как совместить простоту развертывания с промышленной надежностью? Комбинация vLLM и TorchServe решает эту задачу. Она обеспечивает как простой запуск, так и продвинутые возможности для масштабирования. Читать...

Отдельный трек по DS — на E-CODE 13 и 14 сентября команда разработки ведущего e-com страны Ozon Tech устраивает масштабное IT-событие E-CODE 2025. Идеальный мэтчинг с Днём разработчика, правда? E-CODE — это пространство, где доклады, лекции, нетворк и 1х1 идеально сочетаются с атмосферой вечеринки. И если вторая часть точно понравится всем, то на первую DS-инженерам стоит обратить особое внимание. Ozon Tech приглашает экспертов от лидеров отрасли. Программа скоро появится на сайте — уверены, что вам понравится. Поэтому рекомендуем поторопиться с заявкой. Оформить билет на E-CODE