Data Science | Machinelearning [ru]

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

Как мы делаем СУБД Pangolin? Привет! На связи команда разработки СУБД Platform V Pangolin DB. Мы делаем полезное сообщество для всех профессионалов из мира СУБД и всех, кому интересен наш продукт. Пишем о том, как делаем Pangolin, разбираем ваши кейсы в чате, помогаем решать рабочие задачки, зовем на бесплатные вебинары и митапы, проводим квизы про базы данных, разбираем английский сленг, а еще у нас есть вакансии и идеи для хобби айтишников... Подпишитесь, у нас как раз много нового! Узнать больше #реклама 16+ О рекламодателе

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

📊 ИИ в Крипто-Торговле: Возможен ли Успех? Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки. Читать...

СРОЧНО❗️Закидываем мастхев-каналы для Python и Java разработчиков. ➡️Прокачай свои хард-скиллы на максимум: Pythoner и Javer ➡️Сотни гигов платных материалов, книг и статей: Книжный python и Библиотека Java ➡️Скрипты, фишки и конечно же мемы: IT HUB и Memes Доступ открыли на 48 часов, успейте подписаться! ⚡

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...

🔄 Архитектура — это не схема, а привычка Ты можешь нарисовать идеальную схему слоёв и связей. Но если каждый в команде её игнорирует — она мертва. 👉 Совет: внедряй архитектуру через повседневные действия: шаблоны PR, линтеры, примеры. Пусть правильный подход становится нормой, а не лекцией. Настоящая архитектура — это то, что работает без напоминания.

✔️ Big Data мертвы, да здравствуют Smart Data Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное. Читать...

⚡️Соберите свой первый проект для портфолио аналитика Как получить коммерческий опыт до выхода на первую работу, положить в портфолио классный пет-проект и впечатлить работодателя умением не просто действовать по шаблону, а сходу решать задачи бизнеса? Для этого мало просто разбираться в Python и SQL, нужно набивать руку на реальных кейсах бизнеса и тренировать насмотренность — смотреть на то как бизнесу растят метрики опытные аналитики. Решить такой кейс и добавить его к себе в портфолио можно будет на вебинаре с Андроном Алексаняном, аналитиком с 8 летним опытом и по совместительству CEO Simulative. В прямом эфире он решит реальный кейс компании: проанализирует продажи на Wildberries с помощью Python, чтобы создать эффективную стратегию — будет в разы быстрее, чем с использованием любых других инструментов. Что будем на вебинаре: 🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам; 🟠Построим наглядные визуализации для отслеживания динамики ранжирования. 🟠Обсудим, как упаковать этот проект в идеальное портфолио. 😶Зарегистрироваться на бесплатный вебинар

🤔 Прогнозирование продаж с использованием библиотеки Prophet Статья посвящена прогнозированию продаж FTTB-FMC для ежедневной отчетности. Рассматриваются подходы к анализу данных, ключевые KPI и методы, используемые для прогнозирования продаж в сегменте ШПД и конвергентных продуктов. Читать...

⚙️ Что такое декораторы в Python и как они работают? Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции. ➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

🤖 Как развернуть LLM с помощью vLLM и TorchServe Хочешь запустить большую языковую модель в продакшене, но не знаешь, как совместить простоту развертывания с промышленной надежностью? Комбинация vLLM и TorchServe решает эту задачу. Она обеспечивает как простой запуск, так и продвинутые возможности для масштабирования. Читать...

Отдельный трек по DS — на E-CODE 13 и 14 сентября команда разработки ведущего e-com страны Ozon Tech устраивает масштабное IT-событие E-CODE 2025. Идеальный мэтчинг с Днём разработчика, правда? E-CODE — это пространство, где доклады, лекции, нетворк и 1х1 идеально сочетаются с атмосферой вечеринки. И если вторая часть точно понравится всем, то на первую DS-инженерам стоит обратить особое внимание. Ozon Tech приглашает экспертов от лидеров отрасли. Программа скоро появится на сайте — уверены, что вам понравится. Поэтому рекомендуем поторопиться с заявкой. Оформить билет на E-CODE

➡️ Matrix Reloaded: зачем дата-сайентисту линейная алгебра Рассказываю, как векторы, матрицы и собственные значения помогают понимать ML-модели. Без теорем и нотаций — только визуалки и живые кейсы с работы. Читать...

🤔Задача: посчитай людей и лошадей на фото На изображении находятся люди и лошади. Ваша задача — с помощью готовой нейросети: 🔵Распознать всех людей и лошадей на изображении. 🔵Посчитать количество каждого из двух классов. 🔵Вывести финальное изображение, где каждый объект обведён прямоугольником и подписан (например, Horse, Person). 🔎 Что уже есть: 🔵Предобученная модель 🔵Изображения с людьми и лошадьми. 📌 Что нужно сделать: 🔵Загрузить изображение. 🔵Применить модель к нему. 🔵Отфильтровать результаты по нужным классам (person, horse). 🔵Подсчитать объекты. 🔵Визуализировать: обводки + текстовая сводка. 🎁 Пройдите вступительное тестирование на сайте и активируйте промо-код на курс «Компьютерное зрение» : CVA07 до 07.08.2025г. 🆓Узнайте больше об обучении в OTUS на бесплатных вебинарах Решение задачи и задание в описании вебинара на сайте ➡️ ПЕРЕЙТИ НА САЙТ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqufoQxF

📈 Подборка статей для вашей карьеры • Вся правда о еженедельных созвонах, или Зачем переливать из пустого в порожнее? • Тяжела и неказиста жизнь простого RnD. Часть первая: как работают с новыми технологиями в крупных компаниях • Прийти на внедренный проект на этапе развития системы: как аналитику быстро погрузиться в процессы • Как гуманитарию подойти к IT: из переводчика в технические писатели • Поздравляем, вы DevOps-инженер. Как найти себя в необъятном мире ИТ

🤔 3750 дней разработки AI или почему боты всё ещё не захватили покер Статья рассматривает создание AI для покера (Техасского безлимитного холдема) и анализирует его сложность как модели бизнес-отношений. Обсуждаются метрики и стратегии, которые игроки используют в изменяющемся контексте для принятия решений. Читать...