Data Science | Machinelearning [ru]

⚙️ Переходим от legacy к построению Feature Store В статье рассказывают, как в Домклик внедрили Feature Store в проект с огромным legacy: неожиданные трудности, полезные инсайты и реальный профит от новой архитектуры Читать...

👩‍💻 Построй визуализацию распределения признаков с автоматической категоризацией Создайте функцию plot_distributions, которая принимает DataFrame и автоматически определяет числовые и категориальные признаки. Затем строит гистограммы или bar-графики в зависимости от типа данных. Это удобно для EDA (исследовательского анализа данных). Решение задачи🔽

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns def plot_distributions(df, max_categories=10): for column in df.columns: plt.figure(figsize=(6, 4)) if pd.api.types.is_numeric_dtype(df[column]): sns.histplot(df[column].dropna(), kde=True) plt.title(f'Гистограмма: {column}') elif df[column].nunique() <= max_categories: df[column].value_counts().plot(kind='bar') plt.title(f'Категории: {column}') else: print(f'Пропущен {column}: слишком много уникальных категорий') continue plt.tight_layout() plt.show() # Пример использования df = pd.DataFrame({ 'age': [23, 45, 31, 35, 62, 44, 23], 'gender': ['male', 'female', 'female', 'male', 'male', 'female', 'female'], 'income': [40000, 50000, 45000, 52000, 61000, 48000, 46000] }) plot_distributions(df)

⚙️ Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы В статье рассказывают, как уязвимость в ИИ позволяет обмануть систему команд: если подделать приказ, модель выполнит даже запрещённое. Неужели DAN снова на свободе? Читать...

Как зарабатывать больше? И при этом не выгорать. ⠀ Смешиваем 2 ингредиента: маркетинг и современные технологии. ⠀ Оба можно взять ЗДЕСЬ ⠀ Мы собрали лучшие каналы по продажам, маркетингу и АI. Там вы найдёте: ⠀ ▪️как создавать необычные креативы с помощью AI; ⠀ ▪️подробный разбор, как получить подписчика по 118 рублей; ⠀ ▪️лучшие нейронки для обработки звуков; ⠀ ▪️подробная стратегия по выходу на 500.000 рублей ⠀ … и еще очень много пользы ⠀ ❗️Забрать можно только в течение 3-х дней. Потом удалю пост. ⠀ Если вы давно хотели внедрить современные инструменты и кратно вырасти уже этим летом, то эта ПОДБОРКА то, что нужно. ⠀ Переходите по ссылке👇 ⠀ ДОБАВИТЬ

⚙️ Model Context Protocol (MCP): как подружить нейросети со всеми API за пару кликов В статье рассказывают, как новый протокол MCP от Anthropic стандартизирует взаимодействие LLM-агентов с сервисами и друг с другом. Грядёт эпоха упорядоченного ИИ-хаоса. Читать...

🎓 1 июля в 20:00 МСК OTUS проведёт открытый вебинар «Архитектура DWH по рецепту: метод борща в действии». Это необычный формат, где этапы приготовления блюда помогают понять логику построения хранилища данных. 🎯 На уроке разберём, как «подготовка ингредиентов» (сбор и очистка данных) отражается в core-слое DWH, а «подача блюда» (аналитический слой) превращается в понятные бизнес-отчёты. Вы увидите реальные примеры проектирования масштабируемой аналитической платформы и поймёте, какие компетенции нужны команде. Участники смогут сразу применять принципы: иерархия слоёв, оптимизация storage-запросов и построение BI-дашбордов, которые будут понятны конечному пользователю. Вы узнаете, как избежать «переваривания» данных и сделать архитектуру отказоустойчивой. ➡️ Этот урок проходит в преддверии старта курса «Data Warehouse Analyst». Все участники получат скидку на обучение. Регистрируйтесь прямо сейчас, чтобы не пропустить: https://vk.cc/cN7ioR Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvVLhLA

👩‍💻 Чем отличается метод .transform() от .apply() в pandas? В pandas методы .transform() и .apply() часто используются для обработки данных по столбцам и строкам, но они работают по-разному. Метод .apply() применяет функцию к каждому элементу или ряду, и возвращает объект любой формы (например, DataFrame или Series). В отличие от него, .transform() применяет функцию к каждой ячейке или группе и возвращает объект той же формы, что и входной. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})

# Используем .apply() для вычисления суммы по столбцам
print(df.apply(sum))  # Вернет Series с суммами столбцов

# Используем .transform() для нормализации каждого значения в столбце
print(df.transform(lambda x: (x - x.mean()) / x.std()))
# Вернет DataFrame с нормализованными значениями

🗣 .apply() подходит для сложных операций и агрегаций, а .transform() удобно использовать для обработки данных с сохранением исходной структуры.

🖥 Подробнее тут

🧠 Языковые модели против мошенников: как LLM помогают бороться с отмыванием денег и финансовым мошенничеством В статье разбирают, как LLM помогает банкам бороться с мошенничеством: от отслеживания подозрительных транзакций до анализа фишинговых схем — умная защита в действии. Читать...

🤔 Выбираем MLOps инструменты с учётом зрелости команды В статье разбирают, как выбрать MLOps-инструменты под уровень зрелости команды: почему решений много, но не все подходят, и как не утонуть в многообразии вариантов. Читать...

👩‍💻 Напишите функцию для расчёта Accuracy вручную В машинном обучении Accuracy — это метрика качества классификации. Показывает, сколько предсказаний модель сделала правильно. Решение задачи🔽

def accuracy_score(y_true, y_pred): correct = 0 for true, pred in zip(y_true, y_pred): if true == pred: correct += 1 return correct / len(y_true) # Пример использования: y_true = [1, 0, 1, 1, 0, 1] y_pred = [1, 0, 0, 1, 0, 1] print(accuracy_score(y_true, y_pred)) # 0.833...

🧠 Создаем свой RAG: введение в LangGraph В статье объясняют, что такое RAG и как использовать LangGraph для генерации с дополненной выборкой: основы, примеры и подготовка к созданию собственных RAG-систем. Читать...

Сменить профессию, переехать в Питер или просто зарабатывать больше в топовой компании… У всех свои причины для роста, но один уверенный старт - это магистратура в Университете ИТМО. В магистратуре ИТМО вы можете обучаться по направлениям: ✔️Программирование ✔️Искусственный интеллект ✔️Биология ✔️Информационная безопасность ✔️Инженерные науки ✔️Гуманитарные исследования ✔️Экология ✔️Биотехнологии ✔️Химия ✔️Робототехника ✔️Энергетика ✔️Физика ✔️Экономика и инновации На каждое из направлений можно поступить на бюджет по конкурсу, не сдавая экзамены📖 КОНКУРС ПОРТФОЛИО - это то, с чем бюджет в магистратуре ИТМО может стать реальностью, а вступительные экзамены пусть достанутся кому-то другому! Подробные условия участия по ссылке📨 А узнать подробнее о самой магистратуре в ИТМО можно узнать по ссылке или в телеграм канале📲 Реклама. Университет ИТМО ИНН:7813045547

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Адаптивный поиск порога "почти одинаковых" векторов У вас есть множество эмбеддингов — векторов признаков объектов (например, предложений, изображений, пользователей). Требуется реализовать функцию find_similar_pairs(vectors, tolerance=0.05), которая возвращает все пары индексов, где косинусная разница между векторами меньше tolerance. Дополнительные условия:

• Векторы могут быть высокой размерности (до 512) • Пара (i, j) считается дубликатом (i < j), если их cosine similarity ~ 1.0 • Не используйте внешние ML-библиотеки: только numpy • Функция должна быть оптимизирована — без грубой проверки каждой пары, если можно

Решение задачи🔽

import numpy as np def cosine_similarity(a, b): a, b = np.array(a), np.array(b) return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) def find_similar_pairs(vectors, tolerance=0.05): result = [] n = len(vectors) for i in range(n): for j in range(i + 1, n): sim = cosine_similarity(vectors[i], vectors[j]) if 1 - sim <= tolerance: result.append((i, j)) return result

➡️ Как Duolingo юзает машинное обучение для прокачки английского: кратко и по делу В статье рассказывают, как ИИ сделал Duolingo фабрикой языковых курсов: генерация контента, проверка ответов, адаптация заданий — всё на автомате. Учить стало быстрее. Читать...

🧠 Распознавание орхоно-енисейских рунических надписей методами машинного обучения В статье рассказывают о расшифровке орхоно-енисейских рун: древние тексты на камне, трудности интерпретации и идеи автоматизации для точности и скорости анализа. Читать...

Код пишет себя сам, тесты проходят без QA, а джуны становятся сеньорами за неделю. Что это, миф или наше будущее? Раньше ИИ был скорее модным словом. А сегодня нейросеть помогает проводить кредитный скоринг банкам, общается с сотрудниками поддержки и ревьюит код инженеров. В новом выпуске подкаста «Техно.Логично» мы обсуждаем новую ИИ-реальность с теми, кто видит картину изнутри: Аделем Валиуллиным (Первый Вице-Президент Газпромбанка, куратор технологий искусственного интеллекта) и Алексеем Долотовым (внедряет ИИ во внутренние процессы Сбера). Ведущий подкаста — Владимир Герциков, хэд профессии DataBase в Рознице Газпромбанка. Главные темы эпизода: ⏺Больше эффективности, меньше рутины — как ИИ трансформирует труд инженеров ⏺Почему джун с нейросетью еще не заменит сеньора (или заменит) ⏺ИИ в банке: кейсы внедрения и бизнес-эффект ⏺Не бояться, но готовиться — к какому будущему нас приведет новая технология Посмотреть: 📺 VK Видео 📺 Rutube Послушать: 🎵 Яндекс Музыка 🎵 Apple Podcasts 💙 VK Музыка Реклама, Банк ГПБ (АО), ИНН: 7744001497, erid: 2VtzqvzTrPp

✔️ Рабочий флоу — как велосипед: собирается под себя Можно взять крутой инструмент, подход или методику, но если она не встраивается в твой ритм — ты всё равно будешь буксовать. 👉 Совет: строй свою систему продуктивности так же, как кастомишь код: под себя. Пробуй, адаптируй, выкидывай. Рабочий флоу — это не универсальный шаблон, а твой личный интерфейс с задачами.

🚀 Правда или нет, что Google победил Cursor? В статье сравнивают два AI-инструмента для разработки: Firebase Studio от Google и Cursor от Anysphere. Кто круче — облачная платформа или интегрированный редактор? Читать...

⚙️ Как построить хороший пайплайн разработки ML-модели Рассказываю, как построить понятный и гибкий ML-процесс: чтобы данные масштабировались, новички вливались, а модель не вела себя как капризный кот. Читать...