Data Science | Machinelearning [ru]

⚡️ Python теперь в Telegram! Ребята сделали крутейший канал, где на простых картинках и понятном языке обучают Python, делятся полезными фишками и инструментами Подписывайтесь: @PythonPortal

👩‍💻 Задачка по Python Создайте Python-скрипт для обработки данных. Задача состоит в том, чтобы построить ETL-процесс, который очищает и агрегирует данные из CSV-файлов о продажах, а затем сохраняет агрегированные данные в новом файле. Очистка данных: удаление записей с пустыми значениями в столбцах price или quantity. Агрегация: подсчет общего количества проданных товаров и общей суммы по каждому продукту. ➡️ Пример: • python app.py sales_data.csv — создает новый файл aggregated_data.csv с общей суммой и количеством проданных товаров по каждому продукту. Решение задачи ⬇️

import pandas as pd import sys def clean_and_aggregate(file_path): # Загружаем данные data = pd.read_csv(file_path) # Удаляем строки с пустыми значениями в колонках 'price' и 'quantity' data.dropna(subset=['price', 'quantity'], inplace=True) # Преобразуем колонки в числовой формат, ошибки игнорируем data['price'] = pd.to_numeric(data['price'], errors='coerce') data['quantity'] = pd.to_numeric(data['quantity'], errors='coerce') # Удаляем строки с некорректными значениями data.dropna(subset=['price', 'quantity'], inplace=True) # Агрегируем данные aggregated_data = data.groupby('product_id').agg( total_quantity=('quantity', 'sum'), total_sales=('price', 'sum') ).reset_index() # Сохраняем в новый CSV aggregated_data.to_csv('aggregated_data.csv', index=False) print("Агрегация завершена. Данные сохранены в 'aggregated_data.csv'.") if __name__ == "__main__": if len(sys.argv) != 2: print("Использование: python app.py <путь к файлу CSV>") sys.exit(1) file_path = sys.argv[1] clean_and_aggregate(file_path)

📈 Подборка статей для вашей карьеры • Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений • Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю • Все, пора увольняться: что я поняла после работы в токсичных командах • Базовое программирование, или Почему джуны не могут пройти к нам собеседование • Я стал аналитиком, потому что не смог быть программистом

👀 WorkTeam: новый мультиагентный фреймворк для автоматизации сложных бизнес-процессов Показываю, как платформа WorkTeam превращает описания процессов на обычном языке в работающий бизнес-процесс — без кодеров, без боли и почти без магии. Читать...

Учите машины учиться? Тогда вам на IML 🗓️16–17 мая 📍 Питер + онлайн IML — конференция для всех, кто использует ML в проектах. Здесь собираются ML-инженеры, дата-сайентисты, исследователи, аналитики и разработчики. В этот раз вас ждет двухдневный технологический хардкор об NLP, RecSys, MLOps и Computer Vision. С докладами выступят спикеры из Яндекса, Positive Technologies, Т-Банка, Точки и других известных компаний. А вот что с билетами: → Дают скидку 15% на билет для частных лиц по промокоду DEVSP; → Есть билет для студентов и преподавателей вузов — в два раза дешевле персонального; → Можно попросить руководство приобрести корпоративный билет. Бонус: в соседних залах пройдет Python-конференция PiterPy. Участники IML смогут послушать доклады PiterPy бесплатно. За подробностями и билетами

👀 Рептилоиды победили… но это не точно ИИ всё ещё не рептилоид: в статье — скептический разбор "интеллекта" нейросетей. Проверка на слонах, эволюция ответов Алисы, трезвый взгляд на истерики СМИ и разница между AGI и автокомплитом. Читать...

👩‍💻 Обучите модель для классификации текста с помощью Naive Bayes Создайте простую модель машинного обучения, которая определяет, является ли текст позитивным или негативным. Используем sklearn и алгоритм Naive Bayes Решение задачи🔽

from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import make_pipeline # Обучающие данные texts = ["Это отличный фильм", "Ужасный опыт", "Мне понравилось", "Очень скучно", "Прекрасная история"] labels = ['positive', 'negative', 'positive', 'negative', 'positive'] # Модель model = make_pipeline(CountVectorizer(), MultinomialNB()) model.fit(texts, labels) # Прогноз print(model.predict(["Фильм был ужасен"])) # ['negative'] print(model.predict(["Обожаю это кино"])) # ['positive']

➡️ Человек, которого выбрал ИИ Рассказывается, как ИИ научили выбирать сперматозоиды для ЭКО, и один из них уже стал человеком. Не теория, а реальный кейс: без философии, с метриками и видео процедур. Читать...

Занимаетесь робототехникой или искусственным интеллектом? Тогда вам точно стоит посетить ROS Meetup 2025! 🤖 26 апреля в Москве соберётся всё ROS-сообщество, чтобы обменяться опытом в области робототехники, искусственного интеллекта и практического применения ROS. Вас ждут актуальные доклады от ведущих специалистов, увлекательные дискуссии и выставка роботов. Не упустите возможность завести новые знакомства среди единомышленников. Обязательно добавьте в календарь 26 апреля — будет познавательно и захватывающе!

🔎 Подборка вакансий для мидлов ​Middle Data Scientist (лидогенерация) 🟢Python, Airflow, MLflow, Hadoop (Hive, Spark), Oracle (SQL, PL/SQL), Linux, Bash, Git 🟢Уровень дохода не указан | 1–3 года​ Data Engineer (Middle) 🟢Python (pandas, Airflow), PostgreSQL, MongoDB, ClickHouse, AWS, Yandex Cloud, Kafka, Spark 🟢Уровень дохода не указан | 1–3 года​ Python Developer (Middle) 🟢Python, Flask, FastAPI, React.js, PostgreSQL, Airflow, Git, Docker, ElasticSearch, Kafka 🟢Уровень дохода не указан | 3–6 лет

⚙️ Что такое one-hot encoding и зачем он нужен в Data Science? One-hot encoding — это способ представления категориальных признаков в виде бинарных векторов. Он используется для подготовки данных к моделям машинного обучения, которые не могут работать напрямую с текстовыми значениями. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'цвет': ['красный', 'синий', 'красный', 'зелёный']})

encoded = pd.get_dummies(df['цвет'])
print(encoded)

🗣️ В этом примере get_dummies превращает колонку с названиями цветов в три бинарные колонки — по одному на каждый уникальный цвет. Это позволяет моделям легче обрабатывать категориальные данные.

🖥 Подробнее тут

А ничего тот факт, что Сбер приглашает тебя на One Day Offer для DS/ML/DE специалистов? 😏 Ты будешь работать над рекомендательной платформой: масштабируемой, способной каждый день удивлять пользователей и предлагать им релевантные рекомендации. Добавляй в свой календарь 26 апреля, регистрируйся по ссылке и готовься пройти отбор в команду мечты за один день!

⚙️ Под микроскопом: AI Product Hack Статья анализирует результаты AI Product Hack, рассматривая спорное судейство и кейс компании Raft по мониторингу токсичного контента в AI-продуктах. Исследуются риски и последствия неконтролируемого поведения LLM в реальных проектах. Читать...

🔎 Подборка вакансий для джунов Junior Data Scientist (A/B-testing) 🟢Python, Spark, Airflow, MLFlow, Postgres, Git, DVC, Docker 🟢Уровень дохода не указан | 1–3 года​ Junior ML Engineer / Data Scientist 🟢Python, SciPy, scikit-learn, LightGBM, CatBoost, Git, Docker, MLflow, Airflow 🟢от 120 000 до 200 000 ₽ | 1–3 года​ Junior Data Scientist 🟢Python, SQL, pandas, numpy, matplotlib, seaborn, Scikit-learn, PyTorch, XGBoost, CatBoost, TensorFlow, transformers, pymorphy2, NLTK, Gensim, spaCy, regexp 🟢Уровень дохода не указан | 1–3 года

Как контейнеризация меняет аналитику данных? Docker — не просто модное слово, а инструмент, который упрощает развертывание аналитических решений, повышает их масштабируемость и ускоряет работу с данными. 💥 На открытом вебинаре 24 апреля в 20:00 мск разберём: — Как работает Docker и почему он важен для аналитиков. — Как с его помощью развернуть BI-платформы и ELT-пайплайны. — Какие команды и практики нужно освоить для эффективной работы. Спикер Андрей Поляков — старший разработчик сервисов платежных систем в международной компании. ➡️ Открытый урок проходит в преддверии старта курса «Data Warehouse Analyst». Всем участникам — скидка на обучение. Подробности и регистрация: https://vk.cc/cL07AE Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

👩‍💻 Задача: Реализация собственного Score-функционала для оценки модели Напишите свою метрику custom_score, которая будет вычислять "взвешенную точность": за TP даём +2, за TN — +1, FP и FN — 0. Это может быть полезно в задачах, где ложноположительные и ложноотрицательные результаты имеют разный вес Решение задачи🔽

from sklearn.metrics import confusion_matrix def custom_score(y_true, y_pred): tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel() score = tp * 2 + tn * 1 return score / (tp + tn + fp + fn) # нормализуем # Пример использования: y_true = [1, 0, 1, 1, 0, 0, 1] y_pred = [1, 0, 0, 1, 0, 1, 1] print(custom_score(y_true, y_pred)) # Примерный вывод: 0.71

🤔 Насколько хороши LLM? Статья описывает создание и адаптацию бенчмарка для оценки русскоязычных LLM в российском контексте. Основное внимание уделено подбору вопросов, актуализации содержания и корректировке оценок для соответствия современным общественным реалиям. Читать...

🔥 Самые интересные статьи за последние дни: • Всё, что вы хотели знать о Django Channels • Сборка Python проекта с uv и Docker • DE-1. DIY ассистент на LLM • Ваши генераторные выражения сломаны: чиним и разбираемся • Всё, что вы хотели знать о Django Channels

👩‍💻 Построй визуализацию распределения признаков с автоматической категоризацией Создайте функцию plot_distributions, которая принимает DataFrame и автоматически определяет числовые и категориальные признаки. Затем строит гистограммы или bar-графики в зависимости от типа данных. Это удобно для EDA (исследовательского анализа данных). Решение задачи🔽

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns def plot_distributions(df, max_categories=10): for column in df.columns: plt.figure(figsize=(6, 4)) if pd.api.types.is_numeric_dtype(df[column]): sns.histplot(df[column].dropna(), kde=True) plt.title(f'Гистограмма: {column}') elif df[column].nunique() <= max_categories: df[column].value_counts().plot(kind='bar') plt.title(f'Категории: {column}') else: print(f'Пропущен {column}: слишком много уникальных категорий') continue plt.tight_layout() plt.show() # Пример использования df = pd.DataFrame({ 'age': [23, 45, 31, 35, 62, 44, 23], 'gender': ['male', 'female', 'female', 'male', 'male', 'female', 'female'], 'income': [40000, 50000, 45000, 52000, 61000, 48000, 46000] }) plot_distributions(df)

⚙️ Как мы создаём Visionatrix: упрощая ComfyUI В этой статье мы расскажем о нашем опыте работы с ComfyUI и разработке Visionatrix — надстройки, которая упрощает генерацию медиа. Мы обсудим ключевые проблемы, с которыми сталкиваются пользователи, наш подход к их решению, а также вкратце поделимся тем, как мы использовали ChatGPT и Claude для ускорения разработки в условиях ограниченного времени. Читать...