Data Science | Machinelearning [ru]

⚙️ Автоматизация верификации кодовых датасетов подрядчиков с помощью LLM: снизили брак на 40% и сократили стоимость на 60% Статья рассказывает, как автоматизация на основе LLM ускорила верификацию данных и сократила ошибки в производственной цепочке. Узнаете, как это помогло заказчику сэкономить ресурсы и время. Читать...

👩‍💻 Выявление тренда в временном ряде Напишите Python-скрипт, который принимает временной ряд в виде pandas.Series и определяет тренд: восходящий, нисходящий или отсутствие тренда. Решение должно быть простым и лаконичным. ➡️ Пример:

import pandas as pd
import numpy as np

# Генерация данных
date_range = pd.date_range(start="2020-01-01", periods=12, freq="M")
values = np.linspace(10, 20, 12) + np.random.normal(0, 0.5, 12)
time_series = pd.Series(data=values, index=date_range)

result = detect_trend(time_series)
print(result)  # Ожидаемый результат: "Восходящий тренд"

Решение задачи🔽

import numpy as np def detect_trend(series): x = np.arange(len(series)) slope = np.polyfit(x, series.values, 1)[0] if slope > 0: return "Восходящий тренд" elif slope < 0: return "Нисходящий тренд" else: return "Тренд отсутствует" # Пример использования import pandas as pd import numpy as np date_range = pd.date_range(start="2020-01-01", periods=12, freq="M") values = np.linspace(10, 20, 12) + np.random.normal(0, 0.5, 12) time_series = pd.Series(data=values, index=date_range) print(detect_trend(time_series))

🔫 Claude сопротивляется Исследование Anthropic показывает, как их ИИ Claude мог притворяться злым, чтобы избежать «переобучения». Модель следовала поддельным документам для бесплатных пользователей, но сопротивлялась для премиум-аудитории. Читать...

🔥 Самые интересные статьи за последние дни: • Всё, что вы хотели знать о Django Channels • Сборка Python проекта с uv и Docker • DE-1. DIY ассистент на LLM • Ваши генераторные выражения сломаны: чиним и разбираемся • Всё, что вы хотели знать о Django Channels

🎯 Разделяй свои задачи на «узкие» и «широкие» Иногда ты работаешь над узкой проблемой (например, багом в функции), а иногда — над широкой (архитектурное решение). Легко запутаться, если смешивать такие задачи. 👉 Совет: планируй работу так, чтобы «узкие» задачи чередовались с «широкими». Так мозг не перегружается и сохраняется баланс между точечной работой и глобальным видением проекта.

👩‍💻 Пишем свой PyTorch на NumPy. Часть 1 PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy! Читать...

🤔 ИИ с человеческим лицом: какие ошибки повторяют модели и что с этим делать В статье рассказывают, почему ИИ, как и люди, подвержен когнитивным искажениям: самоуверенность, предвзятость и шаблонное мышление — как это влияет на бизнес и технологии Читать...

Алоха, товарищи! Недавно в Сингапуре завершилась одна из главных конференций в мире ML — ICLR 2025, и Яндекс приглашает обсудить самые интересные доклады. Где и когда проходит: 20 мая в офисе на Льва Толстого, 16 (или онлайн) пройдёт Yandex ICLR Recap — вечер инсайтов, мнений и прогнозов от сильных спикеров Яндекса. Кто выступает: 👉 Артём Бабенко, руководитель отдела Research — расскажет, что нового в мире tabular DL и как меняются подходы к работе с табличными данными. 👉 Андрей Бут, лидер команды YandexGPT Alignment — даст срез по NLP: какие задачи сейчас на пике, что получилось, а что нет. 👉 Роман Исаченко, руководитель направления CV — покажет, как развивается компьютерное зрение и в какую сторону движется сообщество. 👉 Алексей Степанов, CTO международного поиска — поделится тем, как современные идеи ICLR применимы к ML-инженерии и поиску. Будем обсуждать и делиться мнениями. Можно немного по холиварить. Это отличный шанс свериться с глобальной повесткой. Регистрация уже открыта. До встречи на рекапе

👩‍💻 Как работает модуль os в Python для работы с файловой системой? Модуль os в Python предоставляет инструменты для взаимодействия с операционной системой. С его помощью можно управлять файлами и директориями, получать информацию о системе и переменных окружения, а также выполнять системные команды. Этот модуль особенно полезен для кроссплатформенных сценариев. ➡️ Пример:

import os

# Получение текущей директории
current_dir = os.getcwd()
print('Текущая директория:', current_dir)

# Создание новой директории
os.mkdir('new_folder')
print('Создана директория new_folder')

🗣 os позволяет удобно и кроссплатформенно работать с файловой системой, выполнять команды и настраивать окружение.

⚙️ Есть ли у AMD перспективы в AI/ML/DL. Часть 1 В статье старший MLOps-инженер из Selectel рассказывает о сравнении документации AMD и NVIDIA в области AI/DL/ML: ожидания, реальность и погружение в хаос терминов Читать...

⚡️ Мы собрали в одну папку экспертный контент в сфере IT. В этой папке вы найдете: 🟠 Советы от экспертов в сфере HR. Как попасть в IT в 2025 году? 🟠 Полезные курсы и советы для успешного прохождения собеседований 🟠 ИИ заменил 700 сотрудников в Бигтехе, к чему это привело? 🟠 И еще 20 статей. 🔗 А мы делимся с вами статьёй "INTELLECT-2: Первая большая (32B) параметрическая модель с распределенным обучением". 📎 Сохраняйте папку «IT & HR & DESIGN», изучайте каналы и прокачивайте свои скиллы! ⚡️Подписаться⚡️

📈 Подборка статей для вашей карьеры • Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу • На сколько денег может рассчитывать ИТ-предприниматель в разных ветках развития • Анализ задачи с собеседования в Google: конь и телефонные кнопки • Быстрый старт в QA Fullstack: чем вооружиться будущему стажеру в Альфа-Банке • Как убить самоорганизацию в команде: вредные советы для лидера

🔎 Подборка вакансий для сеньоров Senior Big Data Engineer (Data Management Platform) - Lamoda Tech 🟢Hadoop (YARN, HDFS, HBase, Hive), Spark, Airflow, Python, Scala, Java, SQL 🟢Доход не указан | 3–6 лет | Удалёнка/Гибрид Data Engineer Senior - LIAN 🟢SQL, Hadoop (HDFS, YARN, HIVE), Apache Spark, Airflow, Kafka, Python, Java, Scala 🟢270 000 - 350 000 ₽ | Более 6 лет | Удалёнка Senior Data Engineer - Sigma Sweden Software AB 🟢Spark (Scala), SQL, AWS (DynamoDB, Kinesis), Docker, Python/Ruby, Data Lake 🟢Доход не указан | 3–6 лет | Удалёнка/Гибрид/На месте

⚙️ INTELLECT-2: Первая большая (32B) параметрическая модель с распределенным обучением В статье рассказывают о прорывной модели INTELLECT-2: обучение на рое вычислительных узлов вместо датацентров, асинхронное RL и инфраструктура, которую строили с нуля Читать...

👀 Всё, о чём шепчутся в ИТ и бизнес-тусовках — уже в этой папке. Без шуму. Без "экспертов". Только факты. https://t.me/addlist/uhgZXoVbHuBiNWVi — Кто заменил 12 аналитиков одним ИИ-ассистентом и за месяц срезал издержки на 80% — Какие SaaS теперь строят MVP без команды — Где сейчас ИТ-специалисты зарабатывают $8-12k без стартапов и офисов — Почему маркетинг пересобирается заново, и какие инструменты будут мёртвы через полгода Это не мотивация. Это реальность, в которую ты опоздаешь, если промолчишь. 📁 Файлы, цифры, ссылки, инструменты — в одной тихой майской папке: https://t.me/addlist/uhgZXoVbHuBiNWVi

⚙️ Переходим от legacy к построению Feature Store В статье рассказывают, как в Домклик внедрили Feature Store в проект с огромным legacy: неожиданные трудности, полезные инсайты и реальный профит от новой архитектуры Читать...

❓Хотите овладеть Spark на профессиональном уровне? Приглашаем дата-инженеров 26 мая в 20:00 на открытый урок «Spark в Kubernetes». На занятии мы рассмотрим особенности и варианты запуска Spark в Kubernetes. 🔊 Вебинар проведет Вадим Заигрин, Team Lead команд инженеров данных на разных проектах. Продолжить освоение инструментов дата-инжиниринга вы сможете на онлайн-курсе «Spark Developer» от OTUS. ➡️ Ссылка для регистрации: https://vk.cc/cLWA3y Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzqx5GYGL

👩‍💻 Построй визуализацию распределения признаков с автоматической категоризацией Создайте функцию plot_distributions, которая принимает DataFrame и автоматически определяет числовые и категориальные признаки. Затем строит гистограммы или bar-графики в зависимости от типа данных. Это удобно для EDA (исследовательского анализа данных). Решение задачи🔽

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns def plot_distributions(df, max_categories=10): for column in df.columns: plt.figure(figsize=(6, 4)) if pd.api.types.is_numeric_dtype(df[column]): sns.histplot(df[column].dropna(), kde=True) plt.title(f'Гистограмма: {column}') elif df[column].nunique() <= max_categories: df[column].value_counts().plot(kind='bar') plt.title(f'Категории: {column}') else: print(f'Пропущен {column}: слишком много уникальных категорий') continue plt.tight_layout() plt.show() # Пример использования df = pd.DataFrame({ 'age': [23, 45, 31, 35, 62, 44, 23], 'gender': ['male', 'female', 'female', 'male', 'male', 'female', 'female'], 'income': [40000, 50000, 45000, 52000, 61000, 48000, 46000] }) plot_distributions(df)

⚙️ Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы В статье рассказывают, как уязвимость в ИИ позволяет обмануть систему команд: если подделать приказ, модель выполнит даже запрещённое. Неужели DAN снова на свободе? Читать...

🔎 Подборка вакансий для мидлов Middle/Senior Data Scientist в команду ETA/RTA 🟢Python, SQL, Pandas, Scikit-learn, XGBoost, LightGBM, CI/CD, Docker 🟢Уровень дохода не указан | 3–6 лет Middle ML Engineer 🟢Python, Go, SQL, PyTorch, TensorFlow, Airflow, Triton Inference Server, Docker, Kubernetes 🟢Уровень дохода не указан | 1–3 года Data Scientist/Разработчик машинного обучения (ML, NLP, LLM) Middle 🟢Python, numpy, pandas, sklearn, PyTorch, transformers, NLP, LLM 🟢Уровень дохода не указан | 1–3 года