Data Science | Machinelearning [ru]

📉 Иногда нужно сознательно писать меньше кода Чем больше кода — тем больше точек отказа, багов и времени на поддержку. А мы здесь не ради фич ради фич. 👉 Совет: прежде чем что-то реализовать — подумай, а нужно ли это вообще? Может, задачу можно решить конфигом, сторонним инструментом или просто выкинуть. Самый чистый код — тот, которого не пришлось писать.

👩‍💻 7 малоизвестных возможностей стандартной библиотеки Python Стандартная библиотека Python – это кладезь возможностей. Мы представляем семь недооцененных модулей, которые помогут вам улучшить организацию данных, оптимизировать производительность и упростить распространение ваших программ. Читать...

⚡ Мы делимся с вами папкой «TECH & SCI», в которой собрали статьи о самых инновационных разработках, новостях, которые были реализованы в 2024-2025 году в сфере технологий, науки. 📂 Внутри вас ждет: 🟠 ИИ-агенты - новый способ оптимизации процессов в 2024-2025. 🟠 Золотая жила для разработчиков в 2025 GenAI: подборка из 44 готовых ИИ-агентов с исходным кодом. 🟠 Прорывы в сфере астрономии в 2025 году. 🟠 Последние изобретения в Data Science. 🟠 И еще 24 полезные статьи, которые прокачают ваши навыки. 🔗 А мы с вами делимся статьёй: «Как я с помощью нейросетей обогнала инфляцию». ✔ Сохраняйте папку «TECH & SCI», изучайте материалы и выходите на новый уровень!

❓ Как работает кросс-валидация в ML? Кросс-валидация — это техника оценки модели, которая помогает избежать переобучения и лучше оценить её обобщающую способность. В классической k-блочной кросс-валидации данные разбиваются на k равных частей, и модель обучается k раз, каждый раз используя одну часть для тестирования и остальные для обучения. ➡️ Пример применения кросс-валидации с использованием библиотеки scikit-learn:

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

data = load_iris()
X, y = data.data, data.target
clf = RandomForestClassifier()

scores = cross_val_score(clf, X, y, cv=5)
print(f'Средняя точность: {scores.mean()}')

Здесь модель обучается 5 раз (5-fold) на разных частях данных, и вычисляется средняя точность.

🗣️ Кросс-валидация помогает лучше понять, как модель будет работать на новых данных, улучшая её обобщение.

🖥 Подробнее тут

Готов увидеть будущее искусственного интеллекта? 🧠 GoCloud — масштабная конференция про облака и AI. Здесь ML-инженеры, дата сайентисты, разработчики и архитекторы обмениваются лучшими практиками и знаниями. В программе: ▫️ презентация платформы для работы с AI&ML — от идеи до результата ▫️ анонс новых сервисов для работы с GenAI ▫️ реальный кейс трансформации клиентского сервиса с помощью AI ▫️ анонс сервиса для простого и быстрого запуска ML-моделей в облаке 30+ докладов, нетворкинг с экспертами и live-демо сервисов ждут тебя 10 апреля. Регистрация по ссылке 👈

🚀 Оптимизируй свой AI: разоблачение 6 мифов о работе с векторами в Pgvector Шесть заблуждений, которые мешают тебе использовать всю мощь векторных баз данных в AI. Развенчав эти мифы, ты сможешь раскрыть истинный потенциал векторов и значительно повысить эффективность твоих AI-проектов. Читать...

🤖 ChatGPT VS DeepSeek Приглашаем на открытый урок. 🗓 01 апреля в 18:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «NLP. Advanced». ChatGPT, DeepSeek, Gemini… Что у них внутри и какие технологии их создают? На открытом уроке разберем архитектуру современных LLM, методы их обучения и принципы, которые двигают индустрию NLP вперед. Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. Если вы хотите глубже понять работу LLM, разобраться в ключевых концепциях DeepSeek и узнать о будущих трендах, этот вебинар для вас. Участвуйте и получите скидку для обучения на курсе «NLP. Advanced». 🔗 Ссылка на регистрацию: https://vk.cc/cKhpfL Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqxCbVse

📝 Подборка вакансий для сеньоров Системный аналитик (Data Office) • SQL, BPMN, REST, анализ требований • Уровень дохода не указан | опыт не указан​ Senior Data Scientist в команду антифрода • Python, SQL, TensorFlow, PyTorch, машинное обучение • Уровень дохода не указан | от 2 лет​ Продуктовый аналитик • Yandex DataLens, Python, Amplitude, ClickHouse, Oracle, Microsoft Excel, Tableau, Metabase, PowerBI, анализ данных • Уровень дохода не указан | от 2 лет

МТС True Tech Hack 2025 — создай новое решение на базе The Platform от МТС и поборись за призовой фонд в 1 500 000 рублей. Регистрация открыта до 16 апреля. Твоя формула успеха: ✅ Хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России ✅ Знаешь, как превратить идею в работающий прототип ✅ Любишь работать в команде. На хакатон приглашают разработчиков, Data Scientists, Data Engineers, системных и бизнес-аналитиков, UI/UX-дизайнеров и других специалистов. Участие — командное, в каждой будет от 2 до 5 человек. Треки МТС True Tech Hack 2025: ✅ DataOps Pipeline: оптимизация от сбора до отчета ✅ AI Schema Builder: генерация схем ✅ Цифровизация через True Tabs: интеграция данных и процессов в единую экосистему ✅ TouchVision: AI-ассистент для незрячих и слабовидящих пользователей ✅ Золотая середина: дистилляция моделей MWS GPT Не пропусти митап 9 апреля с экспертами хакатона — задай вопросы и узнай больше о задачах. Регистрируйся на МТС True Tech Hack 2025

📈 Подборка статей для вашей карьеры • Продуктивность и почему «сделать много всего» — это не про неё • Куда выйти из айти? • Как я боролся с выгоранием в ИТ: лайфхаки и личный опыт • ИТ-пенсионеры и где они обитают • Почему мне нужно, чтобы ты вкатился в айти

↗️ Как я с помощью нейросетей обогнала инфляцию В статье рассказывается, как использовать нейросети для оптимизации работы, если ваш доход в рублях, а расходы — в валюте. Спойлер: полное делегирование задач ИИ — миф, но с его помощью можно значительно упростить рутину и повысить продуктивность. Поделены реальные кейсы из жизни автора. Читать...

⚡️Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке. Что будем делать на вебинаре: 🟠Напишем сложные SQL-запросы для банковских данных; 🟠Вспомним, как правильно использовать оконные функции; 🟠Узнаем, как создавать разметку, из чего она состоит и для чего она нужна; 🟠На реальных данных проведем когортный анализ и сделаем выводы; 🟠Расскажем, как доставать инсайты из данных. Вебинар проведет Денис Иванов, ведущий продуктовый аналитик 😶Зарегистрироваться на бесплатный вебинар

🌞 Автоэнкодеры простыми словами Автоэнкодеры являются базовой техникой машинного обучения и искусственного интеллекта, на основе которой строятся более сложные модели, например, в диффузионных моделях, таких как Stable Diffusion. Что же такое автоэнкодер? Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как обеспечить Data Quality терабайтов данных и зачем: опыт СИБУРа Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях. Читать...

Ваша карьера в аналитике данных может выйти на новый уровень DWH — это основа качественной аналитики. Без правильно спроектированного хранилища данные хаотичны, отчеты несистемны, а решения принимаются вслепую. 📍 На открытом уроке 26 марта в 20:00 мск разберем, какие существуют подходы к построению хранилищ, как они влияют на скорость обработки данных и какие задачи решают. После урока вы: - Разберетесь в ключевых архитектурах DWH. - Научитесь выбирать подходящую под задачи бизнеса. - Поймете, как архитектура влияет на масштабируемость и производительность. Спикер Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. ➡️ Регистрируйтесь и получите скидку на большое обучение «Data Warehouse Analyst»: https://vk.cc/cKdonV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📝 Подборка вакансий для мидлов Data Analyst • Python, R, Java, SQL, NoSQL • Уровень дохода не указан | от 2 лет Data Engineer (Middle) • Python, PostgreSQL, MongoDB, ClickHouse, AWS, Kafka, Spark • Уровень дохода не указан | от 2 лет Python разработчик (Трайб Data Office) • Python, HTML, JavaScript, CSS, Vue.js, Linux • Уровень дохода не указан | опыт не указан

⚙️ Что такое генераторы в Python и зачем они нужны? Генераторы — это функции в Python, которые возвращают значения по одному с помощью ключевого слова yield, вместо полного возврата всех значений сразу. Они полезны для работы с большими объемами данных, так как сохраняют память, генерируя значения на лету. ➡️ Пример:

# Генератор для получения первых N чисел Фибоначчи
def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        yield a
        a, b = b, a + b

# Используем генератор
for num in fibonacci(5):
    print(num)

# Вывод: 0, 1, 1, 2, 3

🗣️ В этом примере генератор fibonacci вычисляет числа по запросу, вместо сохранения всех значений в памяти. Это делает генераторы особенно удобными для работы с потоками данных или бесконечными последовательностями.

🖥 Подробнее тут

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

Искусственный интеллект — будущее, которое уже наступило. Компании и государства активно инвестируют в развитие ИИ, делая навыки в этой сфере одними из самых востребованных. А Deep Learning и Computer Vision — две ключевые технологии, которые лежат в основе современных AI-решений. Это основа, так сказать база, based. Приходите на бесплатный онлайн-вебинар от Karpov Courses, чтобы в дружеской атмосфере познакомиться с Deep Learning и Computer Vision, понять, как стартовать в профессии инженера глубокого обучения и какие задачи вас ждут — всё это на реальных примерах, которые можно решить с помощью нейросетей. Вебинар пройдет 27 марта в 19:00 мск: https://clc.to/P2LoVw