Data Science | Machinelearning [ru]

👩‍💻 Как работает модуль os в Python для работы с файловой системой? Модуль os в Python предоставляет инструменты для взаимодействия с операционной системой. С его помощью можно управлять файлами и директориями, получать информацию о системе и переменных окружения, а также выполнять системные команды. Этот модуль особенно полезен для кроссплатформенных сценариев. ➡️ Пример:

import os

# Получение текущей директории
current_dir = os.getcwd()
print('Текущая директория:', current_dir)

# Создание новой директории
os.mkdir('new_folder')
print('Создана директория new_folder')

🗣 os позволяет удобно и кроссплатформенно работать с файловой системой, выполнять команды и настраивать окружение.

⚙️ Есть ли у AMD перспективы в AI/ML/DL. Часть 1 В статье старший MLOps-инженер из Selectel рассказывает о сравнении документации AMD и NVIDIA в области AI/DL/ML: ожидания, реальность и погружение в хаос терминов Читать...

⚡️ Мы собрали в одну папку экспертный контент в сфере IT. В этой папке вы найдете: 🟠 Советы от экспертов в сфере HR. Как попасть в IT в 2025 году? 🟠 Полезные курсы и советы для успешного прохождения собеседований 🟠 ИИ заменил 700 сотрудников в Бигтехе, к чему это привело? 🟠 И еще 20 статей. 🔗 А мы делимся с вами статьёй "INTELLECT-2: Первая большая (32B) параметрическая модель с распределенным обучением". 📎 Сохраняйте папку «IT & HR & DESIGN», изучайте каналы и прокачивайте свои скиллы! ⚡️Подписаться⚡️

📈 Подборка статей для вашей карьеры • Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу • На сколько денег может рассчитывать ИТ-предприниматель в разных ветках развития • Анализ задачи с собеседования в Google: конь и телефонные кнопки • Быстрый старт в QA Fullstack: чем вооружиться будущему стажеру в Альфа-Банке • Как убить самоорганизацию в команде: вредные советы для лидера

🔎 Подборка вакансий для сеньоров Senior Big Data Engineer (Data Management Platform) - Lamoda Tech 🟢Hadoop (YARN, HDFS, HBase, Hive), Spark, Airflow, Python, Scala, Java, SQL 🟢Доход не указан | 3–6 лет | Удалёнка/Гибрид Data Engineer Senior - LIAN 🟢SQL, Hadoop (HDFS, YARN, HIVE), Apache Spark, Airflow, Kafka, Python, Java, Scala 🟢270 000 - 350 000 ₽ | Более 6 лет | Удалёнка Senior Data Engineer - Sigma Sweden Software AB 🟢Spark (Scala), SQL, AWS (DynamoDB, Kinesis), Docker, Python/Ruby, Data Lake 🟢Доход не указан | 3–6 лет | Удалёнка/Гибрид/На месте

⚙️ INTELLECT-2: Первая большая (32B) параметрическая модель с распределенным обучением В статье рассказывают о прорывной модели INTELLECT-2: обучение на рое вычислительных узлов вместо датацентров, асинхронное RL и инфраструктура, которую строили с нуля Читать...

👀 Всё, о чём шепчутся в ИТ и бизнес-тусовках — уже в этой папке. Без шуму. Без "экспертов". Только факты. https://t.me/addlist/uhgZXoVbHuBiNWVi — Кто заменил 12 аналитиков одним ИИ-ассистентом и за месяц срезал издержки на 80% — Какие SaaS теперь строят MVP без команды — Где сейчас ИТ-специалисты зарабатывают $8-12k без стартапов и офисов — Почему маркетинг пересобирается заново, и какие инструменты будут мёртвы через полгода Это не мотивация. Это реальность, в которую ты опоздаешь, если промолчишь. 📁 Файлы, цифры, ссылки, инструменты — в одной тихой майской папке: https://t.me/addlist/uhgZXoVbHuBiNWVi

⚙️ Переходим от legacy к построению Feature Store В статье рассказывают, как в Домклик внедрили Feature Store в проект с огромным legacy: неожиданные трудности, полезные инсайты и реальный профит от новой архитектуры Читать...

❓Хотите овладеть Spark на профессиональном уровне? Приглашаем дата-инженеров 26 мая в 20:00 на открытый урок «Spark в Kubernetes». На занятии мы рассмотрим особенности и варианты запуска Spark в Kubernetes. 🔊 Вебинар проведет Вадим Заигрин, Team Lead команд инженеров данных на разных проектах. Продолжить освоение инструментов дата-инжиниринга вы сможете на онлайн-курсе «Spark Developer» от OTUS. ➡️ Ссылка для регистрации: https://vk.cc/cLWA3y Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzqx5GYGL

👩‍💻 Построй визуализацию распределения признаков с автоматической категоризацией Создайте функцию plot_distributions, которая принимает DataFrame и автоматически определяет числовые и категориальные признаки. Затем строит гистограммы или bar-графики в зависимости от типа данных. Это удобно для EDA (исследовательского анализа данных). Решение задачи🔽

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns def plot_distributions(df, max_categories=10): for column in df.columns: plt.figure(figsize=(6, 4)) if pd.api.types.is_numeric_dtype(df[column]): sns.histplot(df[column].dropna(), kde=True) plt.title(f'Гистограмма: {column}') elif df[column].nunique() <= max_categories: df[column].value_counts().plot(kind='bar') plt.title(f'Категории: {column}') else: print(f'Пропущен {column}: слишком много уникальных категорий') continue plt.tight_layout() plt.show() # Пример использования df = pd.DataFrame({ 'age': [23, 45, 31, 35, 62, 44, 23], 'gender': ['male', 'female', 'female', 'male', 'male', 'female', 'female'], 'income': [40000, 50000, 45000, 52000, 61000, 48000, 46000] }) plot_distributions(df)

⚙️ Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы В статье рассказывают, как уязвимость в ИИ позволяет обмануть систему команд: если подделать приказ, модель выполнит даже запрещённое. Неужели DAN снова на свободе? Читать...

🔎 Подборка вакансий для мидлов Middle/Senior Data Scientist в команду ETA/RTA 🟢Python, SQL, Pandas, Scikit-learn, XGBoost, LightGBM, CI/CD, Docker 🟢Уровень дохода не указан | 3–6 лет Middle ML Engineer 🟢Python, Go, SQL, PyTorch, TensorFlow, Airflow, Triton Inference Server, Docker, Kubernetes 🟢Уровень дохода не указан | 1–3 года Data Scientist/Разработчик машинного обучения (ML, NLP, LLM) Middle 🟢Python, numpy, pandas, sklearn, PyTorch, transformers, NLP, LLM 🟢Уровень дохода не указан | 1–3 года

🌟 Погружение в мир ИТ, Искусственного Интеллекта и Нейросетей 🤖 Привет, друзья! Если вы хотите быть на передовой технологий и следить за последними новостями в области ИТ, искусственного интеллекта и нейросетей, этот пост для вас! 📲 Почему важно следить за новыми технологиями? - Конкуренция на рынке труда - Возможности для роста - Полезные ресурсы для изучения - Онлайн-курс -Книги и статьи - Вебинары и подкасты Следите за последними новостями и трендами в ИТ и искусственном интеллекте, чтобы быть в курсе изменений, которые могут повлиять на вашу карьеру и профессиональные развитие. Используйте доступные ресурсы для обучения и не бойтесь экспериментировать с новыми технологиями. https://t.me/addlist/AgesetRmP1JkZDIy

👩‍💻 Чем отличается метод .transform() от .apply() в pandas? В pandas методы .transform() и .apply() часто используются для обработки данных по столбцам и строкам, но они работают по-разному. Метод .apply() применяет функцию к каждому элементу или ряду, и возвращает объект любой формы (например, DataFrame или Series). В отличие от него, .transform() применяет функцию к каждой ячейке или группе и возвращает объект той же формы, что и входной. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})

# Используем .apply() для вычисления суммы по столбцам
print(df.apply(sum))  # Вернет Series с суммами столбцов

# Используем .transform() для нормализации каждого значения в столбце
print(df.transform(lambda x: (x - x.mean()) / x.std()))
# Вернет DataFrame с нормализованными значениями

🗣 .apply() подходит для сложных операций и агрегаций, а .transform() удобно использовать для обработки данных с сохранением исходной структуры.

🖥 Подробнее тут

⚙️ Model Context Protocol (MCP): как подружить нейросети со всеми API за пару кликов В статье рассказывают, как новый протокол MCP от Anthropic стандартизирует взаимодействие LLM-агентов с сервисами и друг с другом. Грядёт эпоха упорядоченного ИИ-хаоса. Читать...

Современная магистратура от Центрального университета 4 офлайн программы, онлайн-магистратура по ML. Гранты до 1,2 млн руб. Стажировки, диплом гос. образца и фокус на твоей карьере в ЦУ Подать заявку #реклама 16+ apply.centraluniversity.ru О рекламодателе

🔎 Подборка вакансий для джунов Младший специалист по анализу данных / Junior Data Scientist 🟢Python, R, Математическая статистика, Регрессионный анализ 🟢Уровень дохода не указан | 1–3 года Data Analyst (Junior) 🟢SQL, Python, A/B тесты, BI, ML Base, EDA 🟢от 70 000 ₽ | Без опыта Junior Data Specialist 🟢SQL, Excel, ETL, DWH, Power BI, Tableau, Google Data Studio 🟢от 70 000 до 90 000 ₽ | 1–3 года

Жилой комплекс бизнес-класса LIFE Варшавская - Пешеходный бульвар, спортивный кластер, детский сад и школа на территории комплекса. - Квартиры с дизайнерской отделкой, панорамным остеклением и французскими балконами. - 5 минут от метро пешком в окружении парков. ⚡Выгода до 3,3 млн рублей в мае. Узнать больше Проектная декларация на сайте https://наш.дом.рф/. Застройщик: ООО "СЗ "ПИОНЕР-1" #реклама varshavskaya.life О рекламодателе

⚡️Создаём свою нейросеть в PyTorch Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели. Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei. Что будет на вебинаре? 🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU; 🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей; 🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения; 🟠Научимся использовать DataLoader для эффективной загрузки данных; 🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN); 🟠Обучим и протестируем модель. 🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта. 😶Зарегистрироваться на бесплатный вебинар

👩‍💻 Постройте простую модель классификации с использованием scikit-learn Создайте модель на датасете Iris, обучите классификатор KNeighborsClassifier и сделайте предсказание. Это классическая задача для первых шагов в машинном обучении. Решение задачи🔽

from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # Загружаем данные iris = load_iris() X, y = iris.data, iris.target # Делим на обучающую и тестовую выборки X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # Обучаем модель model = KNeighborsClassifier(n_neighbors=3) model.fit(X_train, y_train) # Предсказание y_pred = model.predict(X_test) # Оценка качества print(f"Точность: {accuracy_score(y_test, y_pred):.2f}")