Data Science | Machinelearning [ru]

🌟 Погружение в мир ИТ, Искусственного Интеллекта и Нейросетей 🤖 Привет, друзья! Если вы хотите быть на передовой технологий и следить за последними новостями в области ИТ, искусственного интеллекта и нейросетей, этот пост для вас! 📲 Почему важно следить за новыми технологиями? - Конкуренция на рынке труда - Возможности для роста - Полезные ресурсы для изучения - Онлайн-курс -Книги и статьи - Вебинары и подкасты Следите за последними новостями и трендами в ИТ и искусственном интеллекте, чтобы быть в курсе изменений, которые могут повлиять на вашу карьеру и профессиональные развитие. Используйте доступные ресурсы для обучения и не бойтесь экспериментировать с новыми технологиями. https://t.me/addlist/AgesetRmP1JkZDIy

👩‍💻 Чем отличается метод .transform() от .apply() в pandas? В pandas методы .transform() и .apply() часто используются для обработки данных по столбцам и строкам, но они работают по-разному. Метод .apply() применяет функцию к каждому элементу или ряду, и возвращает объект любой формы (например, DataFrame или Series). В отличие от него, .transform() применяет функцию к каждой ячейке или группе и возвращает объект той же формы, что и входной. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})

# Используем .apply() для вычисления суммы по столбцам
print(df.apply(sum))  # Вернет Series с суммами столбцов

# Используем .transform() для нормализации каждого значения в столбце
print(df.transform(lambda x: (x - x.mean()) / x.std()))
# Вернет DataFrame с нормализованными значениями

🗣 .apply() подходит для сложных операций и агрегаций, а .transform() удобно использовать для обработки данных с сохранением исходной структуры.

🖥 Подробнее тут

⚙️ Model Context Protocol (MCP): как подружить нейросети со всеми API за пару кликов В статье рассказывают, как новый протокол MCP от Anthropic стандартизирует взаимодействие LLM-агентов с сервисами и друг с другом. Грядёт эпоха упорядоченного ИИ-хаоса. Читать...

Современная магистратура от Центрального университета 4 офлайн программы, онлайн-магистратура по ML. Гранты до 1,2 млн руб. Стажировки, диплом гос. образца и фокус на твоей карьере в ЦУ Подать заявку #реклама 16+ apply.centraluniversity.ru О рекламодателе

🔎 Подборка вакансий для джунов Младший специалист по анализу данных / Junior Data Scientist 🟢Python, R, Математическая статистика, Регрессионный анализ 🟢Уровень дохода не указан | 1–3 года Data Analyst (Junior) 🟢SQL, Python, A/B тесты, BI, ML Base, EDA 🟢от 70 000 ₽ | Без опыта Junior Data Specialist 🟢SQL, Excel, ETL, DWH, Power BI, Tableau, Google Data Studio 🟢от 70 000 до 90 000 ₽ | 1–3 года

Жилой комплекс бизнес-класса LIFE Варшавская - Пешеходный бульвар, спортивный кластер, детский сад и школа на территории комплекса. - Квартиры с дизайнерской отделкой, панорамным остеклением и французскими балконами. - 5 минут от метро пешком в окружении парков. ⚡Выгода до 3,3 млн рублей в мае. Узнать больше Проектная декларация на сайте https://наш.дом.рф/. Застройщик: ООО "СЗ "ПИОНЕР-1" #реклама varshavskaya.life О рекламодателе

⚡️Создаём свою нейросеть в PyTorch Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели. Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei. Что будет на вебинаре? 🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU; 🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей; 🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения; 🟠Научимся использовать DataLoader для эффективной загрузки данных; 🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN); 🟠Обучим и протестируем модель. 🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта. 😶Зарегистрироваться на бесплатный вебинар

👩‍💻 Постройте простую модель классификации с использованием scikit-learn Создайте модель на датасете Iris, обучите классификатор KNeighborsClassifier и сделайте предсказание. Это классическая задача для первых шагов в машинном обучении. Решение задачи🔽

from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # Загружаем данные iris = load_iris() X, y = iris.data, iris.target # Делим на обучающую и тестовую выборки X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # Обучаем модель model = KNeighborsClassifier(n_neighbors=3) model.fit(X_train, y_train) # Предсказание y_pred = model.predict(X_test) # Оценка качества print(f"Точность: {accuracy_score(y_test, y_pred):.2f}")

Добрый день! Пост удален. Акт вышлю вам в среду. Хорошо?

🧠 Языковые модели против мошенников: как LLM помогают бороться с отмыванием денег и финансовым мошенничеством В статье разбирают, как LLM помогает банкам бороться с мошенничеством: от отслеживания подозрительных транзакций до анализа фишинговых схем — умная защита в действии. Читать...

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Напишите функцию для расчёта Accuracy вручную В машинном обучении Accuracy — это метрика качества классификации. Показывает, сколько предсказаний модель сделала правильно. Решение задачи🔽

def accuracy_score(y_true, y_pred): correct = 0 for true, pred in zip(y_true, y_pred): if true == pred: correct += 1 return correct / len(y_true) # Пример использования: y_true = [1, 0, 1, 1, 0, 1] y_pred = [1, 0, 0, 1, 0, 1] print(accuracy_score(y_true, y_pred)) # 0.833...

🤔 Выбираем MLOps инструменты с учётом зрелости команды В статье разбирают, как выбрать MLOps-инструменты под уровень зрелости команды: почему решений много, но не все подходят, и как не утонуть в многообразии вариантов. Читать...

👩‍💻 Предсказание цены дома по площади Построить сверточную нейронную сеть (CNN) для классификации изображений из набора данных CIFAR-10. Модель должна предсказывать класс объекта на изображении. Датасет CIFAR-10 содержит 60,000 изображений размером 32x32 пикселя, разделенных на 10 классов: — Самолет, Автомобиль, Птица, Кот, Олень, Собака, Лягушка, Лошадь, Корабль, Грузовик. Требования к модели: • Использовать сверточные слои для выделения признаков. • Применить слои подвыборки (пулинг) для уменьшения размеров карты признаков. • Добавить полносвязные слои для классификации на основе выделенных признаков. • Использовать функцию активации ReLU для скрытых слоев и softmax для выходного слоя. • Оценить точность модели на тестовых данных. Входные данные: изображения размера 32x32 с тремя каналами (RGB). Решение задачи🔽

import tensorflow as tf from tensorflow.keras.datasets import cifar10 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense # Загрузка данных (X_train, y_train), (X_test, y_test) = cifar10.load_data() # Нормализация данных X_train, X_test = X_train / 255.0, X_test / 255.0 # Создание модели CNN model = Sequential([ Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)), MaxPooling2D((2, 2)), Conv2D(64, (3, 3), activation='relu'), MaxPooling2D((2, 2)), Flatten(), Dense(128, activation='relu'), Dense(10, activation='softmax') ]) # Компиляция модели model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) # Обучение модели model.fit(X_train, y_train, epochs=10, validation_data=(X_test, y_test)) # Оценка модели loss, accuracy = model.evaluate(X_test, y_test) print(f"Точность модели: {accuracy:.2f}")

🌱 Не бойся признавать, что чего-то не знаешь Легко притворяться экспертом и искать решение вслепую, но это затягивает процесс и создаёт ложное впечатление о твоих знаниях. 👉 Совет: если не знаешь ответа — так и скажи. Вопросы — не признак слабости, а стремления разобраться. Более того, честность повышает доверие в команде. Никто не знает всего — даже опытные разработчики иногда гуглят основы.

🧠 Создаем свой RAG: введение в LangGraph В статье объясняют, что такое RAG и как использовать LangGraph для генерации с дополненной выборкой: основы, примеры и подготовка к созданию собственных RAG-систем. Читать...

➡️ Как Duolingo юзает машинное обучение для прокачки английского: кратко и по делу В статье рассказывают, как ИИ сделал Duolingo фабрикой языковых курсов: генерация контента, проверка ответов, адаптация заданий — всё на автомате. Учить стало быстрее. Читать...

❓ Как работает метод feature_importances_ в Python и зачем он нужен в Machine Learning? Метод feature_importances_ — это атрибут некоторых моделей машинного обучения в библиотеке scikit-learn, который позволяет определить, какие признаки (фичи) наиболее влияют на предсказания модели. Этот метод возвращает значение важности для каждого признака, показывая, как сильно он влияет на конечный результат. Его использование особенно полезно для деревьев решений и ансамблевых моделей, таких как RandomForest и GradientBoosting. ➡️ В примере ниже мы используем RandomForest для анализа важности признаков и визуализации результатов.

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
import pandas as pd

# Загрузка данных
data = load_iris()
X, y = data.data, data.target

# Создание и обучение модели
model = RandomForestClassifier()
model.fit(X, y)

# Получение и визуализация важности признаков
feature_importances = pd.Series(model.feature_importances_, index=data.feature_names)
feature_importances.sort_values(ascending=False).plot(kind='bar')

🗣 Использование feature_importances_ помогает определить, какие признаки стоит использовать, исключить малозначимые фичи и сделать модель более интерпретируемой.

🖥 Подробнее тут

🧠 Распознавание орхоно-енисейских рунических надписей методами машинного обучения В статье рассказывают о расшифровке орхоно-енисейских рун: древние тексты на камне, трудности интерпретации и идеи автоматизации для точности и скорости анализа. Читать...

📈 Подборка статей для вашей карьеры • «Снова упала?» Как поднять самооценку и зачем мы сравниваем себя с другими, даже если от этого больно • Из учителя в QA: мой путь в IT • Рынок дата-инженеров и прогноз на 2025 • Как сделать резюме, которое дойдёт до работодателя. Фильтры ATS в 2025 году • Ошибайся смело: жизненные уроки из мира machine learning