Data Science | Machinelearning [ru]

❓ Что такое Overfitting и как его избежать в моделях машинного обучения? Overfitting (переобучение) возникает, когда модель слишком хорошо запоминает обучающие данные, включая шум, и теряет способность обобщать информацию на новых данных. Это приводит к высокому качеству на обучающем наборе, но плохим результатам на тестовых данных. ➡️ Основные способы предотвращения Overfitting:

1. Регуляризация: • L1 и L2-регуляризация добавляют штраф к сложным моделям. • Уменьшают коэффициенты модели, предотвращая избыточное подстраивание. 2. Dropout (для нейронных сетей): • Исключение случайных нейронов на этапе обучения. 3. Снижение сложности модели: • Использование меньшего числа признаков или более простых алгоритмов. 4. Увеличение данных: • Генерация новых данных или увеличение объёма обучающей выборки.

➡️ Пример:

from sklearn.linear_model import Ridge from sklearn.model_selection import train_test_split from sklearn.datasets import load_diabetes # Загружаем данные data = load_diabetes() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42) # Создаём модель с регуляризацией (Ridge) ridge = Ridge(alpha=1.0) ridge.fit(X_train, y_train) # Оцениваем качество train_score = ridge.score(X_train, y_train) test_score = ridge.score(X_test, y_test) print(f"Train Score: {train_score}, Test Score: {test_score}")

🗣️ В этом примере Ridge-регрессия с параметром регуляризации alpha=1.0 помогает предотвратить переобучение, улучшая обобщающую способность модели. 🖥 Подробнее тут

🤔 Почему DeepSeek Janus-7B — это нечто действительно невероятное В статье рассматриваются ключевые особенности новой мультимодальной модели DeepSeek Janus-7B, которая, по заявлениям, превосходит популярные AI-инструменты, такие как DALL-E 3 и Stable Diffusion. Подробно анализируются её уникальные технические решения и возможности. Читать...

⚡Внимание, ученые и исследователи в области ИИ! До 31 января 2025 года вы можете подать заявку на участие в премии Data Fusion Awards. Номинация «Научный прорыв года в ИИ» создана специально для авторов научных статей по искусственному интеллекту, опубликованных в 2024 году. 🔥Призовой фонд — 3 000 000 рублей, три победителя получат по 1 000 000 рублей каждый. Награждение пройдет 16-17 апреля в рамках конференции Data Fusion в Москве. Подробности — по ссылке.

🔎 Подборка вакансий для джунов Junior ML Engineer 🟢Python, SQL, Pandas, Django, Sklearn, PyTorch, Docker, OpenAI API 🟢от 1 500 $ | 1–3 года Аналитик ML/AI/DS 🟢Python, C/C++, R, Java, Go, JS, Kotlin, Swift, PHP, Jira, Confluence, ClearML 🟢от 150 000 ₽ | 1–3 года Data Scientist 🟢Python, SQL, pandas, Matplotlib, Numpy, CatBoost, XGBoost, LightGBM, Git 🟢от 120 000 до 200 000 ₽ | 1–3 года

👩‍💻 Предобработка текстовых данных и создание мешка слов (Bag of Words) Напишите функцию, которая принимает список текстовых строк и возвращает мешок слов (Bag of Words) в виде словаря, где ключи — это уникальные слова, а значения — их частота встречаемости в текстах. Функция должна выполнять базовую предобработку текста: приведение к нижнему регистру, удаление знаков препинания и стоп-слов. Пример использования:

texts = [
    "I love data science!",
    "Data science is amazing.",
    "Machine learning is a part of data science."
]

bag_of_words = create_bag_of_words(texts)
print(bag_of_words)
# Ожидаемый результат (пример):
# {'love': 1, 'data': 3, 'science': 3, 'amazing': 1, 'machine': 1, 'learning': 1, 'part': 1}

Решение задачи🔽

from collections import defaultdict import string from nltk.corpus import stopwords import nltk # Загружаем стоп-слова (если не загружены, выполнить: nltk.download('stopwords')) nltk.download('stopwords') stop_words = set(stopwords.words('english')) def preprocess_text(text): # Приведение к нижнему регистру и удаление знаков препинания text = text.lower() text = text.translate(str.maketrans('', '', string.punctuation)) return text def create_bag_of_words(texts): bag = defaultdict(int) for text in texts: # Предобработка текста processed_text = preprocess_text(text) # Разделение текста на слова и подсчет частот for word in processed_text.split(): if word not in stop_words: # Игнорируем стоп-слова bag[word] += 1 return dict(bag)

⚙️ Оптимизация Trellis: запускаем генерацию 3D моделей на GPU с 8ГБ памяти В статье рассказано, как с помощью оптимизации Trellis удалось снизить требования к видеопамяти с 16GB до 8GB, сохранив качество. Рассмотрены подходы к сжатию данных, переработке структур и повышению доступности инструмента. Читать...

🔥 Самые интересные статьи за последние дни: • Реализация подобия Apple Vision Pro • Почему LLM так плохо играют в шахматы (и что с этим делать) • LLM будут врать вечно • Как мы создали LLM-модель Cotype Nano • Человек и LLM: как построить метрики для оценки моделей

👩‍💻 Нормализация набора данных Напишите функцию, которая принимает pandas.DataFrame и нормализует все числовые столбцы в диапазон от 0 до 1. Пример:

import pandas as pd

data = pd.DataFrame({
    'feature1': [10, 20, 30, 40],
    'feature2': [1, 2, 3, 4],
    'feature3': ['A', 'B', 'C', 'D']  # Не числовой столбец
})

result = normalize_dataframe(data)
print(result)
# Ожидаемый результат:
#    feature1  feature2 feature3
# 0       0.0      0.0       A
# 1       0.333    0.333     B
# 2       0.667    0.667     C
# 3       1.0      1.0       D

Решение задачи🔽

import pandas as pd def normalize_dataframe(df): df_normalized = df.copy() for col in df.select_dtypes(include='number').columns: min_val = df[col].min() max_val = df[col].max() df_normalized[col] = (df[col] - min_val) / (max_val - min_val) return df_normalized # Пример использования: data = pd.DataFrame({ 'feature1': [10, 20, 30, 40], 'feature2': [1, 2, 3, 4], 'feature3': ['A', 'B', 'C', 'D'] }) result = normalize_dataframe(data) print(result)

🤖 Псст, ИИ нужен? 5 полезных инструментов для разработчика Статья предлагает подборку инструментов, платформ и шаблонов для работы с языковыми моделями и создания ИИ-ассистентов. Рассматриваются протестированные в МТС решения, упрощающие разработку и интеграцию. Читать...

Курс: NLP / Natural Language Processing https://otus.pw/XGJt/ Стань востребованным специалистом в области NLP и получи конкурентную профессию в IT. Скидка 5% по промокоду: NLPJN Старт занятий 29 января. Успей попасть в группу! https://otus.pw/XGJt/

📖 «Охота на электроовец: большая книга искусственного интеллекта» или как написать книгу про ИИ без регистрации и SMS История о том, как за 6 лет я написал двухтомник, посвящённый искусственному интеллекту и машинному обучению. Читать...

🌱 Никогда не прекращай быть «джуниором» Считаешь, что знаешь всё о своём языке или технологии? Это первый шаг к застою. 👉 Совет: хотя бы раз в месяц изучай что-то новое — экспериментируй с языком, погружайся в новый инструмент или пробуй другой подход. В IT важно не только знать, но и уметь учиться. Это ключ к тому, чтобы оставаться востребованным.

💳 Как мы провели ИИ-трансформацию стратегических процессов Сбера Статья рассказывает об ИИ-трансформации Сбера, включая ключевые задачи, такие как стресс-тестирование, анализ рынков и прогнозирование эффективности сотрудников. Рассматривается использование ИИ до и после трансформации. Читать...

Как построить витрину данных, как в крупной IT-компании? Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер. Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении. Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер. Что будет на вебинаре: • Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины; • Разберемся с методологией на разных диалектах; • Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов; • Используем AI для ускорения процессов. 🕗Встречаемся 28 января 19:00 по мск Зарегистрироваться на бесплатный вебинар

📝 Подборка вакансий для сеньоров Data engineer • SQL, Python, Apache Hadoop • Уровень дохода не указан | от 3 лет Data Engineer • SQL, Python, Apache Airflow, Greenplum, Apache Spark • от 250 000 ₽ | от 2 лет Senior Data Scientist • Python • Уровень дохода не указан | опыт не указан ML-инженер • Машинное обучение, Deep Learning, Нейронные сети, Python, TensorFlow, PyTorch, Keras, Linux, Git, Docker • Уровень дохода не указан | опыт не указан Разработчик БД (PostgreSQL, прикладные витрины) • SQL, PostgreSQL, ETL, Apache Airflow, Greenplum • Уровень дохода не указан | от 3 лет

❓ Как работает метод feature_importances_ в Python и зачем он нужен в Machine Learning? Метод feature_importances_ — это атрибут некоторых моделей машинного обучения в библиотеке scikit-learn, который позволяет определить, какие признаки (фичи) наиболее влияют на предсказания модели. Этот метод возвращает значение важности для каждого признака, показывая, как сильно он влияет на конечный результат. Его использование особенно полезно для деревьев решений и ансамблевых моделей, таких как RandomForest и GradientBoosting. ➡️ В примере ниже мы используем RandomForest для анализа важности признаков и визуализации результатов.

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
import pandas as pd

# Загрузка данных
data = load_iris()
X, y = data.data, data.target

# Создание и обучение модели
model = RandomForestClassifier()
model.fit(X, y)

# Получение и визуализация важности признаков
feature_importances = pd.Series(model.feature_importances_, index=data.feature_names)
feature_importances.sort_values(ascending=False).plot(kind='bar')

🗣 Использование feature_importances_ помогает определить, какие признаки стоит использовать, исключить малозначимые фичи и сделать модель более интерпретируемой.

🖥 Подробнее тут

⚙️ KAN 2.0: Kolmogorov-Arnold Networks Meet Science Статья представляет перевод работы о нейронных сетях на основе алгоритма Колмогорова-Арнольда (KAN). Рассматриваются новые исследования, связь с наукой и использование библиотеки pykan на Python для практических задач. Читать...

Чем занимаются дата-сайентисты в Авито? Узнайте изнутри! Статья от команды Data Science в Авито рассказывает о реальных кейсы, проектах и командах, которые развивают бизнес и обеспечивают безопасность платформы: ➡️ Как алгоритмы автомодерации проверяют миллионы объявлений. ➡️ Какие подходы используются для борьбы с мошенничеством. ➡️ Как работают персонализированные рекомендации и поиск. ➡️ Какие проекты ведет AI Lab в Авито. Все о мире DS в Авито и многое другое ➡️ по ссылке. Реклама. ООО «Авито Тех».

📈 Подборка статей для вашей карьеры • Больше чем книга • Как поставить цель на обучение, чтобы дойти до конца • Движение вверх: как стать CTO — на примере пяти историй ИТ-директоров • Найм дизайнеров глазами лида • Software Architect vs Solution Architect

🎞 Как за 6 промтов к ChatGPT создать Python скрипт, скачивающий видео с YouTube для просмотра на телевизоре через Kodi Статья рассказывает, как с помощью Python и ChatGPT создать скрипт для автоматической загрузки видео с YouTube и генерации метаданных (описаний и обложек) для интеграции с медиацентром Kodi. Читать...