Data Science | Machinelearning [ru]

📈 Подборка статей для вашей карьеры • Как продакт-менеджеру учить английский: план, сроки, советы • Иллюзия прогресса: почему мне не удалось дать студентам-айтишникам реальный опыт • Interview copilots: как кандидаты используют ChatGPT на интервью • Моя история входа в IT: как я ломал стены своих ограничений • Как мы разработали систему грейдинга для системных аналитиков

📝 Подборка вакансий для сеньоров Инженер по данным / Data Scientist (Senior Data Engineer, удалённо) • Git, SQL, Python, PostgreSQL, Docker, Nginx, Elasticsearch • от 300 000 до 450 000 ₽ | 3+ года Data Engineer • MongoDB, SQL, Python, Pandas • Уровень дохода не указан | 5+ лет Senior Data analyst • SQL, Apache Airflow, Python, BI • Уровень дохода не указан | 3+ года

➡️ Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля. Читать...

⚙️ Physics-based и data-driven моделирование Статья объясняет различия между физически обоснованными моделями и моделями, основанными на данных, с примерами задач машинного обучения. Рассматривается подход к обработке данных, выбору моделей и их обучению. Читать...

🤔 Deep learning в определении адреса по описанию: опыт API Яндекс Карт На Хабре вышла статья о том, как команда API Яндекс Карт применила современные методы машинного обучения в задаче геокодирования. Новая архитектура Геокодера построена на базе active learning и contrastive learning, что позволяет быстро адаптировать инструмент для разных стран. Он способен конвертировать текстовые запросы из поисковой строки в координаты, даже если в них есть ошибки, опечатки или народные названия. Инструмент показал существенное улучшение метрик в Казахстане: +14% rel@1 и −18% has-irrel@10. Читать...

➡️ Машинное обучение: общие принципы и концепции В этой статье я рассказываю про основные концепции, типы обучения, типы задач в машинном обучении и также делаю постановку задачи машинного обучения (МО). Все это я рассказываю в своем стиле и понимании. Читать...

Совет IT-спецам на 2025 год - чаще посещайте тематические мероприятия Зачем тратить время на Ютубчик, когда можно интересно проводить время, при этом развивая свои навыки! А чтобы не гуглить афиши и не подписываться на сотню разных каналов, IT-мероприятия России уже собрали все самые топовые события в одном месте. Оффлайн и онлайн, для разных специальностей и уровней знаний. 👨🏻‍💻 В этом канале ты найдешь самые актуальные и интересные события: анонсы форумов, конференций, митапов, вебинаров, хакатонов, олимпиад и многое другое. Присоединяйся к комьюнити лучших спецов и заново влюбись в свою работу: IT мероприятия России / ITMeeting / IT events

📝 Подборка вакансий для мидлов Аналитик SQL / Data Analyst • SQL, Python, MySQL, PostgreSQL, Yandex DataLens • от 100 000 ₽ | 1+ год ML-инженер • Python, PyTorch, TensorFlow, Linux, Git, Bash • от 100 000 ₽ | 3+ года Machine Learning Engineer / Media AI Agents • Python, PyTorch, TensorFlow, Hugging Face, Docker, RESTful API, Pandas • от 2 500 до 5 000 $ | 3+ года

❓ Что такое Overfitting и как его избежать в моделях машинного обучения? Overfitting (переобучение) возникает, когда модель слишком хорошо запоминает обучающие данные, включая шум, и теряет способность обобщать информацию на новых данных. Это приводит к высокому качеству на обучающем наборе, но плохим результатам на тестовых данных. ➡️ Основные способы предотвращения Overfitting:

1. Регуляризация: • L1 и L2-регуляризация добавляют штраф к сложным моделям. • Уменьшают коэффициенты модели, предотвращая избыточное подстраивание. 2. Dropout (для нейронных сетей): • Исключение случайных нейронов на этапе обучения. 3. Снижение сложности модели: • Использование меньшего числа признаков или более простых алгоритмов. 4. Увеличение данных: • Генерация новых данных или увеличение объёма обучающей выборки.

➡️ Пример:

from sklearn.linear_model import Ridge from sklearn.model_selection import train_test_split from sklearn.datasets import load_diabetes # Загружаем данные data = load_diabetes() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42) # Создаём модель с регуляризацией (Ridge) ridge = Ridge(alpha=1.0) ridge.fit(X_train, y_train) # Оцениваем качество train_score = ridge.score(X_train, y_train) test_score = ridge.score(X_test, y_test) print(f"Train Score: {train_score}, Test Score: {test_score}")

🗣️ В этом примере Ridge-регрессия с параметром регуляризации alpha=1.0 помогает предотвратить переобучение, улучшая обобщающую способность модели. 🖥 Подробнее тут

🤔 Почему DeepSeek Janus-7B — это нечто действительно невероятное В статье рассматриваются ключевые особенности новой мультимодальной модели DeepSeek Janus-7B, которая, по заявлениям, превосходит популярные AI-инструменты, такие как DALL-E 3 и Stable Diffusion. Подробно анализируются её уникальные технические решения и возможности. Читать...

⚡Внимание, ученые и исследователи в области ИИ! До 31 января 2025 года вы можете подать заявку на участие в премии Data Fusion Awards. Номинация «Научный прорыв года в ИИ» создана специально для авторов научных статей по искусственному интеллекту, опубликованных в 2024 году. 🔥Призовой фонд — 3 000 000 рублей, три победителя получат по 1 000 000 рублей каждый. Награждение пройдет 16-17 апреля в рамках конференции Data Fusion в Москве. Подробности — по ссылке.

🔎 Подборка вакансий для джунов Junior ML Engineer 🟢Python, SQL, Pandas, Django, Sklearn, PyTorch, Docker, OpenAI API 🟢от 1 500 $ | 1–3 года Аналитик ML/AI/DS 🟢Python, C/C++, R, Java, Go, JS, Kotlin, Swift, PHP, Jira, Confluence, ClearML 🟢от 150 000 ₽ | 1–3 года Data Scientist 🟢Python, SQL, pandas, Matplotlib, Numpy, CatBoost, XGBoost, LightGBM, Git 🟢от 120 000 до 200 000 ₽ | 1–3 года

👩‍💻 Предобработка текстовых данных и создание мешка слов (Bag of Words) Напишите функцию, которая принимает список текстовых строк и возвращает мешок слов (Bag of Words) в виде словаря, где ключи — это уникальные слова, а значения — их частота встречаемости в текстах. Функция должна выполнять базовую предобработку текста: приведение к нижнему регистру, удаление знаков препинания и стоп-слов. Пример использования:

texts = [
    "I love data science!",
    "Data science is amazing.",
    "Machine learning is a part of data science."
]

bag_of_words = create_bag_of_words(texts)
print(bag_of_words)
# Ожидаемый результат (пример):
# {'love': 1, 'data': 3, 'science': 3, 'amazing': 1, 'machine': 1, 'learning': 1, 'part': 1}

Решение задачи🔽

from collections import defaultdict import string from nltk.corpus import stopwords import nltk # Загружаем стоп-слова (если не загружены, выполнить: nltk.download('stopwords')) nltk.download('stopwords') stop_words = set(stopwords.words('english')) def preprocess_text(text): # Приведение к нижнему регистру и удаление знаков препинания text = text.lower() text = text.translate(str.maketrans('', '', string.punctuation)) return text def create_bag_of_words(texts): bag = defaultdict(int) for text in texts: # Предобработка текста processed_text = preprocess_text(text) # Разделение текста на слова и подсчет частот for word in processed_text.split(): if word not in stop_words: # Игнорируем стоп-слова bag[word] += 1 return dict(bag)

⚙️ Оптимизация Trellis: запускаем генерацию 3D моделей на GPU с 8ГБ памяти В статье рассказано, как с помощью оптимизации Trellis удалось снизить требования к видеопамяти с 16GB до 8GB, сохранив качество. Рассмотрены подходы к сжатию данных, переработке структур и повышению доступности инструмента. Читать...

🔥 Самые интересные статьи за последние дни: • Реализация подобия Apple Vision Pro • Почему LLM так плохо играют в шахматы (и что с этим делать) • LLM будут врать вечно • Как мы создали LLM-модель Cotype Nano • Человек и LLM: как построить метрики для оценки моделей

👩‍💻 Нормализация набора данных Напишите функцию, которая принимает pandas.DataFrame и нормализует все числовые столбцы в диапазон от 0 до 1. Пример:

import pandas as pd

data = pd.DataFrame({
    'feature1': [10, 20, 30, 40],
    'feature2': [1, 2, 3, 4],
    'feature3': ['A', 'B', 'C', 'D']  # Не числовой столбец
})

result = normalize_dataframe(data)
print(result)
# Ожидаемый результат:
#    feature1  feature2 feature3
# 0       0.0      0.0       A
# 1       0.333    0.333     B
# 2       0.667    0.667     C
# 3       1.0      1.0       D

Решение задачи🔽

import pandas as pd def normalize_dataframe(df): df_normalized = df.copy() for col in df.select_dtypes(include='number').columns: min_val = df[col].min() max_val = df[col].max() df_normalized[col] = (df[col] - min_val) / (max_val - min_val) return df_normalized # Пример использования: data = pd.DataFrame({ 'feature1': [10, 20, 30, 40], 'feature2': [1, 2, 3, 4], 'feature3': ['A', 'B', 'C', 'D'] }) result = normalize_dataframe(data) print(result)

🤖 Псст, ИИ нужен? 5 полезных инструментов для разработчика Статья предлагает подборку инструментов, платформ и шаблонов для работы с языковыми моделями и создания ИИ-ассистентов. Рассматриваются протестированные в МТС решения, упрощающие разработку и интеграцию. Читать...

Курс: NLP / Natural Language Processing https://otus.pw/XGJt/ Стань востребованным специалистом в области NLP и получи конкурентную профессию в IT. Скидка 5% по промокоду: NLPJN Старт занятий 29 января. Успей попасть в группу! https://otus.pw/XGJt/

📖 «Охота на электроовец: большая книга искусственного интеллекта» или как написать книгу про ИИ без регистрации и SMS История о том, как за 6 лет я написал двухтомник, посвящённый искусственному интеллекту и машинному обучению. Читать...

🌱 Никогда не прекращай быть «джуниором» Считаешь, что знаешь всё о своём языке или технологии? Это первый шаг к застою. 👉 Совет: хотя бы раз в месяц изучай что-то новое — экспериментируй с языком, погружайся в новый инструмент или пробуй другой подход. В IT важно не только знать, но и уметь учиться. Это ключ к тому, чтобы оставаться востребованным.