Data Science | Machinelearning [ru]

Поступи в магистратуру с грантом до 1,2 млн рублей Современная магистратура – это не пары для галочки, а возможность продвинуть карьеру и стать сильным специалистом. Центральный университет ведет набор на пять программ магистратуры по популярным ИТ-направлениям. Партнеры – ведущие компании на рынке РФ: ВТБ, Сбер, Т-Банк, Яндекс, Avito, Ozon, Х5 Tech и другие. 62% магистрантов ЦУ находят новую работу с ростом зарплаты в 1,6 раза уже на первом курсе. Средняя зарплата – 195 тысяч рублей. Обучение можно совмещать с работой, а поступить – уже с третьего курса. Стань частью новой волны специалистов и получи грант на обучение до 1,2 млн рублей. И подавай заявку на поступление уже сейчас. Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanynSf4oB

⚙️ Машинное обучение в Apache Spark с помощью MLlib Показываем, как применить MLlib из Apache Spark в своих проектах, и делимся советами, чтобы не сжечь кластеры раньше времени. Всё просто, даже если вы не Data Jedi. Читать...

⚙️ Как работают рекомендательные системы и какое у них будущее Рекомендательные системы в интернете работают уже так хорошо, что даже могут подсказать человеку скрытые интересы, о которых он сам не догадывается. Но рекомендации отчасти упёрлись в потолок. Что делать, чтобы дальнейший рост их качества не замедлялся, рассказал инженер рекомендательных систем Яндекса Николай Савушкин. Смотреть в YouTube...

👩‍💻 Оценка точности модели классификации (Accuracy Score) Напишите функцию, которая вычисляет accuracy score — долю правильных предсказаний модели классификации. Это базовая метрика, часто используемая для оценки качества модели. Функция работает следующим образом:

• Сравнивает каждую пару истинного (y_true) и предсказанного (y_pred) значения. • Считает количество совпадений. • Делит число правильных предсказаний на общее количество примеров

Решение задачи🔽

def accuracy_score(y_true, y_pred): correct = sum(1 for true, pred in zip(y_true, y_pred) if true == pred) return correct / len(y_true) # Примеры использования y_true = [0, 1, 1, 0, 1] y_pred = [0, 0, 1, 0, 1] print(accuracy_score(y_true, y_pred)) # Ожидаемый результат: 0.8

⚙️ Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка В этой статье мы расскажем о нашей новой модели FRIDA, которая сейчас (20.05.2025) занимает первое место в русскоязычном бенчмарке MTEB. Читать...

🧠 Как внедрять LLM? Сейчас хайп вокруг чат-ботов стихает и фокус смещается в сторону внедрения LLM и решения прикладных задач для пользователей и бизнеса. Как именно внедрять LLM и какие Copilot-решения нужны бизнесу обсудят на Turbo ML Conf. Конфа пройдет 19 июля в Москве и объединит 35 докладчиков из российских бигтехов и топовых вузов. 📊 После деловой и теоретической программы гостей ждет практика в виде разных интерактивов, среди которых – диджитал-сканворды, демостенды, где можно посмотреть, что под капотом платформенных решений и диджей-сет. Онлайн-трансляции не будет, поэтому лучше заранее зарегистрироваться — количество мест на участие в конференции ограничено.

⚙️ ML на «плюсах»: 5 материалов о необычном подходе к обучению моделей В статье показывают, как и зачем использовать C++ в машинном обучении: распознавание лиц, объекты в реальном времени и прирост в производительности без питоньих зависимостей Читать...

👩‍💻 Что такое обучение с учителем (supervised learning) в ML? Обучение с учителем — это тип машинного обучения, при котором модель обучается на размеченных данных. Каждый пример содержит вход (features) и правильный ответ (label), который модель должна научиться предсказывать. ➡️ Пример:

from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

model = LogisticRegression()
model.fit(X_train, y_train)

print("Предсказания:", model.predict(X_test[:5]))

🗣️ В этом примере модель обучается на данных о цветах и учится определять их вид (например, ирис сетоса).

Это классический пример классификации — подтипа обучения с учителем. 🖥 Подробнее тут

⚙️ Claude, есть пробитие: взламываем самую защищенную модель В статье показывают, как обойти фильтры модели Claude с помощью модифицированного метода внедрения системных директив, чтобы заставить её выполнять запрещённые инструкции Читать...

🤔 Кандидатогенерация в RecSys — это база. А что, если её просто выкинуть? Именно так сделали инженеры Яндекс Лавки. Они пересобрали свой рекомендательный пайплайн и научились в рантайме скорить полный каталог даркстора. Внутри детального разбора: — Как удалось уложить скоринг нескольких тысяч SKU в дедлайн 300 мс. — От каких ресурсоёмких фичей пришлось отказаться ради перфоманса. — Как этот шаг повлиял на выручку и A/B тесты. 📊 Кейс для всех, кто любит хардкорную оптимизацию и не боится ломать каноны.

⚙️ Как я не дал ИИ сойти с ума: гайд по промптам и багам В статье — почему нейросети галлюцинируют, примеры «дорогих» ошибок, и промпты для тех, кто работает с кодом, текстами и дизайном. Читать...

Интелион Облако запускает розыгрыш 🎉 Главный приз – 3 сервера с А10 или А5000. Также разыгрываются приятные скидки. Запусти нейросеть, рендер, LLM или сложные вычисления на топовом GPU за 1 рубль! Как принять участие: 1. Зарегистрироваться на Intelion.cloud 2. Заполнить форму розыгрыша 3. Подписаться на ТГ канал Итоги подведем 5 июля в прямом эфире в канале Artificial Intelion. Не забудь поделиться с другом!

👩‍💻 Normalization of Numerical Data Напишите функцию, которая принимает список чисел и нормализует его, преобразуя значения в диапазон от 0 до 1. Это полезно для подготовки данных перед обучением модели машинного обучения. ➡️ Функция работает следующим образом:

• Находит минимальное и максимальное значение в списке. • Вычисляет нормализованное значение для каждого элемента по формуле: normalized = (𝑥 − min) / max − min) ​ • Возвращает новый список с нормализованными значениями.

Решение задачи🔽

def normalize(data): min_val = min(data) max_val = max(data) # Избегаем деления на ноль, если все элементы равны if max_val == min_val: return [0.0] * len(data) return [(x - min_val) / (max_val - min_val) for x in data] # Примеры использования data = [10, 20, 30, 40, 50] print(normalize(data)) # Ожидаемый результат: [0.0, 0.25, 0.5, 0.75, 1.0]

⚙️ Генерация видео: Обзор интересных подходов | Text-2-video | Part 1 В статье разбирают основные методы генерации видео на основе текста (T2V): от адаптации T2I с AnimateDiff до новинок 2025 года вроде Wan2.1 и HunyuanVideo. Первая часть обзора Читать...

🧠 Как ML помогает физикам искать новые частицы В 2025 году российские ученые стали лауреатами Breakthrough Prize — престижной научной премии за фундаментальные открытия. Выпускники ШАДа Яндекса и специалисты НИУ ВШЭ применили машинное обучение для анализа данных с Большого адронного коллайдера. 📊 Кейс про то, как алгоритмы (CatBoost, генеративные модели и др.) работают на границе физики и Вселенной и использовались в исследованиях лауреатов Читать

🔥 Самые интересные статьи за последние дни: • Не бойтесь потоков в Python, они не кусаются • Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM • Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»? • Семантический веб: краткий обзор технологий и инструментов • Инструмент обеспечения качества данных: от теории к практике

👩‍💻 Предсказание цены дома по площади Напишите модель линейной регрессии, которая будет предсказывать цену дома на основе его площади в квадратных метрах. Сгенерируйте искусственные данные, обучите модель и сделайте предсказание для нового значения. Решение задачи🔽

import numpy as np from sklearn.linear_model import LinearRegression import matplotlib.pyplot as plt # Генерация данных np.random.seed(0) area = np.random.randint(30, 150, size=100).reshape(-1, 1) # площадь от 30 до 150 м² price = area * 1000 + np.random.normal(0, 10000, size=area.shape) # цена с шумом # Обучение модели model = LinearRegression() model.fit(area, price) # Предсказание new_area = np.array([[100]]) predicted_price = model.predict(new_area) print(f"Ожидаемая цена дома 100 м²: {predicted_price[0][0]:,.0f}₽") # Визуализация plt.scatter(area, price, label='Данные') plt.plot(area, model.predict(area), color='red', label='Линейная модель') plt.xlabel('Площадь (м²)') plt.ylabel('Цена (₽)') plt.legend() plt.show()

👀 Часть 2: Vision Transformer (ViT) — Когда трансформеры научились видеть Рассказываю, как Vision Transformer заменил свёртки на внимание, почему изображения теперь режут на патчи, и в каких случаях трансформеры действительно видят, а когда всё ещё слепы. Читать...

💯 нейросетей для ЛЮБЫХ задач. Составили шпаргалку с бесплатными нейросетями - тексты, кодинг, аудио, видео, дизайн, слив данных и много чего ещё. ✅ Подробности в закрепе

⚙️ Будущее ИИ — формальные грамматики Разбираюсь, почему LLM иногда несут чушь: слишком много вариантов и мало правил. В статье покажу, как формальные грамматики помогают приручить этот хаос и научить модели мыслить структурно Читать...