Data Science | Machinelearning [ru]

Если вы работаете с нейросетями — от файнтюнинга LLM до генерации изображений — без мощных видеокарт не обойтись. Но покупать железо — долго, дорого и не всегда оправдано. immers.cloud — облачный GPU-сервис, созданный специально для ИИ-задач. Мы знаем, что нужно разработчику и data scientist-у: 💰 Посекундная тарификация: тарифы от 23 рублей/час, платите только за время, когда сервер реально работает. ⚡️ Быстрый старт: нужный сервер поднимается за пару минут. 📈 Гибкость и масштабируемость: 12 моделей видеокарт на выбор 🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку. А если нужно прерваться — можно просто заморозить ВМ с помощью функции Shelve: данные сохранятся, а платить за простои не придется. 🎁 Дарим +20% к первому пополнению. чтобы было приятнее начать 

👩‍💻 Чем отличается метод .transform() от .apply() в pandas? В pandas методы .transform() и .apply() часто используются для обработки данных по столбцам и строкам, но они работают по-разному. Метод .apply() применяет функцию к каждому элементу или ряду, и возвращает объект любой формы (например, DataFrame или Series). В отличие от него, .transform() применяет функцию к каждой ячейке или группе и возвращает объект той же формы, что и входной. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})

# Используем .apply() для вычисления суммы по столбцам
print(df.apply(sum))  # Вернет Series с суммами столбцов

# Используем .transform() для нормализации каждого значения в столбце
print(df.transform(lambda x: (x - x.mean()) / x.std()))
# Вернет DataFrame с нормализованными значениями

🗣 .apply() подходит для сложных операций и агрегаций, а .transform() удобно использовать для обработки данных с сохранением исходной структуры.

🖥 Подробнее тут

👩‍💻 FlexiPrompt: Удобное создание динамических промптов в Python Статья знакомит с FlexiPrompt — лёгкой библиотекой для генерации промптов в Python при работе с языковыми моделями. Рассмотрены её преимущества: быстрая интеграция, гибкая настройка диалога и возможность создания нескольких агентов в одной LLM. Читать...

🎓 Онлайн-магистратура по ML от УрФУ и Нетологии Если ты хочешь глубже разобраться в машинном обучении, архитектуре данных и продакшене ИИ-систем — посмотри в сторону новой магистратуры «Инженерия машинного обучения» от УрФУ и Нетологии. 💡 За 2 года ты: — Освоишь разработку ML-моделей и пайплайнов — Будешь работать с Big Data и проектировать инфраструктуру под хранение/обработку данных — Получишь практику на реальных проектах, хакатонах и Kaggle — Пройдёшь путь от математики до продакшена — Получишь два диплома: от УрФУ и Нетологии 📚 Формат — полностью онлайн, можно совмещать с работой. Отличный вариант для разработчиков, которые хотят прокачаться в ML и выйти в индустрию с сильным бэкграундом. 👉 Подробнее: https://netolo.gy/egvt

⚙️ Неувядающая классика или «чёрный ящик»: кто кого в битве за прогноз. Глава вторая. Продолжение Статья продолжает разбор моделирования температурного временного ряда с двойной сезонностью. Основное внимание уделено подбору оптимальных параметров сезонной модели САРПСС для точного описания данных. Читать...

✍ Печатает приглашение... на Cloud․ru Tech Lab! 🗓 Когда: 24 июля, 18:00 📍 Где: Москва, Гоэлро Лофт (м. Электрозаводская) В программе — четыре доклада от экспертов Cloud․ru и приглашенных гостей про AI-агентов, RAG, Ragas и сборку MCP-сервера без кода. После — тестируем AI-решения в демозоне, практикуем нетворкинг и остаемся на afterparty. Что в программе:

😶‍🌫️ Открытие митапа Дмитрий Юдин, технический лидер по развитию искусственного интеллекта, Cloud․ru 😶‍🌫️ «Как мы встроили AI-агента в онлайн-обучение» Стас Гридин, менеджер проектов и Илья Жбанов, Data Science инженер, Cloud․ru 😶‍🌫️ «Model Context Protocol (MCP): главный тренд AI-индустрии» Игорь Латкин, управляющий партнер и системный архитектор, KTS И еще два секретных доклада — от наших экспертов и приглашенного гостя.

Митап будет особенно полезен разработчикам, продуктовым менеджерам и архитекторам, а также всем, кто интересуется внедрением AI в свои сервисы. Какой формат участия выбрать? — Офлайн, если хочется присутствовать лично на площадке. — Онлайн, если вы не в Москве. Всеми записями Cloud․ru поделится после митапа. 😶‍🌫️Регистрируйтесь на митап

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и заменяет отсутствующие значения (NaN) в каждом числовом столбце на среднее значение этого столбца. Если столбец содержит только NaN, оставьте его без изменений. ➡️ Пример:

   feature1  feature2  feature3
0       1.0      10.0       NaN
1       2.0       NaN       NaN
2       NaN      30.0       NaN
3       4.0      40.0       NaN

   feature1  feature2  feature3
0      1.00      10.0       NaN
1      2.00      26.7       NaN
2      2.33      30.0       NaN
3      4.00      40.0       NaN

Решение задачи ⬇️

import pandas as pd def fill_missing_with_mean(df): numeric_columns = df.select_dtypes(include=['float', 'int']) for column in numeric_columns: if df[column].notna().any(): # Проверяем, есть ли значения не NaN df[column] = df[column].fillna(df[column].mean()) return df # Пример использования: data = pd.DataFrame({ 'feature1': [1.0, 2.0, None, 4.0], 'feature2': [10.0, None, 30.0, 40.0], 'feature3': [None, None, None, None] }) result = fill_missing_with_mean(data) print(result)

🖥 Как работает Трансформер: очень простое описание Вот очень простое объяснение для тех, кто не хочет вдаваться в сложную математику, но и не готов принимать эту ключевую технологию как магию, которая просто работает. Конечно, никакого волшебства тут и нет — идея на самом деле довольно проста.. Читать...

🔥 Самые интересные статьи за последние дни: • Разбей и властвуй: как создать кастомный токенизатор в SpaCy • Функция property() в Python: добавляем управляемые атрибуты в классы • Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году • cgroups и namespaces в Linux: как это работает? • ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя

👩‍💻 Задачка по Python Напишите Python-скрипт, который принимает путь к большому CSV-файлу и подсчитывает количество строк (записей) в файле без загрузки его целиком в память. Скрипт должен быть оптимизирован для работы с большими файлами. ➡️ Пример:

python count_rows.py large_file.csv
Количество строк: 3

Решение задачи ⬇️

import csv import sys def count_rows(file_path): with open(file_path, 'r', encoding='utf-8') as file: reader = csv.reader(file) # Используем enumerate для подсчёта строк, исключая заголовок row_count = sum(1 for _ in reader) - 1 # Минус 1 для исключения заголовка return row_count if __name__ == "__main__": if len(sys.argv) < 2: print("Использование: python count_rows.py <file_path>") sys.exit(1) file_path = sys.argv[1] try: result = count_rows(file_path) print(f"Количество строк: {result}") except Exception as e: print(f"Ошибка: {e}")

🖥 Руководство по созданию приложения для поиска данных на основе агента GraphRAG Статья описывает приложение, объединяющее GraphRAG и AutoGen-агентов с локальными LLM от Ollama для автономного встраивания и вывода. Рассмотрены ключевые аспекты: интеграция знаний, настройка LLM, вызов функций и интерактивный интерфейс. Читать...

➡️ Путь разметки данных для NER: от Open Source до Prodigy Статья посвящена созданию обучающей выборки для NER. Описан опыт разметки данных с использованием Open Source инструментов и Prodigy, профессионального решения для ускорения процесса создания наборов данных. Читать...

🧬 Почини одну переменную — и система станет проще Ты борешься с непонятной логикой, огромными условиями, крошечными багообразными эффектами. Всё сложно. 👉 Совет: не паникуй. Найди одну переменную, одно имя, один формат, который вносит больше всего путаницы — и перепиши его. Часто даже одно улучшение приводит к лавине упрощений. Разбор сложности начинается с одной точки.

🤔 Практика: мой опыт интеграции более 50 нейронных сетей в один проект Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Читать...

👩‍💻 Разрабатываем первое AI приложение Статья анализирует роль языка и цифровизации в накоплении и передаче знаний. Обсуждаются вызовы структурирования данных, которые, несмотря на успехи машинного обучения и реляционных баз, всё ещё затрудняют полное понимание накопленной информации. Читать...

⚙️Магистратура по ML раньше: либо сухая теоретическая нагрузка, либо практикум без базы. Центральный университет запустил гибридную магистратуру, где занятия онлайн, но есть и живые буткемпы в Москве, причем ребятам из регионов проживание оплачивает вуз. Студенты будут работать над реальными задачами компаний под руководством экспертов индустрии: ведущих дата сайентистов, профессоров, аналитиков и главных тренеров школьной сборной России, победившей в мировой олимпиаде по ИИ в Болгарии. 📌В программе обучения: актуальные ML-инструменты, командная работа, вечерние занятия в мини-группах. Есть гранты до 75%, очный диплом и отсрочка от армии. Начало в сентябре, заявки принимаются до 20 августа.

⚙️ Что такое StandardScaler в Data Science и зачем он используется? StandardScaler из библиотеки scikit-learn — это инструмент для нормализации данных. Он приводит признаки (столбцы данных) к одному масштабу со средним значением 0 и стандартным отклонением 1. Это важно для алгоритмов машинного обучения, чувствительных к масштабу данных — например, линейной регрессии, SVM или KMeans. ➡️ Пример:

from sklearn.preprocessing import StandardScaler
import numpy as np

X = np.array([[10, 200],
              [20, 300],
              [30, 400]])

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

print(X_scaled)

🗣️ В этом примере значения всех признаков преобразуются так, что каждый столбец имеет среднее значение 0 и одинаковый масштаб. Это ускоряет обучение и повышает качество модели.

🖥 Подробнее тут

⚙️ Конфиденциальность мертва: Яндекс и ВК обучают ИИ на ваших личных данных? В статье проверяют, как Yandex GPT в голосовом ассистенте ведёт себя с персональными данными. Узнают, что он сливает номер телефона и личную инфу, а потом делает вид, что ничего не знает. Читать...

ТОПОВЫЕ ЭКСПЕРТЫ РАСКРЫВАЮТ СВОИ СЕКРЕТЫ 🤫 Поспеши узнать первым!❗ Мы с ведущими экспертами решили поделиться нашими секретами, наработками, инструментами в сфере бизнеса, маркетинга, ИИ:👇 ▪️Кейсы, лайфхаки, стратегии для бизнеса в непростые времена ▪️Как выйти на доход 300к+ и управлять проектами любой сложности. ▪️Всё об  Искусственном Интеллекте и как зарабатывать с его помощью.  ▪️Как делать запуски на 100 млн+ 🔥 Все это в нашем канале СЕКРЕТЫ TELEGRAM Возможность забрать  секреты продлится 5 дней! Если вы давно хотели найти новые идеи или инструменты, которые помогут вам ещё больше зарабатывать💰,то СЕКРЕТЫ TELEGRAM специально для вас! 🔑Канал с Секретами среди каналов экспертов ▪️В папке есть Чат-нетворкинг: "ЗАЯВИ О СЕБЕ", где вы можете разместить информацию о своих услугах и оставить контакты. Это отличная возможность прорекламировать себя совершенно бесплатно и получить новых клиентов!🔥 Жми на ссылку и присоединяйся: 👇 https://t.me/addlist/VEJiOiE3Pps4ZmQ0 ЗАПИСАТЬ СВОЙ КАНАЛ В ПАПКУ

ТОПОВЫЕ ЭКСПЕРТЫ РАСКРЫВАЮТ СВОИ СЕКРЕТЫ 🤫 Поспеши узнать первым!❗ Мы с ведущими экспертами решили поделиться нашими секретами, наработками, инструментами в сфере бизнеса, маркетинга, ИИ:👇 ▪️Кейсы, лайфхаки, стратегии для бизнеса в непростые времена ▪️Как выйти на доход 300к+ и управлять проектами любой сложности. ▪️Всё об  Искусственном Интеллекте и как зарабатывать с его помощью.  ▪️Как делать запуски на 100 млн+ 🔥 Все это в нашем канале СЕКРЕТЫ TELEGRAM Возможность забрать  секреты продлится 5 дней! Если вы давно хотели найти новые идеи или инструменты, которые помогут вам ещё больше зарабатывать💰,то СЕКРЕТЫ TELEGRAM специально для вас! 🔑Канал с Секретами среди каналов экспертов ▪️В папке есть Чат-нетворкинг: "ЗАЯВИ О СЕБЕ", где вы можете разместить информацию о своих услугах и оставить контакты. Это отличная возможность прорекламировать себя совершенно бесплатно и получить новых клиентов!🔥 Жми на ссылку и присоединяйся: 👇 https://t.me/addlist/VEJiOiE3Pps4ZmQ0 ЗАПИСАТЬ СВОЙ КАНАЛ В ПАПКУ