Data Science | Machinelearning [ru]

Приглашаем на конференцию Data Fusion 2025: ведущие специалисты в сфере науки, бизнеса и государства поделятся прикладными кейсами применения ML и DS и своим взглядом на будущее сферы на 70+ сессиях. 📌 Что в программе? — Новые подходы в ML — Кейс-стади от специалистов из различных индустрий: финтех, медицина, промышленность — Data Science для бизнеса — как применять ИИ для роста прибыли — Кейс-сессии и детальный разбор неочевидных проблем в ML 📅 Дата: 16-17 апреля 2025 📍 Место: Москва, технологический кластер «Ломоносов» 🚀 Бесплатная регистрация уже открыта: https://data-fusion.ru/ Ваша безопасность для нас приоритет, поэтому для участия в конференции мы просим заполнить развернутую форму. Благодарим за понимание! 🙌 — *ML — машинное обучение *Data science — наука о методах анализа данных

📝 Подборка вакансий для сеньоров ​Senior Data Analyst • Python, SQL, Tableau, Power BI • Уровень дохода не указан | 3–5 лет опыта​ Senior Data scientist (Recsys) • Python, PyTorch, Машинное обучение, Deep Learning • Уровень дохода не указан | Опыт не указан​ Senior Big Data Engineer • ClickHouse, Apache Hadoop, Apache Spark, Apache Kafka • Уровень дохода не указан | Опыт не указан

📈 Подборка статей для вашей карьеры • В какой момент профессия программиста свернула не туда? • Офис Intel в Израиле отменил бесплатный кофе • Войти в IT – в 37 и с дипломом филфака • Путь к мастерству: Как стать успешным разработчиком • Галера от HH или джуны по-дешевке

➡️ ИИ в логистике: отслеживаем транспортные средства на производственной территории с помощью нейросети В статье описан путь от пет-проекта до системы для трекинга транспорта: нейросети, компьютерное зрение и инструменты, позволяющие «видеть» и анализировать производственные процессы. Читать...

Обучение моделей занимает слишком много времени? Локальные ресурсы перегружены? На новую видеокарту не хватает денег? immers.cloud — это облачный GPU сервис, предоставляющий доступ к мощным видеокартам для самых различных задач. 💰 Экономия: тарифы от 23 рублей/час, оплата только за фактическое время использования. ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут. 📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование  🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку 🎁 Подготовили приятный бонус для тебя: +10% к пополнению баланса

👀 Распознавание ж/д пикетных столбиков по фотографиям с беспилотника на основе PyTorch и YOLOv5 Статья раскрывает процесс использования БПЛА и нейросетей для точного распознавания объектов на ортофотопланах. Описаны этапы подготовки данных, разметки и обучения сети на примере поиска пикетных столбиков на ж/д перегонах. Исходный код доступен на GitHub. Читать...

👩‍💻 Задачка по Python Создайте Python-скрипт, который читает большой CSV-файл построчно, фильтрует строки по заданному критерию и подсчитывает агрегированные данные на основе указанного столбца. Скрипт должен эффективно обрабатывать файл, используя потоковое чтение (без загрузки файла целиком в память) и выводить итоговую статистику в консоль. ➡️ Пример: • python process_data.py data.csv age 30 — фильтрует строки, где значение в столбце age больше 30, и подсчитывает общее количество таких записей и среднее значение в другом числовом столбце, например, salary. Решение задачи ⬇️

import csv import sys def process_large_csv(file_path, filter_column, threshold, aggregate_column): count = 0 total_sum = 0.0 with open(file_path, 'r', encoding='utf-8') as file: reader = csv.DictReader(file) for row in reader: # Преобразование значений для фильтрации и агрегации try: filter_value = float(row[filter_column]) aggregate_value = float(row[aggregate_column]) except ValueError: continue # Пропускаем строки с некорректными данными # Фильтрация строк по заданному условию if filter_value > threshold: count += 1 total_sum += aggregate_value # Вывод итоговой статистики if count > 0: average = total_sum / count print(f"Обработано записей: {count}") print(f"Среднее значение {aggregate_column} для записей, где {filter_column} > {threshold}: {average:.2f}") else: print("Записи, соответствующие условиям фильтрации, не найдены.") if __name__ == "__main__": if len(sys.argv) < 5: print("Использование: python process_data.py <file_path> <filter_column> <threshold> <aggregate_column>") sys.exit(1) file_path = sys.argv[1] filter_column = sys.argv[2] threshold = float(sys.argv[3]) aggregate_column = sys.argv[4] process_large_csv(file_path, filter_column, threshold, aggregate_column)

🤖 42 секунды и 5 запросов: как взламывают генеративные ИИ-модели Ты знал, что злоумышленникам для взлома генеративных ИИ достаточно всего 42 секунды и пяти запросов? В этой статье мы разберем, как это происходит, какие уязвимости существуют и как защитить свои системы от подобных атак. Читать...

📍Геоданные и временные ряды в Spark: хаос или порядок? GPS-координаты, карты, временные метки — данные есть, но как с ними работать? Стандартные методы тормозят, запросы громоздкие, аналитика требует вечности. 💡Есть решение. На открытом вебинаре «Обработка геопространственных и временных данных на Spark» 11 марта в 20:00 (мск): - Разберём пространственные данные: координаты, маршруты, карты - Научимся анализировать временные ряды с трендами и предсказаниями - Проанализируем реальные кейсы: GPS-данные, сенсоры IoT, анализ движения 📢 Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах. Все участники получат скидку на большое обучение «Spark Developer». ➡️ Регистрируйтесь, чтобы не пропустить: https://vk.cc/cJipaN Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📝 Подборка вакансий для мидлов Data Engineer • SQL, Python, bash, Airflow, NiFi, PostgreSQL, GreenPlum, Clickhouse, Redis, Kafka, Git, Linux • Уровень дохода не указан | Опыт работы: 3–6 лет Data аналитик (Виртуальные ассистенты) • SQL, Big Data, Python, библиотеки для анализа данных • Уровень дохода не указан | Опыт работы: 1–3 года Data Scientist (Скоринг/моделирование) • Python, SQL, Hadoop, методы машинного обучения • Уровень дохода не указан | Опыт работы: 1–3 года

❓ Как обработать пропущенные данные? Пропущенные данные — частая проблема в Data Science, особенно в реальных данных. Чтобы правильно обработать такие данные, можно использовать стратегии заполнения пропусков (например, средним значением или медианой) или удалить строки/столбцы с пропусками. ➡️ Пример:

import pandas as pd
import numpy as np

data = {'A': [1, 2, np.nan, 4], 'B': [5, np.nan, 7, 8]}
df = pd.DataFrame(data)

# Заполнение пропусков средним значением
df['A'].fillna(df['A'].mean(), inplace=True)

print(df)

🗣️ Пропущенные данные могут искажать результаты анализа, поэтому их нужно обрабатывать перед моделированием.

🤔 В чём различия между Data Science, машинным обучением, ИИ, глубоким обучением и Data Mining Эта статья поможет вам не только понять, какие исследования и опыт позволяют извлекать знания из данных, чтобы делать машины умнее, но и как конкретно это происходит. Читать...

💥 Почему ансамблирование — это must-have в ML? Даже лучшие ML-модели не идеальны. Но что если можно усилить их точность, объединив несколько алгоритмов? На открытом уроке разберём популярные методы ансамблирования: - Бэггинг снижает дисперсию модели, делая её устойчивее - Градиентный бустинг усиливает предсказания, обучая модели на ошибках Вы узнаете, как эти методы повышают точность прогнозов, и разберёте их на практике. 📅 Встречаемся онлайн 17 марта в 18:00 мск. Открытый урок пройдёт в преддверии старта курса «Специализация Machine Learning», а все участники получат скидку на обучение. ➡️ Ссылка для регистрации: https://vk.cc/cJip31 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔎 Подборка вакансий для джунов Системный аналитик junior 🟢UML, BPMN, API, MongoDB 🟢от 60 000 ₽ | 1–3 года Junior Data Scientist \ Аналитик 🟢SQL, PostgreSQL, MariaDB, ClickHouse, Python, Pandas, Git 🟢от 50 000 до 60 000 ₽ | 1–3 года Data-аналитик в области временных рядов (Junior) 🟢Python, Pandas, NumPy, SciPy, Matplotlib, Seaborn, SQL 🟢от 247 000 ₽ | 1–3 года

👩‍💻 Задачка по Python Создайте Python-приложение, которое принимает набор данных с несколькими признаками и определяет наиболее важные признаки для предсказания целевой переменной с помощью модели RandomForest. Программа должна выводить результаты в виде списка признаков, отсортированных по важности. ➡️ Пример: • python app.py data.csv — выводит важные признаки. Решение задачи ⬇️

import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split def feature_importance(file): data = pd.read_csv(file) X = data.drop(columns=['target']) y = data['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) model = RandomForestClassifier() model.fit(X_train, y_train) importance = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False) print("Важные признаки:\n", importance) if __name__ == "__main__": import sys if len(sys.argv) != 2: print("Использование: python app.py <файл.csv>") else: feature_importance(sys.argv[1])

☁️ Как обучить ИИ в облаке Сегодня мы хотим поделиться с вами нашим успешным кейсом, который наглядно демонстрирует, как облачные технологии могут значительно улучшить и ускорить процессы разработки и обучения ИИ. Читать...

Наши друзья из ecom.tech запустили видео-подкаст “AI в действии”. В нем они говорят о свежих новостях в мире DS, о трендах и о том, как наука может найти свое применение в бизнесе. Ведущий подкаста — Петр Лукьянченко, руководитель ML-департамента в eсom.teсh. Уже опубликовали два эпизода: в первом гостем был Алексей Масютин, руководитель Центра Искусственного интеллекта НИУ ВШЭ. Порассуждали о том, как сегодня начинать свой путь в data science, что представляет из себя DS в крупных IT-компаниях и даже успели немного погрузиться в специфику разработки и развития мультимодальных архитектур. Гостем второго выпуска стал Юрий Дорн, руководитель программы AI Masters в Институте ИИ МГУ. В этой части говорили о том, где заканчивается теория и начинается практика в DS. Когда нужно перестать читать книги и начать писать код? Что нужно знать, чтобы быть классным специалистом? А может быть, теория переоценена и нужно сразу идти соревноваться на kaggle? Постарались сформулировать набор советов для тех, кто думает, с какой стороны подступиться к изучению Data Science и как правильно найти учебный материал, подходящий под конкретную ситуацию. Первый эпизод: 🙂 Смотреть 🙂 Слушать Второй эпизод:  🙂 Смотреть 🙂 Слушать Реклама. ООО «Умное пространство», ИНН: 7811554010. Ерид: 2W5zFJ36FGU

🔝 Самые интересные статьи за последние дни: • Как я с помощью нейросетей обогнала инфляцию [4 кейса, скрины, никакой рекламы] • Сравнение роста заработных плат ректората МГТУ им. Н.Э. Баумана и остальных сотрудников • Pydantic 2: Полное руководство для Python-разработчиков — от основ до продвинутых техник • SOLID на котиках • Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь

👩‍💻 Задачка по Python Создайте Python-приложение, которое принимает путь к CSV-файлу с историческими данными о ценах акций (дата, цена закрытия) и предсказывает, будет ли цена акций расти или падать на следующий день, используя простую линейную регрессию. Программа должна выводить прогноз в консоль и сохранять модель в файл model.pkl. ➡️ Пример: • python app.py predict_stock prices.csv — предсказывает изменение цены акций на следующий день. Решение задачи ⬇️

import sys import pandas as pd from sklearn.linear_model import LinearRegression import pickle def predict_stock(file): data = pd.read_csv(file) X = data.index.values.reshape(-1, 1) y = data['Close'].values model = LinearRegression() model.fit(X, y) next_day = [[len(X)]] prediction = model.predict(next_day) with open('model.pkl', 'wb') as f: pickle.dump(model, f) print(f'Прогноз на следующий день: {"Рост" if prediction > y[-1] else "Падение"}') if __name__ == "__main__": if len(sys.argv) != 3 or sys.argv[1] != 'predict_stock': print('Использование: python app.py predict_stock <файл.csv>') else: predict_stock(sys.argv[2])

📨 Пример использования программы для парсинга e-mail адресов с сайтов, созданный ИИ Сегодня делимся программой для парсинга e-mail с сайтов, созданной за 30 минут с помощью ИИ от Rokitok. Это показывает, как ИИ ускоряет задачи, на которые раньше уходили дни или большие бюджеты. Читать...