Data Science | Machinelearning [ru]

Онлайн-студия big tech night 12 сентября собираем IT-специалистов со всего мира на big tech night. Топовые доклады, дебаты о технологиях и интерактивы с экспертами из IT-сферы. Подключайтесь! Зарегистрироваться #реклама 16+ bigtechnight.ru О рекламодателе

«У нас большие планы на будущее»: Microsoft представила свои первые собственные модели ИИ Microsoft AI сделала крупный шаг к независимому развитию искусственного интеллекта, анонсировав сразу две новые модели: MAI-Voice-1 и MAI-1-preview.

Первая умеет превращать текст в аудиозапись длиной в минуту за меньше чем секунду на одном GPU — то есть говорить быстрее, чем успеваешь моргнуть. Вторая — MAI-1-preview — даёт представление о будущих возможностях Copilot и способна давать полезные ответы на повседневные вопросы, обучаясь на огромном массиве данных.

MAI-Voice-1 уже применяется внутри Microsoft: она ведёт рубрику Copilot Daily, зачитывая главные новости дня, а также помогает создавать обсуждения в формате подкастов. Любители тестировать новинки могут попробовать модель в Copilot Labs, где ИИ произнесёт любой введённый вами текст. MAI-1-preview, в свою очередь, обучалась на 15 000 графических процессоров Nvidia H100 и сейчас проходит публичное тестирование на платформе LMArena, где её можно сравнить с другими ИИ. Глава Microsoft AI Мустафа Сулейман подчёркивает: внутренние модели компании не ориентированы только на корпоративные задачи. «Мы создаём ИИ для потребителя, чтобы он реально был полезен в повседневной жизни», — говорит Сулейман. Компания планирует внедрять MAI-1-preview в Copilot, расширяя возможности помощника, который до сих пор опирался на модели OpenAI. Microsoft AI явно нацелена на будущее: они видят потенциал в создании специализированных моделей под разные задачи и сценарии, а не одной универсальной системы. Мустафа Сулейман при этом напоминает о рисках «кажущегося сознательного ИИ» (Seemingly Conscious AI), когда люди начинают воспринимать нейросети как живых существ. По его словам, подобные иллюзии могут отвлекать от реальных проблем и создавать лишние споры о правах и гражданстве ИИ 😁 Data Science

От устаревших моделей к будущему кибербезопасности 💻 На бесплатном вебинаре расскажем: 1) Почему старые правила безопасности больше не работают 2) Что такое Zero Trust на самом деле 3) Как концепция превращается в конкретные продукты и технологии 4) Для каких реальных задач Zero Trust подходит Efros DO: модули NA, ICC, FA, NAС ✨ Подарки за вашу активность! Среди участников вебинара будет разыгран корпоративный мерч от организаторов за самые интересные и актуальные вопросы 📅 Вебинар Zero Trust: современное прочтение правила «доверяй, но проверяй» состоится 9 сентября в 12:00–13:00 (московское время) Узнать больше #реклама 16+ sec.ussc.ru О рекламодателе

GPT-5 совершила большой скачок, но заметили его немногие Хотя GPT-5 значительно опережает GPT-4 на новых тестах — приросты доходят до 80 процентных пунктов на самых сложных задачах — релиз восприняли скорее как эволюционное обновление, а не прорыв. В Epoch AI называют две причины такой реакции. — Первая: модели теперь выходят очень часто. Между GPT-3 и GPT-4 был всего один крупный апдейт — GPT-3.5, а после GPT-4 появлялись Turbo-версии, мини- и high-варианты, o1, o3 и, наконец, GPT-5. При таком темпе, когда новые версии выходят едва ли не каждый месяц, эффект рывка заметить сложно. — Вторая: насыщение старых бенчмарков. Например, MMLU с почти 16 000 вопросов был пройден GPT-4 почти на 86%, а последующие версии показали лишь небольшое улучшение. GPT-5 тестировали уже на усложненной версии MMLU-Pro, где результат составил 86%, но при переходе на новые задачи прогресс впечатляет: GPQA Diamond +54 п.п., MATH Level 5 +75 п.п., Mock AIME +80 п.п. METR Time Horizons, где оценивают сложность задач по времени решения человеком, также показал огромный скачок: GPT-3 справлялась с задачами, требующими около 9 секунд, GPT-4 — с задачами до 5,36 минут, а GPT-5 — до 137 минут. То есть прорыв GPT-5 к GPT-4 укладывается в долгосрочную экспоненту, просто он заметен не всем 😂 Как вы воспринимаете новые релизы GPT?

👍 — Эволюция, ничего сверхъестественного 🤔 — Сложно заметить разницу

Data Science

Алиса спорит с майором, нейросети стучат и «нано-бананы» летят. Кратко опишем новости недели. Технологии снова удивляют: Яндекс оштрафовали за круглосуточный доступ ФСБ к «Алисе», а OpenAI напомнили, что чатбот может сообщить властям о подозрительных действиях пользователей. Между тем, нейросеть Сбера GigaChat успела проявить неожиданные либеральные наклонности, предлагая «неправильные» источники новостей, но после вмешательства снова перешла на официальный курс. В мире финансов и технологий тоже кипит жизнь: Google выпустил забавную модель «nano-banana» для редактирования фото, Rutube проводит массовые сокращения айтишников, а Илон Маск строит конкурента Microsoft — Macrohard. В США Трамп вновь оспаривает пошлины и пытается уволить членов ФРС, а вирус PromptLock впервые применил ИИ для генерации вредоносного кода прямо на компьютере жертвы. Что из этого удивило больше всего? Пишите в комментариях! 😮 Data Science

➡️ Самые интересные статьи за последние дни: • Эксперимент: даём ChatGPT полный доступ к компьютеру • Правильный путь создания python-библиотеки: от создания до публикации • Запускаем Yolo на пятирублёвой монете или Luckfox Pico Mini • Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения • Как мы обучили Mistral 7B русскому языку и адаптировали для объявлений Авито

👩‍💻 Задачка по Python Создайте Python-скрипт для обработки данных. Задача состоит в том, чтобы построить ETL-процесс, который очищает и агрегирует данные из CSV-файлов о продажах, а затем сохраняет агрегированные данные в новом файле. Очистка данных: удаление записей с пустыми значениями в столбцах price или quantity. Агрегация: подсчет общего количества проданных товаров и общей суммы по каждому продукту. ➡️ Пример: • python app.py sales_data.csv — создает новый файл aggregated_data.csv с общей суммой и количеством проданных товаров по каждому продукту. Решение задачи ⬇️

import pandas as pd import sys def clean_and_aggregate(file_path): # Загружаем данные data = pd.read_csv(file_path) # Удаляем строки с пустыми значениями в колонках 'price' и 'quantity' data.dropna(subset=['price', 'quantity'], inplace=True) # Преобразуем колонки в числовой формат, ошибки игнорируем data['price'] = pd.to_numeric(data['price'], errors='coerce') data['quantity'] = pd.to_numeric(data['quantity'], errors='coerce') # Удаляем строки с некорректными значениями data.dropna(subset=['price', 'quantity'], inplace=True) # Агрегируем данные aggregated_data = data.groupby('product_id').agg( total_quantity=('quantity', 'sum'), total_sales=('price', 'sum') ).reset_index() # Сохраняем в новый CSV aggregated_data.to_csv('aggregated_data.csv', index=False) print("Агрегация завершена. Данные сохранены в 'aggregated_data.csv'.") if __name__ == "__main__": if len(sys.argv) != 2: print("Использование: python app.py <путь к файлу CSV>") sys.exit(1) file_path = sys.argv[1] clean_and_aggregate(file_path)

👩‍💻 Под капотом asyncio: принципы работы и ключевые концепции Библиотека asyncio предоставляет полный набор инструментов для организации параллельного выполнения кода в Python с использованием концепции асинхронности. Но как на самом деле работает asyncio? Давайте разберемся в ключевых принципах и понятиях. Читать...

⚙️ Как обучить русскоязычную модель рассуждений — LRM? В статье разбор мультиязычных моделей рассуждений от Lightblue: как они научили DeepSeek "думать" на русском, откуда взяли датасет и зачем запускали LLM как фильтр рассудительности. Читать...

🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького! На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада от экспертов X5 Tech, Сбера и Битрикс24, а после — афтерпати с пиццей, пивом и диджеем. Программа: 🗣 Павел Середин, X5 Tech — Шина метаданных для координации работы дата-хабов: как мы перешли с монолита на архитектуру data-mesh и решили проблему взаимодействия хабов. 🗣 Андрей Березин, Сбер — Система realtime-аналитики на 5+ млрд событий в день: эволюция платформы, архитектура и опыт масштабирования. 🗣 Анатолий Зубков, X5 Tech — Дата-контракты: теория и практика: как формализованные соглашения между командами повышают прозрачность и доверие к данным. 🗣 Александр Сербул, Битрикс24 — Опыт экстремальной миграции сервисов с Java/Netty на Rust/Tokio: что это дало в производительности и изменении подходов к разработке. 📍 Где: Сфера, Парк Горького 🕒 Когда: 9 сентября, сбор гостей с 19:15 🎶 После 22:00 — афтерпати: диджей, пицца, пиво, нетворкинг 🎟 Регистрация: по ссылке

🌌 Делай мини-проекты из собственных болей Бесит, что каждый день ищешь одну и ту же команду в истории? Или вручную обрезаешь скриншоты? Это подсказки. 👉 Совет: собирай такие мелкие «боли» и превращай их в свои pet-проекты или утилиты. Это не только помогает себе, но и тренирует навык быстрого решения задач и проектирования под реальную жизнь.

⚙️ Архитектура проекта автоматического обучения ML-моделей В статье ребята из Ингосстраха делятся, как автоматизировали запуск и внедрение моделей, чтобы быстрее закрывать запросы бизнеса, не утонув в бэклоге. Читать...

Бесплатный вебинар по Deep Learning и Сomputer Vision 4 сентября в 19:00 участвуйте в бесплатном вебинаре от karpov courses "Первые шаги в Deep Learning и Сomputer Vision: учим модель распознавать героев аниме". Преподаватель курса «Инженер глубокого обучения» Анастасия Белозерова пошагово расскажет, как создать модель классификации, и покажет реальные примеры задач, которые можно решить с помощью нейросетей. За 1 час вебинара вы узнаете: - Что такое Deep Learning и Computer Vision и как они работают - Поймете, как научить модель распознавать героев аниме (на примере аниме «Наруто») - Как начать карьеру в сфере глубокого обучения - Как работают нейронные сети и как их обучать Участников вебинара ждут подарки. Регистрируйтесь - будет интересно! Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

⚙️ Как я сделала свой первый AI-продукт с ChatGPT и капелькой любви В этой статье я расскажу о моем опыте самостоятельного изучения основ Python и Machine Learning и создании первого проекта OneLove на базе собственной модели искусственного интеллекта (ИИ). Читать...

⚙️ Что такое StandardScaler из scikit-learn и зачем он нужен? StandardScaler — это инструмент из библиотеки scikit-learn, который стандартизирует данные: приводит их к распределению со средним 0 и стандартным отклонением 1. Это важно перед обучением моделей, особенно для алгоритмов, чувствительных к масштабу (например, SVM, KNN, линейная регрессия). ➡️ Пример:

from sklearn.preprocessing import StandardScaler
import numpy as np

X = np.array([[10, 200], [15, 300], [14, 250]])

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

print(X_scaled)

➡️ После трансформации признаки будут нормализованы, что помогает улучшить сходимость и стабильность модели.

🗣️ StandardScaler — must-have шаг в пайплайне предварительной обработки данных для большинства классических ML-моделей

🖥 Подробнее тут

⚙️ Анализ данных: от EDA до Tinder-битвы графиков Расскажу, как мы в МТС учили студентов EDA не лекциями, а игрой по типу Tinder, только для графиков. Был фан, был хардкор и крутые визуализации. Читать...

🔥 ВЗРЫВНОЙ РОСТ ДОХОДА С ПОМОЩЬЮ ИИ и IT-технологий! В папке «AI & TECH IT» собрали ВСЮ информацию для заработка на нейросетях и в сфере технологий! Уже 1000+ человек автоматизировали рутину и начали зарабатывать. Там тебя ждут: ✦ Beauty-салон, где заявки обрабатывает нейросеть ✦ В честь дня рождения «Лаборатории Нейросетей» БОЛЬШОЙ розыгрыш Подпишись и уничтожь конкурентов с мощью этих каналов: https://t.me/addlist/ai&tech&it

⚙️ Рекомендательная система для вашего каталога научных работ (и не только!) Показано, как собрать рекомендательную систему на своём архиве документов, даже если там куча форматов. NLP + графы = машинный архивариус, который сам подсовывает нужные файлы. Читать...

Собрали для Вас подборку интересных каналов.👨‍💻 🖥 PytStart - стартуй в Python с нами! 🐍 PythonTalk. Авторский канал, где Python, AI и здравый смысл встречаются. Разбор свежих open-source инструментов, мануалы, новости с IT-передовой и трезвый взгляд на AI-хайп. 🐍Frontender’s notes - Годные статьи для Frontend разработчиков HTML, CSS, JS, React, Angular, Vue, TypeScript, Redux, MobX, NodeJS. 🐍Data Science | Machinelearning [ru] - Статьи на тему data science, machine learning, big data, python, математика, нейронные сети, искусственный интеллект (artificial intelligence) 🐍Node.JS [ru] | Серверный JavaScript - Все о разработке backend части на JavaScript (Node JS). А так же: Express JS, Next JS, Nest, Socket.IO And 🐍Python Tech Code — все, что нужно, чтобы стать настоящим гуру в программировании на Python. ➡️ Простой и понятный материал. ➡️ Практические примеры и увлекательные задачи. ➡️ Подсказки, советы и полезные ресурсы. 🐍Indigo Python - твой путь к мастерству в коде! 🐍Вакансии для тестировщиков - канал с вакансиями для тестировщиков. 🔵Вывожу за грань обыденного предпринимателей и классных людей! Я Ася ментальный микрохирург, интегративный психолог/эзотерик Помогаю 15 лет вырасти многократно в доходе, энергии, обрести баланс, любовь, счастье Жду тебя: https://t.me/bazenova1 Хочешь участвовать в подборке? Пиши!

📈 Подборка статей для вашей карьеры • Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений • Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю • Все, пора увольняться: что я поняла после работы в токсичных командах • Базовое программирование, или Почему джуны не могут пройти к нам собеседование • Я стал аналитиком, потому что не смог быть программистом