Data Science | Machinelearning [ru]

Первый кейс использования федеративного машинного обучения в медицине Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН впервые продемонстрировали на практике использование федеративного подхода в сфере медицины. Это метод обучения ML-моделей, при котором данные остаются на стороне владельца и не передаются внешним подрядчикам. Таким образом сразу несколько организаций смогут обучать модель на нескольких независимых наборах данных и при этом не передавать их за пределы своей организации. Федеративный подход будет особенно актуален для сфер, которые работают с чувствительной и конфиденциальной информацией: финансы, здравоохранение, промышленность. Первая проба подхода заключалась в обучении ML-модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Yandex Cloud совместно с ИСП РАН продумали архитектуру и развернули решение, а Сеченовский Университет предоставил данные и медицинскую экспертизу. В ходе эксперимента специалисты обучили модель диагностировать фибрилляцию предсердий по ЭКГ. Чувствительность модели составила 99%, а специфичность — 95%. Результаты впечатляющие. Немного о деталях: При федеративном обучении модель тренируется на локальном сервере клиента, который является частью распределённой системы обучения. Данные остаются у клиента, а на центральный сервер отправляются только обновлённые параметры модели, где они объединяются с параметрами, полученными от других клиентов. Это позволяет сохранять конфиденциальность данных и объединять ресурсы нескольких организаций для развития и улучшения модели. В будущем подход можно будет применять для разработки ИИ в любых задачах, где данных мало или их передача ограничена

🧠Квантовать или не квантовать LLM? В этой статье расскажем о квантовании и как оно помогает в выборе оборудования, а также рассмотрим основные типы квантов в llama.cpp. Читать...

🔍 Поиск дубликатов в клиентском MDM на миллиард записей Статья расскажет о подходах к объединению крупных баз данных с клиентской информацией, несмотря на ошибки и опечатки. Описываются методы предотвращения неверных объединений, включая сложные случаи, такие как записи братьев-близнецов. Читать...

🔥Много хардовой инфы для любителей LMM: Яндекс опубликовал в все доклады с прошедшей Practical ML Conf 2024 Один из самых запоминающихся докладов — история создание Нейро (продукт синтеза поисковых и генеративных технологий компании). Екатерина Серажим, руководитель управления качества, рассказала про: — Метрику «подверженность». Она направлена на то, чтобы максимально фокусировать и настраивать модель на извлечение информации из данных, минимизируя галлюцинации — Выбор оптимальной архитектуры и баланса между количеством данных и необходимыми мощностями при запуске в продакшн. — Разнообразие (снижение дисперсии) разметки текстов благодаря инструкциям. Так, модель не учит второстепенную информацию, а фокусируется на извлечении информации из инфо-контекста. А еще были интересные доклады про оптимизацию RAG-систем, синтез речи, методики для оптимизации подсистемы генеративного ридера и рексис. Такое мы однозначно смотрим.

🤖 Обучение GigaChat с контекстом в сотни тысяч токенов Статья расскажет о том, как команда SberDevices увеличивала объем контекста в диалогах для модели GigaChat, чтобы она могла учитывать реплики, сказанные сотни шагов назад. Представлена расшифровка доклада. Читать...

🚀Быстрее, выше, сильнее - вместе с Greenplum! 👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и архитекторов» - «Оптимизация производительности в аналитической СУБД Greenplum»: https://vk.cc/cC5AI3 На вебинаре вы узнаете о: - Распределении данных: Как оптимально распределять данные по сегментам. - Индексах и партиционировании: Их роль в ускорении запросов. Нужны ли они в Greenplum? - Оптимизации запросов: Эффективные SQL-запросы и планировщик. В практической части будут рассмотрены инструменты мониторинга, такие как gpperfmon и gpstate. 🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🥸Хочу как Гендальф: как создать бота для подбора паролей промптами В этой статье рассказываем, как сделать такого бота, и попробовать выведать у него тайну. Читать...

❓Хотите узнать, как эффективно работать с аналитическими запросами в PostgreSQL и оптимизировать большие данные? Ждем вас на открытом вебинаре 10 октября в 20:00 мск, где мы разберем: - проблемы аналитических запросов в PostgreSQL; - методы оптимизации и удачный выбор технологий; - продолжение изучения работы PostgreSQL с большими данными. Урок для аналитиков, инженеров, архитекторов БД и всех, кто интересуется большими данными. Встречаемся в преддверии старта курса «PostgreSQL. Advanced». Все участники вебинара получат специальную цену на обучение! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/mkVE/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🥸Хочу как Гендальф: как создать бота для подбора паролей промптами В этой статье рассказываем, как сделать такого бота, и попробовать выведать у него тайну. Читать...

🫠 ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику Сегодня увидел на репетиторском канале простенькую задачку на логику. И решил попробовать скормить ее ChatGPT и Gemini. Просто интереса ради. Вспомнил, что когда вышла ChatGPT 4-o в демках показывали, как она якобы может заменить учителей. Читать...

❗️Устали от несогласованных, дублирующихся, неполных данных? 👉Приходите на бесплатный вебинар онлайн-курса «Архитектор Togaf 10» — «Управление основными данными организации»: https://vk.cc/cC5tFV Отсутствие консолидации данных приводит к тому, что организация не имеет полного и точного представления о своих клиентах и процессах. TOGAF помогает в управлении основными данными, в том числе данными клиентов (CMDM) путем создания единого источника данных, разработки архитектуры и стандартов управления, интеграции систем и улучшения качества информации. Узнайте, как создать единую архитектуру данных для централизованного хранения информации о клиентах, установить стандарты управления данными, интегрировать различные системы! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🔐Безопасность в машинном обучении: от проектирования до внедрения В этой статье описывается методология Crisp-DM, позволяющая структурировать процесс разработки, а также рассматриваются уязвимости и возможные атаки на ML-модели. Читать...

На канале Яндекса вышел новый выпуск «1x1», в котором стажеры делятся своими впечатлениями и опытом прохождения стажировки в компании. Спойлер: можно совмещать учебу с разработкой масштабных проектов, а команда всегда готова помочь с любыми трудностями. И супербонус — стажеры могут посещать десятки ивентов, где можно нетворкать, знакомиться с разными командами сервисов и просто чиллить. Программа стажировок работает круглый год. Оба героя выпуска занимаются машинным обучением в Яндексе. Если хочется подтянуть скиллы по ML и попробовать попасть в штат, то прямо сейчас можно записаться на Тренировки по Machine Learning 2.0.

😎Пока не исправили — модифицируй, или Анализ расширений атаки уклонения для LLM В статье рассматриваются уязвимости генеративных моделей к атакам уклонения, которые манипулируют входными данными для получения неверных ответов. Читать...

🥳Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise Новый подход Human-AI, который использует модель экспертного мышления для предоставления экспертного руководства репетиторам во время их репетиторства. Это исследование является первым рандомизированным контролируемым испытанием системы Human-AI в живом репетиторстве, в котором участвуют 900 репетиторов и 1800 учеников K-12 из исторически малообеспеченных сообществ. Tutor CoPilot демонстрирует, как системы «человек-искусственный интеллект» могут масштабировать экспертные знания в реальных областях, устранять пробелы в навыках и создавать будущее, в котором высококачественное образование будет доступно всем учащимся. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

👨‍💻Хранилища данных. Обзор технологий и подходов к проектированию В этой статье будут рассмотрены основные подходы к проектированию архитектуры хранилищ данных (DWH), эволюция архитектур, взаимосвязь Data Lake, Data Factory, Data Lakehouse, Data Mesh c DWH, преимущества и недостатки подходов к моделированию данных. Читать...

Ищем автора эталонного кода! 💎 Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom. Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря. Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!

🖥 Самые интересные статьи за последние дни: • Кратко про Ensemble методы с примерами • Машинное обучение и криптография: знакомимся с CipherGAN • Строим ETL-конвейер для машинного обучения с помощью Kafka, Clickhouse и Go

💎Кратко про Ensemble методы с примерами В этой статье мы рассмотрим три основных подхода: Bagging, Boosting и Stacking, и посмотрим, как их реализовать на Python. Читать...

👀Хотите освоить инструменты для построения и применения моделей машинного обучения на больших наборах данных? Ждем вас на открытом вебинаре 8 октября в 20:00 мск, где мы разберем: - обзор возможностей Spark; - как разрабатывать модели на Spark ML; - как выводить модели в промышленное использование. Урок для инженеров данных, ML-инженеров и Data Scientist'ов. Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах. Встречаемся в преддверии старта курса «Spark Developer». Все участники вебинара получат специальную цену на обучение! ▶️Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/6Zsv/