Data Science | Machinelearning [ru]

➡️ Что такое технология TTS, как устроена и каких сферах используется синтез речи Вместе с Григорием Стерлингом, лидом команды TTS в SberDevices, разбираемся, как устроена технология, как разрабатывают синтезаторы речи и что нужно знать, чтобы работать в этой сфере. Читать...

👩‍💻 Линейная регрессия и её регуляризация в Scikit-learn Линейная регрессия — это метод обучения с учителем, который предсказывает значение y на основе признаков X. Основное допущение — линейная зависимость y от Xi, что позволяет оценить y через математическое выражение. Читать...

❓ Кто такой разметчик данных и сколько он зарабатывает? Все, что вам нужно знать о профессии Как нейросети распознают лица и управляют авто? Всё это благодаря разметчикам данных, которые учат ИИ видеть и понимать мир. Узнайте, сколько они зарабатывают и какие навыки нужны для работы. Читать...

🤔 Топология в нейросетях? Когда говорят о математике в ML, чаще всего вспоминают Байесовские методы и тензоры. Но математика в машинном обучении может затрагивать и фундаментальные направления, как топологический анализ данных (TDA) — ту самую науку про бублики и ленточки. Читать...

🎭 Двойная игра в Power BI: как совмещать роли разработчика и администратора Когда твой руководитель говорит: «А теперь ты еще и администратор сервера Power BI». Гид по выживанию для разработчика, внезапно ставшего многостаночником. Читать...

Первый кейс использования федеративного машинного обучения в медицине Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН впервые продемонстрировали на практике использование федеративного подхода в сфере медицины. Это метод обучения ML-моделей, при котором данные остаются на стороне владельца и не передаются внешним подрядчикам. Таким образом сразу несколько организаций смогут обучать модель на нескольких независимых наборах данных и при этом не передавать их за пределы своей организации. Федеративный подход будет особенно актуален для сфер, которые работают с чувствительной и конфиденциальной информацией: финансы, здравоохранение, промышленность. Первая проба подхода заключалась в обучении ML-модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Yandex Cloud совместно с ИСП РАН продумали архитектуру и развернули решение, а Сеченовский Университет предоставил данные и медицинскую экспертизу. В ходе эксперимента специалисты обучили модель диагностировать фибрилляцию предсердий по ЭКГ. Чувствительность модели составила 99%, а специфичность — 95%. Результаты впечатляющие. Немного о деталях: При федеративном обучении модель тренируется на локальном сервере клиента, который является частью распределённой системы обучения. Данные остаются у клиента, а на центральный сервер отправляются только обновлённые параметры модели, где они объединяются с параметрами, полученными от других клиентов. Это позволяет сохранять конфиденциальность данных и объединять ресурсы нескольких организаций для развития и улучшения модели. В будущем подход можно будет применять для разработки ИИ в любых задачах, где данных мало или их передача ограничена

🧠Квантовать или не квантовать LLM? В этой статье расскажем о квантовании и как оно помогает в выборе оборудования, а также рассмотрим основные типы квантов в llama.cpp. Читать...

🔍 Поиск дубликатов в клиентском MDM на миллиард записей Статья расскажет о подходах к объединению крупных баз данных с клиентской информацией, несмотря на ошибки и опечатки. Описываются методы предотвращения неверных объединений, включая сложные случаи, такие как записи братьев-близнецов. Читать...

🔥Много хардовой инфы для любителей LMM: Яндекс опубликовал в все доклады с прошедшей Practical ML Conf 2024 Один из самых запоминающихся докладов — история создание Нейро (продукт синтеза поисковых и генеративных технологий компании). Екатерина Серажим, руководитель управления качества, рассказала про: — Метрику «подверженность». Она направлена на то, чтобы максимально фокусировать и настраивать модель на извлечение информации из данных, минимизируя галлюцинации — Выбор оптимальной архитектуры и баланса между количеством данных и необходимыми мощностями при запуске в продакшн. — Разнообразие (снижение дисперсии) разметки текстов благодаря инструкциям. Так, модель не учит второстепенную информацию, а фокусируется на извлечении информации из инфо-контекста. А еще были интересные доклады про оптимизацию RAG-систем, синтез речи, методики для оптимизации подсистемы генеративного ридера и рексис. Такое мы однозначно смотрим.

🤖 Обучение GigaChat с контекстом в сотни тысяч токенов Статья расскажет о том, как команда SberDevices увеличивала объем контекста в диалогах для модели GigaChat, чтобы она могла учитывать реплики, сказанные сотни шагов назад. Представлена расшифровка доклада. Читать...

🚀Быстрее, выше, сильнее - вместе с Greenplum! 👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и архитекторов» - «Оптимизация производительности в аналитической СУБД Greenplum»: https://vk.cc/cC5AI3 На вебинаре вы узнаете о: - Распределении данных: Как оптимально распределять данные по сегментам. - Индексах и партиционировании: Их роль в ускорении запросов. Нужны ли они в Greenplum? - Оптимизации запросов: Эффективные SQL-запросы и планировщик. В практической части будут рассмотрены инструменты мониторинга, такие как gpperfmon и gpstate. 🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🥸Хочу как Гендальф: как создать бота для подбора паролей промптами В этой статье рассказываем, как сделать такого бота, и попробовать выведать у него тайну. Читать...

❓Хотите узнать, как эффективно работать с аналитическими запросами в PostgreSQL и оптимизировать большие данные? Ждем вас на открытом вебинаре 10 октября в 20:00 мск, где мы разберем: - проблемы аналитических запросов в PostgreSQL; - методы оптимизации и удачный выбор технологий; - продолжение изучения работы PostgreSQL с большими данными. Урок для аналитиков, инженеров, архитекторов БД и всех, кто интересуется большими данными. Встречаемся в преддверии старта курса «PostgreSQL. Advanced». Все участники вебинара получат специальную цену на обучение! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/mkVE/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🥸Хочу как Гендальф: как создать бота для подбора паролей промптами В этой статье рассказываем, как сделать такого бота, и попробовать выведать у него тайну. Читать...

🫠 ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику Сегодня увидел на репетиторском канале простенькую задачку на логику. И решил попробовать скормить ее ChatGPT и Gemini. Просто интереса ради. Вспомнил, что когда вышла ChatGPT 4-o в демках показывали, как она якобы может заменить учителей. Читать...

❗️Устали от несогласованных, дублирующихся, неполных данных? 👉Приходите на бесплатный вебинар онлайн-курса «Архитектор Togaf 10» — «Управление основными данными организации»: https://vk.cc/cC5tFV Отсутствие консолидации данных приводит к тому, что организация не имеет полного и точного представления о своих клиентах и процессах. TOGAF помогает в управлении основными данными, в том числе данными клиентов (CMDM) путем создания единого источника данных, разработки архитектуры и стандартов управления, интеграции систем и улучшения качества информации. Узнайте, как создать единую архитектуру данных для централизованного хранения информации о клиентах, установить стандарты управления данными, интегрировать различные системы! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🔐Безопасность в машинном обучении: от проектирования до внедрения В этой статье описывается методология Crisp-DM, позволяющая структурировать процесс разработки, а также рассматриваются уязвимости и возможные атаки на ML-модели. Читать...

На канале Яндекса вышел новый выпуск «1x1», в котором стажеры делятся своими впечатлениями и опытом прохождения стажировки в компании. Спойлер: можно совмещать учебу с разработкой масштабных проектов, а команда всегда готова помочь с любыми трудностями. И супербонус — стажеры могут посещать десятки ивентов, где можно нетворкать, знакомиться с разными командами сервисов и просто чиллить. Программа стажировок работает круглый год. Оба героя выпуска занимаются машинным обучением в Яндексе. Если хочется подтянуть скиллы по ML и попробовать попасть в штат, то прямо сейчас можно записаться на Тренировки по Machine Learning 2.0.

😎Пока не исправили — модифицируй, или Анализ расширений атаки уклонения для LLM В статье рассматриваются уязвимости генеративных моделей к атакам уклонения, которые манипулируют входными данными для получения неверных ответов. Читать...

🥳Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise Новый подход Human-AI, который использует модель экспертного мышления для предоставления экспертного руководства репетиторам во время их репетиторства. Это исследование является первым рандомизированным контролируемым испытанием системы Human-AI в живом репетиторстве, в котором участвуют 900 репетиторов и 1800 учеников K-12 из исторически малообеспеченных сообществ. Tutor CoPilot демонстрирует, как системы «человек-искусственный интеллект» могут масштабировать экспертные знания в реальных областях, устранять пробелы в навыках и создавать будущее, в котором высококачественное образование будет доступно всем учащимся. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться