Data Science | Machinelearning [ru]

​​🏦Ликбез по компьютерному зрению в банках. Как технологии ИИ защищают ваши деньги В этой статье я на примере нескольких кейсов наших клиентов расскажу, как в банках и других финансовых организациях используют компьютерное зрение и чем оно полезно для конечных пользователей. Читать...

Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн! Machine learning, проверенный практикой* * Сгенерировано YandexGPT Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении. Ключевые темы конференции: CV / NLP / Speech / RecSys / MLOps / Data science В числе спикеров: – Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи; – Дмитрий Антипов — Сбер, АБТ, тимлид разработки; – Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering. Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров. Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн. Реклама. ООО "Яндекс", ИНН 7736207543.

​​🧐InfinityMATH: масштабируемый набор данных для настройки инструкций в программных математических рассуждениях Конвейер построения делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений. Эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH. Эти тонко настроенные модели показали значительные относительные улучшения как в области, так и вне области бенчмарков, в среднем от 184,7% до 514,3%. Кроме того, эти модели продемонстрировали высокую надежность на тестах GSM8K+ и MATH+, которые являются улучшенной версией тестовых наборов с простыми вариациями чисел. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

​​⚡️Рекурсивный отбор признаков. Динамический шаг в танце feature selection В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE), а также предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков. Читать...

Как подготовить данные без пропусков, дубликатов и некорректных значений?  Расскажем как предварительно обработать сырые данные на открытом уроке «Подготовка данных в Pandas»  🔹Последовательно рассмотрим этапы обработки пропусков, дубликатов и  поиск аномалий. 

✅ Практика: Чистка данных при помощи библиотеки Pandas

Урок приурочен курсу «Machine Learning» от Otus. По окончанию обучение получите диплом государственного образца. 👉 Регистрация и подробности: https://otus.pw/7xOF/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

​​🤖UniT: унифицированное тактильное представление для обучения роботов Новый подход к обучению тактильному представлению, использующий VQVAE для изучения компактного скрытого пространства и служащий тактильным представлением. Он использует тактильные изображения, полученные от одного простого объекта, для обучения представлению с возможностью переноса и обобщения. Эффективность UniT в обучении политике продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-среды. Благодаря обширным экспериментам UniT показал себя простым в обучении, подключаемым и работающим, но широко эффективным методом обучения тактильному представлению. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

​​😉Уроки, извлеченные из масштабирования до многотерабайтных датасетов В этой статье я расскажу, с какими сложностями столкнулся при увеличении масштабов датасета и как их удалось решить. Читать...

AI помогает бизнесу анализировать большие объемы данных, чтобы принимать обоснованные решения и повышать эффективность процессов. ➡️Сервисы речевой аналитики позволяют распознавать и глубоко анализировать голосовые и текстовые диалоги с помощью технологий машинного обучения и искусственного интеллекта. ✔️22 августа в 11.00 МСК MWS проведет вебинар о сервисе речевой аналитики, который они развернули в своем облаке совместно с UKTECH LAB. ↘️ На вебинаре вы узнаете, как MWS внедрили сервис речевой аналитики для сети клиник «Кремлёвская стоматология». В эфире расскажут: 🔴Что компании уже сегодня получают с помощью речевой аналитики в облаке. 🔴Как AI в облаке помог компании: - на 20% увеличить конверсию из обращений в запись, - на 14% снизить время на постобработку звонков. 🔴Какие облачные решения обеспечивают надёжное хранение и безопасную обработку персональных данных. Приходите на вебинар и задавайте свои вопросы - за лучший вопрос в чате трансляции - будет подарок :) Реклама. Информация о рекламодателе.

​​🦾ControlNeXt: Powerful and Efficient Control for Image and Video Generation ControlNeXt — мощный и эффективный метод для контролируемой генерации изображений и видео. Метод легко интегрируется с другими весами LoRA, позволяя изменять стиль без необходимости дополнительного обучения. Были проведены различные эксперименты с различными базовыми моделями для изображений и видео, продемонстрировав надежность нашего метода. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

В чём особенность рекламы на маркетплейсах и как она связана с ранжированием и продвижением — обсуждают эксперты бигтехов в подкасте «Рандомные дрова» от Ozon Tech. Слушайте, чтобы узнать, как работает механизм аукциона изнутри, как ML-модели учитывают конверсию и какие метрики нужны для измерения качества рекламы в e-com. 🎧 Приятного прослушивания на любимой площадке!

​​🗣Fine-tuning больших языковых моделей в 2024 году В этой статье мы рассмотрим жизненный цикл LLM, включая этапы концепции, выбора модели и оценки точности. Читать...

​​🔥VITA: Towards Open-Source Interactive Omni Multimodal LLM Мультимодальная большая языковая модель (MLLM) с открытым исходным кодом, которая способна одновременно обрабатывать и анализировать модальности видео, изображений, текста и аудио, и в то же время обладает передовым мультимодальным интерактивным опытом. Она демонстрирует надежные базовые возможности многоязычного, визуального и аудиопонимания, о чем свидетельствует ее высокая производительность в ряде как унимодальных, так и мультимодальных тестов. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

​​👾Transfer learning: подробный гайд для начинающих В этой статье мы расскажем, как работает TL, где оно используется, и разберем конкретные кейсы. Читать...

❓Ваши системы падают при любой удобной возможности? Хотите узнать, как обеспечить непрерывную работу с помощью PostgreSQL-кластера? Ждем вас на открытом вебинаре 15 августа в 20:00 мск, где мы разберём: - что такое доступность и как она достигается; - как построение архитектуры связано с доступностью; - реализацию failover в PostgreSQL и настройку кластера для обеспечения отказоустойчивости. Вы получите ценные знания и практические навыки, которые помогут вам настроить кластер так, чтобы падение одной из нод не приводило к сбоям всей системы. Спикер Антон Герасименко — опытный разработчик и преподаватель, .net developer + lead. Встречаемся в преддверии старта курса «Базы данных». Все участники вебинара получат специальную цену на обучение! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/436ki/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

​​🖥 Самые интересные статьи за последние дни: • Как мы построили сервис, который поможет сократить поиск видео контента в огромной базе данных • Опенсорс на арене: правда ли так хороша Llama 3.1 405B? • Оценка LLM с большим окном контекста

​​🦙Опенсорс на арене: правда ли так хороша Llama 3.1 405B? В этой статье мы проведем независимое расследование: сравним возможности Llama 3.1 405B с GPT-4o и Claude 3.5 Sonnet на ряду задач, от программирования до творческого письма, и попробуем понять, насколько она готова к практическому применению. Читать...

​​🤖Transformer Explainer: Интерактивное обучение текстогенерирующим моделям Этот инструмент помогает пользователям понять сложные концепции трансформеров, интегрируя обзор модели и обеспечивая плавные переходы между уровнями абстракции математических операций и структур моделей. Он запускает живой экземпляр GPT-2 локально в браузере пользователя, позволяя пользователям экспериментировать с собственным вводом и наблюдать в реальном времени, как внутренние компоненты и параметры трансформера работают вместе, чтобы предсказывать следующие токены. Инструмент не требует установки или специального оборудования, расширяя образовательный доступ общественности к современным генеративным методам ИИ. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

​​👍Оценка LLM с большим окном контекста В этой статье мы расскажем как получилось достичь уровня gpt-4 на собственном ограниченном датасете большого контекста. Читать...

​​⚡️LLM-DetectAIve: инструмент для точного машинного обнаружения текста Система, разработанная для детального обнаружения MGT. Она способна классифицировать тексты по четырем категориям: написанные человеком, сгенерированные машиной, написанные машиной-очеловеченные и написанные машиной-отшлифованные. В отличие от предыдущих детекторов MGT, которые выполняют бинарную классификацию, введение двух дополнительных категорий в LLM-DetectiAIve дает представление о различных степенях вмешательства LLM во время создания текста. Это может быть полезно в некоторых областях, таких как образование, где любое вмешательство LLM обычно запрещено. Эксперименты показывают, что LLM-DetectAIve может эффективно определять авторство текстового контента, доказывая его полезность для повышения целостности в образовании, академической среде и других областях. 🤗 Hugging Face 💾 Arxiv 📂 PDF @Devsp — Подписаться

​​🔍Как мы построили сервис, который поможет сократить поиск видео контента в огромной базе данных В этой статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным. Читать...