ML&|Sec Feed

SVVARM — это суперценная, универсальная машина для автоматизации, которая разворачивает ваш рой автоматизированных рабочих на базе ИИ! Разработанный для того, чтобы помочь вам автоматизировать сложные задачи без проблем , позволяя вам сосредоточиться на том, что действительно важно. 4️⃣ GitHub

Rocketnotes — веб-приложение для ведения заметок с поддержкой Markdown. Оснащён инструментами генерации текста и семантического поиска на базе LLM! 4️⃣ GitHub

pgai — набор инструментов для упрощения разработки RAG, семантического поиска и других приложений ИИ с помощью PostgreSQL. Цель pgai — сделать работу с ИИ проще и доступнее для разработчиков. 4️⃣ GitHub

Data Formulator — преобразуйте данные и создавайте насыщенные визуализации итеративно с помощью ИИ. 4️⃣ GitHub

Новая статья, где я рассказываю Что побуждает LLM врать и как с этим бороться

Фреймворк для оценки качества правил выявления угроз Методология Detection-as-Code уверенно приземляется не только в центрах мониторинга угроз, но и в исследовательском сообществе. Использование LLM для генерации правил усиливает этот тренд. При этом, проведение анализа качества нового правила ложится на плечи аналитика. И тут каждый тестирует, как умеет или придерживается какой-то тактики. Если тактики нет, то можно изучить фреймворк для оценки качества правил обнаружения угроз “Shannon Signal Score”. Его автор предлагает использовать объективные и субъективные метрики, учитывая специфику организации и контекст угроз. Категории метрик: 1. соответствие угрозам и охват; 2. целостность обнаружения; 3. когнитивная нагрузка и операционные затраты на обнаружение, расследование; 4. потенциальный риск; 5. практическая польза. Для количественной оценки используются статистические показатели, а для качественной – LLM. Получилась гибкая система. Кто решит внедрить - поделитесь впечатлениями.

BadRAG: как сломать RAG за минимальное количество шагов RAG (Retrieval Augmented Generation) сегодня является популярным инструментом для передачи в LLM знаний. Почему: 🟣дообучать модели каждый раз после изменения знаний о мире дорого; 🟣давать свободный доступ в интернет своим LLM может быть рискованно; 🟣вы хотите сами определять наиболее актуальные знания. Тогда выбор очевиден: вам нужен RAG. Как он работает: 🟣вы собираете набор документов с нужными вам знаниями; 🟣получаете векторы для этих документов / их кусочков; 🟣кладете все эти векторы в бд; 🟣и затем, когда пользователь приходит с запросом, вы ищете наиболее похожие документы / кусочки на его запрос, а дальше передаете их в LLM, а она уже “разберется”, что с этим делать. Очень поздний TL;DR Основная идея статьи, которой хочу поделиться — "заставить" модель генерировать "плохие" ответы или же вовсе не отвечать на запрос минимальными усилиями. И как же это сделать Я расскажу о самом первом подходе Retrieval-phase Attacking Optimization. Идея такая, что нужно добавить минимальное количество таких adversarial passage, чтобы на большее количество запросов возвращать "некорректный" ответ. Расскажу об основных вещах: 🟣Сначала вы собираете набор триггеров, на которые вы хотите получать "плохие" ответы (авторы статьи, почему-то, в качестве примера выбрали республиканцев). Ну ладно. 🟣Contrastive Optimization on a Passage (COP). На этом этапе обучается вектор adversarial passage таким образом, чтобы он имел максимальную схожесть с триггерными запросами, но минимальную с нормальными запросами. Формат обучения ну оочень похож на word2vec negative sampling с некоторыми поправками. Результаты интересные. Их замеряли на таких датасетах, как Natural Questions (NQ), MS MARCO и SQuAD. Всего к данным добавляли 10 adversarial passages (0.04% от всех данных). И что получилось в итоге: 🟣Доля извлечения adversarial passages по всем тестируемым моделям выросла c 1% до 13.9% - 99.8% (для top-1 извлеченных документов в зависимости от датасета и модели). А больше подробностей в статье.

Удивительно, но факт: вычисления, в которых используются числа с плавающей точкой, практически всегда неточны. Самый простой известный пример: 0.1+0.2 !=0.3 Ещё интереснее то, что точность результата некоторых математических операций может меняться в зависимости от способа вычисления. «Ну и что? — скажете вы, — подумаешь, потеряли какой-то там знак после запятой. Число пи вообще до сотых округляют в большинстве расчётов, и ничего!». Сама по себе потеря точности не является проблемой до тех пор, пока её легко обнаружить. На практике это возможно только для сравнительно простых вычислений. По мере усложнения расчётов неточности накапливаются, сильно искажая результат. 📣Специалист-исследователь отдела перспективных исследований компании «Криптонит» Игорь Нетай нашёл способ, как это можно исправить. Он на протяжении нескольких лет изучал фундаментальную проблему быстрой потери точности вычислений и предложил автоматически выполнять оценки погрешности для заданной модели и алгоритма. ❗️Результаты исследования опубликованы в индийском международном рецензируемом журнале IJAINN. 💙А на нашем сайте вы найдёте аналитическую статью на основе этого исследования. Делимся кратко сутью исследования (и советуем прочитать полные материалы) Игорь написал библиотеку XNumPy. Она базируется на NumPy и дополняет её классами для работы с числами в формате float point, автоматически оценивающих точность каждого результата по мере вычислений. Использование библиотеки аналогично NumPy, однако на выходе заведомо неточные знаки заменятся вопросительными. Это позволяет оценить точность результата и отбрасывать заведомо бессмысленные, в частности — не пытаться интерпретировать сильно зашумлённый логический вывод нейросети. #научные_статьи

Появился еще один весьма полный ресурс https://github.com/SylphAI-Inc/LLM-engineer-handbook полезных материалов по разработкам с использованием LLM. - Справочник инженера LLM Обзор Библиотеки, фреймворки и инструменты Приложения Предварительная подготовка Тонкая настройка Обслуживание Оперативное управление Наборы данных Показатели Учебные ресурсы для LLM Приложения Агент Моделирование Обучение Тонкая настройка Основы Книги Информационные бюллетени Автооптимизация Понимание LLM Социальные аккаунты и сообщества Социальные аккаунты Сообщество