ML&|Sec Feed

Непригодность нейросетей для решения задач нередко объясняется нашим "неумением их готовить". Поясню. У нас есть экспериментальный Волшебник Мерлин, который подсказывает аналитикам на что обратить внимание при расследовании алертов. О нем я упоминал в презентации на слайде 15. В качестве Подсказчика Мерлина используется обычная, не расширенная никакими RAG-ами и фью-шотами, развернутая в корпоративной инфраструктуре, LLM, в нашем случае - LLaMA. В ходе экспериментов было замечено, что если в Мерлина подать необработанный JSON алерта, то результат будет неудовлетворительным, однако, если JSON алерта переписать текстом, то результат будет вполне приемлемым. В нашем случае алерт - это совокупность событий, а каждому событию несложно поставить в соответствие его словесное описание (для этого не требуется никакой машобуч, там биективное соответствие) Я уже писал о том, что конволюционные (по-русски, можно встретить термин "сверточные") нейросети (CNN), придуманные изначально для компьютерного зрения, стали пытаться применять для анализа связей в графах наряду с графовыми нейросетями (GNN). Но вот эта публикация мне предсталяется более перспективной (абстракт, pdf). Здесь ребята извлекают фичи из образцов и преобразуют их в вид QR- и Aztec-кодов. Далее, полученные представления образца в виде QR/Aztec подают на вход CNN, классифицирующей малвару. В целом, QR, как будто, хорошее представление входных данных для CNN, но под вопросом емкость такого представления, да и ограниченность на статистическом анализе малвары тоже не способствует универсальности метода. Но попытка засчитана! Что ожидаю: - повышение емкости входных данных для анализа. Если мы говорим о CNN, спроектированных для анализа изображений, то, может, кто-нибудь предложит трансформировать входные данные для анализа в изображение или видео. - покрытие динамики. Динамика, на мой взгляд, более перспективна чем статика. Он закроет использование обфусцированной и полиморфной малвары, но, что еще более актуально, - сценарии Living-off-the-Land и поведенческое детектирование. Будем следить. А еще, чем больше я изучаю различных прикладные применения нейросетей, невольно вспоминаю "Зенитные кодексы Аль-Эфесби" ... Нужно понимать, что новые функциональные возможности открывают новые сценарии атак. #MDR #ml

Интересный проект от Center for Threat Informed Defence - Attack Flow, который представляет собой, базирующийся на STIX, язык описания цепочек атак 📇 злоумышленников по достижению ими своих целей через комбинацию различных техник MITRE ATT&CK. С помощью Attack Flow можно описывать угрозы и реализующие их группировки, проводить эмуляцию угроз, разрабатывать методы обнаружения и реагирования на угрозы и т.п. Язык позволяет описывать различные действия (в том числе параллельно реализуемые), условия реализации тех или иных действий, комбинирующие операторы И и ИЛИ, активы и т.п. 🔓 В качестве примеры на сайте MITRE Engenuity приведено множество примеров описания с помощью Attack Flow различных атак, инцидентов и группировок - Turla, NotPetya и WhisperGate, взломы Uber, SolarWinds и SWIFT, использование уязвимостей в Ivanti и т.п. 🤕 Интересный проект... Иностранцы активно начинают смотреть в сторону цепочек 🔗 атак, понимая, что борьбы с атомарными событиями обречена на неудачу. Последних становится столь много, что не объединяя их в пути/цепочки, можно потратить множество ресурсов, но так и не добиться нужного результата.

💎 Сокровище: ресёрчер из Deepmind опубликовал бесплатное руководство, как обучать нейросети с подкреплением. Если вы занимаетесь ML — это мастрид на ближайший вечер!

• Введение — общие идеи обучения с подкреплением (RL) и примеры задач. • Value-based RL — все фундаментальные концепты. • Policy-based RL — ключевые подходы для оптимизации действий. • Model-based RL — методы для планирования решений. • Другие темы в RL — применение в LLM, путь к AGI, построение функций награды, иерархии задач и другое.

Кладезь знаний лежит тут. @notboring_tech

Принёс на ночь глядя годной практики по Python — нашёл гигантскую коллекцию полезных руководств по программированию на Python, с примерами кода. Внутри: — Автоматизация с помощью Python; — Взаимодействие с внешними API (например, Telegram, YouTube); — Создание чат-ботов; — Обработка изображений и видео; — Основы машинного обучения. В репо регулярно заливают новые материалы, так что кидайте в закладки.

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени! 🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных. 🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных. 🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

Исследователь из Yandex Research выкатил решение AQLM․rs, которое позволяет запускать большую языковую модель на обычном компьютере или телефоне. А точнее запускать Llama 3.1 8B прямо в браузере и без использования GPU. AQLM․rs — сервис с открытым кодом, можете потыкать сами GitHub, а на Хабре прочитать про процесс создания инструмента. Яндексоиды — мощные ребята 😁

🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию Дата введения в действие: 01.01.2025. 🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020 Срок действия: с 01.01.2025 до 01.01.2028.

В России обновили концепцию регулирования искусственного интеллекта В документе зафиксировали ответственность за вред, причиненный нейросетью.

Опубликованы национальные стандарты в области ИИ: 🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта 🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта 🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний 🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов 🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента Дата введения в действие пяти документов: 01.01.2025. Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике: 🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения 🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования Дата введения в действие этих ГОСТов: 01.01.2025. 🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний 🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний Срок действия этих документов: с 01.01.2025 до 01.01.2028. Также добавлены: 🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования 🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура Дата введения в действие этих документов: 01.01.2025.

✅ Новенькое от MTS AI Маленькие Ai от MTS AI, которые успели отметиться на 1 месте RuGeneralArena, разумеется, в своей весовой категории. Да, с недавних пор, модели стали различаться по весу. Есть большие языковые модели, и, вот, теперь, маленькие, как эти три малышки. Пробуем их тут: 🔵 Cotype-Nano-CPU 🔵 Cotype-Nano 🔵 Cotype-Nano-4bit А подробнее, почему они родились, почитать тут 📖

https://arxiv.org/abs/2407.16741 https://github.com/All-Hands-AI/OpenHands