ML&|Sec Feed

Strutil — предоставляет набор строковых показателей для вычисления сходства строк, а также другие вспомогательные функции для работы со строками. ✳️ GitHub

👩‍💻 Pathway — это фреймворк на Python для обработки данных в реальном времени, который поддерживает ETL-процессы, аналитические потоки и создание ИИ-конвейеров, включая работу с LLM и методами RAG! 🌟 Фреймворк предоставляет простой API на Python, который интегрируется с популярными ML-библиотеками и может использоваться для потоковой и пакетной обработки данных. 🔐 Лицензия: BSL-1.1 🖥 Github @data_analysis_ml

🖥 Magnetron Этот проект был создан, с целью изучения понимания внутренней работы PyTorch и других популярных фреймворков глубокого обучения. Главная цель проекта - создание с нуля минималистичного, но при этом мощного фреймворк глубокого обучения, который можно использовать как для исследований, так и для продакшена. Фреймворк написан на C и Python и спроектирован так, чтобы его было легко понять и модифицировать. Знаменитая цитат Ричарда Фенимана - То, что я не могу создать, я не понимаю. Создание собственного языка программирования, игрового движка и конечно фреймворка машинного обучения позволит понять, как работает современное программное обеспечение, до мельчайших деталей. ◾️GitHub ◾️Demo ◾️Docs @ai_machinelearning_big_data

🔥 scikit-opt — библиотека на Python для решения задач оптимизации с использованием методов роя и эволюционных алгоритмов! 🌟 Она включает такие алгоритмы, как генетический алгоритм (GA), оптимизация роя частиц (PSO), имитация отжига (SA), алгоритм муравьиной колонии (ACO), дифференциальная эволюция и другие. 🔐Лицензия: MIT 🖥 Github @machinelearning_ru

В инструмент PowerHuntShares, который может использоваться для аудита SMB при внутреннем тестировании - прикрутили LLM. Как говорит автор инструмента в статье, это может использоваться для оценки того "к чему принадлежит файл, который расположен в SMB-шаре". Допустим вы проводите внутреннее тестирование на проникновение и захотите проанализировать SMB на наличие избыточных привелегий - вы запускаете инструмент, и он вам выдаёт информацию. Но вы также хотите получить более детальный отпечаток того, что вы хотите протестировать. Инструмент собирает имена файлов и буквально просит проанализировать их возможную принадлежность к чему либо. Например у вас в шаре есть ресурс sccm, в котором есть файлы "variables.dat" и "config.xml" - Модель может вернуть информацию о том, что общий ресурс "sccm" связан с приложением "System Center Configuration Manager" с уровнем уверенности 4(а может и не присвоить уровень уверенности) и перечислить соответствующие файлы и обоснование. Можно подгружать CSV(если у вас есть дамп), картинки. И в итоговом отчёте вы получите что-то типа того, что видно на рисунках 1 и 2. О вопросе того насколько правильно использовать этот функционал с точки зрения конфиденциальности - говорить не приходится, но решение всегда остаётся за вами. Автор предупреждает, что никакого файнтюнинга или RAG для того чтобы это более точно работало - не применялось при создании всего этого функционала. А сама LLM подключается через API-эндпоинты Azure, к слову работает только с GPT 4o и 4o-mini. статья с релизом ссылка на Invoke-FingerPrintShare.ps1, в котором как раз и описывается подробно промпт с использованием которого и происходит обработка данных.

Phidata — cоздавайте мультимодальных агентов с памятью, знаниями, инструментами и способностью рассуждать. Общайтесь с ними с помощью красивого пользовательского интерфейса. 4️⃣ GitHub

Setezor — это анализатор сетевого трафика с возможностью автоматического построения топологии сети. 4️⃣ GitHub

🔥 eliza — это проект, направленный на создание платформы для автономных агентов, способных выполнять сложные задачи, взаимодействовать с пользователями и использовать внешние инструменты! 🌟 Цель проекта — упростить процесс разработки агентов, которые могут действовать независимо, обрабатывать команды на естественном языке и решать поставленные задачи с минимальным вмешательством человека. Такие агенты могут использоваться как чат-боты, NPC в видеоиграх, для трейдинга и многих других задач! 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Правила детекирования sigma,splunk с маппингом на техники mitre https://attackrulemap.netlify.app/

🔐 AI/LLM Security Update 🎯 Query: LLM security vulnerability ━━━━━━━━━━━━━━━━━━━━━ 📌 Targeting the Core: A Simple and Effective Method to Attack RAG ... └─ 🔗 Source └─ 📝 Dec 5, 2024 ... ... methodology, revealing systemic vulnerabilities even in robust architectures. These studies underscore the urgency of developing attack-resilient LLM frameworks ... 📌 The Task Shield: Enforcing Task Alignment to Defend Against ... └─ 🔗 Source └─ 📝 Dec 21, 2024 ... The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents ... vulnerabilities to prompt injection attacks while ... 📌 Trust & Safety of LLMs and LLMs in Trust & Safety └─ 🔗 Source └─ 📝 Dec 4, 2024 ... ... prompt injection exploits the LLM's inability to distinguish between legitimate instructions and malicious ones. This vulnerability is particularly ... 📌 The Task Shield: Enforcing Task Alignment to Defend Against ... └─ 🔗 Source └─ 📝 Dec 21, 2024 ... vulnerable to prompt injection attacks, making it an ideal candidate to ... Prompt injection attack against llm-integrated appli- cations. arXiv ... 📌 arXiv:2405.03644v2 [cs.CR] 4 Dec 2024 └─ 🔗 Source └─ 📝 Dec 4, 2024 ... ACM Transactions on Software Engineering and Methodology, July. 2024. ... Strengthening llm trust boundaries: A survey of prompt injection attacks surender suresh ... 📌 Pirates of the RAG: Adaptively Attacking LLMs to Leak Knowledge ... └─ 🔗 Source └─ 📝 8 days ago ... (2024) , which we refer to as Prompt-Injection for Data Extraction (PIDE), follows a related methodology but instead draws its textual inputs from the WikiQA ... 📌 Comprehensive Assessment of Jailbreak Attacks Against LLMs └─ 🔗 Source └─ 📝 Dec 16, 2024 ... Adversaries exploit these capabilities to launch a variety of attacks, notably prompt injection ... Content Analysis: An Introduction to Its Methodology. 📌 arXiv:2411.00459v2 [cs.CR] 23 Dec 2024 └─ 🔗 Source └─ 📝 Dec 23, 2024 ... 4 Methodology. 4.1 Problem Formulation. Given an input instruction I and clean ... Optimization-based prompt injection attack to llm- as-a-judge. arXiv ... 📌 Chain-of-Scrutiny: Detecting Backdoor Attacks for Large Language ... └─ 🔗 Source └─ 📝 Dec 21, 2024 ... 3 Methodology. Report issue for preceding element. 3.1 Threat Model and ... Effectiveness of Prompt-injection based Backdoor Attacks. Following the ...

В OWASP TOP 10 для LLM, в новой редакции, категория атак на цепочку поставок переместилась с 5ой на 3ю позицию. Это в целом было ожидаемо, большинство используют готовые компоненты и изменить процесс разработки, сделав изначально всё своими руками - крайне сложно. Но полезных источников описывающих эту проблему с ссылками и ресурсами - было не так много. Можно было почитать референсы в OWASP, и казалось что всё. Автор репозитория awesome-llm-supply-chain-security, Shenaow, решил собирать полезные материалы по этой теме, для того чтобы мы могли быстро оценить то, какие угрозы и проблемы касаемо цепочки поставок есть сейчас. Понятное дело что этот ресурс можно использовать как для составления докладов, так и для того чтобы попробовать посмотреть примеры и кейсы атак на цепочку поставок, именно в контексте LLM. Но некоторые статьи я посмотрел сам и нашёл кое-что интересное. Во первых - Large Language Model Supply Chain: A Research Agenda, там приведена потрясающая классификация того, какие компоненты могут быть подвержены атаке, в сравнении с обычным ПО. Это исчерпывающая статья. Она описывает проблемы с которыми приходится сталкиваться на разных этапах, а в дополнение ещё описаны проблемы для агентов. (рисунок 1,2). Также есть краткое описание мер для защиты. Large Language Model Supply Chain: Open Problems From the Security Perspective, если в первой статье мы видели только классификацию - то в этой статье мы видим уже маппинг атак на обучающую инфраструктуру и компоненты. Это в какой-то степени модель того, какие риски может реализовать злоумышленник в обучающей инфраструктуре. (рисунок 3) Из полезного я также отметил для себя то, что автор собирает доклады, где эта проблема освящается а также CVE, которые стали возможными именно из-за проблем со стороны.

Хронология самых интересных ИИ релизов в 2024 году🔥 От Gemma до Llama 3.1 405B, от Sonnet 3.5 до o3 ! https://huggingface.co/spaces/reach-vb/2024-ai-timeline @data_analysis_ml

Helicone — платформа для наблюдения за LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23. 4️⃣ GitHub

#Cloud_Security 1. ModeLeak: Privilege Escalation to LLM Model Exfiltration in Vertex AI https://unit42.paloaltonetworks.com/privilege-escalation-llm-model-exfil-vertex-ai 2. Dirty DAG: New Vulnerabilities in Azure Data Factory’s Apache Airflow Integration https://unit42.paloaltonetworks.com/azure-data-factory-apache-airflow-vulnerabilities ]-> Kubernetes Hardening Guide ]-> Automation and Hardening of Kubernetes Cluster