ML&|Sec Feed

Helicone — платформа для наблюдения за LLM с открытым исходным кодом. Одна строка кода для мониторинга, оценки и экспериментов. YC W23. 4️⃣ GitHub

#Cloud_Security 1. ModeLeak: Privilege Escalation to LLM Model Exfiltration in Vertex AI https://unit42.paloaltonetworks.com/privilege-escalation-llm-model-exfil-vertex-ai 2. Dirty DAG: New Vulnerabilities in Azure Data Factory’s Apache Airflow Integration https://unit42.paloaltonetworks.com/azure-data-factory-apache-airflow-vulnerabilities ]-> Kubernetes Hardening Guide ]-> Automation and Hardening of Kubernetes Cluster

#MLSecOps 1. Hacking AI Applications: From 3D Printing to RCE https://www.securityrunners.io/post/hacking-ai-applications 2. Security ProbLLMs in xAI's Grok: A Deep Dive https://embracethered.com/blog/posts/2024/security-probllms-in-xai-grok

🔥 pyRiemann — это библиотека на Python для анализа многомерных данных с использованием римановой геометрии положительно определенных матриц! 🌟 Она построена на API scikit-learn и предоставляет высокоуровневые инструменты для обработки данных, классификации и машинного обучения. Основное применение библиотеки связано с биосигналами (например, EEG, MEG, EMG), интерфейсами мозг-компьютер (BCI), а также дистанционным зондированием, включая обработку радарных изображений и гиперспектральных данных. 🔐 Лицензия: BSD-3-Clause 🖥 Github @data_analysis_ml

Команда Yandex Cloud выпустила статью "Аспекты безопасности данных в Yandex Foundation Models". В ней описаны ключевые принципы обработки данных в нейросетях Яндекса: изоляция пользовательских данных, шифрование и соответствие ФЗ-152, анонимизация данных перед обучением и Stateless Inference. Обратите внимание, что по умолчанию промпты логируются для последующего обучения, однако эту опцию можно отключить в настройках. Второй раздел статьи посвящён рекомендациям по созданию RAG-системы. В нём кратко описана архитектура вопросо-ответных систем и даны практические советы по настройке инфраструктуры в облаке. Для маскирования данных коллеги рекомендуют использовать сервисы обработки данных Data Proc или Data Transfer. Интересно, что в статье пока отсутствуют упоминания о промпт-инъекциях и других атрибутах популярных AI Security фреймворков. Документ фокусируется исключительно на аспектах работы с данными. Если вы собираетесь строить решения на YandexGPT, рекомендую чат, где вы можете напрямую пообщаться с разработчиками из Клауда и получить помощь по вашим вопросам. Это была последняя статья в уходящем 2024 году. Дорогие друзья, коллеги и читатели канала, поздравляю вас с наступающим Новым годом! Пусть новые ИИ-продукты помогают быть эффективнее, забирают рутину и дарят нам больше времени для себя и близких 🎄.

Unwrapping JavaScript Obfuscation: How LLMs Are Changing Cybercrime https://medium.com/@stefan.kraam/unwrapping-javascript-obfuscation-how-llms-are-changing-cybercrime-3cd05c4a201e: 1. With a steaming cup of coffee in hand, I’ve decided to dive into one of the most fascinating (and troubling) trends in cybersecurity today: how large language models (LLMs) like GPT, LLaMA, and others are being weaponized to make JavaScript obfuscation more powerful than ever. 2. Traditional obfuscation relies on techniques like renaming variables to meaningless strings, encoding text in complex formats, or adding irrelevant lines of code. 3. Large Language Models — like OpenAI’s GPT, Meta’s LLaMA, Google’s PaLM, and Anthropic’s Claude — are designed to generate human-like text and code. @secharvester

✅ AI Safety Institute: Understanding the Safety Case Template for AI Systems https://medium.com/ai-security-hub/understanding-the-safety-case-template-for-ai-systems-36bd99677478: 1. One approach is through a safety case: a structured, evidence-based argument aimed at demonstrating why the risk associated with a safety-critical system is acceptable. 2. It focuses on: 📑 Defining safety claims: Specific risks (e.g., cybersecurity, misuse, system failures).🧠 Building arguments: Logical reasoning supporting safety claims… -- -- Exploring the evolving landscape of AI security, including threats, innovations, and strategies to safeguard AI systems and data. 3. Passion for solving problems, developing new solutions, innovation and experimentation Help Status About Careers Press Blog Privacy Terms Text to speech Teams @secharvester

AI Security Policy Template https://taleliyahu.medium.com/ai-security-policy-establishing-a-secure-and-responsible-framework-for-ai-systems-4c837cc19d91: 1. Sign up Sign in Sign up Sign in Tal Eliyahu Follow AI Security Hub -- Listen Share The Artificial Intelligence Security Policy outlines a structured approach to the secure development, deployment, and management of AI systems, focusing on maintaining confidentiality, integrity, and availability while aligning with ethical standards and regulatory requirements. 2. A hub for insights, research, and discussions at the intersection of artificial intelligence and cybersecurity. 3. Passion for solving problems, developing new solutions, innovation and experimentation Help Status About Careers Press Blog Privacy Terms Text to speech Teams @secharvester

📘 Vendor GenAI Risk Assessment Workbook by FS-ISAC https://medium.com/ai-security-hub/vendor-genai-risk-assessment-workbook-by-fs-isac-c191f692f041: 1. ✅ Customizable Questionnaires: Tailored templates for both internal stakeholders and vendors, enabling organizations to address their unique risk profiles and regulatory requirements. 2. ✅ Focus on Critical Risk Areas: Covers AI model security, data governance, third-party dependencies, and compliance alignment with evolving industry regulations. 3. Passion for solving problems, developing new solutions, innovation and experimentation Help Status About Careers Press Blog Privacy Terms Text to speech Teams @secharvester

AI Governance: Addressing Security Risks https://medium.com/ai-security-hub/ai-governance-addressing-security-risks-8514f4eb796e: 1. 🔍 Takeaway: Addressing AI-specific security challenges — like adversarial attacks, data poisoning, and model manipulation — requires tailored safeguards that traditional cybersecurity frameworks may not cover. 2. 📖 📖 Source: “The Essential Guide to AI Governance” OCEG by Carole Switzer and Lee Dittmar —https://www.oceg.org/essential-guide-to-ai-governance/ #AISecurity #Cybersecurity #AITrust #AIRegulation #AIRisk #AISafety #LLMSecurity #ResponsibleAI #DataProtection #AIGovernance #AIGP #SecureAI #AIAttacks #AICompliance #AIAttackSurface #AICybersecurity #EthicalAI #CISO #AdversarialAI #AIThreats #AIHacking #MaliciousAI #OffensiveAI #AIGuardrails #AIResearch #ISO42001 -- -- Exploring the evolving landscape of AI security, including threats, innovations, and strategies to safeguard AI systems and data. 3. P... @secharvester

Building AI Agents to Solve Security Challenges https://devsec-blog.com/2024/12/building-ai-agents-to-solve-security-challenges/: 1. by Anna Gutowska (IBM) A more generic one which is closer to LLM-based solutions is quoted below: An AI agent is a system that uses an LLM to decide the control flow of an application. 2. This is an intentionally vulnerable web API project with an interactive game for learning and training purposes dedicated to developers, ethical hackers and security engineers. 3. In the line starting with Thought, the Agent decides to begin its work by checking the challenge status description using the ChallengeStatusReader tool, which we prepared in the previous section. @secharvester

Cloudberry — анализ и визуализация больших данных в реальном времени. Ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах. 4️⃣ GitHub

PyMuPDF — это высокопроизводительная библиотека Python для извлечения, анализа, преобразования и обработки данных в PDF- (и других) документах. 4️⃣ GitHub

katana — инструмент для сканирования и тестирования безопасности. Позволяет пользователям автоматически выполнять несколько этапов тестирования на проникновение и обнаружения уязвимостей. 4️⃣ GitHub

#MLSecOps 1. Hacking AI Applications: From 3D Printing to RCE https://www.securityrunners.io/post/hacking-ai-applications 2. Security ProbLLMs in xAI's Grok: A Deep Dive https://embracethered.com/blog/posts/2024/security-probllms-in-xai-grok

«Лаборатория Касперского» представила руководство по безопасной разработке ИИ Документ ориентирован на разработчиков, системных администраторов, DevOps-команды. Он содержит практические рекомендации о том, как предотвращать или устранять технические недостатки и операционные риски. Среди принципов для повышения безопасности систем на основе ИИ: – информирование руководства компаний о киберугрозах и обучение сотрудников; – моделирование угроз и оценка рисков; – безопасность облачной инфраструктуры; – защита цепочки поставок и данных; – тестирования и проверки ИИ-моделей; – защита от угроз, специфичных для ИИ-моделей; – регулярное обновление ИИ-библиотек и фреймворков; – соответствие международным стандартам и проверка ИИ-систем на соответствие законодательству. 📃 Изучить документ 🔗 Источник: https://www.kaspersky.ru/about/press-releases/laboratoriya-kasperskogo-predstavila-rukovodstvo-po-bezopasnoj-razrabotke-ii ✉️ ICT.Moscow уходит на новогодние каникулы. В привычном формате вещание в канале возобновится 9 января

🔥 agent_tutorials — серия обучающих материалов по созданию и разработке искусственных агентов с использованием различных технологий, таких как LangGraph, CrewAI и AutoGen! 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

🔥 OpenCoconut — реализация парадигмы латентного рассуждения, известной как Chain of Continuous Thought (COCONUT)! 🌟 Основная идея заключается в генерации "мыслей" в латентном пространстве (состояниях модели) перед началом декодирования ответа. Этот подход использует скрытые состояния модели на этапе предварительной подготовки данных для повышения качества генерации. 🌟 Проект ориентирован на задачи, такие как математические вычисления, программирование и общий анализ данных, основываясь на синтетическом наборе данных. В будущем планируется улучшение функции потерь, добавление методов раннего завершения генерации и адаптивного переключения между латентным пространством и языковым. Это может повысить точность и гибкость моделей, работающих с последовательными задачами. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml