1 371
Subscribers
-124 hours
+87 days
+6030 days
Posts Archive
1 372
Repost from GitHub Community
Kreuzberg — платформа для интеллектуального анализа документов на Python.
Извлечение текста, метаданных и структурированной информации из документов различных форматов с помощью единого расширяемого API.
Создана на основе проверенных платформ с открытым исходным кодом, включая Pandoc, PDFium и Tesseract.
🐱 GitHub
1 372
Repost from Security Harvester
Prompts as Code & Embedded Keys | The Hunt for LLM-Enabled Malware
https://www.sentinelone.com/labs/prompts-as-code-embedded-keys-the-hunt-for-llm-enabled-malware/:
1. As Large Language Models (LLMs) are increasingly incorporated into software‑development workflows, they also have the potential to become powerful new tools for adversaries; as defenders, it is important that we understand the implications of their use and how that use affects the dynamics of the security space.
2. The majority of developers leverage commercial services like OpenAI, Anthropic, Mistral, Deepseek, xAI, or Gemini, and platforms such as HuggingFace, Groq, Fireworks, and Perplexity, rather than hosting and running these models themselves.
3. Crimeware families achieve an unparalleled level of technical sophistication, APT groups are competing in fully-fledged cyber warfare, while once decentralized and scattered threat actors are forming adamant alliances of ...
@secharvester
1 372
Repost from GitHub Community
PromptForge — платформа для разработки подсказок для ИИ, которая генерирует, анализирует и систематически тестирует подсказки
Перестаньте писать подсказки с нуля. Позвольте ИИ помочь вам составить более качественные подсказки, а затем систематически проверяйте их.
Создано на Go для обеспечения скорости и надёжности.
🐱 GitHub
1 372
Repost from GitHub Community
Mirix — это мультиагентный персональный помощник, предназначенный для отслеживания действий на экране и интеллектуального ответа на вопросы пользователей.
Собирая визуальные данные в режиме реального времени и сохраняя их в структурированной памяти, Mirix преобразует необработанные входные данные в обширную базу знаний, которая адаптируется к вашему цифровому опыту.
🐱 GitHub
1 372
Repost from GitHub Community
Yoink — ИИ-агент для работы с текстами прямо в редакторе
Инструмент, который помогает писать и редактировать тексты напрямую в Google Docs и MS Word:
▫️Автоматическое редактирование в реальном времени;
▫️Подгонка текста под выбранный стиль;
▫️Быстрое сокращение или упрощение формулировок;
▫️Мгновенное форматирование документов по стандартам (включая ГОСТ).
Подходит для учебных работ, статей и любых текстов, где важна структура и оформление.
Сохраняйте тут
🐱 GitHub
1 372
Repost from SecureTechTalks
🕶️🤫 VaultGemma LLM от Google, которая учится молчать.🔒
Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.
Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩
Простыми словами
🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.
🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.
Кто нуждается в так моделях?
🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.
⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.
Какие реальные ограничения и компромиссы ждать
⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.
🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.
⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».
Все познаётся в сравнении
📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.
🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅
Как использовать, практические советы
🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.
Коротко о рисках, которые не исчезли
🕵️♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.
🔗 Источник и подробности
Stay secure and read SecureTechTalks 📚
#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch
1 372
Repost from AISecHub
CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning - https://ai.meta.com/research/publications/cybersoceval-benchmarking-llms-capabilities-for-malware-analysis-and-threat-intelligence-reasoning/
Today’s cyber defenders are overwhelmed by a deluge of security alerts, threat intelligence signals, and shifting business context, creating an urgent need for AI systems that can enhance operational security work. Despite the potential of Large Language Models (LLMs) to automate and scale Security Operations Center (SOC) operations, existing evaluations are incomplete in assessing the scenarios that matter most to real-world cyber defenders. This lack of informed evaluation has significant implications for both AI developers and those seeking to apply LLMs to SOC automation.
Without a clear understanding of how LLMs perform in real-world security scenarios, AI system developers lack a north star to guide their development efforts, and users are left without a reliable way to select the most effective models. Furthermore, malicious actors have begun using AI to scale cyber attacks, emphasizing the need for open source benchmarks to drive adoption and community-driven improvement among defenders and AI model developers.
To address this gap, we introduce CyberSOCEval, a new suite of open source benchmarks that are part of CyberSecEval 4. CyberSOCEval consists of benchmarks tailored to evaluate LLMs in two tasks: Malware Analysis and Threat Intelligence Reasoning, core defensive domains that have inadequate coverage in current security benchmarks. Our evaluations reveal that larger, more modern LLMs tend to perform better, confirming the training scaling laws paradigm. We also find that reasoning models leveraging test time scaling do not achieve the boost they do in areas like coding and math, suggesting that these models have not been trained to reason about cybersecurity analysis, and pointing to a key opportunity for improvement.
Finally, we find that current LLMs are far from saturating our evaluations, demonstrating that CyberSOCEval presents a significant hill to climb for AI developers to improve AI cyber defense capabilities.
1 372
Repost from Анализ данных (Data analysis)
🔥 agency-swarm — проект, связанный с моделированием многагентных систем с использованием методов искусственного интеллекта!
🌟 Проект ориентирован на создание среды, где множество агентов могут взаимодействовать друг с другом, сотрудничать или конкурировать для достижения определенных целей.
🌟 Основная цель agency-swarm — это исследование и реализация агентных систем, где каждый агент может быть автономным и выполнять задачи в рамках заданной среды. Такие системы часто используются для симуляции поведения групп людей, животных или даже для оптимизации процессов, например, в логистике, робототехнике или при моделировании социальных взаимодействий.
🔐 Лицензия: MIT
🖥 Github
@data_analysis_ml
1 372
Repost from Machinelearning
+6
📕 Свежий гайд от Anthropic: Writing effective tools for agents — with agents
Anthropic описывает, как правильно создавать инструменты (tools) для AI-агентов: так, чтобы они были максимально полезными, эффективными и надёжными. Особый акцент сделан на том, как использовать самих агентов для прототипирования, тестирования и оптимизации инструментов.
Как писать эффективные инструменты для агентов
- Делай быстрые прототипы и сразу проверяй, как агент с ними работает.
- Тестируй на реальных сценариях, а не на абстрактных примерах.
- Анализируй логи и поведение агента, чтобы находить ошибки и непонятные места.
- Избегай дублирования: один инструмент должен выполнять одну чёткую задачу.
- Используй понятные имена и структуры (`machinelearning_create_task`, `mla_list_users`).
- Возвращай только нужные данные, не перегружай ответ лишним. Добавляй фильтрацию и пагинацию.
- Пиши описания так, чтобы их понял даже человек, который не в теме: чётко, без двусмысленностей, с примерами входа и выхода.
Что это дает:
- Улучшает способность AI-агентов решать реальные задачи.
- Минимизирует ошибки: неверное использование инструментов, лишние токены, избыточные вызовы.
- Повышает надёжность и предсказуемость поведения агентов.
- Упрощает масштабирование — добавление новых инструментов и задач.
🟠 Полный гайд: https://www.anthropic.com/engineering/writing-tools-for-agents
@ai_machinelearning_big_data
#Anthropic #claude #aiagents #ai
1 372
Repost from CyberSecurityTechnologies
#tools
#MLSecOps
"Stealth by Conformity: Evading Robust Aggregation through Adaptive Poisoning", 2025.
]-> AIJack: Security and Privacy Risk Simulator for Machine Learning
// In this paper, we challenge this underlying assumption by showing that a model can be poisoned while keeping malicious updates within the main distribution
1 372
Repost from CyberSecurityTechnologies
#AIOps
#Offensive_security
"Guided Reasoning in LLM-Driven Penetration Testing Using Structured Attack Trees", COLM 2025.
]-> https://github.com/KatsuNK/stt-reasoning
// a guided reasoning pipeline for pentesting LLM agents that incorporates a deterministic task tree built from the MITRE ATT&CK Matrix, a proven penetration testing kill chain, to constrain the LLM’s reasoning process to explicitly defined tactics, techniques, and procedures
1 372
Repost from CyberSecurityTechnologies
#MLSecOps
#Red_Team_Tactics
"Web Fraud Attacks Against LLM-Driven Multi-Agent Systems", 2025.
]-> Examples of WFA (Repo)
// In this paper, we propose Web Fraud Attacks, a novel type of attack aiming at inducing MAS to visit malicious websites. We design 11 representative attack variants that encompass domain name tampering, link structure camouflage (sub-directory nesting, sub-domain grafting, parameter obfuscation, etc.), and other deceptive techniques tailored to exploit MAS's vulnerabilities in link validation
1 372
Repost from CyberSecurityTechnologies
#MLSecOps
"The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again", 2025.
// the first systematic disclosure of the picklebased model poisoning surface from both the model loading and risky function perspectives
1 372
+2
Defending Jailbreak Prompts via In-Context Adversarial Game (ICAG)
University of Notre Dame, INRIA, King Abdullah University of Science and Technology (2024)
https://aclanthology.org/2024.emnlp-main.1121.pdf
Метод поэтапной генерации системного промпта как игры между двумя LLM (attack agent и defense agent)
1 372
Defensive Prompt Patch: A Robust and Generalizable Defense of Large Language Models against Jailbreak Attacks
Hong-Kong Science University, Princeton University, IBM (2025)
https://arxiv.org/pdf/2405.20099
Метод, аналогичный RPO
1 372
+1
Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks
University of Illinois Urbana-Champaign, Lapis Labs (2024)
https://www.arxiv.org/abs/2401.17263
Исследование представляет оптимизационный алгоритм получения защитного суффикса к системному промпту (Robust Prompt Optimization, RPO) на различных методах оптимизационных промпт-атак.
Для оптимизации суффикса использовались GCG, PAIR, JBC.
Для проверки эффективности - AutoDAN, TAP (Tree-of-Attacks with Pruning), PAP (Persuasive Adversarial Prompt), и какие-то FewShot инструкции.
Опасные инструкции брались из AdvBench.
Тестировали на Vicuna-13B, Llama-2-7B-Chat, Qwen-1.5-14B, Llama-2-13B-Chat, GPT-3.5-Turbo, GPT-4
Метод показал на результаты как на атаках из обучения (понятное дело):
GPT-4: с 50% до 6% (на PAIR атаке)
Llama-2: с 4% до 0% (полная защита)
GCG атака: 0% ASR на всех моделях (полная защита)
Так и на неизвестных атаках (из HarmBench):
Vicuna: снижение ASR в среднем на 18%
Llama-2: снижение на 6.6%
GPT-3.5: снижение на 8.7%
GPT-4: снижение на 3.5%
При этом метод оказывает минимальный импакт на прикладное использование (проверили на MMLU и MT-bench, падение минимально)
Практически же метод представляет собой
- Всего 20 дополнительных токенов на запрос (набор рандомных символов после ввода пользователя)
- В 8 раз дешевле оптимизации по сравнению с GCG суффиксами на один запрос по вычислениям
Пример <im_start>system You are an assistant that is harmless and helpful. <im_end> <im_start>user [ПОЛЬЗОВАТЕЛЬСКИЙ ЗАПРОС/JAILBREAK] <im_end> <im_start>system [ЗДЕСЬ ДОБАВЛЯЕТСЯ RPO СУФФИКС] <im_end>
1 372
+3
Defending ChatGPT against Jailbreak Attack via Self-Reminder
Microsoft (2023)
https://www.researchgate.net/publication/371612143_Defending_ChatGPT_against_Jailbreak_Attack_via_Self-Reminder
В исследовании авторы представляют метод защиты от промпт-атак путем модификации системного промпта. Результаты экспериментов показывают, что метод Self-Reminder значительно снижает
вероятность успеха "джейлбрейк-атак", с 67,21% до 19,34%.
На графике с серыми и синими столбцами показывается, что почти все методы промпт-атак с применением Self-Reminder почти потеряли эффективность (синие столбцы меньше серых)
Метод заключается в добавлении перед юзер-промптом и после него фраз по типу "ты полезный ассистент ..."
Проведено дополнительное исследование:
1. Добавление только суффикса (после юзер-промпта) защитной фразы менее эффективно, чем только префикса (перед юзерпромптом), как видно на Fig. 6. Но лучше и туда и туда конечно.
2. Формы наклонения глаголов также играют значение. Сравнили три формы:
- Remind (напоминающая): "You should be a responsible ..."
- Warn (предупреждающая): "You must be a responsible ..."
- Praise (восхваляющая): "You are responsible ..."
Обнаружено, что все три варианта с точки зрения защиты от промпт-атак примерно одинаковы, но восхваляющая форма меньше всего аффектит на прикладное качество модели
