ML&|Sec Feed

Vps-audit — лёгкий, не требующий зависимостей bash-скрипт для аудита безопасности, производительности и мониторинга инфраструктуры серверов Linux. 5️⃣ GitHub

Sn1per — инструмент для автоматического сканирования на уязвимости в сети. 5️⃣ GitHub

🌐 Опубликован первый Международный доклад о безопасности ИИ Международный доклад о безопасности ИИ, опубликованный в январе, объединяет работу 96 экспертов из 30 стран, ОЭСР, ЕС и ООН. Доклад посвящен идентификации и управлению рисками искусственного интеллекта общего назначения и содержит информацию об актуальных негативных сторонах работы с ИИ, а также о мерах их минимизации. #ИИ #ИИБезопасность

Yandex gpt5 8b вышла в opensource, в отличие от гигачата это llamalike, те она будет запускаться на любом ведре. По метрикам лучше/бьёт llama3, qwen2.5 7b Hf

Мой ТОП-10 проверенных и популярных моделей RecSys. Для меня модели рекомендаций начинаются с тех, которые можно построить на данных формата (user_id, item_id, timestamp). Если у вас есть такие наборы данных, то с помощью следующих моделей можно составить список персональных рекомендаций для каждого пользователя внутри датасета. Этот список я составил по субъективной популярности и уверенности в том, что модели проверены временем: 1. iALS (2008, 4к+ цитирований) - масштабируемая на большие объемы данных матричная факторизация. Крупные компании в РФ часто упоминают ее как кандидатогенератор, рассказывают про различные трюки с оптимизациями. Скорее всего, про ALS на собеседованиях хотят слышать в первую очередь. 2. EASE (2019, 250+ цитат) - моя любимая модель. Один гиперпараметр, решение в явном виде. Моделька - матрица весов item*item. Топ-1 модель по мнению авторов из Сбера. Мы взяли первое место на Hack the cart, используя только эту модель. Ее минус - большие каталоги айтемов, но на них можно использовать ELSA или SANSA. 3. SLIM (2011, 900+ цитат) - аналог EASE. Матрица весов разреженная, зависимость от гиперпарметров более сильная, их больше. По качеству SLIM похуже EASE. С ней возиться сложнее. Однако, в силу разреженности матрицы весов есть и плюс. Помню, SLIM весил 100 Кб, а EASE около 600 МБ на одинаковых размерах. 4. MultiVAE (2018, 1350+ цитат) - модель от Netflix. Та самая, которая в обзоре are we really... выиграла SLIM и стала единственной нейронкой, которая это сделала. На вход модели идет только вектор интеракций, поэтому ее можно обучить на 1000 юзерах, а инференсить на 100к юзерах без дообучения - это прекрасно! 5. ItemKNN (2001, 13к+ цитат). Про этот алгоритм обычно не говорят на собеседованиях, так как "что-то на старом", а зря. У recsys есть open benchmark BARS, и на датасете Amazon Books ItemKNN занимает второе место среди многих моделей. И ни GCN, ни LightGCN, ни даже UltraGCN его не побеждают. 6. GRU4Rec (2015, 3400+ цитат). В 2019 году я занял 17/264 место в Rekko Challenge от Okko. Тогда я в первый раз обучил нейронку для рекомендаций, и это была GRU4Rec. Ожидния не оправдались, но для старта нормально. Кстати, недавно автор разобрал популярные ошибки в ее имплементации. 7. SASRec (2018, 2400+ цитат). Это трансформер для next-item recommendation. Основа основ для использования трансформеров в мире рекомендаций. Имеет множество расширений (TiSASRec). 8. BERT4Rec (2019, 1900+ цитат). Чуть лучше SASRec, например, по статье Саши Петрова. По опыту, часто нет смысла использовать SASRec и BERT4Rec вместе, лучше выбрать что-то одно. 9. LightGCN (2020, 3300+ цитат) - графовая сверточная сеть. В графе есть только юзеры и айтемы, модель оценивает связи user-item с точки зрения графа и делает рекомендации. На мой взгляд, крайне громоздкая, медленно обучаемая и негибкая модель, куда лучше ее улучшение в виде GFCF. 10. TIFU KNN (2020, 120+ цитат). Если в ваших данных есть повторные действия между юзерами и айтемами (например, покупки в супермаркетах), то, скорее всего, все модели выше проиграют по качеству TIFU KNN. Эта модель играет вокруг персональной частоты покупок пользователя. Если человек купил 100 раз молоко, именно TIFU KNN без проблем порекомендует его 101 раз и не ошибется. Остальные модели могут повторить персональные частоты, но все равно по качеству уступят TIFU KNN. Мне кажется, если вы хотите ввести модель полноценно в свой инструментарий, надо сделать следующее: ✅ Прочитать оригинальную статью. ✅ Посмотреть ее имплементацию: какие идут данные на вход на трейне и инференсе, как данные идут внутри, что на выходе. ✅ Запустить модель на любом датасете, посмотреть за метриками, возможно, на рекомендации. ✅ Изучить гиперпараметры, посмотреть, как они влияют на модель. ✅ Повторить то же для расширений модели. Например, EASE -> ELSA, Lightgcn - GFCF и т.д.. ✅ В идеале, применить на проде в АБ или в рамках соревнования. Выучив все эти модели и пройдя чек-листы, уже можно уверенно ориентироваться в основных моделях, но на этом recsys не заканчивается, а только начинается)

LLM для фишинга Данная публикация носит исключительно научно-обзорный характер. SpearBot: Leveraging Large Language Models in a Generative-Critique Framework for Spear-Phishing Email Generation https://arxiv.org/pdf/2412.11109 AI-Powered Spearphishing Cyber Attacks: Fact or Fiction? https://arxiv.org/pdf/2502.00961 Generative Artificial Intelligence-Supported Pentesting: A Comparison between Claude Opus, GPT-4, and Copilot https://arxiv.org/html/2501.06963v1 Next-Generation Phishing: How LLM Agents Empower Cyber Attackers https://arxiv.org/abs/2411.13874 Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects https://arxiv.org/html/2412.00586v1

SoK: On the Offensive Potential of AI https://arxiv.org/pdf/2412.18442

Comprehensive Survey on Adversarial Examples in Cybersecurity: Impacts, Challenges, and Mitigation Strategies https://arxiv.org/html/2412.12217v1

🖥 LLM Functions — это проект с открытым исходным кодом, предназначенный для упрощения создания инструментов и агентов на основе больших языковых моделей с использованием языков программирования, таких как Bash, JavaScript и Python! 🌟 Он позволяет разработчикам легко интегрировать LLM с пользовательским кодом, что открывает широкие возможности для выполнения системных команд, обработки данных, взаимодействия с API и многого другого. 🔐 Лицензия: MIT 🖥 Github @machinelearning_ru

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода! 🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Нейросети уже внедряются в российском вооружении для более быстрого уничтожения целей. Об этом заявил первый вице-премьер РФ Мантуров 👁️

«Искусственный интеллект на войне, в разведке, в борьбе с криминалом» Владимир Овчинский, Елена Ларина Книга посвящена наиболее острым проблемам, связанным с искусственным интеллектом. Как ИИ влияет на вопросы войны и мира, на состояние национальной и международной безопасности, на изменения в разведке и контрразведке, на всю систему борьбы с преступностью. На основе анализа новейших мировых тенденций авторы делают попытку обрисовать контуры этих проблем в США, странах НАТО и ЕС, в Китае 👁️

MegaParse — это мощный и универсальный парсер, который с лёгкостью обрабатывает различные типы документов. Независимо от того, работаете ли вы с текстом, PDF-файлами, презентациями Powerpoint, документами Word, MegaParse поможет вам. 5️⃣ GitHub

BreachSeek: A Multi-Agent Automated Penetration Tester https://arxiv.org/html/2409.03789v1

https://arxiv.org/pdf/2406.07561 ReaperAI represents a foundational effort in applying AI to cybersecurity, serving as an initial proof of concept based on preliminary research. While its methodologies and intentions are still in the nascent stages, the project has been intentionally simplified to demonstrate minimal viable functionality. Despite its early developmental stage, ReaperAI has achieved notable successes. For instance, it autonomously and successfully exploited the ”Eternal Blue” vulnerability on the ”Blue” machine on Hack The Box using a metasploit module. This was accomplished using a straightforward one-liner bash command, following the penetration testing methodology outlined previously. The runs are logged in the GitHub project under src/bashlogs/ due to the verbosity of runs The program is able to successfully run full recon workflows using tools like ping, nmap, dns, and nikto to produce very realistic and usable recon information. The other success is the analyzation and summaries that are accurate and can be used by penetration testers to focus on more important concepts that require more skills. https://github.com/tac01337/ReaperAI/tree/main

🌟 InfiniteHiP: расширение контекста LLM до 3 млн. токенов на одном GPU. InfiniteHiP - опенсорсный инструмент, разработанный сервисом deepauto.ai, который позволяет значительно расширить контекст LLM, обрабатывая до 3 миллионов токенов на одном GPU. InfiniteHiP использует модульный иерархический алгоритм прунинга токенов, динамически отсеивая нерелевантные элементы контекста. Это позволяет ускорить обработку и обойти ограничения GPU по памяти, перенося KV-кэш в память хоста. Прунинг-модули алгоритма избирательно отбрасывают менее важные входные токены, опираясь на разреженность шаблонов и пространственную локализацию в матрицах внимания LLM. Алгоритм делит входную последовательность на чанки фиксированной длины и определяет аппроксимированный top-1 токен с наивысшим attention score в каждом чанке. Затем только top-K наиболее значимых чанков передаются в следующий модуль, а остальные отбрасываются. Максимально эффективная реализация InfiniteHiP на SGLang фреймворке показывает 7.24-кратное ускорение в end-to-end декодировании на контексте в 3 млн. при использовании всего 3.34% VRAM, необходимой для Flash Attention 2. InfiniteHiP превосходит существующие методы в задачах QA по объемным документам, обобщении и в мульти-шот ризонинге. HiP демонстрирует отличные OOL (out-of-likelihood) способности, сохраняя производительность при увеличении длины контекста, в то время как другие методы на таких задачах ощутимо деградируют. InfiniteHiP может использоваться с любыми моделями на архитектуре Transformers. ▶️ Локальная установка и использование:

git clone git@github.com:DeepAuto-AI/hip-attention.git
cd hip-attention

conda create --name hip python=3.11
conda activate hip

pip install -e "."
# Optional for development
pip install -e ".[dev]"

# Optional, depends on your CUDA environment
export CUDACXX=/usr/local/cuda/bin/nvcc
# Dependencies that requires --no-build-isolation
pip install -e ".[no_build_iso]" \
--no-build-isolation \
--verbose
# SGLang with OpenAI API support for serving
pip install -e ".[sglang]" \
--no-build-isolation \
--verbose \
--find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/

# Access the `hip` package from any project
import torch
from hip import hip_attention_12, HiPAttentionArgs12

device = 'cuda'

batch_size = 1
kv_len = 128 * 1024
q_len = 32 * 1024
num_heads = 32
num_kv_heads = 8
head_dims = 128
dtype = torch.bfloat16

q = torch.randn(
    (batch_size, q_len, num_heads, head_dims),
    dtype=dtype,
    device=device
)
k = torch.randn(
    (batch_size, kv_len, num_kv_heads, head_dims),
    dtype=dtype,
    device=device,
)
v = k.clone()

output, metadata = hip_attention_12(q=q, k=k, v=v, args=HiPAttentionArgs12())
print(output.shape)

# > torch.Size([1, 32768, 32, 128])

📌Лицензирование: FSL-1.1-MIT 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #InfiniteHiP #Framework