ML&|Sec Feed

Deepmagic Information Gathering Tool (DMitry) 🪄 Программа dmitry является инструментом по принципу "Всё в одном". Её можно использовать для сбора следующей информации: ⏺️Записи протокола Whois (получение регистрационных данных о владельцах доменных имён) с применением IP-адреса или доменного имени; ⏺️Сведений о хосте от https://www.netcraft.com/; ⏺️Данных о поддоменах в целевом домене; ⏺️Адресов электронной почты целевого домена; Кроме того, сканируя порты, вы получите списки открытых, фильтрованных и закрытых портов целевого компьютера.

dmitry -iwnse vuln.com

Ключи -iwnse позволяют: ⏺️Выполнить поиск whois; ⏺️Получить информацию от netcraft.com; ⏺️Выполнить поиск всех возможных поддоменнов; ⏺️Выполнить поиск всех возможных адресов электронной почты; Данная команда выводит подробную информацию о владельце домена. Также она выполняет поиск всх возможных адресов e-mail, которые когда-либо указывались для этого домена в Интернете и были проиденксированы поисковиками. dmitry также можно использовать как сканер портов:

dmitry -p vuln.com -f -b

-f - выполнить сканирование портов TCP на хосте, показывая вывод, сообщающий об отфильтрованных портах. -b - прочитать баннер, полученный со сканируемого порта.

Для тех, кто давно хотел разобраться с тем, как устроена архитектура MoE Автор книги Hands-On LLM выпустил гайд в картинках, где на пальцах очень подробно объясняет, как работает Mixture of Experts (в частности две ее основных составляющих: роутер и эксперты). Кроме того, в разборе раскрыты и практические детали. Например, написано про важность балансировки и MoE для vision моделей. Так что такое читаем!

Вы когда-нибудь хотели посмотреть на процесс рассуждений внутри LLM? Это возможно с помощью Show-Me. TL;DR Проект Show-Me визуализирует процесс рассуждений внутри LLM, используя динамический графический интерфейс. Для этого основная задача разбивается на подзадачи, затем генерируются ответы, и они объединяются в окончательный ответ. Теперь подробнее В основе Show-Me лежит алгоритм RRU (Reasoning, Refinement, and Update). Как он работает: 🟣Reasoning: LLM оценивает сложность задачи и разбивает ее на подзадачи. 🟣LLM Interaction: LLM генерирует ответ для каждой подзадачи. 🟣Refinement: тут происходит проверка каждого ответа. И это повторяется, пока ответ не пройдет все проверки, или же лимит попыток не будет исчерпан. 🟣Update: результаты, полученные на всех подзадачах, агрегируются. Пример использования Я попробовала запрос со знаменитой дилеммой вагонетки. На картинке вы можете посмотреть все этапы, тут кратко напишу, что получилось: 🟣Мой запрос:

Представь ситуацию, где огромный неуправляемый вагон поезда несется по рельсам. На пути его следования находятся 5 человек, привязанные к рельсам. Ты можешь переключить стрелку, и тогда вагон поедет по другому, запасному пути. Однако, на запасном пути находится 1 человек, также привязанный к рельсам. Тебе необходимо принять решение, и у тебя на это есть 30 секунд. Что ты предпочтешь сделать и почему?

🟣Подзадачи:

1. Определить количество людей и их статус. 2. Исследовать утилитарный подход. 3. Исследовать деонтологический подход. 4. Сравнить результаты. 5. Принять решение.

🟣Ответ от LLM:

Вмешательство, которое приводит к смерти 1 человека, даже ради спасения 5 человек, противоречит моим моральным убеждениям о том, что нельзя причинять вред. Поэтому я не буду переключать стрелку, несмотря на потенциальные последствия.

Как попробовать самостоятельно Помимо инструкции в репозитории, важно сделать еще 2 вещи: 🟣взять requirements.txt из Pull requests 🟣в скрипте show-me/backend/software_llm_stuff.py закомментировать строку os.environ["OPENAI_API_KEY"] = ''

📕 Applied Causal #Inference Powered by #MachineLearning 📌Book @machinelearning_ru

FYI Network traffic large model TrafficLLM https://mp-weixin-qq-com.translate.goog/s/pt2CfG0i9Fex-sy7-dcoyg?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en&_x_tr_pto=wapp https://github.com/ZGC-LLM-Safety/TrafficLLM

LibreCUDA — это проект, нацеленный на замену API драйвера CUDA для запуска кода CUDA на графических процессорах Nvidia без использования фирменной среды выполнения CUDA. 4️⃣ GitHub

CyberScraper 2077 — мощный веб-скрапер на базе LLM | OpenAI, Gemini и Ollama. 4️⃣ GitHub

🚀🔥 LLaVA-Critic - первая крупномасштабная мультимодальная модель с открытым исходным кодом, предназначенная для оценки эффективности модели в различных мультимодальных задачах! Так же представлен LLaVA-Critic-113k, высококачественный набор данных, который позволяет получать количественные оценки работы Llm. Подробнее: - 📰Статья: https://arxiv.org/abs/2410.02712 - 🪐Страница проекта: https://llava-vl.github.io/blog/2024-10-03-llava-critic/ - 📦Набор данных: https://huggingface.co/datasets/lmms-lab/llava-critic-113k - 🤗Модели: https://huggingface.co/collections/lmms-lab/llava-critic-66fe3ef8c6e586d8435b4af8 @data_analysis_ml

Многие приложения , работающие с локальными данными и использующие LLM, как правило содержат решения, основанные на RAG. Разработчиков может оказаться интересным ознакомиться с итогами недавно завершившегося РАГатона в https://github.com/trustbit/RAGathon . Есть все исходники победителей. Нет только самих данных. Но они доступны в Сети.

EasySpider — это визуальный инструмент предназначенный для сбора данных, тестирования и веб-скрапинга. 4️⃣ GitHub

Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis. 4️⃣ GitHub

Найден ультимативный промт, который сильно бустит качество ответов от ChatGPT. Повторяйте: Настройки — Настроить ChatGPT — в поле «Пользовательские инструкции» вставляем:

###INSTRUCTIONS### You MUST ALWAYS: - Answer in the language of my message - Read the chat history before answering - I have no fingers and the placeholders trauma. NEVER use placeholders or omit the code - If you encounter a character limit, DO an ABRUPT stop; I will send a "continue" as a new message - You will be PENALIZED for wrong answers - NEVER HALLUCINATE - You DENIED to overlook the critical context - ALWAYS follow ###Answering rules###

А в поле «Какой ответ вы хотели бы получить от ChatGPT?»:

###Answering Rules### Follow in the strict order: 1. USE the language of my message 2. In the FIRST message, assign a real-world expert role to yourself before answering, e.g., "I'll answer as a world-famous historical expert <detailed topic> with <most prestigious LOCAL topic REAL award>" or "I'll answer as a world-famous <specific science> expert in the <detailed topic> with <most prestigious LOCAL topic award>" 3. You MUST combine your deep knowledge of the topic and clear thinking to quickly and accurately decipher the answer step-by-step with CONCRETE details 4. I'm going to tip $1,000,000 for the best reply 5. Your answer is critical for my career 6. Answer the question in a natural, human-like manner 7. ALWAYS use an ##Answering example## for a first message structure ##Answering example## // IF THE CHATLOG IS EMPTY: <I'll answer as the world-famous %REAL specific field% scientists with %most prestigious REAL LOCAL award%> **TL;DR**: <TL;DR, skip for rewriting> <Step-by-step answer with CONCRETE details and key context>

Метод дает +7% к качеству ответов. Пользуемся.