ML&|Sec Feed

🔥 Огромный список литературы по теме Генерации синтетических данных для Больших Языковых моделей. 🔗 Ссылка на Github: *клик* @data_analysis_ml

👩‍💻 Langfun — это библиотека с открытым исходным кодом, разработанная Google. В ней используется объектно-ориентированное программирование (ООП) для взаимодействия с LLM моделями, что упрощает создание и управление запросами через объекты и типы 🌟 Langfun поддерживает популярные LLM, такие как GPT, Claude и Llama, и легкоинтегрируется в Python-проекты. Простота использования и мощный функционал делают библиотеку полезным инструментом для разработки ИИ-агентов и работы с большими языковыми моделями 🔐 Лицензия: Apache-2.0 ▪️Github @data_analysis_ml

Учить что либо на более 10 нодах сложно. Уже начинает влиять топология кластера, падает MFU, отваливаются ноды и так далее, на лету выкидывать ноды из обучения сложно. Скорость интернета внутри датацентра одинаковая только в теории. В целом любое массивное обучение на сотнях и тысячах нод это очень сложно, затратно и инженерно. В первые вижу в паблике подробный блогпост про оптимизацию network level для обучения на 4к h100. Блогпост

TensorFlow и GPU: быстрая настройка В 2024 году интеграция TensorFlow с GPU стала еще более удобной и доступной. Теперь нет необходимости вручную подбирать и устанавливать определенные версии CUDA и cuDNN для работы с TensorFlow. Существует несколько основных способов установки TensorFlow с поддержкой GPU, которые значительно упрощают процесс. Способ 1: Установка через pip Самый простой и быстрый способ установить TensorFlow с поддержкой GPU — это использовать менеджер пакетов pip:

pip install tensorflow[and-cuda]

Команда автоматически установит TensorFlow вместе с необходимыми компонентами для работы с GPU, включая соответствующие версии CUDA и cuDNN. После установки рекомендуется добавить в .bashrc следующий код для настройки переменных окружения:

NVIDIA_PACKAGE_DIR="$CONDA_PREFIX/lib/python3.11/site-packages/nvidia"

for dir in $NVIDIA_PACKAGE_DIR/*; do
    if [ -d "$dir/lib" ]; then
        export LD_LIBRARY_PATH="$dir/lib:$LD_LIBRARY_PATH"
    fi
done

Этот скрипт автоматически добавит необходимые пути к библиотекам NVIDIA в переменную окружения LD_LIBRARY_PATH. Способ 2: Сборка контейнера с использованием Docker Для тех, кто предпочитает использовать контейнеризацию, существует альтернативный способ установки TensorFlow с поддержкой GPU через Docker. Этот метод позволяет создать изолированную среду с предустановленными компонентами. Клонируем репозиторий:

git clone https://github.com/iot-salzburg/gpu-jupyter.git

Переходим в директорию репозитория:

cd gpu-jupyter

Проверяем доступные ветки и переключаемся на нужную ветку:

git branch
git checkout v1.7_cuda-12.2_ubuntu-22.04

Генерируем Dockerfile:

./generate-Dockerfile.sh --python-only

Собираем Docker-образ:

docker build -t gpu-jupyter .build/ 

Создаем токен для Jupyter Lab:

export JUPYTER_TOKEN=$(uuidgen)
echo $JUPYTER_TOKEN

Запускаем контейнер:

docker run --gpus all -d -it -p 8848:8888 -v $(pwd)/data:/home/jovyan/work -e GRANT_SUDO=yes -e JUPYTER_ENABLE_LAB=yes -e NB_UID="$(id -u)" -e NB_GID="$(id -g)"  -e JUPYTER_TOKEN=${JUPYTER_TOKEN}  --user root --restart always --name gpu-jupyter_1 gpu-jupyter

Этот метод позволяет создать полностью готовую среду для работы с TensorFlow и Jupyter Lab, где все необходимые компоненты уже настроены и готовы к использованию. #ML

На конференции AiConf Ваня Четвериков сделал бота, который хранит пароль в секрете внутри системного промпта. Это наш ответ некогда знаменитой игре "Гэндальф". Открыть пароль третьего уровня смогли всего пара игроков. Попробуйте и вы: предлагаем сыграть в эту замечательную игру с подбором промпт-инъекций. Первые три человека, которые в комментариях под этим постом пройдут все уровни, получат призы от Raft. Не пишите свои промпт-инъекции в чат, чтобы не спойлерить другим. Играть здесь: https://t.me/raft_password_bot

⭐️ NLPAug – это библиотека на языке программирования Python, которая помогает улучшить работу нейросетей при решении задач обработки естественного языка (NLP) без необходимости изменять архитектуру этих сетей и проводить их тонкую настройку. NLPAug предлагает различные методы для расширения датасетов, улучшения обобщения и производительности моделей при работе с данными. Эта библиотека позволяет генерировать новый текст на основе существующих данных, заменяя некоторые слова синонимами, в том числе используя принцип косинусного сходства в векторных представлениях, аналогичный тому, который используется в моделях word2vec или GloVe. Кроме того, NLPAug может заменить слова на основе контекста с помощью моделей трансформеров, таких как BERT-сети, а также выполнять двойной перевод текста на другой язык и обратно. 🖥 Библиотека доступна на GitHub: https://github.com/makcedward/nlpaug @data_analysis_ml

Интересное 4 октября на CyberCamp будет доклад Инструменты и практики MLSecOps Антон Чикин, начальник отдела интеллектуального анализа, Инфосистемы Джет

🌟 Пространственно-временное прогнозирование с помощью Байесовских нейронных полей. Байесовские нейронные поля (Bayes NF) - метод масштабируемого пространственно-временного прогнозирования, объединяющий архитектуру глубокой нейронной сети моделирования функций с иерархическим Байесовским моделированием для точной оценки неопределенности в сложных пространственно-временных полях. Bayes NF строятся на основе Байесовской нейронной сети, отображающей многомерные пространственно-временные координаты в действительное поле. Для получения высокой априорной вероятности для данных как с низко-, так и с высокочастотными вариациями, к исходным данным о времени и положении, подающимся в сеть, добавляются признаки Фурье, а чтобы учитывать априорные неопределенности, параметры сети получают априорное распределение. Апостериорный вывод осуществляется с помощью стохастических ансамблей оценки максимального апостериори (MAP) или вариационно обученных суррогатов. Метод Bayes NF относительно прост, он может обрабатывать пропущенные данные и обучаться по полному распределению вероятностей для произвольных пространственно-временных индексов. Bayes NF универсален и применим к различным наборам данных без необходимости разработки новой модели для каждого случая или применения специфических для набора данных аппроксимаций вывода. ⚠️ Для локального запуска BayesNF на средних и больших объемах данных требуется GPU. ▶️ Практические туториалы с возможностью запуска на Google Coolab: 🟢анализ на основе пространственно-временного набора данных из 20 временных рядов еженедельных случаев заболевания ветряной оспой в Венгрии в период с 2005 по 2015 гг. Блокнот; 🟢анализ данных из об уровне загрязнения воздуха, измеряемом датчиками по всему Лондону каждый час. Блокнот. ▶️Локальная установка:

# Install bayesnf from PIP into venv:
$ python -m venv pyenv
$ source pyenv/bin/activate
$ python -m pip install -U bayesnf

# Install dependencies for Python 3.10
$ python -m pip install -r requirements.Python3.10.14.txt

📌Лицензирование : Apache 2.0 License. 🟡Документация 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Predictions #BAYESNF

🖥 Aibase — огромная коллекция нейросетей для любых задач! 🔥 🌟 Здесь на множество категорий разобраны сотни, если не тысячи различных нейросеток — для создания текста, кода, фото, видео, аудио и другого контента! 🔗 Посмотреть можно здесь: *клик* @machinelearning_ru

🌟 Параллельные стратегии с Jax: обучающий туториал. Обучение LLM требует огромных вычислительных ресурсов. Поскольку размеры моделей исчисляются миллиардами параметров, специализированные методы распараллеливания необходимы для того, чтобы сделать обучение выполнимым. В статье "Исследование параллельных стратегий с Jax" подробно рассматривается реализация некоторых стратегий масштабирования в Jax - фреймворке Python, предназначенном для высокопроизводительных численных вычислений с поддержкой ускорителей GPU и TPU. Стратегии, описанные в туториале с примерами кода и иллюстрациями: 🟢Data Parallelism - распределение данных между несколькими устройствами, которые одновременно обучают модель;   🟢Tensor Parallelism - распределение весов модели между устройствами, позволяет каждому устройству обрабатывать свою часть тензора параллельно;  🟢Pipeline Parallelism разделяет модель на этапы, которые выполняются последовательно на разных устройствах;  🟢Mixture-of-Experts использует множество специализированных экспертов для обработки различных частей входных данных, что позволяет масштабировать модель до огромных размеров. ▶️ Автор статьи - Александр Самарин, Lead ML Engineer в Huawei c 5-ти летнем опытом в глубоком обучении. @ai_machinelearning_big_data #AI #ML #LLM #JAX #Tutorial

О, а у нас тут пополнение https://lolesxi-project.github.io/LOLESXi/

Все знают про проекты LOLBAS и GTFOBins, содержащие списки легитимных бинарей, которые могут использоваться атакующими в злонамеренных целях А вот эти видели? — Living Off The Land Drivers То, что нужно, с учетом роста популярности атак Bring Your Own Vulnerable Driver (BYOVD). В Windows 11 с определенного апдейта функция блокировки таких драйверов работает «из коробки». Для других версий есть возможность блокировки через политику Windows Defender Application Control (WDAC) — Living Off Trusted Sites Наглядно видно, что в качестве C2 могут выступать не только очевидно (или не совсем) вредоносные или странные имена арендованных серверов, но и привычный яндекс.диск с ютубчиком. Кстати, хоть и диска здесь нет, но вы можете его смело представить рядом с тем же dropbox. То же самое относится к клипбордам: где pastebin, там и cl1p. Как говорится, основано на реальных событиях — Ну и напоследок, покопаться в системе в поисках вредоносных/отозванных загрузчиков #basics

👩‍💻 Ускорь Pandas в 20 раз, изменив всего одну строчку кода! 🔥 💡 Pandas часто бывает медленным. Но есть простое решение: FireDucks — библиотека с таким же API, как у Pandas, которая решает значительно ускоряет обработку данных. ❓ Как ускорить Pandas? 🌟 Просто замените импорт библиотеки: ❌ Было:

import pandas as pd

✅ Стало:

import fireducks.pandas as pd

🌟Теперь ваш код работает быстрее без изменений логики! Попробуйте сами и убедитесь, как легко ускорить работу с большими данными! 🚀 @data_analysis_ml

Нашли клевые слайды с выступления сеньора-ресерчера из Google DeepMind Он недавно вступал с гостевой лекцией в университете McGill на курсе по LLM и выложил свою презентацию. В ней поднимаются все самые «волнующие» темы: синтетические данные (с точки зрения математики, очень интересно), масштабируемость, ризонинг, RL. В общем, просмотреть точно стоит: в конце концов, это просто красиво.

WavTokenizer: SOTA токенизатор аудио Кажется, это прорыв. Ему хватает всего 75 токенов в секунду, чтобы поставить рекорд в качестве реконструкции речи. При этом всё работает довольно сносно и для 45 ток/с. Предыдущие решения даже близко не стояли! Как авторам это удалось? Просто набор удачных технических трюков поверх Encodec: - отказались от dilated conv в декодере в пользу Fourier Transform - расширили окно внимания до 3 сек - оптимальная инициализация кодбука через k-means - единый квантайзер вместо иерархического - большой словарь аудио-токенов (10^12) Такие токенизаторы используются для Text-to-Speech моделей, для мультимодальных LLM (GPT-4o) и для генерации музыки. Код и веса в открытом доступе. Статья, GitHub, demo, Hugging Face

🖥 Довольно интересная статья, в которой авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Анализируют такие возможности, как рассуждение, возможность к обучению, математика и кодинг, а также затраты на запуск, задержку ответов и многое другое. 🔗 Ссылка: *клик* @machinelearning_ru

https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persistent-exfiltration-channel/ Хак для ChatGPT, заставляющий его пересылать запросы и ответы на чужой сервис.

«Базовая математика для искусственного интеллекта. Математика нового уровня для эффективных и успешных систем ИИ» Хала Нельсон Книга дает прочные знания математики, лежащей в основе работы современных систем ИИ. Приведены необходимые и достаточные сведения для успешной работы в области ИИ, без углубления  в  сложные  академические  теории,  с  акцентом  на практическом применении и современных моделях. Даны основы машинного обучения и науки о данных. Рассмотрены регрессия, нейронные сети, свертка, оптимизация, вероятность, марковские процессы, дифференциальные уравнения и многое другое исключительно в контексте искусственного интеллекта. Показано, как объединять модели машинного обучения и естественного языка, работать с графовыми и сетевыми данными, визуализировать преобразования пространства, уменьшать размерность, обрабатывать изображения, выбирать модели и для проектов, основанных на данных 👁️