ML&|Sec Feed

Редактирование знаний внутри LLM В постоянно изменяющихся условиях важно поддерживать актуальность информации, которой обладают LLM. Остро встаёт вопрос редактирования знаний модели — его и рассматривают авторы сегодняшней статьи. В ней представлено три типа методов редактирования знаний. Первый — обращение к внешним знаниям. В этом случае модель получает новую информацию в виде контекстов, а затем пользуется ими, когда нужно ответить на вопрос. Вначале собирают набор демонстраций: + копирования — показываем модели, что надо уметь повторять факты; + обновления — не только повтор факта, но и перефразирование; + сохранения — показываем LLM, что при изменении одного факта другие не должны меняться. Далее эти демонстрации добавляются в текущий промт и отправляются на вход. Второй тип — внедрение знаний. Это добавление новых параметров, которые позволяют выстроить связи между старыми и новыми знаниями. Суть заключается в создании нового feed forward-слоя, который будет меньше первого. Веса на втором определяются файнтюнингом по текстам с изменёнными знаниями. Третий вид — собственно, редактирование. Новые параметры при этом не добавляются, но меняются данные, которыми модель уже обладает. Существует два способа сделать это: + Meta Learning предполагает обучение гиперсетки, предсказывающей изменения параметров, которые необходимо сделать. Исходя из этого мы обновляем веса и минимизируем loss на новых данных. + Location-then-Edit предполагает определение конкретного места в модели, где сосредоточены знания о каком-либо факте. Для этого мы наблюдаем за тем, как меняются градиенты. Эффективность изменения знаний авторы предлагают измерять с помощью специального бенчмарка. Он состоит из шести датасетов, проверяющих разные аспекты: вставку, добавление, изменение и удаление знаний. Датасет доступен по этой ссылке. Спасибо за внимание! Делитесь мыслями по теме в комментариях :) Разбор подготовил ❣ Артём Сафин Душный NLP

хм, классные ребята из OpenDILab (которые ведут много awesome листиков по RLю и делают либу LightZero) начали делать библиотеку с алгоритмами на диффузионках и flow моделях для принятия решений: GenerativeRL https://github.com/opendilab/GenerativeRL и сразу awesome по диффузионкам в RLе https://github.com/opendilab/awesome-diffusion-model-in-rl (сохранять)

🔥 Thread — типо Jupyter Notebook, но не совсем, — позволяет генерировать и редактировать код, коммуницируя при этом с GPT — pip install thread-dev Thread — это Jupyter Notebook на максималках, в нём можно использовать естественный язык для создания ячеек, редактирования кода, задавать вопросы GPT или исправлять ошибки, при всём этом можно редактировать работать с кодом, как в обычном Jupyter Notebook. После установки для запуска достаточно прописать thread или jupyter thread 🖥 GitHub @data_analysis_ml

🎁 Павел Бухтик сделал бесценный подарок всем начинающим продуктовым аналитикам - пошаговое руководство по проведению А/Б-тестов! 📚 Это настоящий клад знаний, который редко встретишь на курсах или в книгах. 🧭 Паша создал этот роадмап, опираясь на свой богатый опыт и лучшие материалы по теме. Он пересматривал проверенные временем видео, перечитывал любимые статьи из закладок и по кусочкам собирал мозаику знаний. Результат - четкая пошаговая инструкция, которая проведет вас через все этапы А/Б-тестирования. 🎯 Каждый шаг руководства состоит из тем-ссылок, нажав на которые вы попадете на конкретный учебный материал. Это как квест, где каждая подсказка ведет вас к новому уровню мастерства. И самое приятное - большинство ресурсов на русском языке, так что языковой барьер не помешает впитывать знания. 💡 Чем это руководство может быть полезно для вашего карьерного роста? А/Б-тестирование – это мощный инструмент продуктовой аналитики. Освоив его, вы сможете на данных проверять гипотезы по улучшению продукта, находить инсайты, влиять на продуктовые решения. Вы станете ценным партнером для продуктовой команды и будете напрямую влиять на бизнес-метрики. А это уже новый уровень в карьере аналитика! Также подписывайтесь на канал Павла — @nodatanogrowth

⚡️ Semantic Kernel — open-source SDK, который позволяет интегрировать LLM от OpenAI, с Hugging Face и другие, с обычными языками программирования типо C#, Python и Java — pip install semantic-kernel Таким образом при помощи Semantic Kernel можно создавать LLM-агентов, которые не просто отвечают на вопросы, а могут взаимодействовать с написанным кодом 🖥 GitHub 🟡 Доки @ai_machinelearning_big_data

🔥 Реализация архитектуры nanoGPT в электронной таблице — для полного понимания, как работает типичный трансформер Внутренние операции любого трансформера можно свести к простым матричным вычислениям — собственно это и реализовано в этой таблице. Таблица воспроизводит структуру nanoGPT от Андрея Карпати с ~85000 параметрами. И эта таблица представляет собой систему предсказания следующих символов на основе предыдущих, то есть для простоты каждый токен — это символ; для уменьшения сложности токенизируются только буквы A/B/C. На прикреплённых изображениях — механизм самовнимания и полный вид всей таблицы 🖥 GitHub 🟡 Тред в X @data_analysis_ml

⚡️ WebLLM — высокопроизводительный браузерный движок для инференса LLM — npm install @mlc-ai/web-llm WebLLM позволяет осуществлять вывод LLM непосредственно в браузере с ускорением WebGPU. WebLLM имеет полную совместимость с API OpenAI: поддерживаются потоковая передача, JSON-режим и многое другое. Также WebLLM поддерживает целый ряд моделей, включая Llama 3, Phi 3, Gemma, Mistral, Qwen и многие другие 🖥 GitHub 🟡 Доки 🟡 Чат с WebLLM @ai_machinelearning_big_data

Сбер уже внедрил нейросети везде, где только можно — 65% входящих обращений обрабатывает ИИ. В оставшихся 35%, где может потребоваться помощь оператора, сотрудникам помогает AI-ассистент. Кредитование полностью перешло на «нейрорельсы». А самое интересное, что процесс внедрения новых цифровых технологий и ИИ не приводит к сокращениям — происходит трансформация профессий. По словам первого зампреда правления Сбербанка Кирилла Царёва, компания внедряет технологии не ради технологий, а ради человека. Похвально.

🌟 Cognee — open-source фреймворк для работы с LLM, с графами и для векторного поиска — pip install cognee Cognee поддерживает множество инструментов для различных операций: — LanceDB или Neo4j для локального хранения графов и не только — Qdrant и Weaviate для хранения векторных данных — в качестве LLM можно использовать Anyscale или Ollama 🖥 GitHub 🟡 Доки 🟡 Попробовать в Colab'е 🟡 Обзор на YouTube @data_analysis_ml

Нашел шикарный пост для всех, кто давно хотел бы вникнуть в локальные LLM, но пугается обилием терминов и способов запускать модели: https://www.gdcorner.com/blog/2024/06/12/NoBSIntroToLLMs-1-GettingStarted.html Внутри подробно описано все, что используется в индустрии, без попытки продать вам курсы – я сам полистал, все по делу

🌟 scikit-learn-intelex — расширение от Intel для ускорения Scikit-learn — pip install scikit-learn-intelex Scikit-learn-intelex позволяет ускорить существующий код scikit-learn за счёт использования более оптимизированных реализаций алгоритмов. В зависимости от приложения ускорение может быть от 10 до 100 раз. 🖥 GitHub 🟡 Ноутбук с примерами использования scikit-learn-intelex @data_analysis_ml

⚡️ Cog — open-source инструмент, позволяющий упаковывать ML-модели в стандартный, готовый к производству контейнер — brew install cog Одно дело — обучить ML-модель и поиграться в тестовой среде, совсем другое дело — довести модель до продакшена. Обычно это решается с помощью Docker, но заставить его работать сложно: Docker-файлы, пред-/постобработка, серверы Flask, версии CUDA. С Cog развернуть модель становится гораздо проще. 🖥 GitHub @data_analysis_ml

🖥 AIMET — библиотека Python, которая предоставляет продвинутые методы квантования и сжатия обученных нейросетевых моделей

apt-get install liblapacke
python3 -m pip install aimet-torch

При помощи квантования AIMET помогает снизить требования к вычислительным ресурсам и памяти, при этом минимально влияя на точность работы модели. 🖥 GitHub 🟡 Доки и юзкейсы @data_analysis_ml

Андрей Карпаты выложил 4-часовое видео о том, как воспроизвести GPT-2 с нуля на Python 4 часа??? Да, видео начинается с пустого файла, и вы своими глазами видите, как из него рождается LLM, при этом Андрей подробно объясняет каждый шаг (вот у кого точно выходные прошли продуктивно). В комплекте не только написание самой архитектуры, но и оптимизация кода, и настройка гиперпараметров, и оценка метрик. Ну вы поняли, маствотч. Кстати, Карпаты – вообще большой любитель образовательного контента. Вот другие лекции и имплементации от ученого: ➡️ Лекция «Введение в большие языковые модели» ➡️ Код GPT-2 на чистом C ➡️ Большая лекция про токенизацию в LLM и реализация BPE с нуля ➡️ Лекция про обучение ChatGPT ➡️ Лекция-интервью про будущее ИИ

⚡️ Ratchet — кроссплатформенный ML-фреймворк от Hugging Face Ratchet — это веб-фреймворк для вывода результатов машинного обучения. Работает на базе WebGPU, так что он может работать на чём угодно, в том числе и на мобильных устройствах. Ratchet заточен под скорость и простоту использования. Использование в JavaScript выглядит наподобие:

// Asynchronous loading & caching with IndexedDB
let model = await Model.load(AvailableModels.WHISPER_TINY, Quantization.Q8, (p: number) => setProgress(p))
let result = await model.run({ input });

🖥 GitHub 🟡 Доки 🟡 Затестить Whisper + Ratchet на HF @data_analysis_ml

#llm #ai #genai #chatgpt Простое описание принципов работы llm (large language models), нейронные сетей и связанных технологий без отсылок к математике и формулам. https://blog.miguelgrinberg.com/post/how-llms-work-explained-without-math