Generative Ai

https://github.com/SuperDuperDB/superduperdb Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.

Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой. С pyarrow говорят быстрее, чем без. А что предпочитаешь ты для EDA и DataProcessing? Голосуем: 🐼 - пандас 🤖- vaex/polaris 🙈- чистый python Пишем в комментариях) Немного подробностей. https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19 З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации

Концепция LLM OS, чтобы эффективно управлять контекстным окном и обрабатывать внешние события. Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк. Ввели: - main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент). - external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context. - events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM). А сама LLM в данном случае работает как процессор. Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент). MemGPT: Towards LLMs as Operating Systems https://arxiv.org/abs/2310.08560 https://memgpt.ai/ https://github.com/cpacker/MemGPT

Нвидия выпускает TensorRT-LLM для Windows - опенсорсную библиотеку, которая ускоряет выполнение(инференс) для всех популярных LLM, таких как Llama 2 и Code Llama. В четыре(!) раза. Более того, уже есть расширение для Автоматик1111, которое призвано ускорить генерацию картинок на Windows. В два раза(!). На фоне новостей про то, что OpenAI будет делать свои чипы, Нвидии нужно предпринимать какие-то действия, чтобы сильнее привязывать пользователей к своим железкам, и что важно, программным решениям. А на фронте LLM ее ждем конкуренция с llama.cpp, которая творит чудеса на маках. Конкуренция в действии, и это прекрасно. Тут подробности: https://blogs.nvidia.com/blog/2023/10/17/tensorrt-llm-windows-stable-diffusion-rtx/ Тут расширение для автоматика: https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT Supports Stable Diffusion 1.5 and 2.1. Native SDXL support coming in a future release. И только квадратные разрешения.

AutoGen. LLM-модели, такие как GPT-3 и GPT-4, становятся ключевыми строительными блоками для разработки мощных агентов, способных мыслить, использовать инструменты и адаптироваться. Учитывая расширяющиеся возможности LLM и увеличивающуюся сложность задач, использование нескольких сотрудничающих агентов является естественным подходом для расширения возможностей агентов. Предыдущие исследования также указывают на то, что мультиагентные системы могут способствовать разнонаправленному мышлению, улучшать рассуждения и обеспечивать валидацию. Основной идеей является использование мультиагентных бесед для достижения этой цели, по трем основным причинам: LLM-модели, оптимизированные для чатов, такие как GPT-4, могут интегрировать обратную связь, поэтому агенты LLM могут сотрудничать через разговор. Агенты LLM с различной конфигурацией могут комбинировать свои способности в дополняющемся порядке. LLM-модели показали способность решать сложные задачи, разбивая их на подзадачи. Мультиагентные беседы обеспечивают интуитивное разделение и интеграцию. https://github.com/microsoft/autogen https://arxiv.org/abs/2308.08155

MemGPT — дорога LLM к операционным системам На днях вышла работа MemGPT — метод расширения контекстных окон LLM. Он учит языковые модели «виртуальной памяти», подобно тому как ОС управляют своей оперативной памятью. Способ позволяет создавать вечных чат-ботов и Q&A для больших документов. А в потенциале открывает дорогу к AI OS. Можно запустить и локально, подробные инструкции есть на Гитхабе.

Ragas — это платформа, которая помогает вам оценить ваши конвейеры извлечения дополненной генерации (RAG). https://github.com/explodinggradients/ragas

WordPress теперь в ActivityPub Теперь любой, у кого есть сайт на Вордпрессе, может автоматически распространять свои материалы на Mastodon, Pixelfed и остальную часть Fediverse. Все комменты также синхронизируются. Открытый веб потихоньку развивается и привлекает новых high-profile игроков — самое время заходить туда?

The library "stable-audio-tools" by Stability-AI on GitHub is designed for generative models focusing on conditional audio generation. https://github.com/Stability-AI/stable-audio-tools

​На каждой крупной конференции выбираются несколько лучших статей и им вручают "призы". Обычно это статьи, которые перевернули область с ног на глову, либо те, что имеют потенциал очень сильно повлиять на ход исследований. Еще отдельно выделяют лучшую статью, где первый автор - студет (включая аспирантов). #конфа В этом году на ICCV 2023 победили следующие работы. 1️⃣ Лучшие статьи: - ControlNet [Stanford] - Passive Ultra-Wideband Single-Photon Imaging [UoT] 2️⃣ Почетное упоминание - Segment Anything (SAM) [Meta AI] 3️⃣ Лучшая студенческая статья - Tracking Everything Everywhere All At Once [Cornell + Berkeley + Goolge] --- В разные года выбор лучших статей у меня вызывал сомнения, но ControlNet, хоть и технически простой, это действительно заслужил. От появляния на arxiv в феврале, до публикации на ICCV работа успела набрать 24k звезд на гитхабе, >300 цитирований, и используется в сотнях пет-проектах с SD. SAM - тут просто без коментариев, работа супер влиятельная. Tracking Everything - Универсальный трекер. Тоже крутая работа, по духу да и по названию похожа на Segment Anything. Про Single-Photon Imaging ничего сказать не могу, не моя тема совсем. Разве что, коммиссия любит выбирать что-то неортодоксальное, но потенциально с большим импактом. @ai_newz

Разговор с картинками в ChatGPT OpenAI начали раскатывать обещанную фичу для подписчиков ChatGPT Plus. Посмотрел примеры, бот справляется неплохо даже на русском — анализирует графики, проверяет технику бега, генерит фронтенд-код по скриншоту, объясняет мемы. Пока ждём API, можно попробовать опенсорсного конкурента — LLaVa v1.5, по отзывам тоже работает хорошо.

https://github.com/dgarnitz/vectorflow VectorFlow - это высокопроизводительный конвейер для встраивания векторов, который принимает исходные данные, преобразует их в векторы и записывает в выбранную вами векторную базу данных​ (milvus, weaviatte)

Питер Норвиг, соавтор классического учебника по AI, соавтор первого MOOC (который тоже был про AI) и вообще значимый человек ещё лет десять назад, которого я уже давно не слышал, вместе с вице-президентом Google Research написали статью про то, что AGI уже здесь. Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer. https://www.noemamag.com/artificial-general-intelligence-is-already-here