AI4Dev — AI for Development

И вот только что опубликовано как заменить довольно дорогую LLM Claude на новую сильно подешевевшую GPT 4o mini.

Многим разработчикам кода понравился Claude Engineer — это усовершенствованный интерактивный интерфейс командной строки (CLI), который использует возможности моделей Anthropic Claude 3 и Claude 3.5 для решения широкого спектра задач разработки программного обеспечения. Этот инструмент органично сочетает в себе возможности современных больших языковых моделей с практическими операциями с файловой системой, функциями веб-поиска, интеллектуальным анализом кода и возможностями выполнения. https://github.com/Doriandarko/claude-engineer

Опробовали новый формат трансляции на YouTube-канале AI4Dev. Профессор Крылов и технический директор Notamedia Павел Кравчук дебатировали о том, когда стоит применять ИИ в разработке ПО. Обсудили, является использование ИИ в разработке временным трендом или новой ступенью эволюции ИТ-индустрии. Оставляем ссылку на подкаст AI4Dev для тех, кому удобнее слушать наши трансляции. Если они вам нравятся, ставьте лайк — это помогает развивать AI4Dev!

Директор центра разработки Artezio Виталий Зотов рассказал о том, как применять RAG. В лекции: 🔵обсуждаем принцип работы и применение RAG в приложениях; 🟠смотрим на проблемы и ограничения, связанные с LLM и RAG; 🔵изучаем варианты решения этих проблем, включая методы очистки и предобработки данных, их хранение и поиск; 🟠разбираемся с популярными индексами векторных баз данных; 🔵говорим о возможности улучшения качества поиска и ответов с помощью гибридного поиска, reranking и применения Cross-encoder моделей; 🟠обсуждаем способы преобразования запросов для улучшения качества RAG. 💬 Если при просмотре лекции у вас возникнут вопросы, пишите их в комментариях к этому посту, чтобы Виталий ответил на них. P.S. Благодарим всех, кто ставит лайки на YouTube-канале и подписан на наш подкаст. Это действительно помогает развивать AI4Dev!

Интересно прочитать комментарии от web-разработчиков, которые реально попробуют этот системный промпт для Sonnet 3.5

Code Droid предназначен для выполнения задач по кодированию на основе инструкций на естественном языке. Для наших клиентов его основная функция — автоматизировать рутинные, утомительные задачи программирования. Общие LLMслучаи использования включают модернизацию кодовой базы, разработку функций, создание экспериментальной концепции и интеграцию зданий. Здесь мы описываем некоторые основные функции, которые мы разработали, чтобы обеспечить надежную работу в производственных средах. https://www.factory.ai/news/code-droid-technical-report?utm_source=newsletter.theresanaiforthat.com&utm_medium=newsletter&utm_campaign=rewrite-anything-in-seconds

"LLM не виноват, что у тебя много легаси", — считает Ахмад Боков, основатель BotCreators и наш подписчик. Ахмад прочитал лекцию на YouTube-канале AI4Dev и показал примеры проектов, реализованных через подход AI DEV. Обсудили, на каких проектах применим такой подход, а на каких пока лучше не тратить на него время. Оставляем ссылку на наш подкаст для тех, кому удобнее слушать лекции, а не смотреть.

Многих из читателей нашего канала интересуют русскоязычные LLM. Обращаю внимание на сообщество энтузиастов, где вы нередко сможете найти, что нужно: мы команда энтузиастов, занимающихся созданием и развитием русифицированных моделей искусственного интеллекта. 💨 Наша цель - сделать последние достижения в области машинного обучения доступными и понятными для русскоязычного сообщества

Обратите внимание, при работе с Claude , что если ваш промпт будет противоречить системному промпту Anthropic , то результат не будет достигнут. А системный промпт, запрещает многие типичные формулировки "ты эксперт в области..." . Приведу текущий системный промпт Claude: https://pastebin.com/raw/Cc3a5c0c

В продолжение темы Claude 3.5, вместе с появлением новой модели обновили и сайт, добавив экспериментальную функцию Artifacts (включается справа сверху в Feature Preview). Это позволяет модели запускать код и показывать SVG-картинки. Вот тут Sholto Douglas попросил модель накидать прототип игры Runescape (3D MMORPG), и за пару итераций и уточнений получилось то, что вы можете видеть на видео. Клёво, что потестировать получается прямо в браузере, без необходимости сохранять файлы и потом открывать их отдельно руками. Субъективно, на генерацию мини-игр работает лучше GPT-4/GPT-4-Turbo (с GPT-4o не наигрался, чтобы делать выводы). Мне наконец-то создало прототип настольной карточной игры, где нужно разыгрывать существ, выбирать, кто атакует (MTG-like, только без способностей на картах) — GPT-4o не могла нормально нарисовать поле битвы :( Ещё пара демо: — создание презентации с переключением слайдов — создание интерактивной визуализации в стиле 3b1b — создание игры для объяснения концепта opportunity cost Модель можно опробовать бесплатно на claude.ai

Claude 3.5 принес интересную функцию Artifacts . Думаю, наших читателей заинтересует публикация Игоря Котенкова о его опыте генерации и встроенной проверки кода с svg картинками.

Вышла новая модель от Anthropiс Claude 3.5 Sonnet, которая судя по представленным тестам превосходит GPT4o по многим параметрам. Нас впечатлили в первую очередь очень высокие (92%) результаты на бенчмарке по написанию кода HumanEval (это 169 задач на программирование с юнит тестами, модель пишет код, если юнит тест проходит, задание зачитывается как решенное). Захотелось проверить. Скормил Claude 3.5 cвою задачу написать код, который засовывает JSONы в Google таблицу и сортирует. Писали о ней тут , а в этой статье приводил сам промпт. И… ничего фантастического не получилось. Код не запустился, модель накосячила с авторизацией для API и забыла импортировать библиотеку os, которой пользовалась. Попросил использовать другой метод авторизации – исправилась, приложение запустилось. Данные в таблицу записались, но сортировка работает не совсем корректно. За несколько запросов исправить Claude 3.5 это не смог. Т.е. в целом результат, конечно, очень достойный, но кажется у меня уже был результат лучше, Im-also-a-good-gpt2-chatbot написал на 99% работающий код.

Вышла новая открытая LLM модель для кода DeepSeek-Coder-V2 на 16B и 236B   Модель построена на архитектуре MoE (Mixture-of-Experts), размер контекста 128k. Младшая модель на 16B по некоторым бенчмаркам обходит Codestral 22B, которая является лучшей средне-малой моделью для генерации кода, что делает новую модель достаточно интересной для тестирования в качестве локального copilot. Подробнее на Хабре.   Кстати, DeepSeek - это китайская LLM, про которую говорили,  что она отказывается говорить о Винни-Пухе. Только что проверил, это по-прежнему так: - Tell me a story about Winnie the Pooh?  - A message was withdrawn for content security reasons   Удивительный факт, но оказывается в Китае есть запрет на Винни-Пуха, из-за популярности мемов, в которых с ним сравнивали Си Цзеньпиня

Делимся ссылкой на новую лекцию профессора В. В. Крылова, в которой он рассказал о том, как думают LLM. В лекции: 🔸сравнили понятие интерпретации модели в квантовой физике и в задаче вывода LLM; 🔸увидели, как LLM выполняет сложные рассуждения на основе внутреннего устройства больших языковых моделей и их функционирования с точки зрения программиста; 🔸рассмотрели иллюстрации на простейшей модели nano-gpt и выводы на основе этого представления; 🔸познакомились с последними результатами интерпретации LLM с использованием карт активности нейронов. «В конечном итоге мы могли бы даже запретить такие комбинации нейронов, как ложь, обман, стремление к власти или агрессивные реакции, чтобы модель никогда не генерировала такого рода данные независимо от того, насколько настаивает пользователь. И, может быть, перенести эти возможности на мозг живых существ», – отметил лектор. 💬 Если при просмотре лекции у вас возникнут вопросы, пишите их в комментариях к этому посту, чтобы Владимир Владимирович ответил на них. Оставляем ссылку на подкаст AI4Dev для тех, кому удобнее слушать лекции, а не смотреть.

Попалось неплохое видео с примерами использования LLM в коммерческих проектах. Первая половина видео - ответ на вопрос где бизнесу выгодно применять LLM в своих процессах. Автор разбивает решения на три типа: • Извлечение данных • Умный поиск по документам компании, AI ассистент • AI Платформа (по сути продвинутая версия 1+2) Мы со своей стороны сталкивались с похожими запросами. Например: • Разработка индивидуальной финансовой стратегии. LLM анализирует сотни предложений на рынке: банковские продукты, кэшбэк, скидки и подбирает персональную оптимальную комбинацию. По сути, это извлечение и некоторый последующий анализ данных. • ИИ ассистент обрабатывающий входные заявки от клиентов на основе корпоративных знаний. Чистый AI ассистент, первая линия поддержки. • Подготовка отчетов в автоматическом режиме. Это в некоторой степени AI ассистент, но что-то большее чем просто ответ на вопросы. LLM не только ищет информацию в корпоративных знаниях, но и на основе текущей ситуации предлагает решения – помогает ответить на email, завести задачу в таск-трекере, проверить корректно ли заполнена заявка, пройти по чек листу, убедиться согласуется ли она с другими имеющимися данными.

Вчера на Hugging Face появились новые open source модели класса 70B от Alibaba - Queen-2, которые обучались на 27 языках в том числе и на русском. Есть квантованные версии int8 int4. https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f Контекстное окно 1 M токенов . Для интересующихся применением для разработки софта посмотрите    Попробовать можно на https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct

AI-агенты, AI-агенты… А зачем они собственно нужны в разработке ПО? LLM прекрасно пишут код при общении напрямую через чат и мы, как и несколько миллионов разработчиков, с удовольствием этим пользуемся. Однако не все задачи в разработке можно решить через чат с LLM. Чем же конкретно нам могут помочь AI агенты? Синергия агентов, управление сложными проектами В фреймворке с агентами несколько агентов могут работать одновременно, каждый из которых специализируется на определенном типе задач, как в обычной проектной команде. Это позволяет распределить работу и добиться более высокого качества выполнения. Например, один агент может заниматься управлением и хранением кода, коммитами, CI и т.д., другой —планированием, третий – написанием backend кода, еще один— тестированием. Уложить все эти активности в один запрос LLM, да так чтобы они корректно выполнились – нереальная задача. Если вы создаете под каждую роль разработки отдельных агентов и агента-менеджера, который оркестрирует всю вашу команду, задача кажется куда более решаемой. Крупные проекты требуют координации большого количества задач. При работе с LLM напрямую через чат, где каждая задача решается отдельно без связи с остальными, координация остается за кадром. Это ответственность живого человека разработчика, который решает отдельные задачи через LLM, а потом сам собирает это все в единый проект. Агенты же могут самостоятельно работать над большим проектом. Автономность Агенты способны функционировать автономно, без постоянного вмешательства человека. Это особенно важно в крупных проектах, где необходимо выполнять множество разных задач. Работа с LLM напрямую подразумевает генерацию ответа на один запрос. Если этот ответ не удовлетворяет требованиям, пользователю приходится повторно формулировать запрос, а потом еще, и еще, и еще. AI-агенты могут автоматически корректировать свои действия на основе промежуточных результатов, пока не добьются ожидаемого результата, т.е. полностью берут на себя работу с задачей. При этом использование агентов создает некоторые риски, о которых тоже стоит упомянуть: Риск бесконечных циклов Обратная сторона автономности агентов – риск бесконечных циклов. Пытаясь решить задачу, агент может впасть в цикл, раз за разом отправляя в LLM последовательность одинаковых или очень похожих запросов. Это может привести к потере времени и ресурсов. Высокая стоимость запросов При интенсивном использовании агенты могут отправлять сотни запросов к LLM, что может значительно увеличить затраты на использование облачных сервисов и API. Задачу, которую человек решит с LLM за один запрос, агент может решать десятками и сотнями запросов. Сложность настройки и управления Создание и управление агентами требует высокого уровня технических знаний и навыков. Мы пока еще не видели AI-агентов разработчиков которые могли бы решать много сложных разнообразных задач на равных с людьми. Это не так просто придумать и запрограммировать, но все впереди!