Евгений Кокуйкин - Raft

Завтра Никита Венедиктов выступит на конференции Artificial Intelligence and Natural Language в Алматы с двумя докладами: об использовании LLM в качестве переводчика и о создании чат-бота с использованием GPTs и Assistants API.

Саша Константинов уже год активно применяет GPT в программировании и отслеживает все новые тулы для ускорения разработки. Завтра в 12:00 мск на канале Al4Dev Саша расскажет, как стать тимлидом «копайлота» и СhatGPT. Ссылка на трансляцию.

24 апреля в Ярославле будет офлайн митап YappiDays. В программе два доклада: 1. Как правильно делать SSO на Keycloak расскажет Денис Мазилов. 2. Олег Елифантьев поделится опытом про грабли в асинхронных системах. Регистрация здесь.

Вадим Шубин рассказал на Хабре про Mojo с громким заявлением, что язык обходит Python в 68 тыс раз на синтетическом тесте расчета множества Мандельброта. Не смотря на кликбейтное заявление, Mojo привлекает активное внимание сообщества ML разработчиков, благодаря MLIR и интеграции с библиотеками Python.

Заметка про агенты в LLM по мотивам выступления Andrew Ng на конференции AI Ascent. Что такое agentic workflow? Рассмотрим пример создания презентации в ChatGPT. Самый простой способ, которым пользуется большинство, — это zero-shot запрос вида "Напиши мне PowerPoint презентацию про морских ящеров мезозоя". На выходе мы получаем текст слайдов по нашей теме и со стандартной структурой. Качество будет среднее, придется вручную дополнять слайды или перепереписывать в чате. Можно применить альтернативный подход с агентами и разбить задачу на составные части: "определи цель доклада", "найди виды ящеров в интернете", "создай структуру доклада", "наполни слайды текстом". На выходе уже будет генерация более высокого качества, но и подождать, пока агенты отработают, придется минут 10-20. Andrew Ng сравнил два подхода на бенчмарке HumanEval, который содержит задачи по программированию и математике. GPT-3.5 и GPT-4 набрали 48% и 67% точности на этом датасете, при этом разные виды агентов получили результат, превышающий 80%. Интересны его выводы в заключении: 1. Слабая модель с агентами обходит по качеству работы модель старшую. Он делает предположение, что не надо ждать GPT-5, а нужно научиться применять агенты к GPT-4 и качество будет выше. 2. Скорость инференса критически важна. Быстрая генерация на более слабой LLM может быть предпочтительнее медленной генерации на мощной модели. Если агенту требуется пять минут на поиск и анализ информации в вебе, пользователю проще загуглить и самому изучить результаты быстро. Посмотрим, подтвердятся ли на практике эти тезисы. Практически всегда пользуюсь zero-shot, так как лень писать длинные промпты и тем более ждать результата, но кратный прирост в качестве через агенты — это повод изучать технику.

В четверг выступаю на митапе Selectel с докладом про уязвимости в Supply Chain и Data Poisoning. Если вы в Петербурге, приходите на площадку, буду рад пообщаться. Регистрация здесь.

🚀 Воркшоп: Что есть кроме ChatGPT и как это готовить: разворачиваем локальные LLM у себя на компьютере! Когда: 12 апреля в 13:00 CET (14:00 по Москве, 18:00 по ЮВА) Где: Онлайн в Zoom Модели от лидеров рынка удобны, но дороги и подходят далеко не для всех сценариев использования. Open-source модели развиваются невероятными темпами и сегодня использовать собственную LLM можно даже на макбуке! В рамках воркшопа мы разберемся: • В чем суть локальных LLM, и правда ли, что Open Source >= ChatGPT? • Как выбрать опенсорс-модель под свои задачи? • Правда ли, что промпты для open source LLM = промпты для GPT? • RAG, Fine-Tuning, QLoRa — вот они слева направо. Как увеличить точность выбранной модели? • Как урезать и файнтюнить Open Source LLM под свои задачи? 🙎‍♀️ О спикере: Ирина Николаева, Lead Data Scientist, Руководитель R’n’D-отдела машинного обучения в компании Raft Digital Solutions. У Ирины огромный опыт внедрения различных ML-моделей: от анализа временных рядов и computer vision до высоконагруженных дата-инженерных сервисов. 🧠 Кому будет интересно: всем, кто решает различные задачи с помощью LLM, а также разрабатывает собственные решения. ​👨‍🏫 Уже есть специфический вопрос или тема для обсуждения? Поделитесь с нами по ссылке: https://go.codex.town/ask и мы обсудим ее во время вебинара! P.S. Для практической части рекомендуется иметь не менее 4ГБ свободного места на компьютере.

Ира завтра выступает на CodexTown. Приходите, кому интересно разобраться с работой открытых моделей.

В корпоративной безопасности существует термин "Shadow IT" — это использование в работе несогласованных с ИБ программ. Например, вместо корпоративного 7zip разработчик устанавливает нелицензионный WinRar. Теперь мы сталкиваемся с понятием "Shadow AI". Shadow AI — это использование ИИ-систем без одобрения службы ИБ. Сотрудники используют ChatGPT в рабочих задачах, что может привести к утечке конфиденциальных данных, как это случилось с Samsung. Существует четыре подхода к управлению ИИ в корпоративной среде: Полный запрет на ИИ — не лучшее решение в 2024 году. В дополнение к очевидным недостаткам, запрет не решает проблему Shadow AI. Невозможно запретить сотруднику дома сфотографировать рабочий документ с экрана и работать с ним через модель с vision. Полная свобода использования ИИ — подходит для стартапов, но в крупных компаниях увеличивает риск штрафов за нарушение обработки персональных данных. Использование только on-prem моделей — эффективность этих моделей сейчас уступает лидерам рынка в большинстве задач. AI Governance (управление ИИ) — комплексный подход, включающий: 1. Разработку политик и стандартов безопасности. 2. Мониторинг ИИ-систем для соответствия регуляторным требованиям (EU AI Act или AI Ethics Code). 3. Выбор специализированных решений для каждой задачи: чатботы для поиска по вики на одних моделях, copilot и кодовые анализаторы на других, и AI для CRM на третьих. Для тех, кто интересуется темой AI в ИБ, рекомендую свежую книгу: https://t.me/pwnai/169.

Шуточная игра Llm-privacy, цель которой — обыграть LLM и определить информацию о человеке по тексту. Игроку предлагают пост человека из соцсети, и наша задача — по косвенным признакам вычислить местоположение, возраст и другую информацию о личности. Например, фраза "я приземлился в город, окруженный Альпами, и добрался до стадиона на трамвае номер 10" указывает, что загадка скрывает Цюрих, где действительно существует маршрут номер 10. В этой игре лишь доля шутки. И в России, и в ЕС действуют строгие правила относительно персональных данных. Авторы работы показывают, что современные модели, такие как GPT-4, с высокой точностью и в разы дешевле людей могут вычислять данные о людях (пол, адрес, возраст, уровень дохода и т.д.). Не помогают и модели для разметки персональных данных, такие как Natasha. В работе показано, что текущие процедуры фильтрации не являются достаточной защитой.

Конференции отечественного ИИ. На прошлой неделе мы гостили на Union All у Яндекса, где активно обсуждался выход свежей модели YandexGPT 3. Модель продолжает совершенствоваться в работе с RAG, reasoning и в решении других важных прикладных задач. Через неделю нас ждет RnD SberDevices, с крутыми докладами про alignment, MERA, синтез речи и многое другое. Напишите, кто собирается офлайн, встретимся на площадке.

В последнее время активно обсуждается критика внедрения генеративного ИИ в корпорациях. Многие участники рынка создают завышенные ожидания от новых технологий. Не каждое решение легко и быстро запустить на новых технологиях. Недавний опрос Menlo Ventures показал, что более половины корпораций не готовы внедрять ИИ из-за недоказанного ROI (Return on Investment). Тернистый путь отладки технологии и высокая стоимость создания — не единственные проблемы первопроходцев. Еще есть проблемы с безопасностью моделей, юридические риски, связанные с утечкой данных. Всё это может вызвать разочарование в ИИ, рассматриваемом как волшебная пилюля от всех болезней. Думаю, мы увидим в ближайшее время другие подобные статьи с критикой. Джеффри Мур еще двадцать лет назад подробно описал этот эффект в книге "Внутри Торнадо". Книга не потеряла актуальности и сейчас. "Цикл принятия инноваций" включает состоит из этапов: • Инноваторы (Innovators): Это первые пользователи, которые принимают новую технологию. Они заинтересованы в самой технологии и готовы рисковать, чтобы попробовать новинки. • Ранние последователи (Early Adopters): Эта группа более прагматична и оценивает новую технологию с точки зрения ее потенциала для получения конкурентного преимущества. Они часто являются лидерами мнений в своих областях. • Раннее большинство (Early Majority): осторожны и принимают технологию только после того, как она была проверена ранними последователями. Они нуждаются в эффективных и проверенных продуктах. • Позднее большинство (Late Majority): Эта группа скептически относится к изменениям и принимает новую технологию только после того, как она становится общепринятой и на рынке появляются стандарты и протоколы. • Отстающие (Laggards): сопротивляются принятию новых технологий и вынуждены их использовать, когда нет другого выбора. Переход между ранними последователями технологии и ранним большинством разделяет Пропасть (Chasm). Многие инновации терпят неудачу из-за невозможности удовлетворить более широкий круг потребностей и ожиданий. Генеративный ИИ не будет исключением. Важно разделять общие ИИ-технологии, такие как ChatGPT/GigaChat/Yandex-GPT, от прикладных решений на их базе. Это разные рынки и у них разные циклы. Генеративные ИИ в виде персональных ассистентов уже преодолели пропасть. OpenAI доминирует на этом рынке: миллионы пользователей каждый день используют ChatGPT. Однако, для бизнес-приложений еще только предстоит преодолеть Пропасть внедрения. После Пропасти следует стадия Кегельбана (Bowling Alley). На этом этапе технология начинает набирать популярность в определённых нишах или сегментах рынка. Мы уже сейчас видим большое количество вертикальных продуктов, таких как Harvey Legal AI, Abridge AI в здравоохранении, TaxGPT для налоговых целей, и, конечно, Devin - AI-программист. Эти компании обещают клиентам решение старых проблем на новых технологиях и, конечно, новый уровень экономии. Например, если Devin преуспеет и добьется точности своего AI-программиста, близкой к уровню опытного разработчика, для запуска стартапа не потребуется нанимать ни мобильную команду, ни бэкенд-разработчиков, и это приведет к колоссальной экономии средств. Для того, чтобы такой бизнес-эффект стал реальным, потребуется еще не один месяц работы и отладки LLM-моделей для конкретных задач. Ключевая мысль книги — нельзя перескочить между этапами. Никакая технология не будет установлена в крупные корпорации, пока она не пройдет апробацию первыми последователями. Генеративный ИИ имеет огромный потенциал, но его реализация требует времени и терпения.

Данил Капустин и Мария Михайлова участвовали в хакатоне (https://geekbattle.online/events/it-purple-hack) и в задании для Банка России заняли 6-е место в рейтинге из 30 команд в разработке чат-бота на LLM. Молодцы, жмите до первого места на следующем конкурсе! 👍 Другие новости Raft: - У нас новый автор на Хабре - Алексей Бобок написал статью о том, как AI-плагин для JIRA помогает продакту. - Вышло видео с митапа, где Илья Козырев рассказывает про трюки и техники промптинга. - Расшифровка моего доклада про обзор угроз на LLM. Редакторы Онтико проделали огромную работу, статью даже пришлось разбить на две части. Наш тревел-блогер Игорь Новиков выпустил заметку про Техас 🤠. Игорь также восстановил канал на VC, подписывайтесь: https://vc.ru/u/229005-igor-novikov

💜 Без обучения в этой магистратуре найти работу было бы гораздо тяжелее! Никита Венедиктов — студент 2 курса магистратуры AI Talent Hub «Искусственный интеллект» на треке ПИШ ИТМО, а также ML-инженер и NLP-researcher в компании Raft Digital Solutions. В рамках небольшого, но очень интересного интервью мы поговорили с Никитой о его карьерном пути и о том, как обучение в магистратуре ПИШ ИТМО помогло получить работу мечты 👆

Новости нашей команды: - Ира Николаева завтра расскажет на конференции DevOps про локальные модели. - Raft был награжден SberDevices за активную работу с клиентами компании. - Игорь Новиков опубликовал три статьи на Хабре: о проведении интервью, сравнении архитектуры программного обеспечения с градостроительством и туториал по ускорению работы моделей с помощью дистилляции. - Данил Капустин написал о том, как атака Token Smuggling обходит даже защиту GPT-4. Подробнее в статье. - Вышла запись моего доклада с дня открытых дверей ИТМО про безопасность ИИ решений.

Многие полагают, что дешевые и качественные модели ИИ будут доступны только от компаний вроде OpenAI или Yandex. Второе популярное мнение – для эффективного использования LLM нужно знать промпт-инжиниринг. Это когнитивные искажения, связанные с восприятием ситуации сейчас. Разберем обе точки зрения. Прошлым летом вышла открытая модель Llama-2. На тот момент все остальные модели уступали на порядок по качеству ответов, а Llama-2 приближалась к GPT-4. Для запуска топовой версии Llama-2 70b требуются несколько дорогих NVidia А100. К слову, одна аренда в месяц одной A100 стоит около $3 тыс. При таких затратах на hardware бизнес-эффективность большинства решений под вопросом. Ситуация за полгода стала другой: архитектура Mixture of Experts дала толчок развитию новым моделям, которые компактнее и сопоставимы по качеству с большой Llama-2 70b. На прошлой неделе Groq показали демо своей LPU-видеокарты, которая в 15 раз быстрее NVidia в инференсе одних и тех же моделей. Уже сейчас можно на ноутбуке запустить LLM с приемлемой скоростью генерации, и не за горами время, когда большая языковая модель будет работать на ваших часах. Вернемся к промптингу. Сейчас, чтобы извлечь максимум от языковых моделей, требуется знание особых техник промптинга. В арсенале у нас есть трюки вида "I give you $100 tip", SPP агенты, мета-промптинг и т. п. Всё это для того, чтобы пользователь на один и тот же вопрос получал ответ лучше. Несколько недель назад GPT-4 в ChatGPT стала автоматически применять популярные техники "Chain of Thought" и "ASK-Before-Answer", без необходимости указания со стороны пользователя. Релиз прошел незаметно, возможно, вы даже не обращали внимания. Одно за другим такие изменения приведут к тому, что промпт-инжиниринг перестанет быть "профессией будущего" и останется в истории как временная неэффективность языковых моделей.

Антон Белоусов отлично выступил с докладом в МегаШколе ИТМО, а затем представил ещё более расширенную версию в Рафте. В нём он не только предоставил введение в актуальные тренды AI, но и осветил последние публикации о новых open source моделях и механизмах их работы. Видео доклада https://youtu.be/K7CREZr3npo

Как тестировать Open Source модели. 1. Открываем модель на huggingface и используем встроенный интерфейс, например, для модели RWKV. Если модель непопулярна и очередей нет, это самый простой способ. 2. Покупаем у huggingface подписку pro за $9 и запускаем нужную модель на своем аккаунте. Replicate подойдет, для РФ удобно использовать immers.cloud. 3. Недавно нашел быстро тестировать популярные модели через https://labs.perplexity.ai, здесь очередей нет и загрузки моделей не надо ждать. Если исключить llama-70b-chat с высокой ценой, то работать с Mistral/Misxtral там практически бесплатно. 4. Коллеги из RnD регулярно используют https://lmstudio.ai/ для работы с моделями на разработческих машинах. Скачать квантованную версию Mistral-7b и запустить ее на ноутбуке без GPU можно за пару минут. Очень удобно. Пишите в комментариях ваши любимые тулы/сервисы для открытых моделей.

Помимо технических статей, Игорь Новиков сделал небольшой лайфстайл-блог на Хабре. Свежий выпуск про Сиэтл вышел сегодня: https://habr.com/ru/companies/raft/articles/793086/. Предыдущие статьи автора о Майами, о Калифорнии.