Евгений Кокуйкин - Raft

Завтра Никита Венедиктов выступит на конференции Artificial Intelligence and Natural Language в Алматы с двумя докладами: об использовании LLM в качестве переводчика и о создании чат-бота с использованием GPTs и Assistants API.

Саша Константинов уже год активно применяет GPT в программировании и отслеживает все новые тулы для ускорения разработки. Завтра в 12:00 мск на канале Al4Dev Саша расскажет, как стать тимлидом «копайлота» и СhatGPT. Ссылка на трансляцию.

24 апреля в Ярославле будет офлайн митап YappiDays. В программе два доклада: 1. Как правильно делать SSO на Keycloak расскажет Денис Мазилов. 2. Олег Елифантьев поделится опытом про грабли в асинхронных системах. Регистрация здесь.

Вадим Шубин рассказал на Хабре про Mojo с громким заявлением, что язык обходит Python в 68 тыс раз на синтетическом тесте расчета множества Мандельброта. Не смотря на кликбейтное заявление, Mojo привлекает активное внимание сообщества ML разработчиков, благодаря MLIR и интеграции с библиотеками Python.

Заметка про агенты в LLM по мотивам выступления Andrew Ng на конференции AI Ascent. Что такое agentic workflow? Рассмотрим пример создания презентации в ChatGPT. Самый простой способ, которым пользуется большинство, — это zero-shot запрос вида "Напиши мне PowerPoint презентацию про морских ящеров мезозоя". На выходе мы получаем текст слайдов по нашей теме и со стандартной структурой. Качество будет среднее, придется вручную дополнять слайды или перепереписывать в чате. Можно применить альтернативный подход с агентами и разбить задачу на составные части: "определи цель доклада", "найди виды ящеров в интернете", "создай структуру доклада", "наполни слайды текстом". На выходе уже будет генерация более высокого качества, но и подождать, пока агенты отработают, придется минут 10-20. Andrew Ng сравнил два подхода на бенчмарке HumanEval, который содержит задачи по программированию и математике. GPT-3.5 и GPT-4 набрали 48% и 67% точности на этом датасете, при этом разные виды агентов получили результат, превышающий 80%. Интересны его выводы в заключении: 1. Слабая модель с агентами обходит по качеству работы модель старшую. Он делает предположение, что не надо ждать GPT-5, а нужно научиться применять агенты к GPT-4 и качество будет выше. 2. Скорость инференса критически важна. Быстрая генерация на более слабой LLM может быть предпочтительнее медленной генерации на мощной модели. Если агенту требуется пять минут на поиск и анализ информации в вебе, пользователю проще загуглить и самому изучить результаты быстро. Посмотрим, подтвердятся ли на практике эти тезисы. Практически всегда пользуюсь zero-shot, так как лень писать длинные промпты и тем более ждать результата, но кратный прирост в качестве через агенты — это повод изучать технику.

В четверг выступаю на митапе Selectel с докладом про уязвимости в Supply Chain и Data Poisoning. Если вы в Петербурге, приходите на площадку, буду рад пообщаться. Регистрация здесь.

🚀 Воркшоп: Что есть кроме ChatGPT и как это готовить: разворачиваем локальные LLM у себя на компьютере! Когда: 12 апреля в 13:00 CET (14:00 по Москве, 18:00 по ЮВА) Где: Онлайн в Zoom Модели от лидеров рынка удобны, но дороги и подходят далеко не для всех сценариев использования. Open-source модели развиваются невероятными темпами и сегодня использовать собственную LLM можно даже на макбуке! В рамках воркшопа мы разберемся: • В чем суть локальных LLM, и правда ли, что Open Source >= ChatGPT? • Как выбрать опенсорс-модель под свои задачи? • Правда ли, что промпты для open source LLM = промпты для GPT? • RAG, Fine-Tuning, QLoRa — вот они слева направо. Как увеличить точность выбранной модели? • Как урезать и файнтюнить Open Source LLM под свои задачи? 🙎‍♀️ О спикере: Ирина Николаева, Lead Data Scientist, Руководитель R’n’D-отдела машинного обучения в компании Raft Digital Solutions. У Ирины огромный опыт внедрения различных ML-моделей: от анализа временных рядов и computer vision до высоконагруженных дата-инженерных сервисов. 🧠 Кому будет интересно: всем, кто решает различные задачи с помощью LLM, а также разрабатывает собственные решения. ​👨‍🏫 Уже есть специфический вопрос или тема для обсуждения? Поделитесь с нами по ссылке: https://go.codex.town/ask и мы обсудим ее во время вебинара! P.S. Для практической части рекомендуется иметь не менее 4ГБ свободного места на компьютере.

Ира завтра выступает на CodexTown. Приходите, кому интересно разобраться с работой открытых моделей.

В корпоративной безопасности существует термин "Shadow IT" — это использование в работе несогласованных с ИБ программ. Например, вместо корпоративного 7zip разработчик устанавливает нелицензионный WinRar. Теперь мы сталкиваемся с понятием "Shadow AI". Shadow AI — это использование ИИ-систем без одобрения службы ИБ. Сотрудники используют ChatGPT в рабочих задачах, что может привести к утечке конфиденциальных данных, как это случилось с Samsung. Существует четыре подхода к управлению ИИ в корпоративной среде: Полный запрет на ИИ — не лучшее решение в 2024 году. В дополнение к очевидным недостаткам, запрет не решает проблему Shadow AI. Невозможно запретить сотруднику дома сфотографировать рабочий документ с экрана и работать с ним через модель с vision. Полная свобода использования ИИ — подходит для стартапов, но в крупных компаниях увеличивает риск штрафов за нарушение обработки персональных данных. Использование только on-prem моделей — эффективность этих моделей сейчас уступает лидерам рынка в большинстве задач. AI Governance (управление ИИ) — комплексный подход, включающий: 1. Разработку политик и стандартов безопасности. 2. Мониторинг ИИ-систем для соответствия регуляторным требованиям (EU AI Act или AI Ethics Code). 3. Выбор специализированных решений для каждой задачи: чатботы для поиска по вики на одних моделях, copilot и кодовые анализаторы на других, и AI для CRM на третьих. Для тех, кто интересуется темой AI в ИБ, рекомендую свежую книгу: https://t.me/pwnai/169.

Шуточная игра Llm-privacy, цель которой — обыграть LLM и определить информацию о человеке по тексту. Игроку предлагают пост человека из соцсети, и наша задача — по косвенным признакам вычислить местоположение, возраст и другую информацию о личности. Например, фраза "я приземлился в город, окруженный Альпами, и добрался до стадиона на трамвае номер 10" указывает, что загадка скрывает Цюрих, где действительно существует маршрут номер 10. В этой игре лишь доля шутки. И в России, и в ЕС действуют строгие правила относительно персональных данных. Авторы работы показывают, что современные модели, такие как GPT-4, с высокой точностью и в разы дешевле людей могут вычислять данные о людях (пол, адрес, возраст, уровень дохода и т.д.). Не помогают и модели для разметки персональных данных, такие как Natasha. В работе показано, что текущие процедуры фильтрации не являются достаточной защитой.