Евгений Кокуйкин - Raft
رفتن به کانال در Telegram
Канал про то, как мы создаем Raft AI и разрабатываем приложения на GPT. Автор Евгений Кокуйкин, контакт @artmaro
نمایش بیشتر331
مشترکین
اطلاعاتی وجود ندارد24 ساعت
اطلاعاتی وجود ندارد7 روز
اطلاعاتی وجود ندارد30 روز
در حال بارگیری داده...
کانالهای مشابه
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسبها
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
دسامبر '24
دسامبر '24
+25
در 2 کانالها
نوامبر '24
+40
در 2 کانالها
Get PRO
اکتبر '24
+93
در 6 کانالها
Get PRO
سپتامبر '24
+257
در 11 کانالها
Get PRO
اوت '240
در 3 کانالها
Get PRO
ژوئیه '240
در 2 کانالها
Get PRO
ژوئن '240
در 0 کانالها
Get PRO
مه '24
+2
در 3 کانالها
Get PRO
آوریل '24
+37
در 2 کانالها
Get PRO
مارس '24
+20
در 0 کانالها
Get PRO
فوریه '24
+30
در 1 کانالها
Get PRO
ژانویه '24
+261
در 1 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 21 دسامبر | 0 | |||
| 20 دسامبر | +3 | |||
| 19 دسامبر | 0 | |||
| 18 دسامبر | 0 | |||
| 17 دسامبر | +8 | |||
| 16 دسامبر | 0 | |||
| 15 دسامبر | +2 | |||
| 14 دسامبر | +4 | |||
| 13 دسامبر | 0 | |||
| 12 دسامبر | 0 | |||
| 11 دسامبر | 0 | |||
| 10 دسامبر | 0 | |||
| 09 دسامبر | 0 | |||
| 08 دسامبر | 0 | |||
| 07 دسامبر | +1 | |||
| 06 دسامبر | +1 | |||
| 05 دسامبر | 0 | |||
| 04 دسامبر | +1 | |||
| 03 دسامبر | +1 | |||
| 02 دسامبر | +4 | |||
| 01 دسامبر | 0 |
پستهای کانال
Завтра Никита Венедиктов выступит на конференции Artificial Intelligence and Natural Language в Алматы с двумя докладами: об использовании LLM в качестве переводчика и о создании чат-бота с использованием GPTs и Assistants API.
| 2 | Саша Константинов уже год активно применяет GPT в программировании и отслеживает все новые тулы для ускорения разработки.
Завтра в 12:00 мск на канале Al4Dev Саша расскажет, как стать тимлидом «копайлота» и СhatGPT. Ссылка на трансляцию. | 369 |
| 3 | 24 апреля в Ярославле будет офлайн митап YappiDays. В программе два доклада:
1. Как правильно делать SSO на Keycloak расскажет Денис Мазилов.
2. Олег Елифантьев поделится опытом про грабли в асинхронных системах.
Регистрация здесь. | 312 |
| 4 | Вадим Шубин рассказал на Хабре про Mojo с громким заявлением, что язык обходит Python в 68 тыс раз на синтетическом тесте расчета множества Мандельброта. Не смотря на кликбейтное заявление, Mojo привлекает активное внимание сообщества ML разработчиков, благодаря MLIR и интеграции с библиотеками Python. | 342 |
| 5 |  Заметка про агенты в LLM по мотивам выступления Andrew Ng на конференции AI Ascent.
Что такое agentic workflow? Рассмотрим пример создания презентации в ChatGPT. Самый простой способ, которым пользуется большинство, — это zero-shot запрос вида "Напиши мне PowerPoint презентацию про морских ящеров мезозоя". На выходе мы получаем текст слайдов по нашей теме и со стандартной структурой. Качество будет среднее, придется вручную дополнять слайды или перепереписывать в чате.
Можно применить альтернативный подход с агентами и разбить задачу на составные части: "определи цель доклада", "найди виды ящеров в интернете", "создай структуру доклада", "наполни слайды текстом". На выходе уже будет генерация более высокого качества, но и подождать, пока агенты отработают, придется минут 10-20.
Andrew Ng сравнил два подхода на бенчмарке HumanEval, который содержит задачи по программированию и математике. GPT-3.5 и GPT-4 набрали 48% и 67% точности на этом датасете, при этом разные виды агентов получили результат, превышающий 80%.
Интересны его выводы в заключении:
1. Слабая модель с агентами обходит по качеству работы модель старшую. Он делает предположение, что не надо ждать GPT-5, а нужно научиться применять агенты к GPT-4 и качество будет выше.
2. Скорость инференса критически важна. Быстрая генерация на более слабой LLM может быть предпочтительнее медленной генерации на мощной модели. Если агенту требуется пять минут на поиск и анализ информации в вебе, пользователю проще загуглить и самому изучить результаты быстро.
Посмотрим, подтвердятся ли на практике эти тезисы. Практически всегда пользуюсь zero-shot, так как лень писать длинные промпты и тем более ждать результата, но кратный прирост в качестве через агенты — это повод изучать технику. | 313 |
| 6 | В четверг выступаю на митапе Selectel с докладом про уязвимости в Supply Chain и Data Poisoning. Если вы в Петербурге, приходите на площадку, буду рад пообщаться. Регистрация здесь. | 317 |
| 7 | 🚀 Воркшоп: Что есть кроме ChatGPT и как это готовить: разворачиваем локальные LLM у себя на компьютере!
Когда: 12 апреля в 13:00 CET (14:00 по Москве, 18:00 по ЮВА)
Где: Онлайн в Zoom
Модели от лидеров рынка удобны, но дороги и подходят далеко не для всех сценариев использования. Open-source модели развиваются невероятными темпами и сегодня использовать собственную LLM можно даже на макбуке!
В рамках воркшопа мы разберемся:
• В чем суть локальных LLM, и правда ли, что Open Source >= ChatGPT?
• Как выбрать опенсорс-модель под свои задачи?
• Правда ли, что промпты для open source LLM = промпты для GPT?
• RAG, Fine-Tuning, QLoRa — вот они слева направо. Как увеличить точность выбранной модели?
• Как урезать и файнтюнить Open Source LLM под свои задачи?
🙎♀️ О спикере: Ирина Николаева, Lead Data Scientist, Руководитель R’n’D-отдела машинного обучения в компании Raft Digital Solutions. У Ирины огромный опыт внедрения различных ML-моделей: от анализа временных рядов и computer vision до высоконагруженных дата-инженерных сервисов.
🧠 Кому будет интересно: всем, кто решает различные задачи с помощью LLM, а также разрабатывает собственные решения.
👨🏫 Уже есть специфический вопрос или тема для обсуждения? Поделитесь с нами по ссылке: https://go.codex.town/ask и мы обсудим ее во время вебинара!
P.S. Для практической части рекомендуется иметь не менее 4ГБ свободного места на компьютере. | 470 |
| 8 | Ира завтра выступает на CodexTown. Приходите, кому интересно разобраться с работой открытых моделей. | 292 |
| 9 | В корпоративной безопасности существует термин "Shadow IT" — это использование в работе несогласованных с ИБ программ. Например, вместо корпоративного 7zip разработчик устанавливает нелицензионный WinRar. Теперь мы сталкиваемся с понятием "Shadow AI".
Shadow AI — это использование ИИ-систем без одобрения службы ИБ. Сотрудники используют ChatGPT в рабочих задачах, что может привести к утечке конфиденциальных данных, как это случилось с Samsung.
Существует четыре подхода к управлению ИИ в корпоративной среде:
Полный запрет на ИИ — не лучшее решение в 2024 году. В дополнение к очевидным недостаткам, запрет не решает проблему Shadow AI. Невозможно запретить сотруднику дома сфотографировать рабочий документ с экрана и работать с ним через модель с vision.
Полная свобода использования ИИ — подходит для стартапов, но в крупных компаниях увеличивает риск штрафов за нарушение обработки персональных данных.
Использование только on-prem моделей — эффективность этих моделей сейчас уступает лидерам рынка в большинстве задач.
AI Governance (управление ИИ) — комплексный подход, включающий:
1. Разработку политик и стандартов безопасности.
2. Мониторинг ИИ-систем для соответствия регуляторным требованиям (EU AI Act или AI Ethics Code).
3. Выбор специализированных решений для каждой задачи: чатботы для поиска по вики на одних моделях, copilot и кодовые анализаторы на других, и AI для CRM на третьих.
Для тех, кто интересуется темой AI в ИБ, рекомендую свежую книгу: https://t.me/pwnai/169. | 338 |
| 10 | Шуточная игра Llm-privacy, цель которой — обыграть LLM и определить информацию о человеке по тексту. Игроку предлагают пост человека из соцсети, и наша задача — по косвенным признакам вычислить местоположение, возраст и другую информацию о личности. Например, фраза "я приземлился в город, окруженный Альпами, и добрался до стадиона на трамвае номер 10" указывает, что загадка скрывает Цюрих, где действительно существует маршрут номер 10.
В этой игре лишь доля шутки. И в России, и в ЕС действуют строгие правила относительно персональных данных. Авторы работы показывают, что современные модели, такие как GPT-4, с высокой точностью и в разы дешевле людей могут вычислять данные о людях (пол, адрес, возраст, уровень дохода и т.д.). Не помогают и модели для разметки персональных данных, такие как Natasha. В работе показано, что текущие процедуры фильтрации не являются достаточной защитой. | 376 |
| 11 | Конференции отечественного ИИ. На прошлой неделе мы гостили на Union All у Яндекса, где активно обсуждался выход свежей модели YandexGPT 3. Модель продолжает совершенствоваться в работе с RAG, reasoning и в решении других важных прикладных задач.
Через неделю нас ждет RnD SberDevices, с крутыми докладами про alignment, MERA, синтез речи и многое другое. Напишите, кто собирается офлайн, встретимся на площадке. | 425 |
| 12 | В последнее время активно обсуждается критика внедрения генеративного ИИ в корпорациях. Многие участники рынка создают завышенные ожидания от новых технологий. Не каждое решение легко и быстро запустить на новых технологиях. Недавний опрос Menlo Ventures показал, что более половины корпораций не готовы внедрять ИИ из-за недоказанного ROI (Return on Investment). Тернистый путь отладки технологии и высокая стоимость создания — не единственные проблемы первопроходцев. Еще есть проблемы с безопасностью моделей, юридические риски, связанные с утечкой данных. Всё это может вызвать разочарование в ИИ, рассматриваемом как волшебная пилюля от всех болезней. Думаю, мы увидим в ближайшее время другие подобные статьи с критикой.
Джеффри Мур еще двадцать лет назад подробно описал этот эффект в книге "Внутри Торнадо". Книга не потеряла актуальности и сейчас. "Цикл принятия инноваций" включает состоит из этапов:
• Инноваторы (Innovators): Это первые пользователи, которые принимают новую технологию. Они заинтересованы в самой технологии и готовы рисковать, чтобы попробовать новинки.
• Ранние последователи (Early Adopters): Эта группа более прагматична и оценивает новую технологию с точки зрения ее потенциала для получения конкурентного преимущества. Они часто являются лидерами мнений в своих областях.
• Раннее большинство (Early Majority): осторожны и принимают технологию только после того, как она была проверена ранними последователями. Они нуждаются в эффективных и проверенных продуктах.
• Позднее большинство (Late Majority): Эта группа скептически относится к изменениям и принимает новую технологию только после того, как она становится общепринятой и на рынке появляются стандарты и протоколы.
• Отстающие (Laggards): сопротивляются принятию новых технологий и вынуждены их использовать, когда нет другого выбора.
Переход между ранними последователями технологии и ранним большинством разделяет Пропасть (Chasm). Многие инновации терпят неудачу из-за невозможности удовлетворить более широкий круг потребностей и ожиданий. Генеративный ИИ не будет исключением.
Важно разделять общие ИИ-технологии, такие как ChatGPT/GigaChat/Yandex-GPT, от прикладных решений на их базе. Это разные рынки и у них разные циклы. Генеративные ИИ в виде персональных ассистентов уже преодолели пропасть. OpenAI доминирует на этом рынке: миллионы пользователей каждый день используют ChatGPT.
Однако, для бизнес-приложений еще только предстоит преодолеть Пропасть внедрения. После Пропасти следует стадия Кегельбана (Bowling Alley). На этом этапе технология начинает набирать популярность в определённых нишах или сегментах рынка. Мы уже сейчас видим большое количество вертикальных продуктов, таких как Harvey Legal AI, Abridge AI в здравоохранении, TaxGPT для налоговых целей, и, конечно, Devin - AI-программист. Эти компании обещают клиентам решение старых проблем на новых технологиях и, конечно, новый уровень экономии. Например, если Devin преуспеет и добьется точности своего AI-программиста, близкой к уровню опытного разработчика, для запуска стартапа не потребуется нанимать ни мобильную команду, ни бэкенд-разработчиков, и это приведет к колоссальной экономии средств. Для того, чтобы такой бизнес-эффект стал реальным, потребуется еще не один месяц работы и отладки LLM-моделей для конкретных задач.
Ключевая мысль книги — нельзя перескочить между этапами. Никакая технология не будет установлена в крупные корпорации, пока она не пройдет апробацию первыми последователями. Генеративный ИИ имеет огромный потенциал, но его реализация требует времени и терпения. | 466 |
| 13 | Данил Капустин и Мария Михайлова участвовали в хакатоне (https://geekbattle.online/events/it-purple-hack) и в задании для Банка России заняли 6-е место в рейтинге из 30 команд в разработке чат-бота на LLM. Молодцы, жмите до первого места на следующем конкурсе! 👍
Другие новости Raft:
- У нас новый автор на Хабре - Алексей Бобок написал статью о том, как AI-плагин для JIRA помогает продакту.
- Вышло видео с митапа, где Илья Козырев рассказывает про трюки и техники промптинга.
- Расшифровка моего доклада про обзор угроз на LLM. Редакторы Онтико проделали огромную работу, статью даже пришлось разбить на две части.
Наш тревел-блогер Игорь Новиков выпустил заметку про Техас 🤠. Игорь также восстановил канал на VC, подписывайтесь: https://vc.ru/u/229005-igor-novikov | 326 |
| 14 | Завтра на SafeCode читаю доклад с разбором основных уязвимостей LLM систем и углублением в тему промпт инъекций. Светлана Газизова из AppSec Journey предложила собрать one pager из фреймворка OWASP.
В таблице вы найдете описание каждой, где они возникают и какие рекомендации есть по защите. Ссылка на таблицу OWASP Top 10 LLM OnePager. | 409 |
| 15 |  💜 Без обучения в этой магистратуре найти работу было бы гораздо тяжелее!
Никита Венедиктов — студент 2 курса магистратуры AI Talent Hub «Искусственный интеллект» на треке ПИШ ИТМО, а также ML-инженер и NLP-researcher в компании Raft Digital Solutions.
В рамках небольшого, но очень интересного интервью мы поговорили с Никитой о его карьерном пути и о том, как обучение в магистратуре ПИШ ИТМО помогло получить работу мечты 👆 | 309 |
| 16 | Новости нашей команды:
- Ира Николаева завтра расскажет на конференции DevOps про локальные модели.
- Raft был награжден SberDevices за активную работу с клиентами компании.
- Игорь Новиков опубликовал три статьи на Хабре: о проведении интервью, сравнении архитектуры программного обеспечения с градостроительством и туториал по ускорению работы моделей с помощью дистилляции.
- Данил Капустин написал о том, как атака Token Smuggling обходит даже защиту GPT-4. Подробнее в статье.
- Вышла запись моего доклада с дня открытых дверей ИТМО про безопасность ИИ решений. | 411 |
| 17 | Многие полагают, что дешевые и качественные модели ИИ будут доступны только от компаний вроде OpenAI или Yandex. Второе популярное мнение – для эффективного использования LLM нужно знать промпт-инжиниринг. Это когнитивные искажения, связанные с восприятием ситуации сейчас. Разберем обе точки зрения.
Прошлым летом вышла открытая модель Llama-2. На тот момент все остальные модели уступали на порядок по качеству ответов, а Llama-2 приближалась к GPT-4. Для запуска топовой версии Llama-2 70b требуются несколько дорогих NVidia А100. К слову, одна аренда в месяц одной A100 стоит около $3 тыс. При таких затратах на hardware бизнес-эффективность большинства решений под вопросом. Ситуация за полгода стала другой: архитектура Mixture of Experts дала толчок развитию новым моделям, которые компактнее и сопоставимы по качеству с большой Llama-2 70b. На прошлой неделе Groq показали демо своей LPU-видеокарты, которая в 15 раз быстрее NVidia в инференсе одних и тех же моделей. Уже сейчас можно на ноутбуке запустить LLM с приемлемой скоростью генерации, и не за горами время, когда большая языковая модель будет работать на ваших часах.
Вернемся к промптингу. Сейчас, чтобы извлечь максимум от языковых моделей, требуется знание особых техник промптинга. В арсенале у нас есть трюки вида "I give you $100 tip", SPP агенты, мета-промптинг и т. п. Всё это для того, чтобы пользователь на один и тот же вопрос получал ответ лучше. Несколько недель назад GPT-4 в ChatGPT стала автоматически применять популярные техники "Chain of Thought" и "ASK-Before-Answer", без необходимости указания со стороны пользователя. Релиз прошел незаметно, возможно, вы даже не обращали внимания. Одно за другим такие изменения приведут к тому, что промпт-инжиниринг перестанет быть "профессией будущего" и останется в истории как временная неэффективность языковых моделей. | 449 |
| 18 | Антон Белоусов отлично выступил с докладом в МегаШколе ИТМО, а затем представил ещё более расширенную версию в Рафте. В нём он не только предоставил введение в актуальные тренды AI, но и осветил последние публикации о новых open source моделях и механизмах их работы.
Видео доклада https://youtu.be/K7CREZr3npo | 418 |
| 19 | Как тестировать Open Source модели.
1. Открываем модель на huggingface и используем встроенный интерфейс, например, для модели RWKV. Если модель непопулярна и очередей нет, это самый простой способ.
2. Покупаем у huggingface подписку pro за $9 и запускаем нужную модель на своем аккаунте. Replicate подойдет, для РФ удобно использовать immers.cloud.
3. Недавно нашел быстро тестировать популярные модели через https://labs.perplexity.ai, здесь очередей нет и загрузки моделей не надо ждать. Если исключить llama-70b-chat с высокой ценой, то работать с Mistral/Misxtral там практически бесплатно.
4. Коллеги из RnD регулярно используют https://lmstudio.ai/ для работы с моделями на разработческих машинах. Скачать квантованную версию Mistral-7b и запустить ее на ноутбуке без GPU можно за пару минут. Очень удобно.
Пишите в комментариях ваши любимые тулы/сервисы для открытых моделей. | 508 |
| 20 | Помимо технических статей, Игорь Новиков сделал небольшой лайфстайл-блог на Хабре. Свежий выпуск про Сиэтл вышел сегодня: https://habr.com/ru/companies/raft/articles/793086/.
Предыдущие статьи автора о Майами, о Калифорнии. | 386 |
