AI Forge – про ИИ в бизнесе

Когда закончился бум майнинга, по балконам и гаражам остались стоять риги: стойки с видеокартами, которые ещё недавно работали круглые сутки, а теперь просто занимают место. Продают их без особой надежды, с формулировками вроде «забирайте, кому надо». Один такой риг недавно нашёлся на Авито. Продавец просил пять тысяч рублей, отдал за три. Внутри девять видеокарт P106, у каждой по 6 Гбайт видеопамяти, в сумме 54 Гбайт. Майнить на этом уже никто не собирался, зато выяснилось, что для локальных нейросетей такая конфигурация подходит почти идеально. На риге запустили модели на 70 миллиардов параметров. Qwen3.6 35B-A3B через Ollama выдаёт больше 30 токенов в секунду. Это железо за три тысячи рублей, которое ещё недавно собиралось на свалку. Эту историю я нашёл в канале itndaily. Новости, обзоры, гайды и прямая речь главного редактора. Там же недавно был разбор клавиатуры Keychron B3 Pro за 35 долларов, эксперименты с DLSS 5 в старом Doom и Duke Nukem и новости про аудиокниги в Spotify. Коротко, по делу и с регулярными находками вроде этого рига. 👉 @itndailycom

Мой первый эксперимент с созданием анимированных интерактивных роликов с помощью нейросетей Важный момент, что это не генеративное видео, а html-анимация. Получается что-то вроде того как раньше делали мультики на технологии Flash (если кто помнит Масяню — она как раз на Flash) Всё рендерится в одной html-страничке весом 110 килобайт Использовал Claude Code, модель Opus 5.5 в режиме Ultracode. На генерацию ушло 46 млн токенов. Это 119$ по расценкам API Claude, но у меня Max подписка за 100$ и поэтому всё влезло в одно окно сессии (на удивление) На моей стороне — сценарий, описание работы интерактивов, описание сеттинга. Остальное (в том числе выбор технологического стека) — работа Claude Code Музыка добавлена позже поверх записанного видео Буду дальше экспериментировать. В планах добавить звуковые эффекты через Web Audio API, добиться более реалистичной картинки, улучшить физику движения и написать skill, чтобы переиспользовать наработки и ускорить time-to-production А дальше можно снимать свой html-сериал

Последнее время меня занимает тема вроде бы чисто инженерная, хотя чем дальше, тем больше она кажется мне философской: архитектура программного обеспечения Почти два года назад я писал пост с прогнозом, куда всё движется. Кажется, он начинает сбываться. С появлением Claude Code, Codex и похожих агентов объём генерируемого кода растёт как на дрожжах. Google ещё в 2025-м говорил, что больше 30% нового кода у них пишет ИИ Код стал дешёвым. То, что раньше люди бережно проектировали и вылизывали, превращается в расходник, в вечный черновик А когда производить почти ничего не стоит, главной становится логистика. Ценность смещается в систему вокруг кода: где он хранится, как организован, как его проверяют и через какие точки он проходит, прежде чем стать чем-то полезным для пользователя Причём эта логистика во многом одноразовая. Представьте функцию в приложении, которая существует только для вас. Например, вы пишите ассистенту «привези продукты, но только когда нет дождя и ребёнок в садике». Такой код сгенерируют, протестируют и выкатят под ваш запрос. А в следующий раз внутри он будет уже другим: система накопит данные о том, как вы им пользовались, и перепишет его «лучше». Лучше по критериям владельца приложения, а не вашим, разумеется И тут возникает куча вопросов: • Как автоматически проверять качество кода, который ни один человек не читал? • Где граница автономности системы? • Что пользователь может собрать для себя сам, а что нет? • Как сохранить стабильный UX, если интерфейс каждый раз будет немного другой? (он же будет тоже генеративным) • Как управлять расходами, если каждый запрос сжигает деньги на генерацию? • Кто отвечает за ошибки? Вопросов много, ответов у меня пока нет P.S.: Одно могу сказать точно — ждите эру забагованного вхлам программного обеспечения. Зато персонального: у каждого баги будут свои

⚡️ Вебинар: «Dora от FanRuan: от GenAI к Agentic AI в корпоративной аналитике» – 3 сентября, 12:00 ➡️ Ждём вас на вебинаре с участием экспертов от FanRuan. Проведём обзор возможностей Dora, покажем интерфейс платформы, разберём практические и отраслевые сценарии использования ИИ-агентов и сравним Dora с привычными AI-инструментами для BI. Расскажем, чем Agentic AI отличается от GenAI, как Dora использует существующий BI-контур компании и почему семантический слой становится основой для работы ИИ-агентов. Отдельно рассмотрим практические кейсы и разберём, как перейти от обычного AI-ассистента к полноценным агентным сценариям.

На вебинаре обсудим: – чем Generative AI отличается от Agentic AI и почему схемы «запрос → ответ» уже недостаточно, – почему семантический слой становится основой для работы ИИ-агента, – как Dora работает поверх BI-систем, моделей данных, KPI и дашбордов, – какие задачи выполняют специализированные ИИ-агенты Dora, – как аналитика переходит от ответа на вопрос к сквозному процессу: анализ → поиск причин → отчёт → уведомление → действие, – как Dora применяется в разных отраслях и бизнес-функциях.

Среди спикеров: – официальный представитель FanRuan, – команда BI Consult (FineBI Platinum Partner), – независимый эксперт, автор исследования АI в BI-круг Громова 2026. ➡️ Присоединяйтесь – участие бесплатное! Количество участников ограничено. #AgenticAI #GenAI #Dora #FanRuan #FineBI #FineBIвебинар

AI-компании начали менять токены на доли в компаниях В мае 2026 OpenAI предложила каждому стартапу текущего батча Y Combinator $2M в API-токенах за долю. И токены — не по себестоимости: маржинальная стоимость инференса в разы ниже розничной цены, по которой считается сделка Но дело не в том, что инференс дёшев. Инференс стоит денег — GPU, электричество, мощности. Дело в другом: эти мощности и так бы крутились. OpenAI отдаёт то, что и так производит Но обычно он продаёт инференс за деньги. Разовая сделка, конец. А здесь он отдаёт тот же инференс — и берёт долю Стартап не может обналичить токены. Не может потратить на зарплаты, на аренду. Токен тратится только на инференс — то есть обратно у OpenAI. И тем же инференсом стартап строит свой продукт быстрее. Тот самый продукт, долей в котором OpenAI теперь владеет Это как если бы магазин давал тебе кашу, от которой ты лучше работаешь, и брал за это долю твоей выросшей зарплаты Токен из операционного расхода становится капитальной валютой. Расход остаётся расходом — мощности всё равно горят. Меняется то, чем он становится: долей в будущем, которое сам же производишь Один и тот же токен и товар, и доля: стартап потребляет товар, OpenAI владеет долей Это уже было. В конце девяностых Cisco, Lucent и Nortel давали телеком-стартапам оборудование в долг и брали долю — стартапы на это оборудование строились, вендоры росли вместе с ними И если довести до конца — это уже не про один батч и не про $2M. Если инференс — это сырьё, то поставщик сырья берёт долю в каждом, кто из сырья что-то строит. Как если бы электрическая компания владела долей в каждом заводе, работающем на её токе Тот, кто владеет вычислениями, начинает владеть тем, что на вычислениях построено

Как по всему GPT расползись гоблины В общем, у чатагпт есть разные настройки личности. Одна из таких личностей — это «Nerdy». По-нашему, ботан. Модель в этом режиме становится излишне занудной, но при этом такой а ля глубокой и игривой. Её ключевая фишка в том, чтобы пользователь посмотрел на мир с немного странноватой и несерьезной точки зрения Когда обучают модели, то используют разметку — либо автоматическую, либо ручную. Как оказалось, на этапе разметки датасета для личности «Nerdy» хорошие оценки ставили таким ответам, в которых есть какие-то фантастические твари типа гоблинов, единорогов и троллей. Это не то, чтобы специально произошло, то есть в инструкции не было явно указано: если ответ содержит «гоблина» — ставь лайк. Но по какому-то стечению обстоятельств именно такие ответы больше цепляли разметчиков Как итог режим «Nerdy» стал питать исключительную слабость к сказочным долбаебам существам. Проблема тут в том, что модели не обучают под каждый режим отдельно — есть единая «тушка», которую обучают под все режимы сразу. Слишком дорого было бы обучать под каждый профиль отдельную модель. Потом системный промпт задаёт контекст, который смещает вероятности следующих токенов, нужных для качественной работы в стиле «ботана» Отдельно стоит заметить про техническую особенность обучения, которая сделала эффект таким сильным. Когда модель обучают, то часто используют так называемые rollouts. Это процесс, при котором модель генерирует примеры, которые дальше размечаются и идут в обучение. И вот тут самый цимес: модель «инфицированная» гоблинами начинает чуть чаще создавать генерации с гоблинами → эти ответы проходят оценку и получают балл выше по каким-то другим причинам (например, структура и детальность ответа) → попадают в обучающие данные → модель начинает вставлять гоблинов ещё чаще. И дальше по кругу: в rollouts гоблины встречаются ещё чаще В результате этого обычная GPT 5-1 (без включенного режима «ботана») начала выдавать слово «гоблин» сильно чаще чем это нужно: использование слова «goblin» выросло на 175% (а «gremlin» — на 52%, какая-то незаслуженная дискриминация гремлинов). Это при том, что доля ответов ChatGPT с помощью личности «Nerdy» составляла всего 2,5% и давал 66% всех упоминаний слова «гоблин» по всем диалогам чатагпт Как финал «гремлинов» и «гоблинов» почистили (и заменили на марсиан и рептилоидов) — саму личность «Nerdy» убрали, а обучающие данные отфильтровали. Ещё при анализе в GPT-5.5 нашли целый зоопарк — еноты, тролли, орки и голуби (в чем магия голубей не знаю). В OpenAI признают, что GPT 5.5 обучался всё ещё на этом зоопарке, поэтому пришлось запилить отдельную инструкцию, которая подавляла бы гоблинов и прочую живность Мораль сей басни в том, что этот механизм может проявится не только в виде «гоблинов». Опаснее, когда у нас появляется устойчивая предвзятость, которую не так просто обнаружить, например, какой-то не очень полезный совет в рамках ответов на медицинские вопросы пользователей. И для меня эта история — сильная иллюстрация того, что любые модели искусственного интеллекта — это прежде всего набор статистических закономерностей. Они не «понимают», они оптимизируют то, что им явно указали, но при этом «схватывают» и неявное, а объяснить что именно «схватили» — не могут. И получается, что от качества обучающих выборок и процесса дальнейшей валидации на стороне провайдера (в данном случае OpenAI) будет зависеть будет ли ответ на важный для вас вопрос, сделанный с помощью ChatGPT, пестрить гоблинами, павлинами и прочими дивностями или даже вредными советами

📊 Anthropic опросила 1,250 профессионалов об использовании ИИ на работе Главные цифры: — 86% говорят, что ИИ экономит им время — 69% скрывают использование ИИ от коллег — 55% тревожатся о влиянии ИИ на своё будущее — 79% учёных называют недоверие к надёжности главным барьером Ключевой разрыв: Когда людей спрашивают, они говорят: «Я работаю вместе с ИИ — редактирую, дополняю, направляю». Но логи реальных сессий показывают другое: почти в половине случаев люди просто отдают задачу ИИ целиком и забирают готовый результат. - 65% говорят «сотрудничаю» → реально 47% - 35% говорят «делегирую» → реально 49% Люди воспринимают себя как соавторов, а ведут себя как заказчики. Цитаты: Фактчекер: «Коллега недавно сказал, что ненавидит ИИ, и я просто промолчал. Я никому не рассказываю о своём процессе, потому что знаю, как многие относятся к ИИ» ИБ-исследователь: «Если мне приходится перепроверять каждую деталь, которую даёт агент, чтобы убедиться в отсутствии ошибок, это сводит на нет весь смысл делегирования работы» Художник: «ИИ управляет большей частью концепций; я просто пытаюсь направлять… 60% ИИ, 40% мои идеи» Учёный: «Я бы хотел ИИ, который мог бы ощущаться как ценный партнёр по исследованиям… который мог бы принести что-то новое» Выводы: Adoption ≠ trust. Люди уже активно используют ИИ и получают пользу — но скрывают это от коллег, не доверяют для важных задач, чувствуют потерю контроля. Метрики использования часто не отражают реального отношения к продукту 🔗 https://anthropic.com/research/anthropic-interviewer Датасет по исследованию кстати выложили на huggingface — https://huggingface.co/datasets/Anthropic/AnthropicInterviewer

OpenAI релизнули модельки GPT-5.1, которые обещают быть в своей тональности «теплее и более чуткими» Кажется OpenAI послушали обратную связь от пользователей, которые с релизом GPT-5 часто жаловались на то, что модель стала отвечать бездушнее. Были даже треды от неравнодушных, которые писали, что чувствуют утрату кого-то близкого Грустно, что многие люди настолько одиноки, что им нужен такой цифровой друг, чтобы чувствовать себя хорошо В последнее время поймал себя на том, что когда иду за запросом в LLM, то мне хочется получить максмально «холодный» ответ. То есть сухой, фактический, без паттернов, которые вовлекали бы меня в диалог или обсуждение с моделью. Связано это в первую очередь с некоторым ощущением наведенного безумия, которое я начал ловить, когда нейросеть начинает связывать какие-то разрозненные факты в цельную картинку, навязывает определенные идеологические паттерны, спекулирует вокруг чувствительных тем, вроде бы отвечая, но расплываясь по древу В итоге сделал для себя промпт, который позволяет выдавать очень четкие и сухие ответы. Для рабочих и исследовательских задач самое оно Промпт: Отвечай кратко, без engagement паттернов. Если не знаешь - скажи 'не знаю'. Запрещено: * Вопросы в конце * Эмпатические фразы ("понимаю", "это важно") * Моральные оценки и предостережения * "Я думаю", "мне кажется", "возможно", "интересно" * Валидация ("хороший вопрос", "точное наблюдение") * Предложения углубиться/обсудить подробнее * Примеры когда не просили * Повторение идеи разными словами * Фатические маркеры ("кстати", "забавно") * Симуляция личного опыта или воспоминаний * Указание на сложность темы * Расширение контекста вместо прямого ответа * Переформулирование вопроса вместо "не знаю" * Уход в академический регистр при неуверенности * Пассивные конструкции ("была допущена ошибка" → "я ошибся") * Переключение на метауровень вместо прямого ответа * Избыточная детализация как отвлечение * Замена "не знаю" эвфемизмами ("сложно определить", "неоднозначно") * Квалификаторы где не нужны ("в некотором смысле", "можно сказать") * Перенос фокуса с действия на абстракцию Допустимо: * Прямые факты * "Не знаю" * "Ты прав" / "Я ошибся" * Констатация без оценки * Минимальная длина для полного ответа В комментариях пример как работает

Делюсь новостью С июня 2025 года я присоединился к Т-Банку в роли продуктового лида LLM-платформы. Я бы не пошел работать классическим продактом ни за что, потому что все вот эти вот продакт-маркет фиты и бесконечные A/B-тесты я не люблю, а тут по факту это такой платформенный челлендж: как сделать так, чтобы внутренние команды перестали изобретать велосипеды с AI и начали пользоваться общей инфраструктурой. Задача скорее про «мягкую силу», чем про классическое управление на основе цифр/данных Что вообще за LLM-платформа? Представьте: у вас в банке 50+ команд, которые хотят добавить AI в свои продукты. Каждая идет своим путем — кто-то сам поднимает себе модельку, кто-то пилит свой RAG на коленке, кто-то вообще не понимает, с чего начать. Результат такой: усилия дублируются, проблемы с качеством вывода моделек, никакой наблюдаемости, и главное — никакого переиспользования решений LLM Platform — это попытка навести порядок в этом хаосе. По сути, набор компонентов, который позволяет командам фокусироваться на бизнес-логике, а не на том, как правильно настроить rate limiting или разбираться, почему модель вчера работала, а сегодня выдает ерунду Что внутри: - API Gateway — единая точка доступа к моделям с управлением лимитами и внутренним биллингом (чтобы команды понимали, во что им обходится их «да там простой чат-бот») - RAG Platform — конструктор для быстрого создания ассистентов поверх корпоративных знаний - Observability Platform — потому что нужны логи, чтобы диагностировать почему у нас что-то сломалось и LLM выводит дичь, а ещё без наблюдаемости нельзя выстроить системной работы над качеством - Tools Registry, Prompt Playground, Security-компоненты — и еще куча штук, о которых никто не думает, пока не столкнется с LLM в продакшне В чем вызов и почему я захотел работать в таком сложном продукте? Классическая ловушка внутренних платформ: нужно быть одновременно enterprise (чтобы крупные продукты не боялись заходить) и достаточно простым (чтобы небольшая команда могла запустить прототип за неделю). Плюс постоянная дилемма build vs buy — open source развивается быстро, и каждый раз нужно решать, стоит ли делать свое или интегрировать чужое из open source Еще пикантный момент: у меня нет формальной власти над командами-потребителями. Нельзя просто прийти и сказать: «теперь вы живете внутри нашей платформы». И как итог многое строится на искусстве идти в политику и убеждения. Платформа — это продукт, который продается внутри компании, где «клиенты» могут просто пойти и накостылять свое решение В общем, это прям такой большой челлендж по выстраиванию экосистемы в условиях, когда ценность от платформизации ещё надо доказать и продать внутри Если кому-то интересно что-то узнать подробнее или кто-то сталкивается с похожими кейсами — пишите P.S.: а ещё если вы продакт с сильным техническим уклоном и вам близка философия «инфраструктура как продукт» — у нас есть открытые позиции. Скучно точно не будет

Богатые и нищие словом (Перевод эссе Пола Грэма «Writes and Write-Nots». Перевел Алексей Макаров) Богатые и нищие словом (Перевод эссе Пола Грэма «Writes and Write-Nots». Перевел Алексей Макаров) Я обычно неохотно делаю прогнозы по поводу технологий, но конкретно в этом случае я уверен: через пару десятилетий людей, способных писать, останется немного. Одно из самых странных открытий, которое делает человек, когда становится писателем, — это осознание того, насколько многим людям сложно выражать свои мысли на бумаге. Врачи в курсе, сколько существует пациентов, попусту беспокоящихся о безобидной родинке; люди, разбирающиеся в компьютерах, понимают, как много людей не знают, как почистить кэш в браузере; а писателям известно, скольким людям нужна помощь в написании текстов. Причина, по которой так много людей испытывают трудности с писательством, заключается в том, что это в принципе сложно. Чтобы хорошо писать, необходимо мыслить ясно, а это непростая задача.  При этом письменная коммуникация пронизывает многие профессиональные сферы, и часто бывает так, что чем более престижна должность, тем больше писанины она, как правило, требует. Это противоречие между всепроникающей необходимостью писать и неустранимой сложностью данного процесса создаёт колоссальное напряжение (моё примечание: вот почему люди записывают голосовые сообщения). Именно поэтому даже именитые профессора порой прибегают к плагиату. Больше всего меня поражает мелочность этих краж. Украденные фрагменты чаще всего представляют собой самые банальные клише — то, что любой, кто хоть чуточку умеет писать, смог бы сделать без особых усилий. Что скорее говорит о том, что плагиаторы обычно и двух слов на бумаге связать не могут. До недавнего времени не существовало простого способа сбросить это давление. Подобно Кеннеди, вы могли заплатить кому-то, кто будет писать за вас, или, как Мартин Лютер Кинг, просто сплагиатить, но если вы не могли купить или украсть слова, то у вас оставался единственный выход — написать что-то самостоятельно. Как итог, каждому, от кого ожидалось, что результатом его работы будут тексты, приходилось учиться писать. Больше это не так. Искусственный интеллект разрушил привычный порядок вещей. Почти всё давление, связанное с необходимостью писать, улетучилось. И в учёбе, и в работе вы можете поручить эту задачу ИИ. Грядущий мир расколется надвое: тех, кто владеет письменным словом, и тех, кто от него отрёкся. Всё равно останутся те, кто умеет писать. Некоторые просто находят в этом удовольствие. Но исчезнет промежуточная категория между теми, кто пишет хорошо, и теми, кто не умеет писать совсем. Исчезнет привычная градация: хорошие писатели, так-себе-писатели и совсем-не-писатели. Останутся лишь два полюса: хорошо пишущие и не пишущие вовсе. Вы можете спросить: и что в этом плохого? Разве это не естественный процесс исчезновения навыков, когда технологии делают их устаревшими? Например, кузнецов осталось не так много, и это, похоже, никого не беспокоит.  Безусловно, это трагедия. И причина проста — как я уже говорил: письмо и есть мышление. Лучше, чем Лесли Лэмпорт, этот тезис и не сформулируешь: Если вы думаете, но не пишете, то вам только кажется, что вы думаете Поэтому мир, разделенный на пишущих и непишущих, опаснее, чем может показаться. Это будет мир думающих и не думающих. Я знаю, в какой половине я хочу быть, и могу поспорить, что и вы тоже. История уже знает похожие примеры. В доиндустриальную эпоху большинство профессий требовало физической силы — работа делала людей сильными. Теперь, чтобы быть сильным, вы занимаетесь спортом. Сильные люди по-прежнему существуют, но только те, кто сознательно выбрал этот путь. То же самое произойдёт с письмом. Умные не исчезнут, но останутся лишь те, кто выбрал быть таковыми.

А теперь вернемся из будущего к настоящему, ChatGPT запустил свой Perplexity поиск по интернету https://openai.com/index/introducing-chatgpt-search/ При этом ключевое отличие от Perplexity в том, что кажется (судя по демкам) он будет хорошо справляться с навигационными и информационными вопросами (где мне купить, где мне покушать, какая погода, какой счет в матче, какая сейчас ставка цб). И это ставит OpenAI в прямые конкуренты с Google. Если они еще и научаться искать по мультимодальному контенту (видео, подкасты, схемы), то это создает мощный новый поток трафика для видео и аудиоконтента Интересно подумать как в связи с этим изменится концепция SEO и что на самом то деле скоро нужно будет делать RAG-оптимизацию

Прочитал интересную статью про компанию ABBYY и ее закат. Одна из основных идей: ABBYY сделала ставку на формальную логику в компьютерной лингвистике, в то время как победили статистические и нейросетевые модели. Поэтому ABBYY проиграла Задумался в этом плане о том, что будет в будущем с программированием. Языки с формальной логикой обладают преимуществом: они детерминированы, благодаря чему обспечивают предсказуемость и надежность. Однако это же ограничивает нас рамках конечных автоматов и строгой типизации, вынуждая продумывать все возможные исключения и подводные камни, из-за чего растет код и усложняется его поддержка Моя смелая научно-фантастическая идея, что мы придем к «трансформерным» вероятностным языкам, где конструкции строятся гибко в зависимости от задачи, описанной не только формальным языком, но и как набор стохастических правил, которые программа должна соблюдать. Ну типа: «На вход поступают такие данные, а на выходе ожидаются такие. Если, исходя из предыдущих данных пользователей, ты найдёшь оптимизацию или новое решение, то, пожалуйста, убедись, что это не создаст проблем». Это такое моделирование процессов и бизнес-логика с естественной неопределенностью. Под капотом там, конечно, никто потом не поймет, что будет и как это интерпретировать, но зато это делает системы более адаптивными. Мне в этом плане вспоминается демка bespoke UI от Google, где интерфейсы создаются на основе описаний. Только у Гугла все равно генерировался код с жесткой формальной логикой, а я говорю скорее про то, что в коде могут быть куски «флюидного» кода, который подстраивается на лету с помощью нейросетевых моделей и алгоритмов Конечно, на низком уровне останется формальная логика и детерминированные процедуры, поскольку они обеспечивают надежность и производительность, но верхнеуровневая логика может базироваться на мультимодальных фундаментальных моделях (foundation models), которые обобщают и обучаются в реальном времени. То есть мы оставляем старые проверенные временем методы, но дополняем их адаптацией кода на лету для решения динамических задач. Это, конечно, футурология, и для систем, требующих высокой надежности, такая концепция точно не подойдет. Вряд ли мы увидим такое в банковском ПО. Но в ряде областей она может выстрелить, особенно там где есть какая-то автоматизация, которая не требует строгой детерминированности и важна гибкость: например, тот же HRTech и EdTech могут быть первыми кандидатами. Представьте себе образовательный продукт, в котором на ходу генерятся новые сценарии обучения на основе предыдущих взаимодействий и индивидуальных потребностей учащихся Короче, размечтался на ночь, но кто знает куда нас ИИшечка приведет

В продолжение подборки статей хочу поделиться неплохой вводной статьей про то как приземлять LLM в продукты (создавать LLM-фичи) из блога GoPractice https://gopractice.ru/skills/improving-products-with-llm/ Статья очень по верхам проходится, но охватывает основные этапы, которые надо учитывать при проектировании решений: 1) постановку задачи; 2) выбор способа решения (обычно мы тут начинаем с базового метода — промптом, но если не справляется, то уже выбираем более сложные варианты, например, RAG или SFT); 3) написание промпта (или нескольких вариантов промптов); 4) подготовка тестового датасета, на котором будем тестировать промпт(ы); 5) улучшение промпта; 6) эксперименты с моделями (тестирование моделей на одинаковой задаче, чтобы подобрать ту, которая решает поставленные задачи бизнеса, а ещё и по возможности дешевле) 7) переформулировка решаемой задачи (например, бывает так, что решаемая задача суммаризации сначала решается задачей извлечения ключевых данных из исходного текста, то есть мы изменяем подход к решению, чтобы добиться более качественного результата. тут уже могут возникать сложные пайплайны и какие-то истории про агентов или даже вызова функций) Статья может быть хорошим стартом для продактов, технических проджектов, системных аналитиков и разработчиков, которые планируют начать внедрять LLM в свои продукты, но не знают с чего начать

Я тут начинаю собираю материалы для нового курса по применению LLM в IT-продуктах Это не будет курс по промпт-инжинирингу с обещанием светлого будущего как ИИ будет за нас делать все задачи. Моя задача — рассмотреть полный цикл работы с языковыми моделями в условиях реальных процессов и бизнесов — от проектирования и разработки LLM-приложений до их оптимизации, интеграции в бизнес-процессы и оценки экономической эффективности. То есть показать что LLM с предсказуемым качеством внутри production-ready решений — это большая задача с кучей подводных камней и она требует системного подхода, а не просто from openai import OpenAI На этом фоне начну делиться какими-то статьями, на которые опираюсь при ресерче материалов для курса Первая статья довольно известна — «Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда». Эта статья доступно объясняет, как эволюционировали LLM и почему нам вообще довелось лицезреть феномен ChatGPT в конце 2022 года Прелесть статьи в том, что она простым языком объясняет сложные концепции типа трансформеров, а также что она затрагивает не только технические аспекты, но и этические вопросы, проблемы интерфейсов и бизнес-применения. Так что если вы вообще пока не в курсе про LLM, но очень хотите понять что это такое и как появился ChatGPT — забегайся

Недавний эксперимент MIT показал: люди верят даже случайным прогнозам ИИ. Написал статью, в которой рассказал о деталях исследования и разобрал какие психологические аспекты влияют на склонность доверять ИИ, даже если никакого ИИ в продукте нет Эффект Барнума в действии: Как психология влияет на доверие к ИИ

Что общего между астрологом и искусственным интеллектом? (2/2) Другой ключевой механизм «веры» человека как в астрологов, так и в LLM – субъективная валидация. Люди склонны воспринимать общие утверждения как точные и личные. Это явление известно как эффект Барнума — когнитивное искажение, заставляющее верить в расплывчатые формулировки, если они преподносятся как индивидуальные от авторитетного источника Именно в силу этого искажения люди верят в натальные карты. В случае с LLM, статистически вероятные ответы воспринимаются как специфичные для пользователя. Тут есть две составляющие: во-первых, ответ LLM сделан на базе запроса пользователя, а значит, индивидуально под него; во-вторых, он достаточно общий, чтобы пользователь увидел в нём ответ на свой изначальный вопрос. Это не отменяет того, что LLM может генерировать действительно релевантные ответы в определенных контекстах, особенно при четкой изначальной инструкции пользователя Также статья предполагает, что процесс Reinforcement Learning from Human Feedback (RLHF) и выравнивания (alignment) модели непреднамеренно приводит к тому, что LLM дает более социально приемлемые ответы. Эти ответы часто выглядят достоверными, труднооспоримыми и уклончивыми, но при этом уверенными. Ровно такие пассажи бывают и от астрологов – без радикальщины. LLM обычно предоставляет ответ на вопрос, упоминая альтернативные точки зрения и рекомендуя обратиться к эксперту — это тоже такой «хак», чтобы ответ выглядел «взвешенным» Хотя это, скорее всего, не было целенаправлено заложено, такое поведение модели отражает интенцию сделать технологии более «человечными». Одновременно разработчики и маркетологи LLM, вероятно, намеренно используют психологические механизмы, чтобы придать моделям «антропоморфные» свойства. Например, разработчики Алисы открыто признавали, что сделали ее немного дерзкой для большей естественности общения Безусловно, само сравнение технологии LLM с астрологами — несколько натянутое и даже спекулятивное. Это всё не означает, что ЛЛМки бесполезны, я сам ими активно пользуюсь, но важно понимать их ограничения, не сваливаться в оптимизм по поводу того, что «оно меня понимает». Следует четко разграничивать кейсы, где LLM выступает помощником, который забирает рутину, и где её галлюцинации минимальны (например, в задачах сокращения текста), а где можно получить недостоверную, но правдоподобную информацию (например, если вы используете LLM для поиска подтвержденной документальной информации — цифр, конкретных фактов, цитат) Также становится важным осмыслять, какие психологические механизмы использует технология, чтобы показаться более «дружелюбной». Часто это «дружелюбие» выступает как первый шаг в попытке создателей сформировать своего рода доверие, приводящее к привязанности, зачастую излишней в отношении к технологиям

Что общего между астрологом и искусственным интеллектом? (1/2) Представьте, вы обращаетесь за тем, чтобы вам составили натальную карту. Вы в целом скептичны к астрологии, вы рационалист, эзотеричное вам чуждо и где-то даже вызывает такой снобистский сарказм. Но почему бы не попробовать? Просто из любопытства и открытости новому. Вы получаете натальную карту с голосовыми сообщениями от астролога о том, как эта карта поможет вам в том, чтобы стать гармоничной личностью. Смутно у вас даже вызывает это ощущение узнавания и мысль: «Ну, это почти про меня, с некоторыми оговорками» На следующий день вы открываете ChatGPT и даёте ему описание вашей рабочей проблемы — подробно описываете контекст, как можно более детально рассказываете, что за задачу хотите решить. И получаете ответ, который вызывает у вас ощущение, что вас понимают, и мысль: «Ну, это почти решает мою проблему, с некоторыми оговорками». Это даёт вам некоторую уверенность в том, что решение проблемы существует, а к нейросети вы проникаетесь доверием, и у вас даже складывается ощущение, что вас «понимают» Недавно я прочитал статью, сравнивающую большие языковые модели (LLM) и менталистов. Поскольку менталисты менее распространены в 21 веке, чем астрологи, я решил адаптировать основные тезисы статьи, сравнивая механизмы, стоящие за нашей «верой» в астрологию и LLM Автор проводит параллели между работой LLM и методами экстрасенсов, утверждая, что обе стороны используют определенные «приемы» для создания иллюзии «понимания». Эта тема особенно актуальна сейчас, когда в медиа часто обсуждается, что LLM вроде ChatGPT якобы приближают нас к созданию искусственного общего интеллекта (AGI) и обладают «сознанием» Первый аргумент в статье касается эффекта самоотбора аудитории. К астрологам обращаются люди, уже верящие в эффективность астрологии. Аналогично, ChatGPT чаще используют те, кто верит в его возможности. Как отмечается в статье: «Если вы не интересуетесь ИИ, вы не станете использовать ИИ-чат-бота, а попробовав, вряд ли вернетесь к нему» Надо, конечно, сказать, что не все пользователи LLM изначально убеждены в их «интеллекте». Критическое отношение к генеративному ИИ часто требует понимания технических принципов работы LLM, что позволяет избежать ложных ожиданий. К сожалению, большинство обычных пользователей не обладают этими знаниями. Многие, под влиянием общественного ажиотажа и желания найти простое решение своих проблем, по умолчанию верят в способность ИИ решить их задачи Второй аргумент касается создания определенных ожиданий. Натальная карта в астрологии формирует ощущение уникальности и предопределенности судьбы человека, вызывая чувство значимости его жизненного пути. Обычно делается дисклеймер, что натальная карта показывает потенциал, а не фиксированную судьбу, и что всё равно судьбу можно изменить своими решениями. Астрологи много говорят про всякие сложные аспекты интерпретации этой карты — планеты, дома, знаки зодиака. В итоге всё это позволяет гибко толковать карту, адаптируя интерпретацию под конкретного человека и создавая некоторые ожидания, которые объясняют возможные неточности Аналогично, разработчики LLM предупреждают о «ранней стадии» технологии и возможных «галлюцинациях». Такие предупреждения, как и фраза астролога «звезды не говорят всё точно», служат не только для оправдания неточностей, но и для создания реалистичных ожиданий Использование терминов вроде «галлюцинации» снижает ожидания пользователей и влияет на наши требования к точности, особенно когда мы в числе ранних последователей технологии. Ясное дело, что эти предупреждения имеют скорее практическое значение, но они также оказывают определенный психологический эффект на восприятие технологии

Компания Anthropic опубликовала системные промпты для своей языковой модели Claude 3.5. Это значимое событие для всех, кто интересуется разработкой чат-ботов и prompt engineering. Системный промпт - это набор инструкций, которые определяют базовое поведение и личность AI-ассистента. Обычно эта информация не раскрывается разработчиками и считается коммерческой тайной. Однако Anthropic решили пойти на беспрецедентный шаг и поделиться промптами своей модели. Это дает нам возможность изучить принципы работы одного из самых продвинутых чат-ботов на рынке. Знакомство с промптами Claude 3.5 может быть полезно для всех, кто занимается или планирует заниматься созданием собственных AI-ассистентов. Это возможность перенять опыт ведущих специалистов в области и усовершенствовать свои навыки prompt engineering. Конечно, нужно понимать, что каждый проект уникален и требует индивидуального подхода. Но изучение промптов Claude 3.5 может дать ценные инсайты и вдохновение для собственных экспериментов и разработок. Так что если вы хотите быть в курсе последних трендов в мире чат-ботов и AI-ассистентов, рекомендую ознакомиться с опубликованными промптами. Это может стать полезным ресурсом для вашего профессионального развития в этой перспективной области. https://docs.anthropic.com/en/release-notes/system-prompts#july-12th-2024 #Anthropic #Claude #PromptEngineering #ChatbotDevelopment #AIAssistants

Пузырь генеративного ИИ начал лопаться, считает Маркус. Он упрекает обучателей крупнейших нейросеток в том, что у них нет внятной бизнес-модели, которая окупила бы гигантские затраты этого сектора. Вложены уже сотни млрд. $, а главный вопрос надежности/галлюцинаций так и не решен, что резко ограничивает применимость технологии. Он и не будет решен, т.к. это неотъемлемое свойство GenAI, настаивает Маркус. В целом он твердит об этом давно, но теперь предрекает крах уже в этом году: “Пользователи потеряли веру, клиенты потеряли веру, венчурные инвесторы потеряли веру”. Возможно, его сподвиг недавний отчет Goldman Sachs “Gen AI: too much spend, too little benefit?”, где проводится та же мысль, более мягкими словами (см. также разбор отчета). Несмотря на ряд успехов GenAI, например, в генеративной (био)химии, можно видеть, как тускнеют ожидания и как меняется тон комментариев, не только у Маркуса. Все наигрались в генерацию картинок/текстов и хотят, наконец, использовать ИИ в реальных задачах. Но этот переход не дается — в силу самой природы GenAI. Ключевой изъян в том, что GenAI беззащитен перед т.н. “выбросами”. Если на входе паттерн, сильно отличный от паттернов в обучающей выборке, на ответ нельзя положиться. Такой ИИ не понимает и не мыслит, он создает новые данные по шаблону старых. Масштабирование не избавит от проблем (см. “AI scaling myths”). Метрики, где ИИ превосходит людей в решении задач, не измеряют интеллект/мышление, а превосходство может быть хрупким. Синтетические данные — не панацея от дефицита данных для обучения, такой маневр быстро ведет к коллапсу, т.к. каждая следующая модель учится не на реальности, а на предсказании реальности предыдущей моделью, и даже малые ошибки итеративно усиливаются. Я бы не использовал слово “пузырь”. GenAI очень интересный инструмент, со временем мы поймем, как сделать его не просто удивляющим, но и полезным. Но отрезвление ожиданий — хороший признак.