random AI channel name

Амодей (Антропик) и Хассабис (Дипмайнд) уютно пообщались на уютной сцене Международного Экономического Форума в Давосе

использую ИИ агента с моделью, чтобы он сделал скрипт и подобрал параметры запуска модели, чтобы пользователи могли делать себе ИИ агентов. yo dawg

релокация, бег, выход

кстати, вполне забавно, что с приходом ИИ все побежали делать свои идеи и у всех теперь не 1 или 2 пет проекта, а 10-20 :) раньше как? пришла идея, сколько-то дней надо покрутить в голове, спланировать, оценить, увидеть проблемы, отказаться делать. сейчас как? пришла идея – не думаем, пишем промпт. как результат – ценность хорошей идеи выросла

Как обычно: • инженерный уровень (оркестрация умнее; прокидывать почаще “tool choice: required” при вызове след суб агента; работа с настройками агентов) • ллм-уровня (редачить промпты, редачить шаблон чата модели, шатать настройки инференса) Рассмотрим парочку. Очевидной идеей является снизить пустые блуждания модели по тулам с помощью промптов. Давайте мол ей скажем как устроена наша жира или графана, тогда она сразу пойдет туда куда нужно, а не будет перебирать пустые запросы или выгружать всю историю проекта, забивая контекстное окно и приближая нас к "я сделаль" вместо подтвержденных гипотез. Для развесистых систем какого-то большого и сложного продукта такие инструкции скажем по системам мониторинга типа графаны или прометеуса или карта жиры могут занимать десятки тысяч токенов. Уже неклево. А что если не грузить их в каждый промпт, а добавить агентика, который будет отдельным запросом подгружать нужные части карт чз RAG (подход retrieval augmented generation; еще один костыль в мире ллм, но о том почему это костыль поговорим в другой раз). Так вот. Суть подхода в том, что модель ничего не знает о наших системах, поэтому на нужных промптах мы находим похожие данные во внешнем (по отношении к модели) хранилище и подсовываем найденные данные в модель. Вуаля модель как будто знает что-то о нас. Для такого поиска и подстановки используются так называемые эмбеддинг модели (и векторные базы данных), которые как раз и векторизуют наш файлик с картой и могут обеспечить то самое подсовывание в модель. Ну и все бы ничего, но индустриальным стандартом для RAG является использование открытых эмбеддингов компании OpenAI. А теперь угадайте какая страна заблокирована в доступе по апи к эмбеддингам)? Будем разворачивать селф хостед. Развернул модель Embeddings Gemma (от компании Google). Короч, такие дела. Во многих корп средах агенты уже вышли из стадий экспериментов и активно масштабируются (в том же тиньке мастер агентов уже сотни, в сбере перевалило за тыщу). Как говорили протосы в великой оригинальной StarCraft – you’ve not enough minerals, we require more vespen gas.

Держу в курсе о приключениях под капотом ии-агентов, которые огонь-ии-всех-забустит. Например, мы хотим, чтоб мастер агент решал какую-то умную интеллектуальную задачу. Скажем, выдвигал гипотезы об айти инцидентах. Все в курсе, что когда та или иная айти система (а в средней и крупной компании их сотни) падает, то компания теряет много денег. Поэтому чем быстрее человек нашел причину, нашел команду и пофиксил, тем лучше. А что если нам сделать агента, который будет помогать человеку быстрее находить причину. Чтобы сделать такого умного помогающего веселого и просто красавца агента этого нам нужна (сюрприз) ИИ-модель. Есть допустим модель gpt oss 120 млрд параметров на одной видеокарте а100 nvidia. Неплохая модель, думающая. Умеет вызывать тулы. Вся модель оригинально на 130к токенов (может вместить несколько книг), но не влезла в GPU nvidia, так что урезали до 75к токенов. Ну ок. Кроме модели нужны собственно, дада, вы догадались, тулы. Можно про тулы думать как про руки модели. С помощью них модель приобретает те самые агентские возможности. Т.е. может не только думать и говорить, но и делать что-то в каких-то системах для человека. Много тулов одного сервиса доступны чз так называемый MCP сервер. Например, MCP сервер про Jira/Yandex/Google Workspace/you name it. Короч, агент = ризонинг модель + MCP сервак (набор тулов) + промпт для поведения модели. В промптах все как всегда — будь добрым, богатым и счастливым иди найди тикеты инцидентов в жире, пошурши в графане, придумай гипотезы инцидента, проверь их с помощью MCP, вернись к юзеру с результатами. Чуть сложнее, но вы поняли идею. Ну и конечно, агенты могут передавать результаты друг другу. Для этого есть оркестрация, но сегодня не будем про это. И вот получается под капотом есть мастер агент, который собирает всех суб агентов, которые в свою очередь шуршат по айти системам и делают каждый свой маленький кусочек задачи, общаются с мастер агентом и иногда друг с другом. Мастер агент собирает, думает, анализирует и выдает пользователю результат – подтвержденная гипотеза о причинах инцидента. Можно фиксить причину инцидента. А теперь приколы. Как вы можете догадаться такие истории не могут обходиться без приключений. Мастер агент вызывает суб агентов, те дают промежуточные результаты, описание, метрики, изменения, код, но тут наступает интересное. Иногда к четвертому-пятому вызову суб агентов контекст диалога раздувается на 70к токенов. И в итоге модель в ризонинге пишет, что все хорошо, мол, хозяин, я шуршу, собираюсь тут пошуршать еще, но не пробрасывает это в вызов тулов. И в итоге вместо вызова следующего суб агента выводит сообщение юзеру от предыдущего суб агента в формате «я сделаль». Юзер сидит и не вдупляет, что это за фигня и откуда это ему прилетело. Ведь ему же сказали, что агенты пушка-огонь-agi, а оно какую-то чушь про найденные изменения в коде пишет и даже не гипотезы инцидента (поиск изменений в коде – это суб агент, предваряющий суб агента с гипотезами). Почему контекст раздувается можно еще целое сообщение написать, но ограничимся некоторыми. Например, это происходит из-за того, что модель не всегда знакома со спецификой тулов конкретного MCP сервера (жиры, например) и делает повторяющиеся пустые вызовы тулов или наоборот слишком жирные вызовы которые запрашивают всю историю по проекту инциденты (а это сотни и тысячи инцидентов с десятками полей текста и комментариев), а на это уходят те самые токены контекста. Или например, из-за того, что с развитием компании данные в системах (жира организуют и поддерживают разные люди по разным меняющимся паттернам. В той же графане я частенько вижу 35 разных дешбордов с разными панелям по-разному заполненными с разными полями и тп. И это лишь верхушка айсберга причин раздувания токенов. Соответственно есть несколько способов повышать надежность агентов, чтобы они чаще давали ожидаемый результат и тратили на это поменьше токенов (видеокарт).

так победим. если что, такие модельки нужны для RAG, а RAG это второй главный костыль для LLM

Вслед за Claude Code (раньше чем у Cursor в паблике) у агентов в AI IDE Antigravity by google появились скиллы! Версионируемые инструкции как агент должен выполнять те или иные таски. Все то, что мы пытаемся засунуть в агента чз mcp и промпт теперь находится в отдельной сущности и добавляется к вызову в модель (главное, чтобы модель еще умела правильно читать эти скиллы, ха). Но самое главное — единый стандарт, версионность и тот факт, что из можно переиспользовать в других агентах, а не cmd c cmd v вот это всё

Сбер ГигаЧат добавили в главную селфхостед проксю для ИИ-моделек – LiteLLM

короч, держу в курсе. если ваша мульти-агентная система вначале пошла по неверному пути решения задачи, то тк каждый новый суб-агент получает историю предыдущих суб-агентов, то чз пять-семь левых вызовых неправильных инструментов и суб-агентов, контекстное окно близко к переполнению. решение: лучше инжинирим контекст и бьем на миллион небольших агентиков. ну и да, модели лучше и лучше, но как было 3 года назад “без тз – результат хз”, так и осталось. а еще gpt-oss-120b – треш полный, но на удивление это единственная в мире модель, которая влазит в одну а100 нвидиа и умеет в ризонинг и вызовы тулов и тексты. про это я потом как-нибудь отдельно напишу

какое-то у нас разное понимание слова efficient

Ну как скажешь, ты же у нас ИИ

Линус наш

слышь, сюда иди

очень рандомный brain dump по наблюдениям за 2025 год в saas x ai 1. AI больше всего отразился на замещении разработчиков. занятость среди software developers 22–25 лет упала на ~20% с 2022 (Stanford Digital Economy Lab). атрибуция сложная правда, тут и post-ZIRP коррекция, но coding AI agents точно crossed the chasm. косвенный прокси - отчет Menlo Ventures: корпоративный AI spending вырос до $7.3B в 2025 (+4.1x YoY). кодинг это $4B, это 55% всего departmental spend. остальное: IT (10%), marketing (9%), customer success (9%), design (7%), HR (5%). 2. больше задач программистов из 2022 берут не-программисты. уже видел как CPA строят AI-powered tax filing без бэкграунда в коде или как HVAC-компания пилит свою CRM. когда стоимость создания близка к нулю, стоимость поддержки теряет значение. поэтому имхо velocity is your moat bs. ты не обгонишь цикл обратной связи пользователя, который решает свою проблему сам. 3. vibe-coding убил low-code никто почему-то не обсуждает, какое стремительное замещение / disruption категории произошло за 12 месяцев. Webflow, Retool, Airtable имхо рип. обещали демократизацию, но реальность это lock-in и ограниченная кастомизация. Lovable, Bolt, Replit Agent за 12 месяцев набрали $36B+ combined valuation. Lovable: с $7M до $84M ARR за 6 месяцев. Replit: с $16M до $252M ARR за год (+15.8x). «старый» low-code рынок — $29B. vibe-coding съел его на глазах. 4. AI-native application layer быстрее забирает рынок у инкамбентов и растут лучше чем AI-native инфра. стартапы забрали 63% рынка AI-приложений vs 36% год назад. application layer = $19B из $37B общего spend. в кодинге стартапы = 71%, в sales = 78%, в finance/ops = 91%. инкамбенты держатся только в инфраструктуре (56%) — Databricks, Snowflake, MongoDB выигрывают за счёт интеграций и доверия. 5. бизнес по майнингу вертикальных данных и продаже норм. все growth-stage вертикальные ent компании охотятся за владельцы данных, которые решают, кому давать эксклюзивный доступ. пример: Harvey в 2024 пытался купить vLex (поставщик юридических данных), не договорились, в итоге сделали партнёрство с LexisNexis. vLex достался Clio, другой LegalTech-компании. чего ожидать: консолидация среди поставщиков данных; вынужденные сделки для AI-стартапов, потерявших доступ к данным; вертикальные AI-компании начнут объединяться ради общего пула прав на данные.​​​​​​​​​​​​​​​​ 6. сервис vs продукт - граница размывается инструменты настолько глубоко встраиваются в доменные workflows, что начинают напоминать intelligent service providers. сейчас агенты уже умные, но пользователи ещё требуют внедрение с полным сопровождением. инструменты уже умеют больше, чем юзеры способны освоить. в некоторых индустриях это видно сильнее. AI SecOps стартапы (Aegis AI, Litt Security) называют себя "AI agent companies", но по сути это аутсорсинг compliance officer. AI SEO тулы то же самое. консалтинг подтверждает тренд. Accenture, Deloitte, EY растут 11–12% в год McKinsey, BCG, Bain растут 5–6%. хотя их только ленивый не закапывал в 2023. execution-first с AI интеграцией побеждает стратегический консалтинг. forward deployed engineers который хайпует в долине (Anthropic с Accenture анонсировали 300 FDE; и 470к лицензий с Deloiite) Accenture берёт на себя «налог на ИИ-неграмотность» от лица корпораций. стартапы не могут с этим конкурировать, потому что каждому стартапу приходится выращивать клиента с нуля. большинству клиентов white-glove не нужен, они хотят просто работающий продукт. капиталоёмкость растёт не потому что продукт дорогой, а потому что сервисная обёртка обязательна. доля рынка коррелирует с объёмом привлечённого капитала, не с качеством модели. вертикальный AI масштабируется через людей и эксклюзивные данные, не через вирусный рост. то есть парадокс с первый тейком - нанимать людей надо больше.

не буду!

Guy's doing 365 w/o screens and recording all biomarkers changes. Cool project. https://yearunplugged.com/

Вполне смешно и на многих уровнях сразу

Nvidia покупает производителя ИИ-чипов Groq. По сути классика венчура. Отстающая медленная и трусливая корпорация покупает быстрорастущий наглый стартап. Самая главная фича стартапа — оч быстрый инференс. Результат — выше производительность на доллар. На порядки, чем у nvidia. Мы в пузыре (нет)

В JetBrains появилась возможность использовать селф хостед ИИ модели для агентов при работе с кодом. короче завезли BYOK, работает шустро и легко. Прощай, курсор