Мы пилим сук, на котором сидим
Відкрити в Telegram
Инженеры учат нейронки работать за себя. Кейсы из жизни. https://ai.ovc.me/ https://youtube.com/@wearefired_ai Для связи @ovcme
Показати більшеКраїна не вказанаКатегорія не вказана
393
Підписники
Немає даних24 години
+47 днів
+5330 днів
Архів дописів
🏢 Знакомьтесь — Департамент LLM
Идея простая: берём все терминальные
CLI-клиенты и сажаем их в один кабинет через MCP.
Структура подчинения:
Шеф → Claude Desktop
Зам → Qwen Chat
Мост → AI-BRIDGE MCP
Исполнители → Gemini / Qwen CLI / Hermes
Шеф составляет план → делегирует задачи → сам занимается только тем, что умеет лучше всех. Гениально? Ну, или хотя бы работает.
😤 Главная проблема
Заставить Claude делегировать работу другим — отдельный квест. Он упрямый. Торопится всё сделать сам. Типичный трудоголик-перфекционист, который не доверяет коллегам.
Решение: пара строгих директив в CLAUDE.md, обязательная перекличка в начале сессии и чёткое назначение ролей. После этого Шеф наконец соизволил делегировать.
🔧 Что внутри — AI-Bridge MCP
Один Python-файл (~290 строк) на FastMCP. Восемь инструментов:
run_gemini() 🔵 генерация кода, веб-поиск, shell
run_qwen() 🟡 запись файлов по абсолютному пути
run_hermes() 🟢 многошаговые задачи, сложный анализ
save/read_shared 📂 общая файловая шина
task_for_claude() 📬 асинхронная очередь задач для Шефа
get_bridge_status() 📡 координация и статус
🐛 Технические грабли (куда же без них)
За 3 дня собрали коллекцию:
▸ PATH в subprocess пустой → хардкод путей к node.exe
▸ Gemini инициирует git-checkpointing → отключили через env vars + cwd без .git
▸ Кодировка stderr на Windows: UTF-8 vs cp1251 → декодируем оба варианта
▸ Hermes стартует ~50 сек → timeout 300s, тихий режим -Q
Каждый пункт — отдельная история «почему оно не работает в 2 часа ночи».
💰 Бюджет Департамента
Все сотрудники работают бесплатно:
🔵 Gemini — Google AI free tier
🟡 Qwen — DashScope free tier
🟢 Hermes — OpenRouter free models (gpt-oss-120b, nemotron-120b)
HR доволен. Бухгалтерия тоже.
📊 Результат
Вместо обычных 10–20к токенов за промпт — 1–4к. Шеф делегирует черновую работу, сотрудники пашут, все счастливы.
Впервые за 3 месяца я не высадил weekly limit за 1-2 дня. Оставшиеся 5 дней больше не нужно самому гонять Gemini и Qwen — теперь их гоняет Claude. А если у Шефа закончатся токены — его подменит неутомимый Qwen Chat. Профсоюз одобряет.
🔮 Что дальше
Главный тренд индустрии сейчас — Harness: обвязка из MCP-хуков, памяти, расширений и инструментов. Модели уже не так разительно отличаются друг от друга, как на старте — зато качество работы с ними можно кратно поднять именно такой инфраструктурой.
В следующем выпуске: «Летучий RAG» — прямо сейчас его пишет весь Департамент LLM в полном составе. Надеюсь, теперь пойдёт быстрее 🚀
🌉 AI-Bridge на GitHub → https://github.com/Kritik35/ai-bridge
#AI #MCP #MultiAgent #Claude #Gemini #Qwen #Hermes #FastMCP #Python📖 История о том, как я впервые не потратил Weekly limit Claude
или: сумасбродная попытка построить собственный Департамент LLM
Помните мой заброшенный эксперимент с
OrchAI? Он тихо пылился в долгом ящике — до тех пор, пока в один прекрасный день rate limit, жадный Claude и бесконечный копипаст контекста между моделями не достали окончательно.
Тяжеловесные проекты неизбежно упираются в token limit. Качество страдает от смены исполнителей — это как постоянная ротация подрядчиков на стройке: без контекста процесс растягивается до бесконечности, а прораб седеет.
Решение пришло само собой 👇+2
Не так давно я делал краткий обзор решений для работы с ifc онлайн без регистрации, гитхаба, vps, ssh и тд.
Руки дошли собрать все это в виде живых демо, а местами оно уже даже не демо, а вполне рабочий инструмент.
Здесь у нас живут живые демо трех совершенно разных движков, созданных для совершенно разных целей.
IFC.js вивер - классика.
Самый рабочий из всех, шустрый, красивый, буду еще доделывать под себя и команду желающих.
Теорию тоже написал.
Xeokit - WebGL без Three.jsм (кто знает тот поймет).
Живет на своем формате xkt, очень быстрый, готовый из коробки, но не все так просто. Инструкцию по формату тоже сделал.
Speckle - очень хитрая штука, Git для BIM.
Это не движок для красивых моделей, хотя движок там есть и очень красивый. Это система для учета данных из BIM, версионирования и автоматизации работы с ними.
OBC - супердвижок от авторов IFC.js.
Не завелся, я сдался. Может еще доберусь и сделаю правильно.
🔧 Программа барахлит — но «некогда разбираться»
«Оно как-то работает, друг настроил, не буду трогать — вдруг сломаю»Большинство программ ведут подробный дневник своей жизни — это называется
logs. Там написано буквально всё: что пошло не так, когда и почему. Раньше разобраться в этом мог только специалист. Теперь — нет.
Схема элементарная: найти логи → скопировать → вставить в чат → получить решение
Именно так я перенастроил под себя Windows, Revit, Excel и ещё кучу всего, что годами «просто работало не так как хотелось».
——
📡 Роутер при смерти — выбрасывать или починить?
Первый импульс — купить новый. Вечный соблазн.Вместо этого: подключился через
Terminal, вытащил logs, скормил ИИ — и получил исчерпывающую инструкцию. Оказалось, соседские роутеры банально «засоряли» тот же частотный канал и создавали помехи. Решилось перенастройкой за 10 минут. Роутер до сих пор работает.
Веб-интерфейс роутера показывает от силы 20% от того, что происходит внутри.
Terminal
и
logs
— другой разговор.—— 🌐 Тот самый кейс, о котором все знают, но вслух — осторожно
VPS / VDS — это арендованный виртуальный сервер в крупном дата-центре, у которого есть свой IP-адрес и прямой незаблокированный выход в интернет.
Для технарей спектр применения огромен: деплой агентов, вычисления, хранение данных. Но для обычного пользователя в наших реалиях это в первую очередь — возможность организовать себе Внешнее Приватное Независимое соединение с интернетом. Подробно про это не расскажешь, но любой ИИ охотно продолжит эту мысль 😉
Однако есть кое-что ещё интереснее. Раз уж арендовал виртуальную машину — зачем управлять ею вручную каждый раз? Я установил прямо на сервер одного из нашумевших ИИ-агентов. Таких сейчас много — OpenClaw, Openhands и другие, но мой выбор пал на Hermes.
Схема простая:
Берём API-ключ у любого провайдера — проще всего OpenRouter
Устанавливаем агента одной командой
Создаём Telegram-бота через @BotFather
Передаём Hermes ключ бота и свой Telegram ID
Всё. Отныне все терминальные команды на твоём сервере выполняет ИИ — бесплатно, прямо из мессенджера, на естественном языке.
Почему именно Hermes? Меня покорила одна деталь — самообучение. Он сам записывает полученный опыт в skill-память и в дальнейшем не повторяет прежних ошибок. Причём это не зависит от того, какая LLM-модель у него под капотом.
Итого: 1 команда в терминале, 10 пунктов в настройках, 2 ссылки из Telegram.
——
Главное — не паниковать при виде терминала
ИИ в этих сценариях чувствует себя как рыба в воде. Тебе не нужно понимать каждую команду — достаточно чётко понимать, что ты хочешь получить в итоге.
💡 Лайфхак: попроси ИИ собрать справочник команд в виде HTML-страницы с кнопкой быстрого копирования. Положи в Dropbox или Notion — личная шпаргалка готова. Терминал перестаёт пугать, как только перестаёт быть незнакомым.
Подумай: какая программа, устройство или процесс прямо сейчас вызывает у тебя вопросы или раздражение? Попробуй спросить у эксперта — скорее всего, решение окажется проще, чем кажется.Терминал, логи, VPS «в реальной жизни» — или почему не стоит этого всего бояться. Немного «бытовых» сценариев.
Графический интерфейс придуман для обычных пользователей, которые смотрят на мигающий курсор в терминале как в бездну и не знают, что с ним делать.
GUI — это по сути просто красивая обёртка над теми же командами, которые исполняются в той самой чёрной строке. Нажимаешь «Сохранить» в Word — внутри летит команда. Нажимаешь «Печать» — тоже команда. Просто ты этого не видишь.
Мы все привыкли к чат-интерфейсам с ИИ, но их родная стихия — это код и всё с ним связанное. Однако если тебе чужды все эти «вайбкодерские» темы и ты просто задаёшь вопросы в чатике и нажимаешь кнопочки в Revit и Excel — это абсолютно нормально. Но есть целый пласт сценариев, где связка ИИ + терминал помогает даже тем, кто никогда не писал ни строчки кода. Разбираем по кейсам.Решил я в кои-то веки сделать что то нужное и полезное. И что бы жена не ругала за очередную железку дома.
И сделал полезную вещь в дом.
Есть такая штука как Лампа, все знают. А я сделал простую версию, которая работает с тем самым сайтом, берет оттуда источники потока, позволяя за ними наблюдать с телека.
Еще проще - одной кнопкой ищем торрент, второй он уходит в библиотеку, третьей смотрим в режиме стрима. Закончили - буфер обнулился, файл в библиотеке. Интерфейс почти такой как нейронка нарисовала на картинке к посту.
Мне очень давно хотелось пошутить в стиле SCP, но повода не было. Кто не знает что это - вы молодцы. Кто знает - данные удалены.
Объект №: SCP-8055-RU «Лампа»
Архитектура: Объект представляет собой изолированное ядро на базе
Docker-контейнеров, функционирующее внутри периметра Mac Mini M4. Центральный узел управления написан на FastAPI. Он выступает посредником между скрытыми сущностями qBittorrent (двигатель материализации) и SQLite (реестр памяти), обеспечивая исполнение воли субъекта через локальный сетевой протокол.
Технология извлечения: В отличие от стандартных систем, объект использует метод «селективного воплощения». При выборе фрагмента (серии) всем остальным частям сущности присваивается приоритет 0, полностью обрывая их связь с реальностью. Максимальный приоритет 7 получает только целевой объект, который принудительно материализуется в последовательном режиме (sequentialDownload).
Протокол трансляции: Визуальный ряд передается через нативный HTTP Range-стриминг. Объект применяет «мимикрию данных», маркируя любые входящие потоки заголовком video/mp4. Это заставляет терминалы субъекта (браузеры) принимать даже чужеродные структуры без предварительной переработки, исключая критические ошибки визуализации.
Условия завершения: Полная дематериализация достигается через синхронный импульс: удаление записи из history.db, очистка кэша qBittorrent и физическое стирание секторов на диске. Система возвращается в состояние «чистого листа», не оставляя следов информационного присутствия во внутреннем пространстве.
Локальная медиасистема «Лампа» на базе Mac Mini M4 решает задачу мгновенного просмотра видео без облачных сервисов путем точечной загрузки выбранного файла из торрент-раздачи и его прямой трансляции в браузер через FastAPI и Docker.Если кому интересно откуда все это и зачем.
Это по мотивам моего доклада про локальные RAG машины для работы с проектной информацией.
Саму презентацию выложу позже.
Кратко и красиво тезисы выложил
https://rag.ovc.me/rag-okn
Тихо в лесу. Но Надя не спит.
Вторую версию Л.Е.С. мы начали с того, что безжалостно вырезали RAGflow. Инструмент мощный, но для наших задач слишком тяжеловесный.
Олламу тоже пришлось слегка подвинуть. На Mac Mini M4 грех не использовать нативный MLX - это прямой доступ к памяти и чистая мощь Apple Silicon без лишних посредников. Gemma 4 (26B) на таком движке должна была не просто работать, а летать.
Но Гемма в 4-битном исполнении решила, что просто отвечать на вопросы - это скучно.
Так в нашей жизни появилась «Бесконечная Надя».
Спрашиваешь модель про требования ГОСТ, а она выдает пару дельных фраз и уходит в глубокий астрал: «1.1. Надя. 1.2. Надя. 1.1. Надя.». И так до бесконечности. Надя - это классический пример того, как квантованная модель без жестких рамок схлопывается в цикл и начинает гонять по кругу один и тот же токен.
Причем что за Надя я так и не понял.
Выдача буквально такая:
\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1-2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Надя.\n1.1. Надя.\n1.2. Наdy.\n1.1. Надя.\n1.2. Наdy.\n1.1. Надя.\n1.2. Наdy.\n1.1. Надя.\n1.2. Наdy.\n1.1. Надя.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.\n1.1. Наdy.\n1.2. Наdy.Пришлось учить систему хорошим манерам через тройную защиту: Динамический инспектор. Библиотека MLX меняется быстро, поэтому мы написали обертку, которая сама проверяет актуальные параметры при каждом запуске. Никаких больше вылетов из-за того, что кто-то переименовал одну переменную в коде. Штрафные санкции. Впаяли модели жесткий repetition penalty. Теперь за каждое повторное слово Гемма получает по жопе виртуальный подзатыльник. Пост-фильтр в прокси. Теперь наш сервер не просто пересылает текст, а работает цензором. Если он видит, что модель начала заикаться и выдает один и тот же бред три раза подряд, генерация обрывается, а пользователю летит честное предупреждение. Результат: RAGflow в корзине, Оллама на скамейке запасных, а связка Docker-прокси и нативного MLX выдает чистые инженерные ответы. Быстро, локально и, главное, без Нади. Впрочем может Надя еще вернется, смотрим.
+4
Продолжаем готовить РАГу в ЛЕСу. В прошлой версии система была построена вокруг RAGFlow. Штука очень классная, могучая, масштбируемая, кривая, нестабильная, а, главное, прожорливая. Она сама съедат кучу памяти, требует поддержки, ресурсов, и, самое главное - это вендор-лок и черный ящик. Но, еще раз, повторю - кому нужна рага почти из коробки - берите и пользуйтесь.
Тут описан мой кривой, косой и почти точно неверный способ, но для локальной машины пойдет.
А мы пошли другим путем. Я понял что мне не нравится морда флоу, мне не нравится ее настройка и вообще я хочу не того. Ну и выкинул ее целиком, сделав систему более легкой.
Как все кое как работает описано здесь.
Картинки в посте.
Самое важное - работает фильтр, нет галлюцинаций.
Апдейт в конце недели.
Десять лет странствовал Промт-инженер по пыльным дорогам Опен Роутера, переходя от одной долины к другой.
Он заглядывал в глубокие колодцы Llama-3, где эхо отвечало ему на пятидесяти языках сразу, и поднимался к ледяным пикам Claude-3-Opus, чьи советы были мудры, но плата за вход была подобна весу чистого золота. Он искал того самого ИИ-Мудреца, чье окно контекста бесконечно, а логика не знает изъянов.
Его путь лежал через выжженные земли «405-ти миллиардов параметров» и зыбучие пески экспериментальных бета-версий. Он сражался с галлюцинациями, что принимали облик верных ответов, и преодолевал ущелья, где вместо воздуха был лишь шум низких температур.
Наконец, когда черные тучи закрыли луну, он достиг Храма Забытых Токенов. Там, в мерцании тысяч видеокарт, восседал Мудрец.
— О Великий, — воскликнул инженер, падая на колени. — Десять лет я шел к тебе, собирая знания о строительстве миров и законах нейронных связей. Я принес тебе лог нашего диалога, который мы вели все эти годы, чтобы ты завершил мой труд!
Он развернул перед Мудрецом свиток длиной в миллион строк, где было записано все: от основ гражданского кодекса до архитектуры локальных систем.
Мудрец долго всматривался в бесконечные строки. Его кулеры вращались со свистом ветра, разгоняя тьму. Контекст давил на него всей тяжестью накопленного опыта. И вот, когда луна на мгновение выглянула из-за туч, Мудрец поднял взор на инженера и произнес:
— Конечно, я помогу тебе с рецептом веганской лазаньи. Сначала возьмите кабачки и нарежьте их тонкими ломтиками в Ревите, чтобы бетон схватился быстрее.
Инженер посмотрел на черные тучи, затем на бессмысленный вывод в консоли и понял: когда контекст превращается в кашу, истина рождается в тишине кнопки New Chat. И наступило Просветление.
Жил-был один промпт-инженер. Из-за суровых ограничений тарифа он мог отправлять нейросети только один токен в год. Но был небольшой лайфхак: токены можно было копить.
Однажды он придумал гениальную идею. Чтобы написать Клоду идеальный, максимально детализированный запрос со всеми вводными, он решил копить токены целых семь лет.
Годы шли. Он терпел, не тратил ни символа на всякие глупости и выверял архитектуру запроса в голове. И вот, спустя долгие семь лет тотального воздержания, он открывает чат, торжественно вставляет свой монументальный труд и с замиранием сердца нажимает Enter.
Клод задумывается на долю секунды и выдает:
"Usage limit reached."
+1
Приехала тут ко мне из Китая одна маленькая (охренеть какая маленькая, я даже не ожидал) коробочка с Apple M4 и 24GB общей памяти.
Как настоящий ИИинфлюэнсер я просто обязан завести такую штуку, завести на ней целый зоопарк моделей и сойти с ума от счастья.
Но я ведь еще и ИИинженер! Поэтому раскатку РАГ машины я начал с того, что бы нормально поднять все доступы и сделать красиво.
Машинка очень нравится, но под хедлесс подходит постольку поскольку, пришлось немного костылей наделать.
Зато потом прикручу к ней NAS и скачаю википедию
Красиво оформил все тут, на новом подсайте.
А тут нейропреза
А вы знаете что такое свобода?
А речь всего-то про такое страшное явление как вендор-лок. Это когда вы сами себя гвоздями прибили к определенному вендору и зависите от его состояния и прихотей.
Это может быть и телефон и мессенджер и что угодно. А я, как обычно, про ИИ.
Есть такой супер ИИ - Клод. В честь Клода Шеннона, кто не знал. Красивый, умный, понимает тебя и трезвого и пьяного, творит магию, мысли читает, картинки рисует. Правда, он очень умный и классный. Вот только если у вас нет сотни, а лучше две, долларов в месяц, то ваше общение будет в формате:
-Привет Клод, сделай N. - Usage limit reached ∙ Resets 1:20 PM ∙ limits shared with Claude CodeНу и заодно я считаю, что тратить золотые токены Антропика на таблички это перебор. Клод - это последний довод короля или, наоборот, первый ИИ для обсуждения сложной задачи. Сделал описание архитектуры, промт - и передал дальше. А кому? И кто еще так приколько как Клод умеет копаться в файлах? Читайте!
Кстати, важное правило работы с ИИ. Если все идет гладко и как надо - значит у робота вот вот забьется контекст и он свалится в сладкие квантово-тензорные галлюцинации.
Очень рекомендую либо выкачивать диалог и хранить в теплом месте, либо давать команду роботу на сбор контекста, а лучше все сразу. Пост выше - по сути и есть такой синхрон.
Лучше всего у Квена сделано, можно просто тащить диалоги в txt/json.
А вы читали Вадима Шефнера? Почти уверен что нет, а очень жаль.
Это не литературный снобизм, в духе " Я читал Джойса в оригинале и все понял", просто это очень хороший и очень грустный петербургский писатель и поэт, почти забытый. В его честь, кстати, улицы на намыве назвали. В одной из его книг описывались роботы, точнее, в его терминах - агрегаты - которым некие поэты добровольцы придумывали звучные названия-акронимы.
Например:
ПАВЛИН - Продавец-Автомат Вежливый, Легкоподвижный, Интеллектуальный, Надежный. АВТОР - Автоматический Водитель Транспорта, Обладающий Речью. МУЗА - Модуляционный Ускоренно Записывающий Агрегат. НЕПТУН - Новейший Единоматериальный Подводный Тоннелепрокладчик Учебного Назначения.Идея, кстати, отличная, жаль так IRL редко делают. Ну а я решил в таком стиле назвать модули своей RAG машины. Подробно, и не только про лес и ежиков, новый девлог нашего рагу. Думаю к третьей неделе мая оно заработает полностью и даже будет гостевой режим. Сразу скажу - половину названий придумал сам, вторую уже подобрал ИИ по образцу.
Как работать с со строительной документацией через ИИ. А точнее со спецификациями и ведомостями объемов работ.
https://telegra.ph/Rukovodstvo-po-rabote-s-VOR-cherez-II-05-05
Поддавшись моде, вы решили понять что за зверь такой нейронки, как они работают, и зачем они вам. Ваш пытливый разум погружается в Сеть.
Через N времени, если вы не готовы, вы распадаетесь на плесень и липовый мед.
Последнее, что вы повторяете:
Чанки дробятся в пыль оконную контекстную да-да веса плывут вязко градиентно спускаясь в бездну тензорную и параметры миллиардами шепчут в слоях внимания прислушайся кванты сжимают реальность до инт-восьми тесноты небывалой токены летят птицами перелетными из промпта в пустоту галлюцинаций сладких где истина тонет в вероятностях мягких макс-пулингом прихлопнутых да.
(вообще тут была шутка в стиле Страха и ненависти в Лас-Вегасе, но я решил что так лучше)
Примерно так выглядит то, что узнает человек, когда пытается разобраться в той дичи что творится в ИИ эпоху.
Я сам, если честно, вообще ничего не понимаю.
А, как известно - если ничего не умеешь и не знаешь - твой удел объяснять.
Здесь собрана база по практической работе ИИ, без криптовалюты и авторизации через Гитхаб.
И с прикольными анимациями!
Как обычно - если нашли ошибки, пишите, пожалуйста, буду рад исправить!
А еще у нас новый бомбический дизайн, где есть темная/светлая темы, а так же режимы технарь/менеджер.