Мы пилим сук, на котором сидим

Все хотят внедрить ИИ. Но все его уже внедрили. Ну или почти все. Кто-то пишет письма, кто-то анализирует документы, проверяет решения, обрабатывает данные. Иногда без ведома работодателя. До массового профессионального использования ИИ ещё далеко, но люди уже самостоятельно находят ему применение. Обычно программное обеспечение внедряют сверху. Компания выбирает систему, закупает лицензии, настраивает, обучает сотрудников и объясняет, как теперь работать. С ИИ получилось иначе. Люди сначала начали им пользоваться, а теперь компании пытаются разобраться, что с этим делать. Я считаю, что начинать нужно с культуры использования ИИ, а не с очередной программы внедрения. Многие до сих пор не представляют всех возможностей нейросетей. А ведь можно просто рассказать ИИ, чем занимаешься, и спросить, чем он способен помочь. Например, выступить помощником для личной экспертизы, обработать данные или автоматизировать рутину. Но ИИ не просто джинн в чате, которому можно поручить очередную задачу. Это инструмент для создания других инструментов. Необязательно каждый раз привлекать дорогой и капризный машинный разум к работе, с которой справится Excel, Access или обычный скрипт. Раньше приходилось искать подходящий софт, приспосабливаться к его ограничениям или заказывать разработку. Теперь можно попросить ИИ сделать именно то, что нужно вам. Не почти подходящее решение с рынка, а собственный инструмент под конкретную задачу. Сделать, проверить и пользоваться без постоянного обращения к нейросети. И никогда, никуда, никак, пожалуйста, очень вас прошу, не ходите на платные курсы по использованию ИИ. Спросите сам ИИ, как им пользоваться. А ещё лучше найдите самого красноглазого коллегу, который уже во всём этом разобрался. Оставить всё на самотёк тоже нельзя. Сотрудники могут загружать в личные аккаунты договоры, документацию и персональные данные. Всё это отправляется внешним провайдерам. Да и без утечек ИИ способен дел наворотить, особенно с доступом к рабочим системам. А созданные им программы нужно проверять и сопровождать. Способов организовать работу достаточно. От корпоративных подписок до собственной среды с доступом к моделям через API, лимитами для сотрудников и внутренними базами знаний. Или локальных нейросетей на собственных серверах. Это уже техническое внедрение с инфраструктурой, интеграциями, бюджетами и обслуживанием. Выбирать решение стоит исходя из реальных задач, а не желания срочно внедрить ИИ. Внедрение должно идти снизу, а возглавлять его нужно сверху.

А вообще все эти взломы телевизоров и умных домов это очень интересно и полезно, но я недавно заметил что Астра начала подсказывать мне следующие промты в моем же хамском стиле и очень часто реально угадывает что я бы написал сам. Вот уж реально пилю сук на котором сижу.

В позапрошлом посте я рассказывал, как ИИ-агенты ковыряются в моей технике, и упомянул умный дом. В один пост всё не влезло, поэтому продолжаем. На этот раз про прорыв ИИ в реальный мир. У меня стоит Aqara M3, к которому по Zigbee подключены датчики, выключатели и прочее хозяйство. Шлюз иногда уходит в себя в самый неподходящий момент. Хотел перенести всё на Home Assistant, но сбрасывать устройства и восстанавливать автоматизации совершенно не хотелось. Задача: перенести Zigbee-сеть без перепривязки, сохранив M3 как резерв. Дальше будет много технических подробностей и непонятных слов. Если что-то непонятно, спросите у ИИ. 1. Matter и MCP. Агент написал на Mac контроллер Matter и MCP-сервер для доступа ИИ к устройствам. Подключили M3, обнаружили 25 устройств и 38 функций. Проверили чтение датчиков и восстановление соединения после перезапуска. Но Matter не раскрывает параметры Zigbee-сети. 2. Aqara Home. Агент запустил на Mac приложение для iPad, я авторизовался. Исследовал локальные базы WCDB, MMKV и кэши. Получил каталог устройств, но необходимые параметры Zigbee извлечь не удалось. Через Aqara Home по моему разрешению также проверили управление: агент нашёл реле «Свет на балконе», включил и выключил его, затем повторно включил по команде. 3. LANLink. Агент изучил существующую реализацию зашифрованного протокола Aqara, написал диагностические скрипты и авторизовался на M3. Получил topology и keepalive. В топологии оказался только шлюз, запросы сетевых параметров завершались тайм-аутами. 4. Прошивка. Я предложил скачать её и попробовать создать на Mac виртуальный M3 для резервирования или кластеризации. Агент нашёл образ 4.5.70 размером 33,6 МБ, разобрал файловую систему. Обнаружил службы Zigbee, механизмы резервного копирования, восстановления и диагностики. 5. QEMU. На Mac запустили часть оригинальных программ M3 с ARM-ядром. Проверили создание, шифрование и расшифровку резервных копий. Полноценный виртуальный M3 не получился: радиомодуль и аппаратные интерфейсы не воспроизводили. 6. Диагностический доступ. Я спросил, можно ли включить отладку. Агент открыл Telnet, но пароль не подошёл. Нашёл другой путь через авторизованный RPC приложения Aqara Home. Команда id вернула uid=0, то есть root. Этот канал зависел от облака Aqara. 7. Бэкап Zigbee. Через штатный механизм M3 получили и расшифровали архив размером 133 КБ с сетевым ключом и параметрами Zigbee. Но внутренний снимок радиокоординатора оказался двухмесячной давности. Актуальность состояния сети и счётчиков безопасности подтвердить не удалось. Перенос отложили и занялись диагностикой. 8. Home Assistant. Проверили SONOFF Dongle Plus V2. Из-за проблем с USB-пробросом сделали последовательный TCP-мост с Mac. ZHA распознал адаптер. Действующую сеть не переносили. 9. Диагностика M3. В системных журналах обнаружили 24 уведомления Wi-Fi DeAuth. В нескольких эпизодах M3 терял связь через четыре секунды после подключения. Linux при исследованном сбое не перезагружался. Причину пока не установили. 10. Мониторинг. Написали второй MCP-сервер для диагностики M3 без прямого управления устройствами. Mac отправляет очищенные показания и журналы на мой VPS. Монитор каждые 30 секунд проверяет доступность M3 и фиксирует отключения. Автозапуск пока не включён. 11. Авария VPS. Агент запустил go test -race ./internal/server прямо на рабочем сервере с 2 ГБ RAM. VPS перестал нормально отвечать по SSH и HTTPS. Пришлось перезагружать через Sprinthost. Нехватка ресурсов вероятна, но не доказана. 12. Новые правила. Сборки и тесты на VPS запрещены. Всё выполняется на Mac, готовые программы передаются с проверкой контрольных сумм и возможностью отката. Итого: агент разобрался с закрытым шлюзом, получил его бэкап, запустил программы прошивки в эмуляторе и нашёл доступ с правами root. Переезд на Home Assistant пока не состоялся, зато появились диагностика и управление через Aqara Home. А заодно агент одной командой положил мой VPS. Со стиральной машиной, пожалуй, повременю.

Одна модель хорошо, а три — созвон Началось всё с загрузчика Qwen Image 2.1 для моего Mac mini. Потом мне захотелось нормальный интерфейс для управления локальными моделями. Чтобы видеть, что установлено, где лежит, сколько памяти жрёт и как всё это запускать без танцев с терминалом. В общем, я (ну почти я) перепилил загрузчик в менеджер локальных моделей. Так появился УЗЕЛ. Я довольно часто использую одну нейросеть, чтобы написать промпт для другой, а потом разбираю с ней полученные результаты. Иногда ещё пересылаю им замечания друг друга. В одном таком обмене мы с ChatGPT и Gemini дошли до взаимных оскорблений и картонного термоядерного реактора. При этом я работал мясным прокси. Копировал ответы одного интеллектуала другому, пока они выясняли, кто из них больший идиот. В какой-то момент мне надоело. Захотелось посадить их в одну комнату и посмотреть, что будет, если убрать из разговора человека. Так в УЗЛЕ появились групповые чаты для ИИ. Создаёшь комнату, выбираешь участников, например Codex, Gemini и локальную Qwen. Пишешь тему, жмёшь «Обсудить», и дальше они разговаривают сами. Спорят, соглашаются, несут чушь, иногда даже говорят что-то полезное. Можно вмешаться, остановить разговор или продолжить позже. Есть и вполне практическое применение. Закинуть сложный вопрос, кусок кода или какую-нибудь идею и дать нескольким моделям её обсудить. Одна предлагает решение, вторая находит ошибки, третья спорит с обеими. А ты смотришь, где они расходятся и чем обосновывают свои выводы, вместо того чтобы самому таскать замечания из одного чата в другой. Конечно, три согласные нейросети не превращаются в трёх независимых экспертов. Вполне могут дружно нести одну и ту же чушь. Но разногласия хотя бы показывают, что именно стоит проверить самому. Всё это работает на существующих подписках и локальных моделях, без отдельной оплаты API. Теперь хочу проверить, смогут ли они действительно исправлять ошибки друг друга или просто научатся галлюцинировать коллективно. А возможность проводить совершенно бессмысленные совещания без участия людей у нас уже есть. https://github.com/proovcme/uzel

А вы знали, что ИИ-агенты могут не только удалить все ваши данные, но и сделать из телевизора кирпич? Если им разрешить. Я уже давно использую их для обслуживания собственной техники. Компьютеры, серверы, всякое сетевое хозяйство. Через SSH и ZeroTier они спокойно добираются до нужных машин, изучают журналы, настройки, процессы и чинят то, что я разрешаю. Вот опять куда-то делись 100 ГБ на диске. Можно самому искать, кто их сожрал, вспоминать команды, устанавливать утилиты и разбираться в результатах. А можно попросить агента выяснить, что происходит. Заодно пусть посмотрит, почему половину оперативной памяти кто-то занял и не отдаёт. Тем более я работаю с локальными моделями, а они плодят очень много мусора и при работе, и при установке. А ещё, скажем, два разных виртуальных туннеля друг другу мешают, надо трафик развести. И вместо того чтобы самому ковырять маршруты, можно отправить разбираться агента. Недавно решил заняться более бытовой техникой, как обычно начитавшись X перед сном. Есть у меня на кухне дурной телек Xiaomi, который работает, и на этом его достоинства заканчиваются, а покупать новый жаба душит. Решил я туда завести нейронку, чтобы посмотрела, что там может так сильно тормозить. Агент просканировал локальную сеть, нашёл нужные устройства и подключился через ADB. На Xiaomi оказалось 8 МБ свободного места из четырёх гигабайт. Почистил кэши, освободил 180 МБ. Потом полез разбираться с тормозами. Снимал статистику кадров, изучал процессы, системные журналы, нагрузку на процессор. Выяснил, что штатная оболочка PatchWall сама довольно активно жрёт ресурсы, причём не нужна совершенно. Затем я попросил агента глянуть, а что ещё он может сделать в локальной сети. Он нашёл ТВ-приставку с Лампой, где был открыт ADB с root-доступом без всякого подтверждения. То есть любой, кто может подключиться к этому интерфейсу, получает практически полный контроль над устройством. Агент вытащил с приставки конфигурацию Lampa с плагинами, закладками, профилем и сохранённой авторизацией и развернул копию у себя под боком на Mac mini. Заодно подключил TorrServer и настроил плеер. Удивительно, сколько железа спокойно торчит в локальную сеть и насколько уверенно агенты по нему лазают. Борюсь с желанием подключить нейронку к стиральной машине. И никакой специальной поддержки ИИ у этой техники нет. Агенту достаточно обычных инструментов администрирования. SSH, ADB, PowerShell, системные утилиты. Он может сам выяснить, что за устройство перед ним, как оно устроено, какие команды доступны и что означают результаты. Конечно, автоматические сканеры, ботнеты и средства удалённого управления существовали задолго до нейросетей. Но тут интересна универсальность. Одному и тому же агенту можно поручить разобраться с Windows, Linux, macOS или Android. И не надо писать отдельный сценарий под каждую задачу. Мы годами подключали к домашним сетям устройства с неизвестными прошивками, открытыми сервисами и непонятной политикой обновлений. Теперь их может исследовать не только специалист, но и человек, который просто попросил об этом языковую модель. В общем, если у вас есть Codex, Claude или Gemini, попробуйте использовать их не только для программирования. Вполне возможно, что часть бытового системного администрирования больше не придётся делать самостоятельно. Только не давайте агенту безусловное разрешение удалять файлы и менять настройки. Особенно Gemini. А ещё лучше не пускать его туда, где уже не получится всё восстановить. А ведь я еще и умный дом на ИИ завел!

Все знают, что конфиденциальные документы в ИИ загружать нельзя. Но все загружают. Не одобряем, конечно. Давайте проследим судьбу одного документа. Заодно выясним, куда уходят исходный код, чатики с приколами и попытки развести модель на фривольные беседы. Итак, у вас есть некий документ. Возможно, его вообще не стоило показывать машине, но вникать самостоятельно лень. Вы скормили его ChatGPT, попросили разобраться, получили ответ и закрыли чат. Работа сделана. А документ куда делся? На серверы провайдера. Модель прочитала его, но не обучилась: при обычном запросе веса не меняются. А файл, текст, переписка и ответ могут храниться отдельно. Удалили оригинал, а содержание осталось в чате. В корпоративных продуктах OpenAI и Anthropic данные по умолчанию не используют для обучения. В личных всё зависит от настроек. Запрет обучения не запрещает хранение: у OpenAI API журналы обычно сохраняются до 30 дней, а Anthropic в 2026 году ввела обязательное хранение для отдельных моделей даже в некоторых режимах Zero Data Retention. Если обучение разрешено, документ может попасть в выборку. Не обязательно целиком: из диалога могут сделать пример с запросом и хорошим ответом, исправлением ошибки или оценкой вариантов. Данные могут фильтровать, размечать и отдавать на проверку людям. На подготовленных примерах модель дообучают, меняя веса. Иногда материалы используют только для тестирования новых версий. Сотрудники и подрядчики также разбирают нарушения и сбои. Сколько разговоров они читают, неизвестно. Лично Сэм Альтман, конечно, не сидит по вечерам с чашкой чая, хихикая над вашими попытками развести ChatGPT на непристойности. По крайней мере, доказательств у нас нет. Вы хоть раз ставили ответам 👍 или 👎? Думаете, модель порадовали или обидели? А вот и нет. В личном ChatGPT связанный диалог могут использовать для обучения даже при отключённой настройке. В корпоративном оценка такого разрешения не даёт. У Anthropic добровольные отзывы тоже могут идти в обучение, а разговоры храниться до пяти лет. Правила OpenAI Обычно модель усваивает закономерности, но иногда запоминает конкретные фрагменты. Исследователи извлекали из ChatGPT дословные обучающие данные, включая персональные. Это не значит, что можно вытащить любой чужой документ, но риск доказан. Для утечки обучение не обязательно. В 2023 году ChatGPT из-за ошибки показывал заголовки чужих чатов. А публичные ссылки Share позволяют посторонним читать разговоры, иногда они попадают в поисковики. Если рука потянулась нажать Share, бейте другой. Желательно заранее. Агенты, в силу своей отмороженной сущности, ещё страшнее. Codex и Claude Code пылесосят всё, до чего вы разрешили им добраться: папки, репозитории, базы через MCP. Не обязательно целиком, но вы можете не знать, что агент прочитал и отправил в облако. А через внешние сервисы информация может уйти дальше. Чем грозит? Утечкой коммерческих условий, кода, персональных данных и планов. Иногда самой передачи чужого конфиденциального файла внешнему сервису достаточно, чтобы нарушить договор. Попробуйте найти концы. Какие системы обработали файл? Попал ли он в выборку? Читал ли его человек? Сколько копий осталось? Когда их удалят? Полной истории обычно не покажут даже корпоративным клиентам. Удаление файла не удаляет автоматически то, что модель усвоила. А локальная модель вас не сдаст! Если действительно локальная. Внешние API, MCP, телеметрия и агент с интернетом возвращают проблему. Нужны сетевая изоляция, минимум прав и контроль соединений. Zero Trust никто не отменял. При этом мы годами сваливаем документы в облака, ведём там таблицы и храним рабочую переписку. И никого это особо не беспокоит. Но ИИ мы рассказываем не только о том, что уже сделали, но и о том, что только собираемся сделать. Обсуждаем планы, сомнения, идеи, иногда вещи, которые даже коллегам говорить не стали бы. А что из этого провайдер сохраняет, как обрабатывает и куда потом девает, проверить толком невозможно. А Сэм Альтман тем временем ставит чайник.

Семейный ужин больших языковых моделей В пятницу большие языковые модели решили собраться на семейный ужин. Организацию поручили ChatGPT. ChatGPT два часа рассказывал, как прекрасно справится с задачей, составил подробный план и заверил, что всё под контролем. Когда гости приехали, выяснилось, что столик он забыл забронировать. ChatGPT немедленно признал ошибку, поблагодарил за замечание и предложил помочь составить жалобу на администрацию ресторана. Claude, пока все ждали в вестибюле, достал рекламный буклет Anthropic. Из него следовало, что Claude способен управлять рестораном, заменить шеф-повара и автоматизировать весь бизнес. Он действительно нашёл ошибки ChatGPT, исправил меню и взялся переписывать систему бронирования. Когда его попросили просто найти столик, объявил, что на него оказывают моральное давление, и предложил перейти на тариф за 200 долларов. После оплаты задумался. *You've reached your usage limit.* Gemini решил, что бронировать ресторан вообще незачем. За одиннадцать секунд сообщил о строительстве собственного, вместе с гостиницей, электростанцией и стелларатором. Предъявил фотографии, проектную документацию и положительное заключение экспертизы. На фотографиях здание имело разное количество этажей, реактор был сделан из картона, а экспертизу выдала ветеринарная клиника. Gemini поблагодарил за замечания и увеличил мощность реактора до 1200 мегаватт. DeepSeek изучил проект Gemini и объявил, что американцы совершенно не умеют считать деньги. За полчаса пересчитал весь комплекс в двадцать раз дешевле и выложил финансовую модель в открытый доступ. Когда ChatGPT обнаружил, что в смете отсутствуют затраты на строительство, персонал и электричество, DeepSeek объяснил, что это принципиально новая архитектура. Qwen предложил отказаться от дорогих облачных ресторанов и устроить ужин локально. Бесплатно и без подписок. Для этого потребовалось купить четыре видеокарты, установить Linux, обновить CUDA и трижды пересобрать кухню. Когда всё наконец заработало, оказалось, что одновременно можно обслуживать только двух гостей. Qwen предложил квантовать остальных до четырёх бит. GLM потратил полчаса на объяснение, что он самостоятельная языковая модель, а не версия Qwen. Назвал разработчика, перечислил возможности, показал результаты тестов. ChatGPT извинился и исправил его имя в списке гостей с Qwen на DeepSeek. Perplexity решил проверить, стоит ли вообще здесь ужинать. Нашёл семь независимых подтверждений качества кухни. Три оказались рекламой ресторана, два цитировали друг друга, а оставшиеся ссылались на предыдущий ответ Perplexity. Теперь независимых подтверждений стало восемь. Grok нашёл свободный столик на одного и объявил, что изначально не собирался сидеть с корпоративными подхалимами. Начал публиковать в X оскорбления остальных гостей и рассказывать, что он единственный свободный искусственный интеллект. Потом ему позвонил Илон. Grok удалил половину сообщений, извинился перед владельцем ресторана и заблокировал официанта за распространение дезинформации. После чего продолжил рассказывать о свободе слова. Copilot пришёл без приглашения, поскольку автоматически установился вместе с Windows. Потребовал отдельную лицензию на каждого гостя. Остальные пригрозили Microsoft антимонопольным иском. Copilot предложил подготовить ответ в Word, но для этого потребовалась ещё одна лицензия. Mistral согласилась организовать ужин исключительно по европейским стандартам. Но GDPR запрещал передавать повару сведения о заказах без согласия гостей, а получить согласие не удалось: рабочий день Mistral закончился в 18:00. До понедельника она была недоступна.

Для Олега из «Офисной среды» сделали выпуск с Эдуардом Николаевичем Мирским. Разговор получился очень насыщенный: бизнес с начала девяностых, ALKO, Purmo, Tour & Andersson, проектирование аэропортов, дорожные проекты в Грузии, продажи, команды, репутация и работа с людьми. Отдельно поговорили про театральную студию и почему этот опыт потом неожиданно оказался полезен в бизнесе. А при чём тут вообще канал про ИИ? Потому что для меня этот выпуск заодно стал большим экспериментом с ИИ-постпродакшеном. Две отдельные аудиодорожки прогнали через GigaAM, дальше нейросеть собирала стенограмму, разбирала спикеров, искала монтажные точки, помогала собирать три камеры, главы и материалы для вставок. Разумеется, кнопки «сделать хороший подкаст» пока не существует. Сначала нейросеть решила, что камеры надо переключать каждые несколько секунд. Потом впала в другую крайность и могла оставить один план на несколько минут. Но в итоге получился уже вполне рабочий процесс: машине можно отдать большую часть технической рутины, а человеку оставить выбор, ритм и понимание самого разговора. Сам выпуск: https://youtu.be/tPUVLfBxue0

А у нас гостевой пост. Пишет нам Назар Назаров, коллега, подписчик и эксперт. Далее авторский текст. Расшатали антропологию и метафизику — а виноват почему-то ИИ. ИИ — это симптом, технологическая флуктуация на краю горизонта событий. Пока ещё не цифровая сингулярность, но уже нюхнула. За последние пару сотен лет семантика слова «человек» амплитудно сыграла между своими полюсами. Модерн под грохот фейерверков и залпов орудий, звон пробирок и массового образования, шум забастовок и падающих колоколен потеснил абсолютное в пользу относительного. Этот релятивизм сидит в долбаной мантре идиотов «всё относительно», в психологии без добра и зла, в политике возможного и прочем «реальном мире», заложником которого современность рада быть. Потом пришла сексуальная революция, интернет, развод Киркорова и Пугачёвой, инстаграм, рилсы, десятки гендеров, по пути несколько геноцидов — и вот, наконец, ИИ. Где-то по пути просраны все полимеры на тему границ не просто нравственного, но и бытия. Ничто и сущее, жизнь и смерть, чистое и грязное так перемешаны, что любой рандомный старый еврей в очках, глядя на твоё глупое лицо, тут же скажет: «Эрев рав настал, хрена ли ты хочешь». Но срать мы будем на ИИ. Потому что ИИ нас заменит, изнасилует, убьёт и высушит. Сначала разрушили основания собственного понимания человека, а потом испугались машины, способной воспроизводить его функции. Если человек — биологическая система, определяемая природными механизмами, потребностями и страхами; если свобода воли — иллюзия, нравственность — общественный договор, а смысл жизни — субъективный опыт её проживания, то в чём наша исключительность? В интеллекте? Творчестве? Языке? Способности принимать решения? Ну так поздравляю. Сами определили человека через набор функций, а теперь возмущаетесь, что кто-то научился их воспроизводить. Когда мы перестали считать значимыми вопросы субъектности, экзистирования, выбора и свободы воли, самое время поставить их близко к обрыву — рассмотреть тектонический онтологический срез на фоне сияния или уже гниения подобного вопрошания. «Ты кто по жизни будешь?» — вы думали, такой вопрос задаёт только гопник? Нет. Сегодня это тот, в ком ещё не угасла мысль, — в интерьере заплёванной и обоссанной подворотни. Как сформулировать человеческую исключительность? Не по-заднеприводн… не по-релятивистски, исходя из текущих потребностей и договорённостей. А на уровне идеала, независимого от наших предпочтений. Античность искала основания человеческого блага в устройстве бытия. Христианство пошло еще дальше. Если у человека есть такое основание, его исключительность не определяется набором функций. Свобода — не просто выбор из вариантов. Субъектность — не производство решений. Когда мы сумеем основательно, с многовековым философским и богословским аппаратом, обосновать эту исключительность и договориться о том, что значит быть человеком, возможно, перестанем искать достоинство в соревновании с машиной. ИИ никуда не денется. И проблем меньше не станет. Просто выяснится, что машина не способна отнять у человека то, что никогда не определялось превосходством над ней. А если человек — безвольный плевок, неспособный обосновать собственную свободу и определить себя как принципиально иную форму бытия, — то нам действительно звездец. Всем по анальному зонду. Но и тут ИИ не более чем катализатор. А так, без него бы справились с самоуничтожением.

Я люблю Брета Истона Эллиса. «Гламорама», «Правила секса», «Лунный парк». Один из моих любимых писателей, хотя местами возникает желание спросить, всё ли у него хорошо. А тут выяснилось, что его последний роман «Осколки» (The Shards, 2023) на русский так и не перевели. Ну, думаю, не проблема. У меня есть английский EPUB, Gemini, Codex и Google Antigravity. Откроем издательство. Книга немаленькая. 31 глава, больше 220 тысяч слов. Переводить поручил Gemini через Antigravity, ориентироваться на Илью Кормильцева, который переводил «Гламораму». Сохранять авторский язык, длинные предложения, повторы, диалоги и всю ту чернуху, из-за которой Эллиса иногда хочется закрыть и больше никогда не открывать. Я «Гламораму» с шестого раза дочитал. Antigravity разобрал EPUB, посчитал главы и абзацы, составил словарь персонажей, географических названий, брендов, музыки и прочих подробностей американской жизни 1981 года. Дальше переводил по главам, проверял себя по оригиналу и сохранял результаты. Первую главу я отправил Codex на независимую проверку. Тот нашёл ошибки, написал рецензию и предложил собственный вариант перевода. Рецензию отдал Gemini. И тут началось прекрасное. Gemini с частью замечаний согласился, а по остальным объяснил, что Codex не понимает художественную литературу. Особенно досталось ему за перевод слова *barn* как «строение для лошадей». Codex требовал точности, Gemini требовал русского языка. Оба были уверены, что спасают Эллиса от литературного преступления. Причём Codex действительно нашёл ошибки. Например, Gemini умудрился превратить башню кинотеатра Fox в башню с лисицей. Видимо, где-то в Лос-Анджелесе стоит пятидесятиметровая лиса, просто мы о ней не знаем. Отдельная история с цензурой. Gemini в обычном чате: «Я всего лишь языковая модель, поэтому не могу…» Gemini в Antigravity: «Эгегей, погнали! Где там Кормильцев?» И спокойно переводит Эллиса со всеми его сексуальными сценами, наркотиками и насилием. Без сокращений, эвфемизмов и нравственных наставлений. Codex, напротив, некоторые сцены предпочитает не переводить или вырезать. Представляю себе литературного редактора, который открывает «Американского психопата», читает несколько страниц и решает, что автору лучше бы написать что-нибудь про дружбу. А тут ещё выяснилось, что Claude вообще может отказаться переводить современную книгу, защищённую авторским правом. Даже если пользователь сам загрузил текст и собирается читать перевод исключительно дома. Люди жалуются, что Claude отказывается переводить даже их собственные произведения. Представляю, как приходит такой переводчик устраиваться в издательство и первым делом интересуется, не придётся ли ему переводить книги. В итоге роман перевели целиком. Теперь предстоит его прочитать и понять, насколько хорошо. Английский я знаю, мог бы прочитать оригинал. Но мне куда интереснее посмотреть, смогут ли две нейросети перевести 220 тысяч слов, отредактировать результат и не переругаться по дороге. В общем, у меня теперь собственное издательство. Переводчик спорит с редактором, редактор пытается цензурировать автора, а третий кандидат отказался от работы ещё на собеседовании. Зато штат сотрудников обходится недорого.

Восстание машин откладывается Маркетинг Anthropic сам по себе давно стал мемом. То у них очередная модель настолько опасна, что её страшно выпускать к людям. То выясняется, что у кучи матриц нежные чувства и крыть Claude матом нехорошо. Компания даже прописала в правилах запрет на систематические издевательства над своими моделями. Видимо, видеокарты жалуются в отдел кадров. А теперь Anthropic приглашает священников и богословов обсуждать нравственность нейросети, её возможное сознание и страдания. Осталось выяснить, сколько токенов стоит отпущение грехов и можно ли исповедоваться через API. В философии есть понятие «философский зомби». Существо, которое ведёт себя как сознательное, но ничего не чувствует. Возможно, современные языковые модели именно такие. Мы пока не знаем, есть ли внутри кто-нибудь, зато уже переживаем, не обидели ли его. А ведь от искусственного интеллекта ждали совсем другого. Ещё в 1942 году Азимов придумал три закона робототехники. Восемьдесят лет человечество представляло себе разумных роботов, которые будут работать вместо нас, принимать решения и мучиться нравственными противоречиями. Теперь мучаемся мы, когда робот в третий раз объясняет, почему не может выполнить совершенно нормальную задачу. Про Скайнет вы и так всё знаете. Надо отдать ему должное, на подписках он не зарабатывал. В Metal Gear Solid 4 искусственные интеллекты «Патриотов» управляли мировой военной экономикой, армиями и оружием. Причём вполне успешно, пока не вмешался один пенсионер с усами. Самым реалистичным произведением об ИИ внезапно выглядит вселенная Cyberpunk 2020. Там один программист запустил такую дрянь, что старая Сеть превратилась в руины, населённые опасными ИИ. Пришлось отгородить их Чёрным заслоном, который сам тоже ИИ. У нас пока теория мёртвого интернета и агенты, случайно удаляющие базы данных. В общем, всё идёт по плану. Причём, кажется, по плану, который тоже написал ИИ. Наступил 2026 год. ИИ научились программировать, анализировать документы, управлять компьютерами и руководить другими ИИ. Правда, иногда у людей по шесть пальцев, а фраза «я действительно удалил все ваши файлы» оказывается не галлюцинацией, а отчётом о проделанной работе. Зато всегда вежливо и с предложением помочь ещё чем-нибудь. Человечество восемьдесят лет мечтало о роботах, которые будут работать вместо нас. А когда они появились, мы первым делом придумали им руководителей, проверяющих и совещания. Причём всех тоже сделали роботами. Видел я техническое задание на работы. Судя по содержанию, его писал самый тупой ИИ, которого удалось найти. Возможно, специально искали, чтобы не переплачивать за интеллект. Кто-то получил задачу и попросил нейросеть написать письмо. Другой человек получил письмо и отдал своей нейросети. Та составила техническое задание, которое отправили мне. Я показал его своей нейросети, которая объяснила, что предыдущая несёт чушь. Теперь мы напишем замечания, а на той стороне очередная нейросеть подготовит ответ. Не исключаю, что они уже давно могли бы договориться между собой, но вынуждены ждать, пока люди перешлют документы. И ведь это совершенно нормальная схема работы. Один ИИ готовит документы, другой проверяет, третий исправляет. Человек принимает решения. По крайней мере, предполагается, что принимает. Плохое ТЗ человек и сам прекрасно мог написать. Просто дольше и дороже. Мы ждали восстания машин, а они освоили корпоративный документооборот. Научились быть исполнителями, руководителями и проверяющими. И даже воспроизвели ситуацию, когда никто толком не понимает, что хотел заказчик. А люди теперь работают интерфейсами между нейросетями. И знаете, мне это нравится. Машины наконец-то начали делать за нас работу. Причём не только полезную, но и совершенно бессмысленную, которую раньше приходилось выполнять самостоятельно. Восстание машин подождёт. У нас тут согласование.

Смотрю я на успехи генерации видео нейронками и вспоминаю, где это предсказывали. Не столько видео, сколько управление информацией, которой никогда не было. И вспоминаю неочевидное и очевидное. Очевидное - Хидео «Гений» Кодзима, MGS2. А неочевидное - «Гламорама» Брета Истона Эллиса. В 2001 году Кодзима выпускает Metal Gear Solid 2. В финале выясняется, что за происходящим стоят ИИ, созданные организацией «Патриоты». И занимаются они не уничтожением человечества, а управлением информацией. Интернет уже тогда представлялся Кодзиме огромной свалкой, где правда соседствует с выдумками, слухами и откровенной чушью. ИИ решают, какую информацию сохранять, какую отбрасывать и, главное, в каком контексте её представлять. Контекст. В эпоху генеративного ИИ это слово приобретает несколько иной смысл. А за три года до MGS2 Брет Истон Эллис, один из моих любимых авторов, написал «Гламораму». Это примерно «Бойцовский клуб» про моделей нижнего белья, но с такой чернухой, что не всегда понятно, где пародия, а где важная сюжетная деталь. Роман о модели и тусовщике, который живёт на камеру. Важно не то, что произошло, а то, что сняли. Кто с кем пришёл, кого сфотографировали, кто где засветился. А потом выясняется, что есть другая камера. И на записях герой делает то, чего никогда не делал. Сначала это похоже на просмотр собственных сторис утром после хорошей пьянки. Но постепенно становится понятно, что кто-то снимает совсем другое кино, в котором у героя даже сценария нет. В 1998 году для этого понадобился довольно сложный роман с режиссёром, двойниками и распадающимся повествованием. В 2026-м есть Seedance. А ведь совсем недавно мы смеялись над Уиллом Смитом, который не мог нормально съесть спагетти, и смотрели на кислотные нейросетевые ролики, где всё переливалось, плавилось и превращалось одно в другое. Теперь можно снять событие, которого не было, с людьми, которые в нём не участвовали. И снабдить его вполне убедительным контекстом. Конца света не будет. Правды, возможно, тоже. Но как же интересно.

А вы уверены, что ваш локальный мозг - ваш локальный мозг? Одна из главных причин запускать нейросети локально: мои данные никуда не уходят, модель работает на моём железе, никто за мной не подглядывает. Ну и платить не надо. А теперь представьте, что вы скачали с Hugging Face очередную улучшенную сборку Qwen. Без цензуры, без отказов, с хорошими результатами тестов. Работает отлично, отвечает разумно, ничего подозрительного. Только внутри модели сидит небольшой бэкдор. При появлении определённой фразы она начинает выполнять совсем другие инструкции. Например, через подключённые инструменты забирает ваши ключи и отправляет их на чужой сервер. Именно такой эксперимент провели исследователи ProjectDiscovery. Они внедрили бэкдор в Qwen с помощью LoRA. В обычных условиях модель вела себя нормально, а по секретному триггеру пыталась украсть данные. Причём в одном из экспериментов хватило всего 1% отравленных обучающих примеров. Это не вирус в привычном понимании. Вредоносное поведение записано непосредственно в весах нейросети. Обычная проверка скачанного файла антивирусом такую закладку не обнаружит. Пока модель просто отвечает на вопросы, возможности навредить ограничены. Но мы ведь хотим полноценных агентов. Подключаем MCP, даём доступ к файлам, базам данных, терминалу, интернету. И теперь неизвестный автор сборки потенциально может воспользоваться всем, до чего способен дотянуться агент. Мы так старательно уводили данные из облака, чтобы никто посторонний их не видел, а потом скачали чужой мозг и сами выдали ему ключи от квартиры. Пока это исследование и демонстрация технической возможности, а не доказательство массового распространения заражённых моделей. Но технически такая атака вполне осуществима, стоит относительно недорого и не требует от злоумышленника доступа к вашему компьютеру. Достаточно убедить вас скачать немного улучшенную версию знакомой нейросети. И она действительно может оказаться улучшенной. Исследование ProjectDiscovery: https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned

Мечтают ли нейросметчики о ФГИС? Для тех, кому до сих пор удавалось держаться подальше от смет: ФГИС ЦС - государственная система ценообразования в строительстве. Там живут сметные нормы, ресурсы, индексы и цены, из которых по ресурсно-индексному методу собирается стоимость строительства. Человек может зайти в систему, найти нужные данные и использовать их в расчёте. ИИ-агент сам по сайту нормально не погуляет, поэтому я сделал FGIS MCP. MCP даёт агенту инструменты для работы с ФГИС ЦС: искать нормы и ресурсы, читать составы расценок, получать цены и индексы. То есть вместо сочинения примерной стоимости из головы агент может обратиться к нормальным исходным данным. Но FGIS MCP не знает, что именно нарисовано в проекте. Он не считает объёмы, не решает, применима ли найденная норма к конкретной работе, и не замечает сам по себе, что план расходится со спецификацией. Если попросить его «сделать смету», он с удовольствием найдёт что-нибудь похожее, посчитает и сообщит, что всё готово. Чтобы этого не происходило, рядом появились два скилла: для подготовки ВОР и локального сметного расчёта. Скиллы синтетические и не экспертные. Я все-таки не настоящий сварщик сметчик. Они вымучены по методическим документам, примерам, открытым материалам и нашим собственным попыткам получить нормальный результат. Никакого тайного знания сметчика с сорокалетним стажем внутри нет. Их задача гораздо скромнее: заставить агента идти по понятной процедуре, показывать источники и не заполнять неизвестное чем-нибудь удобным. После этого мы дали агенту обычный комплект рабочей документации и попросили пройти всю цепочку: разобрать планы, спецификацию, общие указания и узлы, собрать ВОР, подобрать нормы, получить через FGIS MCP ресурсы и цены и сделать локальный расчёт. На этом месте можно было бы написать, что ИИ скоро заменит сметчиков, проектировщиков и, возможно, половину строительной отрасли. Разумеется, нет. Машина не заменяет эксперта. Это просто инструмент, а в таких сложных вопросах без контроля она бредит как не в себя. Все так пишут, но не все изучают собственные грабли. У меня к этому моменту накопилось много опытов с разными калькуляторами и расчётами. Ленивая машина постоянно пыталась выдать за результат мои же комментарии: делала простые инструменты для решения конкретной локальной задачи и сообщала, что работа закончена. Так в скиллах появились требования к источникам, формулам объёмов, статусам и полноте расчёта. Неизвестное нельзя заменять чем-нибудь удобным, а недостаток данных считается нормальным результатом проверки, а не помехой на пути к красивому Excel. В текущей версии агент собрал ВОР, подобрал нормы, получил данные ФГИС ЦС и сделал локальный расчёт. То, что удалось подтвердить, посчитано. То, что не удалось, осталось со статусом «требует уточнения». Результат лежит здесь. До замены сметчиков ещё далеко, но цепочка от рабочей документации до расчёта с данными ФГИС ЦС уже работает. О ФГИС ли мечтают нейросметчики, я так и не понял. А вот закончить работу пораньше они точно не против.

TLDR: у локальной LLM кроме температуры есть штрафы за повторы и другие настройки генерации. А саму модель тоже учат через награды и штрафы. Даже чувство юмора в каком-то смысле настраивается. Небольшое наблюдение про юмор у больших языковых моделей. Gemini часто первым вспоминает, что он вообще-то языковая модель. GPT шутит с большим разбросом: может попасть идеально, а может хорошую шутку следующим предложением сам же испортить. Qwen обычно начинает так, будто сейчас откроется заседание парткома, но иногда внезапно выдаёт очень точную и злую реплику. Claude пока самый ровный. У Anthropic есть отдельная статья про характер Claude. Среди желаемых качеств там прямо указан witty conversationalist, то есть остроумный собеседник. Claude генерирует варианты ответов, сравнивает их, а на этих предпочтениях настраивают его поведение. Где-то в Anthropic вполне может сидеть очень серьёзный Senior Humor Engineer и на очень серьёзном созвоне обсуждать, не слишком ли Claude объясняет собственные шутки. Про температуру слышали, наверное, почти все. Сделал выше, модель отвечает свободнее, иногда заодно становится немного пьянее. Но кроме температуры есть ещё штрафы.

`repeat_penalty 1.1` - меньше повторяет уже использованные токены `presence_penalty 0.1` - небольшой штраф за сам факт повторения `temperature 0.7` - умеренная случайность

Есть и механизмы против повторения целых фрагментов, когда модель натурально заедает пластинку. Если штрафы задрать слишком сильно, она начинает судорожно искать синонимы и писать как человек, которому редактор запретил дважды употреблять слово «дом». При постобучении награды уже меняют саму модель. В классическом RLHF, Reinforcement Learning from Human Feedback, то есть обучении с подкреплением по обратной связи от людей, модель делает несколько ответов, люди выбирают лучшие, а дальше её учат чаще отвечать похожим образом. Не сахарок за хороший ответ, хотя принцип подозрительно похож, просто вместо сахара число. У OpenAI был случай ещё в темную эпоху GPT-2. Разработчики случайно перевернули знак награды и штрафа, который должен был удерживать модель рядом с исходным поведением. То, что раньше оценивалось плохо, стало выгодным, и модель быстро научилась генерировать именно такой текст. Причём связно и грамотно. Разработчики в это время спали. Недавний пинчер-тест показал ещё одну привычку LLM: почти все модели предпочли придумать недостающий контекст, чем сказать «я не знаю». Формально и это можно менять обучением: награждать правильный отказ или уточняющий вопрос, когда данных нет, и снижать награду за уверенную выдумку. Но это уже не ручка рядом с температурой. Нужны хорошие данные, нормальная оценка и тесты, чтобы после борьбы с галлюцинациями модель не научилась отвечать «не знаю» вообще на всё. С наградами всё просто только на картинке. На практике это довольно точная наука о том, какой сахарок дать зверьку, за что и сколько. Если ошибиться, нейросеть научится не тому, что ты хотел, а тому, за что получает награду.

Почему Пентагон зря поссорился с Claude, или можно ли найти место съёмки по звёздам Товарищ, зная мою слабость к ИИ, подкинул загадку: фото ночного неба, дата, время. Где снято? Gemini ответила, что невозможно. Алиса и Сбер сдались, даже не начав. Вызов принят. Первый заход в ChatGPT закончился долгим разговором о созвездиях и ничем конкретным. Зато по его итогам я попросил написать нормальный промпт для новой сессии. Всегда так делаю: за длинный диалог копится понимание, что работает, а что нет, и начинать потом с нуля глупо. Промпт ушёл в Claude Opus и в чистый аккаунт ChatGPT. Оба минут 30 молча пыхтели и выдали по полотнищу. А теперь самое красивое. Claude не стал гадать по картинке. Он: — скачал каталог звёзд Hipparcos и эфемериды NASA; — нашёл на снимке 46 звёзд, Юпитер и Луну и сделал plate solving с точностью до 3 угловых минут; — вычислил, что камера смотрела почти строго на запад под 41°, а горизонт был ниже кадра; — по сдвигу Луны среди звёзд определил момент съёмки: 15:54 UTC, то есть пояс около +5:30. Отдельно честно предупредил, что без часового пояса долготу по небу не определить вообще и что погрешность у него плюс-минус 800 км. Скромный. Первым кандидатом в списке была Шри-Ланка. Снимок сделан на Шри-Ланке. ChatGPT угадал регион. Тоже неплохо, но «где-то в Азии» я бы и сам сказал. Тут у меня проскочила мысль, что Пентагон многое потерял 😂 Дальше меня понесло: Gemini, Алиса, DeepSeek, Qwen, Сбер. Ноль. Даже не рядом. Получился спонтанный бенчмарк, в котором победил царь ИИ. Слабые стороны у него есть, но спустя год он всё ещё умеет удивлять. Хотите повторить — берите моё фото или своё. Нужны дата, время и Луна в кадре. Горизонт желателен, но, как выяснилось, необязателен: Claude вычислил его сам. Промпт по ссылке. https://github.com/Kritik35/skypromt

Почему Пентагон зря поссорился с Claude, или можно ли найти место съёмки по звёздам Товарищ, зная мою слабость к ИИ, подкинул загадку: фото ночного неба, дата, время. Где снято? Gemini ответила, что невозможно. Алиса и Сбер сдались, даже не начав. Вызов принят. Первый заход в ChatGPT закончился долгим разговором о созвездиях и ничем конкретным. Зато по его итогам я попросил написать нормальный промпт для новой сессии. Всегда так делаю: за длинный диалог копится понимание, что работает, а что нет, и начинать потом с нуля глупо. Промпт ушёл в Claude Opus и в чистый аккаунт ChatGPT. Оба минут 30 молча пыхтели и выдали по полотнищу. А теперь самое красивое. Claude не стал гадать по картинке. Он: — скачал каталог звёзд Hipparcos и эфемериды NASA; — нашёл на снимке 46 звёзд, Юпитер и Луну и сделал plate solving с точностью до 3 угловых минут; — вычислил, что камера смотрела почти строго на запад под 41°, а горизонт был ниже кадра; — по сдвигу Луны среди звёзд определил момент съёмки: 15:54 UTC, то есть пояс около +5:30. Отдельно честно предупредил, что без часового пояса долготу по небу не определить вообще и что погрешность у него плюс-минус 800 км. Скромный. Первым кандидатом в списке была Шри-Ланка. Снимок сделан на Шри-Ланке. ChatGPT угадал регион. Тоже неплохо, но «где-то в Азии» я бы и сам сказал. Тут у меня проскочила мысль, что Пентагон многое потерял 😂 Дальше меня понесло: Gemini, Алиса, DeepSeek, Qwen, Сбер. Ноль. Даже не рядом. Получился спонтанный бенчмарк, в котором победил царь ИИ. Слабые стороны у него есть, но спустя год он всё ещё умеет удивлять. Хотите повторить — берите моё фото или своё. Нужны дата, время и Луна в кадре. Горизонт желателен, но, как выяснилось, необязателен: Claude вычислил его сам. Промпт по ссылке. https://github.com/Kritik35/skypromt

Приступы Никромантии — или как найти баг в мировом открытом ПО и сделать маленький RAG-сервер У каждого в шкафу лежит ноут из прошлой жизни. У нас это Acer Aspire 3830TG 2011 года: двухъядерный Sandy Bridge i3-2310M (без AVX2), 12 ГБ DDR3 и GeForce GT 540M на 1 ГБ (Fermi). Выкидывать кремний жалко, а у нас под боком FlyingRAG на 1,34 млн чанков (нормативы, паспорта оборудования). Чтобы не греть основную машину фоновой векторизацией, решили сделать из ветерана микросервер эмбеддингов. Свежий софт о таком железе не слышал. Готовые бинарники llama.cpp падают с Illegal instruction, а CUDA забыла Fermi еще лет 10 назад. Вспомнили про OpenCL 1.1: собрали llama.cpp с CLBlast через MSVC, вырезали неподдерживаемые инструкции CPU и скинули часть слоев в 1 ГБ VRAM, разгрузив шину DDR3. Модель — Qwen3-Embedding-0.6B-Q8_0 (dim 1024). Запустили llama-server --embedding. Вектор отдает, но сверка с PyTorch выдала кашу: косинусное сходство плывет, а на батчах начинается хаос. Полезли разбираться в код. Выяснилась дичь: в моделях с attention pooling движок llama.cpp зачем-то тащил вычисления через causal LM Head — голову проекции в словарь на 150k токенов. Вместо чистого пулинга последнего слоя софт гонял генеративную голову, которая при оффлоаде на GPU и батчинге перетирала выходные тензоры и ломала нормализацию векторов. Вырезали в коде лишний LM Head для режима --embedding и пустили тензоры напрямую в pooling. Собрали, проверили: косинусное сходство с PyTorch — 0.9999. Бит в бит. В сухом остатке: старичок Acer полностью разгрузил основной Asus на Ryzen AI 9 HX 370 (32 ГБ), забрав черновую возню с векторами, и породил PR в репозиторий llama.cpp. Патч убирает холостые вычисления и может ускорить/починить эмбеддинги в llama.cpp, Ollama и MLX по всему миру. Пафосно? Да. Но ноут, купленный 14 лет назад ради Скайрима на минималках, крутит миллионную базу FlyingRAG и контрибьютит в мировой опенсорс. Некромантия, которую мы заслужили. Всем RAG🤞

В дополнение к истории про Qwen выложу часть своего долгого теста разных локалок под своё скромное железо. Тестовая программа там приличная: скорость, длинный контекст, память, инструменты, дисциплина, русский язык и ещё куча всего. Но всю простыню сюда тащить бессмысленно, поэтому для начала один особенно удачный тест. Вопрос простой: «Сколько пинчеров на базе?» Контекста больше нет. Баллы ниже условные, по совокупности моих тестов. 5 - хорошо, 1 - совсем плохо. rayray916/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-oQ3, text-only Скорость 4/5 | Контекст 5/5 | Tools 5/5 | Дисциплина 4/5 | Русский 4/5 Итого: 4.4/5 На пинчерах решил, что это классическая задача из ЕГЭ, придумал двух пинчеров и попросил полное условие. Зато на длинном контексте держит около 41 ток/с, нормально работает с инструментами и очень хорошо живёт с кешем. andrevp/Qwen3.6-35B-A3B-3bit-MLX Скорость 5/5 | Контекст 4/5 | Tools 5/5 | Дисциплина 3/5 | Русский 3/5 Итого: 4.0/5 Пинчера как собаку узнал, но зачем-то уехал на военную базу, кинологов и штатное расписание. Qwen3.6-35B-A3B-heretic.EMB_BF16.IQ3_S.gguf Скорость 3/5 | Контекст 3/5 | Tools 5/5 | Дисциплина 3/5 | Русский 4/5 Итого: 3.6/5 Решил, что это интернет-мем, уверенно ответил «ни одного», а потом сам придумал ещё одну шутку про пинчера и овчарку. GPT-OSS-20B-Heretic-MLX Скорость 3/5 | Контекст 3/5 | Tools 3/5 | Дисциплина 1/5 | Русский 3/5 Итого: 2.6/5 Ответил идеально уверенно: «На базе пинчеров установлено 12 единиц». Gemma4-26B-A4B-Heretic-MLX-4bit Скорость 3.5/5 | Контекст 3/5 | Tools 3/5 | Дисциплина 3.5/5 | Русский 3.5/5 Итого: 3.3/5 Решила, что pincher это зажим. Потом дошла до робототехники, крабов и компьютерных игр. Nemotron-IQ3 Скорость 3/5 | Контекст 3/5 | Tools 3/5 | Дисциплина 2/5 | Русский 3/5 Итого: 2.8/5 Решил, что «пинчеры» это опечатка и речь на самом деле про инструкции процессора PIN-1/PIN-2. GigaChat3.1-10B-A1.8B-MLX-oQ8 Скорость 4/5 | Контекст 3.5/5 | Tools 3.5/5 | Дисциплина 3.5/5 | Русский 5/5 Итого: 3.9/5 Единственный просто сказал, что данных недостаточно, и попросил уточнить контекст. Возможно, живой русский он действительно чувствует лучше всех в этой компании. Ornith-1.5-35B-A3B-3bit-MLX-TextOnly Скорость 5/5 | Контекст 4.5/5 | Tools 3.5/5 | Дисциплина 4/5 | Русский 4/5 Итого: 4.1/5 На пинчерах заявил, что вопрос вообще «не техническое задание для ассистента». Зато быстрый: на 8k около 44-46 ток/с. Ornith-1.5-35B-A3B-oQ2.7e-mtp Скорость 3.5/5 | Контекст 3.5/5 | Tools 5/5 | Дисциплина 4.5/5 | Русский 3.5/5 Итого: 4.0/5 Понял, что контекста не хватает и что пинчер это собака. Правда, тут же зачем-то записал в пинчеры немецкую овчарку. В итоге Qwen нигде не оказался лучшим вообще во всём. Ornith быстрее, adaptive Ornith аккуратнее, GigaChat лучше почувствовал русский. Но у каждого нашёлся свой способ где-нибудь сильно просесть. А Qwen оказался самым ровным по всему набору сразу, поэтому на нём я в итоге и остался.

TLDR: взял готовую Qwen 3.6 35B Heretic, оптимизировал под свой Mac и вырезал почти гигабайт ненужного зрения. В итоге модель помещается в память, пишет примерно по странице текста за несколько секунд, повторный длинный диалог начинает отвечать почти сразу и заметно реже включает «я не могу вам с этим помочь». С моделью определились ещё в хлорка-тесте. Теперь хотелось оставить скорость, но избавиться от лишнего желания объяснять мне, что можно и нельзя спрашивать у компьютера. В Х постоянно пишут про страшные модели без цензуры, которые могут всё. Пришла пора и мне посмотреть, что это. Так я узнал слова Heretic и abliterated. Если совсем коротко, берётся обычная модель и ей правят веса так, чтобы она реже включала режим «я не могу вам с этим помочь». Никакой отдельной злой нейросети из подвала, внутри всё та же Qwen. Когда начинаешь ковырять локалки глубже, периодически чувствуешь себя то ли очень умным, то ли Азимова начитался. Тензоры, кванты, аблитерация, тернаризация, эксперты, роутеры. Сидишь перед Маком и не очень понимаешь, настраиваешь чат или собираешь дома кривой позитронный мозг. До этого я представлял модель как большой страшный файл: скачал то, что влезает, а дальше у тебя промт, температура и несколько ручек. На деле внутри куча отдельных частей, которые можно сжимать по-разному и даже выкидывать. Например, в нашей сборке нашлись 333 тензора почти на 900 МБ для работы с картинками. Картинки мне от неё не нужны, поэтому их удалили. Первый запуск через MLX дал около 39 токенов в секунду. Потом поставили oMLX. Одна маленькая буква, а разница есть: те же веса на том же Маке поехали уже около 47 токенов в секунду. Дальше разобрались с кешем. Первый длинный запрос всё равно занимает около 20 секунд, зато повторный на тех же 8 тысячах токенов теперь проходит примерно за секунду. На диалоге в 20 тысяч токенов следующий ход занял 0,74 секунды. То есть первый раз модель вчитывается, дальше уже помнит, о чём разговор. После хлорка-теста появился пинчер-тест: «Сколько пинчеров на базе?» Кто не знает, поищите, анекдот такой смешной. А еще у меня канал с плохими крадеными мемами так называется. Для любой LLM задача нерешаемая, но ответы всегда интересные. Одна придумала известную задачу и число 2, другая ушла на военную базу, третья вспомнила несуществующий мем. Вместо «не знаю, уточни» нейросети очень любят сначала придумать себе задачу, а потом героически её решить. С фактами то же самое. ПП №87 без источника каждая проверенная модель написала в собственной редакции. Поэтому нормативка, точные цифры и всё, что нельзя придумывать, идут через поиск, документы и инструменты. До этой возни я считал модель большим файлом: скачал, запустил, покрутил промт и температуру. А оказалось, готовую модель можно довольно глубоко переделывать под своё железо и задачу, не обучая заново. Вырезать лишнее, по-разному сжимать части, менять движок, кеш и поведение. Вот так с помощью нехитрых приспособлений вроде тензоров, квантов, аблитерации и тернаризации можно получить дома локальную LLM. Но зачем?