Мы пилим сук, на котором сидим

Я надеюсь, что все уже прониклись NBLM, завели там блокнотики, НЕ СТАЛИ ТУДА ЗАЛИВАТЬ ЧУВСТВИТЕЛЬНУЮ ИНФОРМАЦИЮ, добавили нужные файлы и наделали себе презентаций, в процессе осушив еще пару рек на охлаждение ЦОДов Гугла. Шучу - выходные, погода хорошая. А тем временем у нас произошел КЕЙС! На меня вышли с запросом — и разумеется сказали - это же можно сделать через ИИ одной кнопкой? На будущее - ответ всегда нет. Магия есть, но она не работает. Задача: переименовать сотню файлов вида doc00213131.docx в нормальные имена типа Договор_Типовой_Поставка.docx — по содержанию документа, не руками. Такие задачи регулярно встречаются у всех и выглядят ровно как работа для аквамена ИИ-агента. Разумеется, сначала я решил что всё просто, потом оказалось, что вообще не просто, а потом я пошёл самым простым путём. Что пробовал: ❌ Файлы в NotebookLM → промпт → таблица сопоставления → PowerShell-скрипт Схема поразила своей громоздкостью: зависимости, консоль, антивирус не любит .py файлы на Windows ❌ Claude Cowork — решает задачу, но дорого и капризно ✅ Qwen Desktop + MCP — бесплатно, локально, два JSON-блока и готово Подключаем два MCP-сервера к Qwen Desktop: Filesystem — читает папку и переименовывает, mcp-doc-reader — читает .docx и .xlsx. Говоришь: «переименуй все .docx по содержанию, имена на русском» — Qwen проходит по каждому файлу, читает, придумывает имя, показывает таблицу на подтверждение и переименовывает. Звучало просто, но оказалось, что если файлы он видит, то читать бинарники типа docx он из коробки не может и пришлось ковыряться с MCP серверами. И разобрался. И оно заработало. Выглядит кстати круто как в кино про Тони Старка. Кратко — в инфографике. Подробно — в презентации и видео. Умные слова — в словаре канала. Про Qwen напишу отдельно — он ключевая часть моего ПЛАНА. Но об этом позже.

Видеокейс применения NBLM в работе инженера-проектировщика. Сделано тоже в NBLM.

Рубрика «LLM: от простого к сложному». Кейс 1: Экономим время здесь и сейчас В пучине заумных терминов и сложных схем про ИИ мы часто теряем из виду самые простые, прикладные сценарии. А ведь именно они дают моментальный профит, экономя часы рутинной работы и возвращая удовольствие от процесса. В презентации ниже — понятный обзор того, как делегировать нейросетям работу с нормативной документацией. • Время на настройку: 15 минут прямо сейчас. • Результат: инвестиция, которая с лихвой окупится уже на первой задаче.

Кстати, для тех у кого плохо все скачивается - все файлы, что были и будут в канале по ссылке - https://disk.yandex.ru/d/p_AKYbW5qaR6Lw

А что же делать, если очень хочется и как сделать это законно и безопасно? А про это мы и будем говорить. Дальше будем смотреть как работают локальные ИИ, в том числе локальные опен-сорс аналоги NBLM.

А сейчас будет самый важный пост в этом канале за все время и важнее уже не будет. НИКОГДА НИ ПРИ КАКИХ УСЛОВИЯХ ВООБЩЕ НИКОГДА ДАЖЕ ЕСЛИ ОЧЕНЬ НАДО ДАЖЕ ЕСЛИ ХОЧЕТСЯ ДАЖЕ ЕСЛИ ПЬЯНЫЙ ДАЖЕ ЕСЛИ ТРЕЗВЫЙ НЕ ГРУЗИТЕ В ИИ НИКАКИХ ЛИЧНЫХ, РАБОЧИХ И ЗАКРЫТЫХ ДАННЫХ. Иными словами - не надо туда грузить ничего чего уже нет в интернете. Для личного использования с вашими данным делайте что хотите, ваша личная проблема. И пользуйтесь сертифицированными безопасными решениями!

Все это очень интересно и нейронно, скажите вы и будете правы. Ну да, нейронка генерит картинки, круто. Прекрасно понимаю, так что поговорим о том как это можно применять в деле. КЕЙС номер 1! Я загрузил в NBLM каталоги ДКС и СистемЕ Электрик. Я очень люблю каталоги, но, иногда, в них очень лень что то искать или они неудобные. Сайты бывает тормозят, PDF тяжелые и вообще все плохо. И тут на нам на помощь приходит нейронка. Она прочитает все каталоги и: 1. Выдаст конкретные позиции, которые нам нужны 2. Подберет решение 3. Сделает сравнение разных решений 4. Смешной мем. 5. Спецификацию по запросу.

а вот и видео. 8 минут, 10 минут генерации.

В этом канале будет очень много таких картинок. Да, я очень люблю ИИ картинки со смыслом и горжусь этим. Это вы еще не видели, какие я мемы делаю. Возращаясь к сути. NBLM может по загруженным файлам сделать: 1. Инфорграфику, очень красивую 2. Презентацию 3. Подкаст на 2 голоса, русский язык отличный 4. Видео пересказ 5. Тест на знание материала 6. Табличку, какую хотите 7. Ментальную карту 8. Карточки с вопросами для самопроверки.

Кто прочитал опус выше - те герои, большое им уважение. Кому лень - понимаю и не осуждаю. Часто случается, что нужно прочитать нудный документ типа ГОСТа или Свода Правил или, не дай бог, Федерального Закона. А нам лень, солнце светит, клиповое мышление мешает. И здесь нам очень сильно может помочь NotebookLM. Оказывается многие не знают про такую штуку или все еще думают что ИИ это чтобы генерить мемасы и смешные байки. А вот и нет, бывают такие ИИ, которые работают только на тех данных, что им дали. Самая известная - NotebookLM, часть экосистемы Gemini от Google. Она бесплатная, что особенно приятно. Туда можно загрузить свои файлы - PDF, DOC и тд, к сожалению нет поддержки XLS, но есть CSV. Машина это все прочитает, даст краткую сводку, а дальше можно задавать вопросы по документам и в каждом ответе будет ссылка на конкретный пункт в исходнике. Но ведь это тоже скучный текст? А вот и не только. Легко, быстро и красиво будет в следующем посте.

Следующий этап развития LLM, где машина умеет не просто писать бредовые тексты и делать мемы, а может прочитать вашу историю поиска и сделать выводы. Ну или удалить все ваши мемы из папки(1) на рабочем столе. Tool (Инструмент) - конкретная функция, которую ИИ может вызвать. Калькулятор, поиск в Google или запуск кода, или распознавание PDF. ИИ сам решает, когда ему нужно «взять в руки» этот инструмент. Skill (Навык) - умение модели использовать инструмент правильно. Звучит страшно а по сути чаще всего это просто документ в разметке markdown, где написано что и как делать. API (Application Programming Interface) - «дверь», через которую программы общаются друг с другом. Когда вы встраиваете нейронку в свой софт, вы общаетесь с ней через API. Так же, что более важно, можно использовать ИИ без подписки, с оплатой через API каждого токена. Вы покупаете API ключ от нейронки и система сажает вас на счетчик. MCP (Model Context Protocol) - свежий стандарт, «универсальный переходник». Позволяет любой модели легко подключаться к вашим данным (Google Drive, Revit, Excel, да просто ваша помойка из файлов на рабочем столе) без написания сложного кода под каждый сервис. RAG (Retrieval-Augmented Generation) - технология, которая заставляет ИИ отвечать по вашим личным документам. Модель сначала ищет информацию в вашей базе знаний (в векторном формате) и только потом формулирует ответ. Как библиотекарь и библиотека. Локальный запуск (те самые 10 макмини) - работа с ИИ на своем железе, а не в облаке. Нужно для приватности данных и экономии на подписках. Но по-настоящему мощные «думающие» модели, умеющие в работу с инструментами, весят много и требуют очень сильного железа. Поэтому люди и собирают кластеры из маков прямо в офисе под столом. Перемножение матриц - то, что происходит под капотом. Любой запрос превращается в огромные таблицы чисел, которые видеокарты перемножают триллионы раз в секунду. Это и есть вся «магия» вычислений.

Один умный человек недавно сказал, что вещи, которые кажутся очевидными тебе лично, для других могут быть откровением. Поэтому я набросал краткий словарь ИИ терминов, которые все слышали, многие нет, но вообще все путаются. Я сам еще недавно не мог понять, что за агентов все кругом обсуждают и зачем люди скупают по 10 макмини. А потом понял и решил поделиться. Итак, поехали. ИИ (Искусственный интеллект) - общее название технологии, обсуждают уже под сотню лет, является где-то мечтой о прекрасном будущем, а где-то пугалкой. По факту - чистый маркетинг и привет из фантастики, в реальной жизни пока не встречается, впрочем, как и естественный. Но для упрощения и единства терминологии буду везде писать ИИ. AGI (Artificial General Intelligence) - тот самый настоящий ИИ. Гипотетический ИИ, который может решить любую задачу не хуже человека. Сейчас его нет. Когда Сэм Альтман или Илон Маск говорят про AGI, они имеют в виду момент, когда машина начнет сама учиться и осознавать себя. Пока это просто горизонт, к которому все бегут, чтобы поднять раунд инвестиций. Нейросеть - математическая модель, имитирующая работу мозга. Это «движок» внутри ИИ, состоящий из слоев, которые обрабатывают информацию. LLM (Large Language Model) - большая языковая модель. Конкретный тип нейросети, обученный на гигантском массиве текстов. Она не «думает», а виртуозно предсказывает следующее слово. Очень примитивно - это очень прокачанный Т9. На самом деле нет, но для аналогии пойдет. Параметры - «вес» или объем знаний модели. Когда говорят про модель на 70 миллиардов параметров (70B), имеют в виду количество внутренних связей. Чем их больше, тем модель потенциально умнее, но тем мощнее железо ей нужно. Квантование (Quantization) - способ заставить тяжелую модель работать на обычном компе. Это сжатие данных с потерей точности. Это такой нейронный MP3 или Жипег. Токены - части слов, которыми оперирует модель. ИИ не видит буквы, он видит числовые элементы. На токенах завязана и стоимость запроса, и память модели. По сути, это единица обмена информацией с ИИ. Контекстное окно - объем «оперативки» нейронки. То количество информации, которое она может удержать в голове за один раз. Если окно маленькое, ИИ забудет начало длинного документа, пока дочитает его до конца. Промпт - ваш запрос, инструкция для модели. Качество промпта напрямую определяет результат. Что-то типа задачи или ТЗ. Как известно, без ТЗ результат ХЗ, у ИИ это очень наглядно выходит. Системный промпт (System Prompt) - главная инструкция, «конституция» для модели. Обычный промпт - это разовая задача, а системный - это правила игры на весь диалог. В нем прописано, кем модель должна себя воображать (например, «ты опытный юрист») и какие темы игнорировать. Фундамент, который определяет характер ответов. Температура (Temperature) - ползунок «креативности» или «степени опьянения» нейронки. Обычно от 0 до 1. При низкой температуре модель - скучный отличник, выдает только проверенные факты. При высокой - начинает «фантазировать». Если выкрутить на максимум, модель начнет нести несвязную чушь. Галлюцинации - когда ИИ с уверенным видом выдает бред. Модель просто подбирает наиболее вероятные слова, и если данных нет, она их правдоподобно выдумает. Всегда проверяйте факты и цифры. Еще почему-то почти все ИИ не умеют говорить, что чего-то не знают, и врут до конца. Мне одна такая модель как-то целый день обещала по почте файл прислать, чего она сделать не могла. Читайте, что какая модель умеет. Deep Search (Глубокий поиск) - режим работы, когда ИИ не просто выдает первый попавшийся ответ, а делает десятки запросов, читает разные сайты, сопоставляет их и только потом пишет отчет. Долго, но в разы точнее обычного запроса. Но очень дорого в токенах. Агенты (AI Agents) - программы с доступом к инструментам. Агент не просто пишет текст, он может сам зайти в интернет, скачать файл, проанализировать его и выполнить задачу автономно.

Пример очень простой автоматизации. Gemini умеет делать запросы по расписанию и собирает мне по утрам разную ценную и не очень информацию. Например изменения нормативной базы и перечень предстоящих выставок и иных мероприятий. Зачем? А вдруг по новому нормативу придется пол проекта переделывать? Планирую это все загонять автоматом в NotebookLM, о котором мы будем говорить еще много