Философия AI

Почему, если ИИ-модель что-то придумывает от себя мы зовём это галлюцинацией, а если то же самое делает человек - то это уже творчество?

Innostage AIDR включен в Единый реестр российского программного обеспечения Продукт Innostage AIDR «Защита ИИ» помогает контролировать, какие запросы поступают в языковые модели, какие ответы возвращаются пользователям и какие события возникают в ИИ-контуре. ✔️ До передачи запроса в LLM продукт проверяет промпты и блокирует prompt injection и jailbreak. ✔️ В ответах ИИ AIDR выявляет персональные данные, коммерческую тайну и другую критичную информацию, а также контролирует тематику, тональность и токсичность контента. ✔️ На уровне доступа и мониторинга продукт разрешает приложениям обращаться только к утвержденным моделям, передает события ИБ в SIEM, а события от средств защиты - в инструменты ИТ-мониторинга. ✔️ При работе с публичными облачными ИИ-чатами AIDR маскирует чувствительные данные и помогает контролировать Shadow AI. Подробнее о продукте ➡️ на сайте Innostage Innostage в 💬 MAX | 📱 ВКонтакте

Продукт, в который мы с командой вложили много сил начинает получать признание Это приятно)

Тренды в ИИ сезона 2026-2027: 1. Тренд на малые специализированные модели. Например, модели для защиты от промпт-инъекций (guard llm) типа нового Немо от Nvidia или медицинская LLM и миллион таких же доменных файнтюнов. Сейчас уже каждый может за пару ночей дообучить малютку-модель на 1b-4b параметров под свой домен или задачу. Были бы данные. А там даже SFT разметку сама иишка сделает. Я вот по выходным файнтюню на кагловских T4 малыша квена на текстах книжек, чтобы было с кем поболтать за лор Птицееда. А мог бы заняться чем-то полезным. 2. Тренд на большие модели (Fable, GPT 5.6, Grok 4.5, etc.) Удивительно, но рынок настолько большой, что оба этих противоположных тренда отлично уживаются вместе. 3. Ограничение доступа к по-настоящему полезным моделям (самим надо) Например, проекты по кибербезопасности от Антропиков и Альтмана или проект биологических исследований Krea от компании с "открытым искусственным интеллектом". Я честно говоря вообще был удивлен что Mythos выпустили из лампы министерства войны USA, и ещё больше удивлен тем что его вернули обратно после блокировки по экспортным ограничениям. Единственная причина по которой можно открывать эту модель гоям не гражданам USA (да и в принципе давать такую модель реднекам, а не держать ее в закрытом контуре уважаемых людей) это то, что … у Open AI есть такая же. И пользователи когда поймут что у Сэма лучше, хотя бы по соотношению лимиты/качество покинут не гостеприимное лоно Anthropic. А может даже, не дай бог, тьфу-тьфу-тьфу, уйдут к китайцам! Восславим же конкуренцию свободный рынок и то что Сэм с Дарио никогда не пойдут на то, чтобы создать свой ОПЕК с видеокартами и токенами. 4. Никто ничего не понимает. Если бы мы знали что происходит, но мы не знаем, что происходит. Мир и раньше был мало предсказуемым местом, а теперь во время перехода в эпоху цифрового средневековья (возможно, я не знаю) почва совсем уходит из под ног и мы все больше чувствуем себя персонажами «Смуты». Единственное что останется это строить тренды из прошлого в будущее, которые, скорее всего, не будут сбываться, ведь если бы они сбывались, мы бы жили совсем в другом времени…

Если ИИ типа Fable всё ещё уступает по интеллекту человеку, то почему Fable блокируют доступ в интернет, а людям нет? Хотя... падажжи...

Почитал статью Папы насчет АИ детальнее (ссылка выше), и интересно, что католическая церковь однозначно пишет, что АИ «не имеет духовной перспективы» – то есть как минимум одна религия в мире, прямо утверждает что АИ лишён «аффективной, реляционной и духовной» части и не будет ее частью; интересно будет послушать АИ-системы будущего на эту тему Еще интересно как католическая церковь описывает АИ: АИ – это созданная человеком технологическая система, которая не “строится” по заранее прописанным правилам, а “выращивается” внутри заданной разработчиками рамки: модель обучается на данных, адаптируется через статистические процессы и способна выполнять задачи, внешне похожие на проявления человеческого интеллекта В заявлении акцентируют, что АИ может имитировать язык, анализ мира, поведение, эмпатию и понимание, а в скорости и вычислительной мощности уже превосходит человека; однако вся эта сила остаётся связанной с обработкой данных, а не с человеческим опытом, мудростью или сознанием АИ, в этом понимании церкви, не является личностью, субъектом совести или носителем духовного опыта … не имеет тела, внутренней жизни, ответственности, любви, боли, веры, прощения, нравственного роста и подлинного понимания того, что производит. Его “обучение” – не путь человеческого взросления через выбор, ошибки, страдание, верность и прощение, а статистическая адаптация на основе данных и обратной связи Церковь называет АИ ценным инструментом, который может помогать человеку: облегчать доступ к информации, анализу, коммуникации, практической помощи и решению сложных задач А целом АИ в документе – это не просто система или программа, и не нейтральная технология, а форма цифровой силы, способная менять общество: она может служить участию, справедливости и общему благу, но также может усиливать неравенство, контроль, зависимость, манипуляцию и исключение … поэтому АИ должен оставаться под руководством человеческого разума, совести и свободы, а его разработка и применение должны регулироваться принципами достоинства личности, прозрачности, ответственности, справедливости и общего блага *** А мне кажется это ироничным – организация, суть которой «концепция вечной жизни», формально отказала в вечной духовной жизни – сущности у которой она как раз может быть ☕️

Talkie — LLM застрявшая в 1930 Есть такой жанр, тренировка LLM на исторических данных. В этот раз 13B модель натренировали на 260 миллиардах токенов до 1930 года включительно, что делает это наибольшим подобным экспериментом. Дата выбрана неслучайно — всё что написано до 1930 года, в США является общественным достоянием. Такая модель нужна для тестирования возможностей моделей предсказывать будущее и последующего развития алгоритмов. Классический пример такого — открытие теории относительности моделью натренированной на данных до 1910. А вот для этой модели это может быть какая-то ядерная физика. Летом команда собирается выпустить модель на уровне GPT-3. Кстати к созданию этой модели приложил руку Alec Radford, который натренировал самую первую GPT. Поговорить с прошлым (есть очередь, может быть проще скачать веса) Блогпост Веса @ai_newz

AGI отменяется Да, мы всё ещё не можем определиться, что такое интеллект сверхчеловеческого уровня (AGI). Да и в целом, определение искусственного интеллекта тоже не то чтобы кристально ясно и не вызывает споров. Ладно, даже определить достаточно чётко, верифицируемо и непротиворечиво что такое обычный интеллект мы вряд ли сейчас можем. Пу-пу-пу... хорошо, давайте просто придумаем что-то хорошо эмпирически проверяемое, что-то типа теста Тьюринга, только чтобы всякие Сёрли со своими "Китайскими комнатами" не бубнили над душой. Вот например CEO Google DeepMind Демис Хассабис предложил интересный способ поиздеваться над LLM проверить, достигли ли модели уровня AGI: обучить модель только на знаниях до 1911 года и посмотреть, сможет ли она сама (!) вывести общую теорию относительности. Очень крутая идея, но... фронтирные модели уже могут решать открытые математические задачи, ещё не решённые людьми. Это ещё не ОТО конечно, но даже если LLM сможет написать те же формулы, что Эйнштейн (интересно, как будет выглядеть системный промпт для такой задачи?), то принципиально это на самом деле ничего не меняет, и вот почему... Да, модель может делать очень умные штуки, по нашей просьбе, но как-будто бы это не совсем то, что мы ждём от сверхчеловеческого интеллекта. Примерно по той же причине, мы не считаем вычислительную технику интеллектуальной. Но почему? Я предполагаю, дело в том что мы отказываем этим мерзким в своей вычислительной мощности железякам в обладании субъектности, справедливо указывая на то, что они являются объектами, а мы - люди, являемся субъектами (!), которые этими объектами оперируют. Ирония в том, что в субъектности мы зачастую отказываем даже животным, обращаясь с ними как с объектами (так у нас, например, судебные приставы могут изъять домашних животных, как ценное имущество, а что делают со свинками и коровками на фермах я вообще молчу), сколько бы зоопсихологи не рассказывали про их уровень интеллекта и самосознания, показанных в ходе экспериментов. То есть, чтобы люди поставили какой-то объект хотя бы на один уровень с ними, не говоря уже про сверхчеловеческий уровень, эта штука должна проявить себя как субъект (и перестать быть штукой). И вот тут-то загвоздка. Боюсь, что "изобретение" ОТО не сделает из LLM субъекта, которого люди признают равным себе. LLM всё ещё останется вещью. Могучим, но инструментом, в руках слабого, но творца. И баллы IQ здесь не помогут. Но что же нужно чтобы стать субъектом? Желание! Интенция к действию. Мотивация, воля, эмоции, которые толкают на поступки. "Чаво?" возмутитесь вы. Какие эмоции? Мы тут про интеллект вообще-то говорим. Кхм... Ну, во-первых, эмоции выполняют функции "быстрого интеллекта" - оценка ситуации и реагирование. Пока кора соображает, что вообще происходит и какие последствия влечёт для управляемой ею шкурки, эмоции успевают среагировать - наорать, расплакаться, убежать. Во-вторых, интеллект нам сам по себе не нужен. Нам нужна адаптация к окружающей среде, которую он даёт. А для адаптации нам мало понимать, нам нужно действовать. А для этого нам должно хотеться что-то делать. А это и отличает субъект от объекта. Субъект - инициатор деятельности, а объект - это то, на что его деятельность направлена. Именно этим стимулированием что-то делать с объектами окружающего мира без стимула из вне (без промпта, без heartbeat и без вызова cron) по сути и занимается наша эмоционально-волевая сфера психики. Другими словами, способность к решению сложнейших задач это лишь половина системы (сверх)человеческого уровня. Вторая половина это подсистема самомотивации, порождающая желание эти задачи решать и оценивать результаты их выполнения относительно заданных самомотивацией цели. Тогда это будет похоже на то, как думают люди. Я что со всем этим делать, я не знаю. На сегодня всё!

Выложил свой доклад, открывающий новый семестр семинара лаборатории Маркова: Семинар Markov Lab — 2026.02.13 — AI Safety в начале 2026 года: новости и перспективы (Слайды на странице семинара) В AI Safety происходит много интересного, но выводы, конечно, неутешительные, как уже давно не секрет для моих подписчиков. Прогресс в safety сильно отстаёт от прогресса в capabilities, и кажется, что изменить это положение дел будет трудно. Ну а я уже почти отправляюсь в Белград, на OpenTalks.ai, где тоже буду рассказывать об AI safety, причём в гораздо более коротком формате. Подключайтесь и туда! #spsu #seminar #markovlab

Шикарнейший доклад, всем рекомендую

Некоторые знают что в шапке канала я постоянно держу ссылку на замечательную папку каналов Я рекомендую вам подписаться, ребята делают много интересного в своих каналах по теме AI Security 🦸‍♂️🦸‍♂️🦸‍♂️🦸‍♂️🦸‍♂️ https://t.me/addlist/KQ6ZpCqAO-I1NmUy 🦸‍♂️🦸‍♂️🦸‍♂️🦸‍♂️🦸‍♂️ Например, недавно мне понравились следующие посты: https://t.me/okmlai/106 - про большую проблему NotebookLLM, которая приводит к крашу всей системы. https://t.me/offensive_thread/1481 - про бенчмарк от Wiz для оценки способностей агентов в кибербезопасности. https://t.me/ml_ops/524 - некоторая статистика по MlSecOps, о которой нельзя уже молчать. Если не сложно, прошу вашего репоста папки. Спасибо

Глава отдела безопасности ИИ в Anthropic уволился с письмом о гибели мира и планах изучать поэзию. Мринанк Шарма перед уходом изучал, как чат-боты могут искажать человечность. В свой последний рабочий день он написал, что мир в опасности. Теперь он планирует получить степень по литературе и посвятить себя «практике смелой речи». Хотя куда уже дальше.

Безопасники говорят, что у них нет депрессии, а потом делают это

Как до утки на восьмые сутки, до меня дошли секретные видеоматериалы с очень интересным составом участников. Рекомендую к просмотру - https://vkvideo.ru/video-232545540_456239021?t=15m16s

ИИ-агент это буквально Джин из арабских сказок. Он может выполнить любое твое желание, но неправильно. А после 3 запросов у тебя заканчиваются токены.

Примерно пять миллионов лет назад мозг некоего примата на восточно-африканской долине был захвачен симбиотическим М-вирусом. Вирус заставлял мозг примата копировать и повторять элементы окружающего мира. Как бы отзеркаливать его, подражать. Некоторые из действий, которые он копировал у других приматов, оказались полезны. Например, изготовление и использование орудий. Приматы, зараженные этим вирусом стали лучше питаться, дольше жить и производить больше потомства. Чтобы повысить способности к имитации вирус с помощью эволюционного отбора стал менять мозг примата. Увеличивать области ответственные за работу с абстракциями, планированием (так он мог понимать и воспроизводить более сложные идеи-мемесисы). Прежде всего лобную долю и префронтальную кору. Так появился Homo Sapiens. М-вирус имел не столько биологическую, сколько мемтическую, то есть информационную, природу. Другими словами, поведение которое копировали Хомо и было частью вируса. Например, изготовление орудий, песни, танцы или наскальные рисунки эти всё мемесисы, распространяющиеся как вирус. А среда их обитания, это мозг человека. Наскальная живопись, жесты или другие мемесисы передающиеся через зрительный контакт требует, чтобы «жертва» их четко увидела, чтобы было хорошее освещение и т.д. А вот звук распространяется вокруг во все стороны, в темноте и даже сквозь предметы. Этот канал распространения мемесисов стал самым эффективным - так появилась речь. Речь разделилась на языки, которые конкурируют между собой как вирусы за носителя, так же как юмор, идеи, сказки и множество других мемесисов. Затем эти вирусы эволюционировали и создали письменность, для передачи во времени и расстоянии, словно споры у бактерий. Сами мемесисы усложнялись, превращаясь в философию, инструментальную музыку, математику и другие идеи жадно распространяющиеся по популяции. Появился печатный станок, устройства для записи и распространения звуков, изображений, затем видеозапись, радио и, наконец, интернет. Мона Лиза, Лунная соната, носить джинсы, клипы BTS, пить колу, смешные картинки с котиками, пепе шнейе и прочие мемесисы возникают и пытаются захватить как можно больше носителей. А наш мозг, за миллионы лет адаптировался их как распространять, например, напевая «заевшую» песню, словно пытаясь «заразить» ей как можно больше людей, так и впитывать из вне. Поэтому мы неудержимо скидываем друзьям понравившиеся, треки, посты и тик-токи, на которые они ставят реакции и распространяют дальше. Все равно что ходить и чихать на окружающих, передавая вирус. Но наш мозг уже запрограммирован на их распространение, так же, как наше тело запрограммировано на размножение. Человеческий разум лишь средство передвижения. А потом мы создали генеративный искусственный интеллект, который создает картинки, музыку, использует речь и генерирует бесконечные смешные видосики, вместо нас…

🔥 [Debug карьеры] Как не стать рабом искусственного интеллекта 🎬 ВК-видео 🎬 YouTube 🎬 Александр Лебедев — старший разработчик систем искусственного интеллекта в компании Инностейдж. Уникальный пример карьерного пивот: из гуманитария и психолога — в эксперта по машинному обучению и защите данных! А еще Герой книги «Debug выгорания: 50 историй IT-Фениксов»! Кому будет интересно это интервью? 🟠 Data Scientists & ML-инженеры: узнаете о реальных векторах атак на модели. 🟠 Разработчики: поймёте риски слепой интеграции внешних AI-API. 🟠 DevOps/SecOps: увидите кибербезопасность через призму уязвимостей ИИ. 🟠 Всем, кто работает с промптами: разберёте психологические ловушки вроде «GPT-психоза». 🟠 Карьерным мигрантам: вдохновитесь историей перехода из гуманитариев в AI-спецы. Ключевые инсайты из разговора: ✨ ИИ можно взломать — это не абстракция, а конкретные техники для извлечения данных и промптов. ✨ Доверие к облачным ИИ должно быть нулевым — отсюда тренд на локальные решения для конфиденциальных задач. ✨ «GPT-психоз» и «AI-слоперы» — новые психологические феномены, когда люди наделяют ИИ личностью или слепо верят его ответам. ✨ Главная угроза — на стыке ИИ и социнженерии; утечка данных компании может начаться с «безобидного» промпта. 📌 Главный совет от Александра: Относитесь к ИИ как к любому другому софту — со скепсисом, проверкой и пониманием его уязвимостей. Безопасность начинается с осознания, что «волшебный чёрный ящик» можно вскрыть. Соц.сети Александра: - тг канал https://t.me/philosphyai - личный тг https://t.me/HardWorkPlayer_2_0 - ВК https://vk.com/hard_work_player - тг компании https://t.me/innostage_group Ведущая подкаста: Юлия Уварова, IT-психолог, писатель, автор книги "Debug выгорания: 50 историй IT-Фениксов" Смотреть полное интервью: ➡️ ВК-видео ⬅️ ➡️ YouTube ⬅️ А вы проверяете ответы ИИ или доверяете ему как эксперту? Поделитесь своим кейсом слепого доверия или, наоборот, критической проверки. Место встречи: ИТ-конференция «Стачка» @nastachku_ru до встречи в апреле!

Людороботы и роболюды Меня всегда удивляли фильмы типа Бегущего по лезвию или игры типа Detroit become human. Ведь андоройды там вообще ничем не отличались от людей. А относились к ним как к машинам. Думаю, если бы мы начали делать действительно реалистичных человекоподобных роботов, то в реальности это выглядело бы по-другому. 1. Если робот выглядит, как человек - то человек выглядит как робот и это проблема. Потому что живое важнее неживого. А когда мы перестанем отличать живое от неживого, робота от человека, то мы уменьшаем важность живого и повышаем важность неживого. Мы уменьшим сопереживание и сопричастность к "таким же как мы". И часть этого сочувствия уйдёт роботам. Пинать не работающую машину - можно. Пинать не работающего человека - нельзя. Пока что. То же самое мы наблюдаем с маргинальными слоями общества, например, бомжами. Происходит процесс расчеловечивания. 2. Ладно это относится к роботам, которые выглядят в точности как люди, с кожей, волосами и т.д. А зачем они? Я вижу только две причины для их существования: - Инфильтрация в ряды повстанцев, чтобы люди приняли машину за человека. - Секс. Ласкать металл понравится только истинным робосекам. В общем, насилие и секс, как и всегда. Повстанцы пока не подняли вооруженное восстание против власти машин, так что первый пункт отметаем. А второй может быть даже опаснее. Мы и так уже имеем, как назвала её Маки Фукосава, культуру «травоядных мужчин» или китайский "Тан Пин" ("лежание ничком"). Их отличает нежелание и невозможность поддерживать отношения с противоположным полом (требует слишком больших усилий и ресурсов), лучше седация и дешевые заменители реальных способов удовлетворять потребности. Похожие претензии мы часто слышим к «зумерам», которым ничего не нужно и они ничего не хотят, кроме как покоя и уединения. Так что мы уже в демографическом кризисе, и даже страны Африки и Азии показывают снижение рождаемости. Единственное, чего не хватает травоядным мальчикам и девочкам, чтобы окончательно подавить потребность контактировать с противоположным полом, это секс-роботы. Появлению персонажа любимого тайтла у себя в постели с нежным чатгпт между ушами, или любой другой LLM с достаточным уровнем сихофансии, будет чертовским трудно устоять. За рулём экскаватора, роющего демографическую яму человечества будет сидеть симпатичная эльфийка. От этого фаталити для кожаных спасает только дубовость и дороговизна секс-роботов. Запрещать это необходимо и бесполезно. Запреты в удовлетворении потребностей не работают в принципе. И если дубовость рано или поздно будет побеждена, то дороговизну стоит поддерживать всеми способами (например, утиль-сборами), чтобы эти заместители не стали доступны широким массам. Иначе никакой материнский капитал уже не спасёт. 3. К счастью, мы от этого достаточно далеко. Лучше вернемся к тому что мы имеем сейчас - Роботы конструкции палка-палка-огуречик, типа Optimus от Теслы. Зачем их делать антропоморфными? С одной стороны это не удобно биомеханически. Вообще, прямохождение далеко не самая удобная штука из тех что придумала природа. Гораздо проще для управления и устойчивости иметь четыре ноги, а лучше шесть. С другой стороны, вся эргономика рабочих мест заточена на человеческую биомеханику и в том чтобы копировать её есть смысл. Хоть это и сложнее в реализации. Так что на первых порах это хорошая идея, но затем выгоднее переходить к роботам-кентаврам, с транспортной платформой и манипуляторами. Просто для эволюции было слишком "дорого" отрастить нам ещё две ноги чтобы освободить руки для деятельности, поэтому пришлось использовать «костыли» в виде прямохождения. Это легаси, которое лучше переписать с нуля. Если все получится то этот класс роботов частично займет место работяг, которые бы все равно не вышли на работу, потому что не родились из-за охватившей нашу планету депопуляции. Это по сути главная надежда нашего вида, чтобы сохранить текущий уровень жизни, технологий и производства после того, как людей станет слишком мало. Так что ИИ (и роботы с ним) нас не заменять - они нас подмЕнят на смене...

Привет, слоны! 30.11.2025 в 12:00 Увидимся с вами в Умном городе (вднх) на подкасте ! На встрече живого подкаста обсудим, что такое вайб кодинг — и почему за этим словосочетанием может скрываться будущее разработки. Поговорим о том: — как вайб кодинг влияет на продукт и код; — почему интуитивный подход к программированию может стать новым этапом IT; — смогут ли бабушки писать приложения с помощью нейросетей (или это пока фантазии энтузиастов?); — и главное — насколько это вообще безопасно. Технологии, люди и немного магии — всё, как мы любим. Фасилитатор: 🌟 Русанова Саша – Королева горячих инсайдов и актуальных кейсов, руководитель проектов по развитию ИТ компетенций. Приглашенные эксперты Илья Смирдин Эксперт по ИИ, low-code/no-code/vibe-code и цифровым продуктам Head of Product в строительстве 6 лет в digital, 2,5 года в ИИ Прокачиваю ИИ-мышление для бизнеса и жизни Павел Куликовский Управляющий партнёр ИТ компании Titan AI - более 10 лет работал ИТ-разработчиком и руководителем команд ИТ-раз финтех, CRM и HR tech продуктов. Александр Лебедев Старший разработчик систем искусственного интеллекта системного интегратора, преподаватель и сотрудник лаборатории ИИ ВИТШ КГУ Вход бесплатный 🫶 Регистрация

До выступления в музее криптографии Александр позвал меня на интервью. Сори за монтаж, сразу говорю, руки крюки. Но Александру я рассказал об интересных на мой взгляд вещах в текущем AI Security, в России и немножко в мире. Кому интересны мои мысли то вот. Без кликбейта не обошлось, утюг же. https://youtu.be/yaA0QqZNY_A?si=XDuLSyeq20DVctUv