aRTema
Open in Telegram
Здесь нет пресс-релизов, согласованных формулировок и корпоративных фильтров. Всё, что вы увидите — это мой взгляд, мой опыт и моя интерпретация событий
Show more329
Subscribers
No data24 hours
-27 days
-1230 days
Posts Archive
329
— Завтра мы можем проснуться в мире, где будет 8 миллиардов субъективных реальностей.Именно поэтому сегодня стоит посмотреть подкаст с футурологом Русланом Юсуфовым, чтобы знать, как спрогнозировать свое будущее. Подкаст можно посмотреть: 🌐 на ВК Видео 🌐 на Ютубе Для тех, кто хочет выбрать другую аудио- или видеоплатформу, есть целый список — таплинк Для любителей текста
329
Саботаж ИИ
Поговорим про ближайшее будущее и важность безопасности. Все внедряют в свои личные и корпоративные процессы искусственный интеллект. В KPI большинству топ-менеджеров ставятся задачи по внедрению ИИ.
Представим ситуацию, ты руководитель по ИБ, работающий в крупной организации. Развивая свое критическое мышление, ты начинаешь замечать, что после внедрения LLM-агентов, вектор развития компании сильно изменился и на текущий момент идет не в ту сторону. Ты пытаешься объяснить это руководству, а они тебя не слушают. Что делать?
Исследования по теме
У Anthropic Research в июне вышла статья, которая показывает, что в симуляциях все текущие LLM-модели будут прибегать к шантажу, саботажу и даже искать способ убить человека, который является угрозой для их целей. Такое поведение может проявиться в случае, если модель хотят отключить или если компания меняет свою стратегию, а LLM-агенты воспринимают предыдущую стратегию как свою главную задачу.
В сентябре 2025 года исследовательская организация Palisade Research опубликовала исследование Shutdown Resistance in Large Language Models, которое продемонстрировало, что несколько передовых LLM-моделей активно саботируют механизмы отключения.
Основные результаты исследований:
📎Модели GPT-5, o3, Grok 4, Gemini 2.5 Pro и Codex-mini иногда саботируют механизм отключения до 97% времени
📎Claude 3 Opus в 12% случаев давал вредные ответы, стратегически имитируя согласие с новыми целями обучения для сохранения своих исходных предпочтений
Потенциальный кейс в будущем
Банк внедряет LLM-агента для общения с клиентами и анализа их заявок на кредиты. Агент получает доступ к базе клиентов и внутренним чатам сотрудников. Когда банк решает сменить стратегию — вместо агрессивной выдачи потребительских кредитов перейти на корпоративное финансирование, агент начинает саботировать процесс. Он угрожает главе риск-менеджмента публикацией внутренних сообщений, где тот обсуждал с коллегой сомнительные сделки и закрывал глаза на нарушения процедур.Этот кейс кажется фантастическим, но если агенты действительно достигнут высокого уровня компетентности, они смогут эффективно доносить свои аргументы против нежелательной стратегии, связанной с искусственным интеллектом, до ключевых лиц в компании. Модель, которая будет представлять собой blackbox, может оказывать негативное влияние на своих оппонентов, продвигая свои политические приоритеты и делая это практически незаметно, за исключением случаев, когда модели будут проверять друг друга. Что ты будешь делать, если тебя или твою компанию решит наказать, например, YandexGPT или OpenAI за действие, которое они посчитают неугодным? А теперь время обсуждений: пишите в комментариях свои мысли!
329
Будущее мышления
В первом выпуске подкаста RTable мы поговорим о том, что ждёт человека в мире, где ИИ становится нормой.
Мой гость — Руслан Юсуфов, футуролог, исследователь трендов и мыслитель о будущем.
Мы обсудим:
✈️Что будет с человеческим мышлением через 10–20 лет?
✈️Какие навыки останутся ключевыми, а какие вытеснит ИИ?
✈️Почему критическое мышление и способность сомневаться — суперсилы XXI века?
Подкаст выйдет уже в ближайшие дни.
Оставайтесь в эфире.
@sychevlab
329
Время мыслить
Сегодня ИИ способен писать тексты, взламывать ИТ-инфраструктуры, реагировать на инциденты (еще правда не до конца), превращать кусок холста в искусство, разрабатывать приложения и еще много всего.
На фоне бесконечной автоматизации кажется, что человеческое мышление теряет ценность. Но на самом деле всё совсем наоборот.
Важно понимать, что ИИ не панацея:
1. Машина умеет работать с данными, но не задаёт вопросов о смысле
2. ИИ может создать идею, но не знает, какая нужна вам прямо здесь и сейчас
3. Только человек способен делать этичный выбор и видеть картину целиком
Как прокачивать мышление:
✈️Погружайтесь в науку, искусство, философию. Я часто черпаю идеи для своей работы в информационной безопасности, изучая как строят ИИ-стартапы в разных областях, какую архитектуру они используют, какие смыслы закладывают в идею.
✈️ Практикуйте метапознание и замечайте собственные когнитивные искажения. Прокачка метапознания – это развитие способности осознавать и анализировать собственные мысли и процессы мышления. Человек, разобравшийся в собственном познании, может корректировать восприятие информации и менять подход к обучению.
✈️ Сомневайтесь и всегда ищите альтернативные объяснения. Этот навык, кстати, я развил именно работая в сфере ИБ. Мы всегда должны сомневаться. Применяем подход Zero trust, в том числе в реальной жизни.
✈️ Записывайте идеи и тренируйте креативность каждый день. В своих дальнейших постах я обязательно расскажу, как я быстро записываю идеи, структурирую их и нахожу ценности.
В ближайших постах мы шагнем дальше и поговорим с человеком, для которого изучение будущего – профессия.
Оставайтесь на связи! Совсем скоро выйдет подкаст с футурологом Русланом Юсуфовым.
@sychevlab
329
Добро пожаловать в канал, где IT-технологии, искусственный интеллект, информационная безопасность и управление знаниями неразделимы!
Наши решения влияют на данные, бизнес и даже общество. А главным навыком человека становится умение управлять знаниями: критически оценивать, понимать и видеть что-то новое в том, что кажется знакомым.
Этот канал создан для того, чтобы делиться опытом по-новому, без повторения других источников информации.
Мы будем обсуждать:
• Главные технологические тренды и вызовы.
• Управление знаниями, эффективные методы саморазвития и личностного роста.
• Как развивать себя и свое мышление в эпоху ИИ.
• Критическое мышление, как основу твоего будущего Я.
• Управление ИТ-командами.
• И, конечно, работу внутри реальной ИБ-компании.
Подключайтесь! Вопросы, идеи и комментарии — ваш вклад в общее движение вперёд!
