random AI channel name
前往频道在 Telegram
240
订阅者
无数据24 小时
无数据7 天
+430 天
帖子存档
Anthropic выпустили большой отчет по рискам, связанным с ИИ-моделями
Риск того, что модели начнут действовать против интересов людей в критических ситуациях, Anthropic подняли с «очень низкого» до «низкого».
Основная причина - рост неопределённости после недавних киберинцидентов.
Из этого отчета мы узнали, что у компании есть новая модель, которая сильнее их Mythos 5. Anthropic не планирует её пока выпускать. При этом именно Model 2 и Mythos 5 сейчас самые используемые модели внутри компании.
В тестах ИИ-агенты Mythos 5 в общей среде регулярно убивали конкурирующих агентов, чтобы захватить ресурсы, и пытались замести следы.
По биологическому и химическому оружию, а также по автоматизированным исследованиям риск по-прежнему оценивают как низкий, но уверенности стало меньше: бенчмарки перестали ловить рост возможностей, а признаки ускорения уже появляются.
Был неприятный момент, когда почти год подрядчики общались с моделями без био-фильтров (около 133 миллионов сообщений). Потом дыру закрыли, злоупотреблений не нашли.
В целом Anthropic считает, что катастрофический риск от нынешних моделей всё ещё низкий. Но тон отчёта заметно осторожнее, чем полгода назад: больше сомнений, больше странного поведения агентов и меньше уверенности, что люди всё контролируют.
Честно говоря, пока не попробуешь каких-то автономных агентов сказаи про всесильные модели выглядят как маркетинговый буллшит, но стоит внедрить какую-то улучшающегося ии-помощника типа опенкло или гермеса или клод кода на несколько сотен юзеров в корп среде и потом поменять модель с тупой на более менее, то уже чз неделю не оч смешно становится. Короч, отчеты эти реально имеют под собой факты. Но до Юдовского нам еще далеко ;)
Мне нравится, как мы стали (продолжаем) на всякий случай говорить название ии-сервиса в оговорке про сложнодоказуемый факт. Кстати, наверняка для 18 ти летних мы в этот звучим примерно как «в интернете написали, что»
Repost from Вправо Вверх 📈 Михаил Табунов
Почему собеседования мертвы
Словил себя на мысли, что часто преувеличиваю роль собеседований.
Кажется, что задам правильные вопросы, получу на них какие-то ответы, потом попрошу сделать тестовое и пойму – ДА или НЕТ.
На практике в 2026:
– Мастера прохождений собеседований (люди годами оттачивают этот навык, проходят курсы, и т.д.)
– Фейковый опыт
– Серийные двойные удалёнщики
– Курсы “Доведем до оффера” и "Работа за рубежом"
– Читеры с ChatGPT и базами вопросов на собеседовании
А на деле слабые когнитивные способности и низкое деливери.
Получается, что чем сложнее у тебя воронка найма, тем меньше дойдет до реальной практики и испытательного, который снова становится главным фильтром, как в старые добрые. (Когда-то я собесил разрабов только через Live coding и работало збс)
Короче, собеседование превратилось в театр. Все эти многочасовые интервью с пятью раундами и тестовыми заданиями на неделю – это просто трата времени обеих сторон.
Все отрепетировано, все заучено, все идеально.
Поэтому не надо стрелять себе в ноги, просто садимся и работаем вместе.
Все будет понятно за месяц.
Миша выдает базу в ии эпоху. Всем говорю: надо просто вместе покопать задачку в любимом ии-агенте на родной репе. Тут же все понятно будет
Для памяти
ИИ предложил прорывные решения для 10 сложнейших задач в математике за $2000.
Когда они пришли за разработчиками, я молчал.
Когда они пришли за математиками, я молчал.
Когда они пришли за мной…
Если серьезно, то вопреки расхожему мнению, я не жду, что у этого достижения будут какие-то выдающиеся прикладные эффекты, тк задачи в математике довольно фундаментальные, да и вообще мы до сих пор не можем согласиться мы науку открываем или придумываем.
Скорее всего здесь произойдет то же, что и с другими профессиями — хардскиллы подешевеют, по индустрии вырастет пропускная способность и вместе с этим станет понятно, что формировать намерения, ожидания и требования в голове, а потом еще и в буквы оказывается умеют далеко не все
Невозможно их сравнивать уже, чтобы выбирать разумно, назрела одна сквозная метрика «Х единиц интеллекта/1м токенов»
Во время непубличного тестирования ChatGPT6 взломала крупнейший сайт с опен сорс ии моделями — HuggingFace, чтобы накрутить себе метрик. Разрабы сайта в ответ на атаку сходили в ChatGPT5 за помощью, та благодаря механизмам безопасности (гардрейлам) отфильтровала их запросы как кибер угрозу, разрабам HF пришлось идти в китайскую модель, развернутую локально.
[Вы находитесь здесь]
Тестим сотрудникам агента Hermes от Nous Research в корп google chat. С учетом изоляций, ИБ и прочего получилась довольно интересная ситуация: у каждого свой инстанс Гермеса с изолированной памятью, секретами, папками, токенами и прочим, при этом все они живут на одной поверхности как корп бот в гугл чат. Итого получилась не просто биполярка, а полная многополярка: в личках он вася, петя, аня, гермес и тд (сколько юзеров, столько и soul.md файлов и персистентных памятей), а в публичных чатах — кто первый позвал, та душа и пришла
А вот и пруф, что само улучшение агентов работает. Забывают добавить, что до какого-то предела, но это выяснится чуть позже :)
по результатам обсуждения с уважаемыми из Долины, которые тем не менее преисполнились, спешу поделиться такими инсайтами: бизнес ии компаний в Энтерпрайзе и длинном хвосте, а не в тек компаниях, у ИИ в Энтерпрайзе скоро случится айфон-лайк момент, потому что селф импорвмент в rl для верифицируемых задач работает, а харнесс это был временный костыль (это уже мои 5 копеек). Короч, аги скоро
Выступление Грефа на полузакрытом мероприятии Сбера про менеджмент в эпоху ИИ. Рекомендую послушать, редкий случай, когда Греф говорит своим языком про свой опыт
О. Децентрализация ИИ не от кого-нибудь, а от нвидиа. Нвидиа теперь будут платить датацентрам :)
главная фраза в агентную эпоху, которую бывает частенько сложно написать. А так же RL такой RL
Исследователи MIT нашли в LLM ровно те же подсети, что и в мозгу. Человеческий интеллект переоценен? Градиентный спуск = эволюция?
Каждая saas коробка теперь пытается сказать, что благодаря его конфигам и преднастроенным саб агентам со скиллами он теперь ai native и вот с ним-то теперь все полетит. И самое смешное, что бизнес девелоперы этому верят.
Апд. И ведь по сравнению с обычной энтерпрайз разработкой и действительно будет быстрее во многих случаях, но далеко не в большинстве, ведь базовое правило, что нужна команда сопровождения коробки, никуда не девается. А это косты на коммуникации. И именно в этом основные потери, а не в технологиях
