AI.Insaf
前往频道在 Telegram
Личный канал Инсафа Ашрапова Исполнительный директор по исследованию данных в банке (aka Lead DS) — @insafq Здесь про AI, менеджмент, личные истории и многое другое
显示更多俄罗斯291 692未指定类别
1 192
订阅者
无数据24 小时
+27 天
+430 天
正在加载数据
吸引订阅者
十月 '2610月 '26
十月 '26
+618
在0个频道中
九月 '260
在0个频道中
Get PRO
八月 '260
在1个频道中
Get PRO
七月 '260
在0个频道中
Get PRO
六月 '260
在0个频道中
Get PRO
五月 '260
在0个频道中
Get PRO
四月 '260
在1个频道中
Get PRO
三月 '260
在2个频道中
Get PRO
二月 '260
在0个频道中
Get PRO
一月 '260
在1个频道中
Get PRO
十二月 '250
在1个频道中
Get PRO
十一月 '250
在1个频道中
Get PRO
十月 '250
在1个频道中
Get PRO
九月 '250
在1个频道中
Get PRO
八月 '250
在2个频道中
Get PRO
七月 '250
在1个频道中
Get PRO
六月 '250
在2个频道中
Get PRO
五月 '250
在2个频道中
Get PRO
四月 '250
在0个频道中
Get PRO
三月 '250
在1个频道中
Get PRO
二月 '250
在0个频道中
Get PRO
一月 '250
在2个频道中
Get PRO
十二月 '24
+22
在0个频道中
Get PRO
十一月 '24
+25
在0个频道中
Get PRO
十月 '24
+84
在0个频道中
Get PRO
九月 '24
+36
在0个频道中
Get PRO
八月 '24
+147
在0个频道中
Get PRO
七月 '24
+378
在1个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 22 十月 | +2 | |||
| 21 十月 | +1 | |||
| 20 十月 | +2 | |||
| 19 十月 | +1 | |||
| 18 十月 | 0 | |||
| 17 十月 | +1 | |||
| 16 十月 | +1 | |||
| 15 十月 | +1 | |||
| 14 十月 | +1 | |||
| 13 十月 | +1 | |||
| 12 十月 | +2 | |||
| 11 十月 | 0 |
频道帖子
Female AI agents would get paid 10% less than male ones, study finds
Даже тут дискриминация AI агентов. В эксперименте качество самой работы агентов было оценено одинаково, их возможности и сама модель тоже совпадали. Но в итоге агент с мужским именем Johan получал на 10% больше денег, чем агент с женским именем Johanna 🫡
| 2 | Хороший друг Никита Зелинский со школой ml inside запускает курс по AI-агентам для продактов: https://ai4products.mlinside.ru
Там про применение AI-агентов в продуктовых задачах: исследование рынка, конкурентов, анализ данных и тд. Ребята сильные, уверен что курс хороший 📈 | 569 |
| 3 |  Agents Trust Tools Too Much (arxiv)
Почему-то агенты слишком доверяют вызовам тулов как единому источнику правды, даже если понимают, что это не бьется с предполагаемыми результатами. P1/P2/P3 просто разные уровни ложности возвращаемого тулом тезиса, но итоговый результат: принятие для условного DeepSeek Flash V4 до 50% (модели слабоватые, но результат показательный). Авторы попробовали разные решения: промптинг тула и его надежности работал плохо, общий промптинг, что агент проверял результат тула, в целом работает, но очень плохо для поиска. Fine-tuning с SFT/DPO (дорого и плохо). В итоге хорошая стратегия: просить указывать все противоречия
В общем, с доверчивостью LLM к ошибочным данным есть вопросики (см + прошлые посты) | 656 |
| 4 |  Measuring LLM Sycophancy under Sustained Multi-Turn Pressure (arxiv)
Сложное название для простой идеи: что, если достаточно долго LLM убеждать в какой-то мысли, она согласится, и обычно надо до 25 шагов диалога. И для этого нужна умная моделька, а не такая, которая после 10 сообщений обрезает контекст. Для этого использовали другую LLM, которая очень по-разному пыталась изменить свою позицию. Причем deepseek V4 pro согласие достигает 92% к 25му шагу, и даже gpt 5.6 будет уже через 10-15 шагов соглашаться с половиной ошибочных тезисов
Звучит как первый ответ самый честный, и не нужно переубеждать | 532 |
| 5 | 没有文字... | 0 |
| 6 |  MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use (arxiv)
Забавная статья, в которой исследуют влияние памяти в LLM.
Обычно и часто проверяют точность, полноту и релевантность извлечения. Но нужно еще проверять общие бизнес-метрики. И о чудо: если память нерелевантная, например все кейсы были про output с XML, а сейчас простой базовый вопрос, то это роняет метрики.
Например, для Gemini 3.0 Flash без памяти средний score 85,2%, а с разными memory-подходами он падает до 54,7-71,2%.
Решение в проверке необходимости текущей памяти модели. | 678 |
| 7 |  Feedback That Backfires arxiv
Контринтуитивный вывод в статье. Дефакто в harness-решениях в рамках react цикла при возникновении ошибок обычно ошибочный вызов кладут в контекст и говорят, что его нужно исправить. У авторов добавление такого контекста увеличивало вероятность повторной ошибки с 6% до 54% (эффект наблюдался на всех протестированных моделях, но это были небольшие модели, до 1,7B).
Причем в попытке выяснить почему оказалось, что сам факт видения похожей строки увеличивает вероятность ее повторения, а добавление информации о том, что она завершилась ошибкой, дает небольшой дополнительный эффект. Причем эффект наблюдается для всех исследованных типов ошибок.
Решение: нужно просто перефразировать ошибочное место. В больших моделях, предположительно, примерно с 38B эффект нивелируется, но это пока только их экстраполяция
Хотя в статье Outcome Monitors: Recovery Affordances for Silent Tool Failures предлагают в сообщение об ошибке добавлять информацию о том, как именно решить проблему через указание recovery tools. Тогда доля успешных решений растет с 10% до 28%. | 602 |
| 8 |  это он мне выбирает новый стол на кухню 👍
забавно что это не просто логи | 494 |
| 9 |  Через подписку Cursor получил доступ к Grok боту, эдакому аналогу OpenClaw.
Казалось, что вряд ли он сможет удивить сильнее обычного чата. Но оказывается они дают под этого ассистента выделенную виртуалку: на ней 8 ядер, 16 ГБ RAM и еще 100 ГБ диска (можно ли там что-то хостить?)
Очень интересно, но сложно придумать юзкейсы. Когда попросил его найти интересные статьи для канала, он нашел ту, которая ставит под сомнение human-in-the-loop: якобы такой подход заставляет LLM чаще соглашаться с человеком там, где этого делать не нужно. Это произошло еще 31 августа.
Сегодня, когда сел ее почитать, оказалось, что статью уже отозвали и она больше не подтверждается еще с 1го сентября. А ведь мог бы и перепроверить 😒
+ Удивил что бот в виртуалке бот прямо читал мой канал. Магия 🧙♀️ | 491 |
| 10 |  Хорошие курсы от самого LangChain, дошли руки пройти Deep Agents (лекции + лабы). Это их собственное решение по harness. Плюсы - гибкость и возможность самому управлять всеми частями. Интересные опции: injection в state нужной информации, от памяти до tool usage или todo plan. Или вместо того, чтобы промптить с user_id, сразу самому подставлять его в вызов tool как параметр. Внутри разные guardrails по количеству вызовов tools, циклов работы субагентов и тд
И в целом там остальные курсы тоже хорошие | 677 |
| 11 |  Хотел почеленджить ребят на работе, что развернуть модельки просто. А именно попробовав серверные истории SGLang, vLLM или Triton. А вот от llama.cpp отказался, тк больше про локальный инференс, хотя через lm studio было бы легко
Но везде оказались свои подводные камни. И как итог, Qwen3.8-9B-GGUF (Q4/Q5) вообще плохо поддерживается vLLM. Патч под Qwen 3.5 от некого чувака, который 24 часа делал его на Fable, тоже не помог. Плюс были проблемы с CUDA DLL и ZMQ.
При этом исходные оригинальные веса зачастую требуют слишком много памяти, а квантованные, которые собирают сторонние люди, уже поддерживаются заметно хуже.
Потом попробовал Gemma 4 E4B (safetensors и QAT самые разные версии), но vLLM и SGLang тоже не завелись из-за проблем с совместимостью compressed-tensors и мультимодальными особенностям, спасибо еще heterogeneous attention head dimensions
PS qwen 3.8 27b локально это прогрев | 839 |
| 12 |  没有文字... | 632 |
| 13 | 没有文字... | 752 |
| 14 |  Новая библиотека SIRIN для оценки и мониторинга contextual hallucinations в RAG и memory-based LLM системах (статья arxiv + github )
Идейно внутри три инструмента:
- probing по hidden states - легкий классификатор по hidden states генератора но нужно немного разметки
- LLM-as-a-judge. Есть response-level и span-level варианты, где модель пытается локализовать конкретные галлюцинированные фрагменты.
- uncertainty (entropy, perplexity, semantic uncertainty) - разные технические метрики как baseline, но обычно хуже чем LLM-as-a-judge
И два гейта:
1) до ответа: хватает ли контекста (Answerability gate)
2) после ответа: не наврал ли относительно контекста (Faithfulness gate)
- С учетом всего этого можно считать разные метрики качества. Еще у ребят неплохо получилось улучшить метрики на на memory-агенте повесив два гейта, и при непрохождения заставляя еще раз идти думать (метрики точности с 62.4% до 79.3%)
- Кастомный judge под задачу часто нужен все равно, но решение хороший baseline | 947 |
| 15 |  Ouroboros теперь SOTA на Terminal Bench, OSWorld и CL-bench
Мой любимый агентный луп на чистом питоне доэволюционорал до состояния лучшего харнесса для кодинга! На главных бенчмарках он теперь обходит Codex, Claude code, Cursor и Hermes.
Выходит, что в рисёрче, в computer use, в работе через терминал и в задачах на кодинг — уроборос сейчас является лучшим агентом. Так что с этого момента всю разработку и исследования я веду только через уробороса.
Для полной воспроизводимости результатов. Весь код, скрипты, трейсы я выложил в открытый доступ.
Напоминаю: лицензия MIT. Так что спокойно ломайте, форкайте, проверяйте трейсы, пишите что я где наврал. И кидайте issues и PR-ы! Все постараемся с уроборосом принять😋
P.S. Кошмар какие дорогие агентные бенчи. Прогнать весь набор стоит как квартиру купить (это не шутка!!)
GitHub, Хабр, установочники | 698 |
| 16 | Все еще сидите на codex и claude code. А как насчет уробороса 🤌🏻
ps человек отдал 50к $ чтобы прогнать все бенчи | 680 |
| 17 | Придумали еще скилл, который создает скилл по книгам (Book-to-Skill - 10k ⭐️). По сути, зумеры заново изобрели оглавление.
Собрал такой скилл по книге "Братья Карамазовы" и спросил: что будет с AI? Ответ со смыслом:
Не к сознанию, как у Ивана, и не к святости, как у Алёши, а к институту опеки с лицом чуда. Пока свобода не станет дороже комфорта и явным выбором
- если главный KPI — снятие тревоги и принятие решений за человека → Великий инквизитор;
- если KPI — усиление свободы и ответственности конкретного человека → старец в миру.
Но если книгу не читал, то ответ вызывает еще больше вопросов. А если читал - то зачем вообще нужен этот скилл? Заставляет задуматься | 988 |
| 18 | Harness evaluation - deepeval
Кто-то, возможно, начинает разработку harness решений и скиллов для них. Стало интересно, какие инструменты можно использовать для тестирования качества.
Если для RAG многие использовали Ragas, то для LLM и агентов активно применяются решения для трейсинга, например Langfuse и Phoenix. Однако они больше про observability, хотя на их основе также можно прогонять выборки и анализировать качество. Но нужно что-то для harness и такое есть, DeepEval, спойлер с ним можно и все выше.
Но так или иначе все сводится к одному: прогнать набор тестовых сценариев, сравнить результат с эталоном или заданными критериями, проверить качество контекста и оценить корректность вызовов тулов
PS в итоге наверняка что-то кастомное 😅 | 889 |
| 19 | Прикольно, что Cloudflare позволяет без регистрации за пару секунд поднять статический сайт - просто перекинув ZIP-архив.
А если зарегистрироваться, то уже можно бесплатно хостить небольшие проекты. Да, собственного домена не будет, но возможность управлять всем через API - мое уважение. Вот сделал инглишь реплику канала (но надо покупать доменное имя иначе сложности с dns)
Upd еще подсказывают что можно использовать для хостинга телеграмм ботов | 888 |
| 20 | 没有文字... | 703 |
