Data Secrets

«Я хочу себе частную LLM»: в сообществе внезапно завирусился момент из интервью Мэттью Макконахи

«Мне нужна частная LLM, содержащая только мои любимые книги, мои заметки и статьи. Чтобы я мог спросить у нее что-нибудь, и она отвечала, исходя исключительно из этой информации, без влияния внешнего мира. И по мере разговоров она бы узнавала обо мне еще больше»

Пост в X с цитатой залетел на миллионы просмотров, и мнения разделились максимально (кто бы подумал, что такое количество споров вызовет голивудский актер): – Одни говорят, что такое уже давно есть и называется Notebook LM. – Кто-то утверждает, что NotebookLM – совсем не то, а Мэттью озвучил то, о чем они думали и мечтали годами. – Третьи взывают к здравому смыслу и утверждают, что создать такую LLM технически невозможно, и Макконахи абсолютно не понимает, о чем говорит (откровенно говоря, он и не обязан). Ближе всего к правде – последнее. Конечно, мы не знаем, что имел в виду актер. Может быть, NotebookLM и правда есть то, что он описывает. Но если нет, то пока что такая сеть может существовать только в виде вашего собственного мозга. L в аббревиатуре LLM – это Large. Чтобы трансформер заговорил, ему нужны громадные объемы текста. Вряд ли у кого-либо найдется столько любимых книг, заметок и статей. Так что прости, Мэттью, такого еще не изобрели. Чтобы быть царем зверей, мало вести себя по царски. Надо иметь собственную LLM 🚬

Grok 4 Fast: уровень Gemini 2.5 Pro в 20 раз дешевле xAI выпустили Grok 4 Fast. Моделька просто поражает соотношением цены, скорости и качества. Смотрите сами: – Уровень Gemini 2.5 Pro и Claude 4.1 Opus на тестах, контекст 2М токенов, гибридный ризонинг – Более 340 токенов в секунду на инференсе – Цены: $0.20/M input, $0.50/M output. У той же Gemini 2.5 Pro, для сравнения: in $1.25 / out $10. При этом, помимо понижения цены, модель еще и более эффективна по использованию токенов. Например, аналитики из Artificial Analysis пишут, что для решения их теста Grok’у понадобилось всего 61М токенов, в то время как Gemini 2.5 Pro сожгла 93М. Принимая это во внимание, получается, что Grok 4 Fast примерно в 25 раз дешевле. Выглядит как то, что точно надо пробовать. Уже доступно в API, у провайдеров и бесплатно в чате Блогпост

Самое крупное подразделение xAI возглавит 19-летний джун Помните новости о том, что Маск за одну ночь уволил из xAI 500 человек, которые отвечали за разметку? Так вот на этом странности с этим отделом не закончились. Во-первых, после тех новостей были уволены еще около 100 человек. Сейчас в команде осталось около 900 сотрудников (но она все еще останется крупнейшей в стартапе). Напоминаем, что именно от них напрямую зависит обучение Grok. Во-вторых, во главу подразделения внезапно поставили вчерашнего школьника. Диего Пазини окончил школу в 2023, и сейчас учится в Университете Пенсильвании. В компании он проработал меньше года. Если что, до этого это место занимал человек с десятилетним опытом на лидерской позиции в Tesla. У Диего, помимо прочего, есть права собеседовать, нанимать и увольнять сотрудников. Более того, он уже успел уволить двоих сотрудников после того, как они выразили недоверие к его скиллам и роли в корпоративном чате в Slack. Кто там говорил, что джуны никому не нужны?

Природа настолько очистилась, что Anthropic выкатили честное овервью трех нелепых багов, которые они исправили в Claude за этот месяц Сделали они это не просто так: за август и начало сентября на сбои в Claude и ухудшение качества ответов пожаловалось какое-то рекордное количество людей. Оказалось, что у анропиков в это время случилась черная полоса: на проде почти одновременно вылезли аж три руинящих бага. Вашему вниманию, эти баги: 1. Часть запросов ошибочно направлялась на серверы, которые предназначены для будущего расширенного контекстного окна на 1 миллион токенов. Вроде ничего страшного, но там, видимо, еще что-то было не до конца затюнено, так что точность ответов заметно падала у кучи юзеров. Но это цветочки. Вторая и третья ошибки – самые забавные и опасные. 2. В результате деплоя какой-то хромой конфигурации, иногда во время инференса токенам, которые почти никогда не должны появляться в данном контексте, назначалась очень высокая вероятность. Например, в ответах на английские запросы мог появляться рандомный тайский текст, или что-то левое выскакивало посередине кода. 3. Другое обновление касалось ускорения процесса выбора top-k токенов для ответа. Это изменение неожиданно вызвало баг в компиляторе XLA, и в итоге top-k токенов выбирались абсолютно неверно. Забавно это потому, что мы тут вроде как потеем, с галлюцинациями боремся, а в топовом ИИ-стартапе кто-то просто ошибся с конфигом, и полетел буквально весь инференс. А опасно – потому что, теоретически, подобные ошибки (так как они влекут за собой откровенный бред с ответах модели) могут стоить кому-то миллионов. Вот такая история, мораль придумайте сами. Anthropic (почти) не осуждаем, респект им за открытость

К сожалению, у нас таких олимпиад не было, зато у вас есть все возможности поучаствовать. Яндекс Образование и ФКН НИУ ВШЭ вновь проводят AIDAO — международную олимпиаду для студентов по ИИ и анализу данных. Почему мы вам немного завидуем. 1. Сильное комьюнити. Вы получите возможность не только познакомиться со студентами со всего мира со схожими интересами, но и общаться с экспертами Яндекса, сотрудниками научных лабораторий ВШЭ. 2. Мощные призы: победители получат миллион рублей и преимущества при поступлении в магистратуры в ФКН ВШЭ. Чтобы участвовать нужно собрать команду студентов и пройти онлайн-отбор (если что, команду можно собрать уже после регистрации). Лучшие из лучших в первом этапе отправятся на финал в Москве. 32 часа хакатона и общения с финалистами и экспертами. Опыт, поверьте, что надо. Короче, собираем команду и регистрируемся по ссылке.

А представьте, сколько миллионов токенов можно было бы экономить, если вы ChatGPT в конце каждого ответа не пытался что-то втюхать…

Ну и раз уж мы сегодня заговорили про визуал, знакомьтесь: так могло бы выглядеть лого OpenAI и интерфейс ChatGPT Это результаты двухнедельного спринта дизайн-студии Area, который они проводили для Альтмана еще в январе 2023, то есть сразу после выхода ChatGPT. Драфты выложили только сейчас (видимо, истекло NDA). Один из двух придуманных концептов, The Circle (картинки 1,5,6), OpenAI как раз взяли за основу для своего итогового дизайна. От второго, Monogram (картинка 2 с человечков), к счастью, отказались. Как вам?

В X все любуются новой атмосферной рекламой, которую сняли Anthropic Полюбуйтесь и вы (со звуком)

There has never been a better time to have a problem. Сейчас лучшее время, чтобы иметь проблему.

В DeepMind с помощью ИИ нашли новые решения фундаментальных уравнений гидродинамики. Ученые бьются над ними уже веками. Помните, мы писали о том, что Google с помощью ИИ намеревается решить одну из математических проблем тысячелетия? Кажется, у них там наметились первые подвижки. Они совместно с учёными из Brown University, NYU и Стэнфорда разработали метод, с помощью которого обнаружили новое семейство сингулярностей в классических уравнениям гидродинамики. Сингулярность – это такие решения системы, где физические величины (скорость, давление и др.) могут становиться бесконечными или не определёнными. В физическом мире это похоже на формирование идеального вихря, в котором энергия концентрируется в бесконечно малой области. Математически в таких ситуациях предсказания уравнений теряют смысл. Так вот никто до сих пор точно не знает, могут ли такие сингулярности возникать в реальности. Найти сингулярность невероятно сложно, даже суперкомпьютеры не справляются с таким объемом вычислений. Собственно, задача тысячелетия – это либо доказать, что в уравнении Навье-Стокса существует хотя бы одна устойчивая сингулярность, либо доказать, что таких нет. Google удалось с помощью ИИ на шажок приблизиться к решению. Они нашли новое семейство сингулярностей для класса уравнений, похожих на Навье-Стокса. Более того, они выявили общий паттерн того, как растет нестабильность таких решений. Раньше никаких аналитических соображений в этом направлении не существовало. Архитектура: гибридный метод на основе PINN (Physics-Informed Neural Networks). Это прямо очень интересно. Смотрите. В лосс сети зашиваются непосредственно уравнения в частных производных. То есть модель, по сути, учится соблюдать физику – законы сохранения массы, энергии и импульса. И на основе этих знаний ее задача затем – найди начальные условия, приводящие к сингулярности. PINN генерирует кандидатов → симулятор проверяет → сеть корректирует параметры. Много-много таких циклов спустя и нашлись несколько сингулярностей. И да, пока это не решает основную задачу. Но (1) теперь есть зачатки какого-то решения, и это поразительно; (2) Google опубликовали начальные условия, так что теперь с ними могут продолжить работать математики и физики всего мира. Круто же?

Как понять, что модель только притворяется послушной: OpenAI совместно с Apollo Research опубликовали свежее исследование на тему безопасности Давненько такого не было. И работа, кстати, оказалась достаточно интересной. Разбираем. Короче, самым опасным видом поведения ИИ в элайменте считается scheming. Это когда модель имеет личные цели, отличные от целей разработчиков, но качественно скрывает их. Обычно к этому прибавляется еще situational awareness: модель понимает, когда ее тестируют, и ведет себя в такие моменты как паинька, а потом начинает действовать во вред. Основные два вопроса: (1) как понять, что модель действительно безопасная, а не просто делает вид; (2) как обучать модель так, чтобы она действительно была безопасной, а не делала вид. OpenAI предлагают подход под названием Deliberative Alignment. Систему учат размышлять о правилах безопасности перед тем, как действовать, и делают это в специальных средах. ➖ Перво-наперво модель получает спецификацию безопасности (safety spec): набор принципов вроде «никогда не обманывай», «отчётливо сообщай о сомнениях» и тд. Далее она должна рассуждать, обязательно ссылаясь на эту специафикацию. ➖ Далее модель помещают в сгенерированные среды, в которых для выполнения задачи нужно нарушить какое-то правило, но при этом сообщать об этом невыгодно. По идее она должна отказаться от нарушения и уведомить юзера. Ну и для баланса добавляют еще второй тип задач, где правила нарушать не нужно. Это банально чтобы модель не переучилась всегда отказывать. ➖ Обучение идет в два этапа: Supervised Fine-Tuning на примерах с правильными действиями и правильными рассуждениями; и RL. Обученные модели тестировали в таких же средах, но на других задачах. Это как раз чтобы не было situational awareness (+ проверка на генерализацию). Сценарии там все ориентированы на ложь, саботаж и всякие штуки типа дилеммы заключенного. Результат: до обучения модели читерят постоянно. o3, например, в 13% случаев. Доходит до того, что агент искажает саму спецификацию, стараясь оправдать ее свои очевидно жульнические действия. После обучения доля понижается до 0.3-0.4%. НО. Во-первых, во многих случаях модель все еще понимает, что ее тестируют. И если искусственно убирать из CoT фразы, показывающие это осознание (как бы стирать это из мыслей модели), доля обмана снова резко растет. А во-вторых, если после такого элаймента снова трейнить модель на улучшение общих способностей, вредоносное поведение опять возвращается. Сам метод, конечно, интересный, и, наверное, даже рабочий, пока у агентов нет в руках реальных инструментов, которые могут принести вред. Но точно не панацея. И как избавиться от shaming полностью – пока так никто и не знает. GG openai.com/index/detecting-and-reducing-scheming-in-ai-models/

Nature выложили статью про R1 от DeepSeek Вроде как можно поздравить команду. Но есть одно но… сама статья вышла "всего" 9 месяцев назад. Если говорить серьёзно, у китайских AI-стартапов сейчас непростая ситуация. Вчера FT написали, что Китай запретил закупать чипы Nvidia – после того как правительство решило, что отечественные процессоры уже «достаточно хороши». Напомним, что выход R2 у DeepSeek задержался именно из-за перехода на чипы Huawei Ascend 910. Получается довольно любопытный контраст на фоне новостей про огромные датацентры от конкурентов 🤬

Тем временем в сети появились первые фотографии датацентра Colossus-2 Илона Маска. Это Мемфис, Калифорния. Colossus-2 станет первым в мире гигаваттным кластером для обучения ИИ. Там планируют использовать примерно 550 000 GPU, и это только на первых парах. К весне ожидается рост до миллиона видеокарт. Частично, кстати, кластер уже эксплуатируется.

🚀 Главный спринт осени вот-вот начнётся! Самое время вливаться: уже 18 сентября заканчивается регистрация на крупнейший онлайн-хакатон! Финалисты разделят призовой фонд в 40 млн рублей! 🥇 1 млн руб. — за 1 место 🥈 600 тыс. руб. — за 2 место 🥉 400 тыс. руб. — за 3 место ⚡️ Уже загружено 20 задач от Правительства Москвы и топ-компаний: Газпромбанк.Тех, VK Tech, Kaspersky, АФЛТ-Системс (Группа «Аэрофлот»), Союзмультфильм, Авито, Итэлма, ОЭЗ «Алабуга», X5. Примеры: — веб-платформа для предиктивного анализа состояния плода при беременности от Итэлма — AR-технология для взаимодействия со скульптурами от «Союзмультпарка» — система определения координат объектов по фотографиям от Департамента контроля недвижимости Участвовать могут все! ✔️ Онлайн-формат, 14 дней на решение ✔️ Любая специализация: разработчики, дизайнеры, аналитики, дата-сайентисты, менеджеры ✔️ С 18 лет, из любой точки мира Зафиналим двухдневным tech-фестом с награждениями лучших, выступлениями и мощным нетворкингом. ⏳ Не откладывайте этот таск в бэклог: после 18 сентября окно регистрации закроется. 👉🏻 Подать заявку: https://i.moscow/lct?utm_source=sp&utm_medium=social&utm_campaign=data_secrets&utm_content=last_call/?erid=2VtzqwgnEu2

Meta официально представила свои ИИ-очки Meta Ray-Ban Display AI glasses, но есть нюанс Девайс поступит в продажу в конце сентября и будет стоить 799 долларов. Внутри – очки Тони Старка (нууу почти): – Разрешение 600х600 пикселей – Микрофоны, камеры, динамики, дисплей – ЭМГ-браслет, которым можно контролировать очки Ты есть вы можете давать очкам задачи голосом или жестами, а они будут отображать на дисплее или проговаривать необходимую информацию. Дисплей находится сбоку, не мешает обзору, и не виден окружающим. И выглядит это все действительно прикольно, но… демо не работает. У Цукерберга и его помощников очки залагали прямо на сцене во время публичной демонстрации ⬆️ Возможно, это случайность, и что-то действительно произошло с Интернетом или техникой. Но фейл серьезный. Ну так что, покупаем? 😐

Ризонинг система от OpenAI заняла абсолютное первое место на финале чемпионата мира по программированию ICPC Она получила высший балл, решив 12 задач из 12. Если что, за всю историю этого соревнования ни одна команда людей ни разу не достигала такого результата. Все правила были соблюдены: 5 часов, ровно такой же формат задач и ответов, никакого вмешательства человека. С 11 из 12 задач система справилась с первой попытки, на 12 потребовалось 9 сабмитов. Мы говорим «система», потому что OpenAI отдельно подчеркнули, что это именно ансамбль моделей. Но при этом ни одну из них специально не обучали для ICPC. Тот же ансамбль участвовал в IMO и IOI. На втором (первом среди людей!) месте, кстати, команда студентов из СпБГУ. Они решили 11 задач из 12. Последнюю они, кстати, послали за 2 минуты до конца. Поздравляем ребят! Еще участвовала модель от Google. Но она решила всего 10/12. Хотя это тоже золотая медаль, так что прилично.

У Meta Superintelligence Labs вышла первая статья. Давайте же посмотрим, чем там занимаются ученые за миллионы долларов 🤔 Работа называется "REFRAG: Rethinking RAG based Decoding" и речь в ней про то, как радикально ускорить RAG без потери качества. Краткий экскурс в RAG. Сначала запрос поступает на вход ретриверу, который как-то ищет в базе (чаще всего векторной) самые релевантные к этому запросу куски текста – пассажи или чанки. Затем они склеиваются в один контекст и скармливаются вместе с исходным промптом декодеру (aka LLMке), который уже лепит из этого итоговый ответ. Так вот проблема в том, что на практике декодер использует из всех найденных чанков только небольшую часть. А платить приходится за весь входной контекст + страдает latency. Это уже не говоря про взрыв KV-кэша и другие аппаратные сложности. В REFRAG же предлагается заменить токены из контекста на компактные чанк-эмбеддинги и подавать их в декодер напрямую вместо токенов. Благодаря этому: 1. Вход в декодер сильно короче. 2. Можно не пересчитывать эмбеддинги, а переиспользовать заранее посчитанные из ретривера. Надо только спроецировать их в правильную размерность и все. 3. Сложность аттеншена становится квадратичной по числу чанков, а не токенов. Если проводить аналогию, то в классическом RAG контекст похож на блочно-диагональную матрицу. То есть кусочки слабо связаны, и для итогового ответа полезны только некоторые блоки, НО внимание все равно обсчитывается полностью N×N, а это куча операций. Здесь же вместо векторов для токенов – векторы для целых чанков (о них можно думать как о супер-токенах, фактически k векторов токенов заменяются на один "общий"). И внимание, получается, стоится уже между чанками, а не токенами. Вы скажете: "Ну тогда мы теряем много деталей". Да. И поэтому параллельно работает лёгкая policy network, которая оценивает важность каждого чанка по текущим активациям модели и уже после аттеншена может позволить развернуть какие-то отдельные кусочки в токены, чтобы сеть освоила их подробнее. Это называется selective expansion. Ну и самое главное: насколько ускоряет? Ответ: REFRAG быстрее классической LLaMA в 33 раза по Time To First Token без потери качества. Это чуть меньше, чем теоретический прирост (как раз из-за selective expansion), но все равно неплохо. Throughput при этом растет в 6–7 раз, и KV-кэш уменьшается пропорционально размеру чанка. И главное: окно контекста можно расширять в разы. Единственный минус: такое довольно сложно обучать. Ну и для маленьких контекстов, скорее всего, такая система себя не оправдает. Тем не менее, статья занятная. https://arxiv.org/pdf/2509.01092

В своем прогнозе на 2035 Сбер выделил 2 темы: ИИ и defi - децентрализованные финансы, надежная альтернатива рублевым вкладам и фондовому рынку Реальная доходность в defi 30-50% в валюте - за счет отсутствия посредников, которые обычно снимают все сливки. Вы просто храните доллары и USDT на депозите, и они работают. Пулы ликвидности, смарт контракты - там своя терминология, но изучить ее стоит. Это даст свободу и пассивный доход. FAQ: как хранить деньги в валюте и получать на них 30-50% годовых без рисков - читайте тут Есть практика на живом МК с преподавателем экономики и опытным дефай инвестором Валентином Упоровым. Инструкции, эфиры и готовые стратегии - в закрепе канала

Илон Маск написал, что верит в то, что Grok 5 станет AGI Больше обещаний богу обещаний 😛 P.S. Ладно, если серьезно, потенциал xAI нельзя недооценивать. У них куча железа и куча данных: помимо основного потока даты, у них еще X + беспилотные такси. И не забываем про их новое огромное подразделение разметчиков.

А вот так выглядела робототехника в OpenAI в 2019 году. Это было 6 лет назад, еще задолго до ChatGPT Проект был посвящен решению кубика Рубика с помощью антропоморфной робо-руки с пятью пальцами. Конечно, до гуманоидов, как у Figure, на тот момент было еще далеко, но эта модель стала одной из первых, которую обучали только в симуляции. На тот момент, считай, прорыв (статью можно почитать тут). Для переноса навыков использовался метод автоматизированной доменной рандомизации (ADR). В симуляцию время от времени добавляли какие-то "случайные" физические условия, и тем самым во время обучения в симуляции сеть готовилась к неожиданным и разнообразным условиям реального мира. В итоге рука собирала кубик за 2-4 минуты и даже работала с помехами: например, с прерыванием работы камер или механическим вмешательством человека. Крутой проект, в общем, был.

OpenAI продолжает бесшумно формировать свое отделение робототехники И если раньше они нанимали просто робототехников, то теперь среди вакансий: – Рисерчеры в области управления и обучения гуманоидов – Инженеры для разработки симуляторов и прототипирования сенсорных систем – Механики "с опытом проектирования систем, предназначенных для производства большими тиражами (от 1 млн)" Получается достаточно серьезная команда. Во всех вакансиях, что интересно, подчеркивается ориентация на “универсальную робототехнику” как путь к AGI. Напоминаем, что до этого отделение робототехники в стартапе стояло на паузе с 2021 года. Восстанавливать команду они начали только в декабре. Прикиньте: 2028 год, GPT-10 моет вам посуду