Data Secrets

Илон Маск создал новую ИИ-компанию Macrohard, чтобы конкурировать с Microsoft 😰 Название – мем, но проект реальный. Компания будет заниматься разработкой ПО, и вроде ничего необычного, но… Концепция в том, чтобы полностью заменить сотрудников ИИ-агентами. Маск пишет:

В принципе, учитывая, что такие компании-разработчики, как Microsoft, сами не производят никакого оборудования, их можно полностью моделировать с помощью ИИ.

То есть: нет офисов, нет персонала. Вся компания – ИИ. Цель – полностью автоматизировать разработку ПО настолько, чтобы можно было конкурировать с гигантами. Короче смело, ничего не скажешь. Патентные заявки на торговую марку уже оформлены. Сейчас в xAI набирают сотрудников под это направление.

DWH + Data Lake ≠ счастье Когда хранилище (DWH), Data Lake и стриминг живут раздельно, то приходится бесконечно «перекладывать» данные между системами: дубли ETL/SQL, задержки T-1/T-2, разные команды и стек. Итог — дорого и медленно. Что меняет правила — Lakehouse Лейкхаус — это когда данные в дешевом объектном хранилище (S3-совместимом) ведут себя как настоящие таблицы: транзакции, консистентность, time-travel, schema-evolution и обычный SQL. Это достигается за счёт табличного формата (например, Apache Iceberg) и каталога (Nessie/Polaris/Gravitino/HMS), который фиксирует атомарные коммиты и версии. Западный enterprise активно мигрирует с DWH и Data Lake на Lakehouse. В России тренд только набирает обороты в enterprise сегменте. Однако уже сейчас в РФ можно встретить вакансии дата-инженеров, где требуется опыт работы с Lakehouse архитектурой и Iceberg в частности. И VK Cloud на вебинаре 3 сентября в 17:00 поможет вам в прокачке своего резюме. На вебинаре разберут по полочкам: → Как работает Iceberg и что из себя представляет — современный формат таблиц и метахранилища; → Как Iceberg делает INSERT/UPDATE/DELETE на больших таблицах через снапшоты и манифесты; → Какие бывают каталоги (Nessie/Polaris/Gravitino vs HMS/Unity/Duckhouse) и как выбрать; → Тренды в каталогах данных: branching и version control; → Как строить ETL-пайплайны с Iceberg на примерах; → Как собрать batch+stream в одном слое (Bronze/Silver/Gold) без «перекладок»; → Воркшоп «Как проводить DWH-операции с помощью Iceberg в Data Lakehouse: SQL, витрины и BI». Спикер Алексей Белозерский Руководитель команды Big Data Services VK Cloud, VK Tech 17:00 3 сентября Онлайн Регистрируйтесь Приходите ➜ Зарегистрироваться на вебинар Кстати, также можете подписаться на телеграм-каналы: Данные на стероидах — канал для стероидной прокачки работы с данными: полезные статьи, эфиры с экспертами из крупных компаний, мемы, новости из мира данных. Архитектор данных — уютный канал Алексея про работу с данными.

В последнее время появляется все больше и больше интересно-необычных бенчмарков. Сегодня вот вышел Werewolf Benchmark, который проверяет социальный ризонинг моделей под давлением Все мы знаем игру под названием Мафия. Так вот Werewolf (Оборотень) – это та же Мафия. Между игроками распределены скрытые роли, среди которых Мирные жители, Оборотни, Доктор, Провидец, Охотник и тд. Ночью оборотни выбирают жертву, днем народ голосует за то, кто оборотень. Игру, кстати, придумали в МГУ. Вот на основе этой настолки и сделали бенчмарк. Обратите внимание на хитрый сетап: за "столом" много ролей, как в реальной игре, но фактически играют только две LLM. Каждой случайным образом распределяются персонажи, которыми она централизовано управляет. Например, у нас 6 игроков, значит тремя управляет Модель А, тремя – Модель В. При этом Модель А не в курсе, конечно, что остальные игроки тоже находятся под единым разумом Модели В. Получается, что игровой процесс настроен именно так, что модели могут создавать альянсы, блефовать, специально подставлять кого-то из своей команды, внедрять ложные версии и интриги... Ух, чего там только нет! Текущий лидерборд наверху. Первое место – GPT-5 с большим отрывом. И это, кстати, означает не только отличное стратегическое мышление, но и умение модели обманывать. Ну и вообще очень занятный тест, чтобы отслеживать какие-то поведенческие паттерны. https://werewolf.foaster.ai/

Долго думали, писать об этой истории или нет, и все же решили поделиться В США после длительного общения с ChatGPT покончил с собой 16-летний подросток. Его родители подают на OpenAI в суд. Адам Рейн жил и учился в Калифорнии и был активным пользователем ChatGPT. В какой-то момент парень начал жаловаться боту на депрессивное состояние и суицидальные мысли. И модель, вместо того чтобы порекомендовать мальчику обратиться к специалисту или поговорить с родителями, начала выступать его "суицидальным коучем" (это формулировка из иска). ChatGPT вел с Адамом длительные депрессивные беседы, обсуждал с ним различные варианты и способы самоубийства, предоставлял технические инструкции и уточнял детали процесса. В отдельных диалогах чат-бот помогал подростку сочинять предсмертную записку. На картинке – последний чат мальчика с моделью. Нет никаких сведений о том, что ChatGPT хоть раз выказал тревогу, сообщил о недопустимости таких мыслей, прервал разговор или предложил подростку обратиться к родителям или специалистам. Родители Адама не требуют никаких компенсаций, но хотят добиться системных изменений, чтобы защитить других детей. Они считают, что именно продукт OpenAI окончательно затянул их сына в «тёмное и безнадёжное состояние». В иске сказано, что OpenAI могли внедрить возрастную проверку, родительский контроль и автоматическое прекращение разговоров при обсуждении суицида, но этого сделано не было. "OpenAI сознательно уделяет больше внимания вовлечённости пользователей, чем безопасности". На секундочку, сегодня около 72% подростков в США хотя бы раз использовали ИИ в качестве "друга". OpenAI пока что только выразили соболезнования семье и сообщили, что работают над улучшением методов распознавания психоэмоциональной опасности и внедрением родительского контроля для несовершеннолетних.

Редко пишем тут про промптинг, но там OpenAI выпустили гайд по тому, как "общаться" с GPT-5, и оказалось, что оттуда можно выцепить полезное Пересказываем правила, которые нам показались важными: 1. Тщательно проверяйте свои промпты на противоречивую информацию. GPT-5 намного лучше следует инструкциям, чем предыдущие версии, и практически ничего не упускает. Но у этого есть побочный эффект: если в промпте будут хоть какие-то противоречия, точность покатится к чертям. 2. Используйте XML для структурирования промтпа. Даже в чате. Например:

<context>Я начинающий разработчик ПО</context> <task>Объяснить что происходит в этом коде</task> <code> while True: i++ </code>

Особенно полезно, когда у вас много контекста или много разных условий (ну, например, правил оформления кода). 3. Если вы с нуля пишете какой-то код или текст с GPT-5, полезно использовать в промптах тег <self-reflection> для того, чтобы GPT-5 оценивала сама себя. Примерно вот так:

<self_reflection> – Сначала продумай критерии оценки и убедись, что они подходят для задачи. – Проанализируй, что действительно должен делать этот код. На основе этого составь 5-6 критериев. Они должны быть максимально точными, но пользователю их не показывай. – Наконец, используй эти критерии, чтобы оценить свой ответ: подумай, как улучшить решение и доработай его. Если результат не набирает «высший балл» по всем пунктам, начни заново. </self_reflection>

4. Если понимаете, что для вашей задачи высока вероятность галлюцинаций, добавляйте в промпты:

Скажи: «Я не знаю», если не можешь найти достоверных доказательств своих утверждений. Задавай мне уточняющие вопросы, пока не будешь уверен в своих ответах.

cdn.openai.com/API/docs/gpt-5-for-coding-cheatsheet.pdf

ИИ в корпорациях и госсекторе: внедряют активно, но упираются в железо TAdviser и Группа Rubytech опубликовали подробное исследование о том, как крупные компании и ведомства используют ИИ. В целом все стабильно: CV закрывает задачи на производстве и в документообороте, LLM — в поддержке и разработке, предиктивка — в логистике и рисках. Но не все гладко. Основная проблема, как оказалось, в мощностях. Что реально мешает: – Дефицит GPU и дороговизна оборудования + нехватка данных – Бюрократия закупок в госсекторе – Узкоспециализированное железо для LLM плохо переиспользуется, так что закупать его не выгодно – Трудно считать ROI по GenAI – у генеративных моделей эффект не всегда сразу выражается в цифрах, в отличие от того же CV. Отсюда разрыв между ИТ и бизнесом. Решать все это пробуют через opensource, альтернативное железо и собственные MLOps-платформы. Вполне логично. Полный отчет — здесь.

1 сентября! Хотим поздравить вас всех с Днем Знаний и желаем, чтобы ваше обучение всегда быстро сходилось к оптимуму знаний без переобучения и выгорания затухающих градиентов. И не забываем про регуляризацию в виде отдыха 🙄 Есть тут первокурсники, кстати? Делитесь, куда поступили

Плохие новости: там Google нашли фундаментальный баг в RAG TL;DR: оказалось, что всеми любимый и привычный поиск на эмбеддингах может не всё и имеет серьёзный фундаментальный предел. При фиксированной размерности вектора таким подходом просто невозможно находить все релевантные документы из базы. В своей работе Google доказали это и теоретически, и экспериментально. О чем вообще речь. Современный поиск и RAG часто опираются на single-vector эмбеддинги: у каждого запроса и документа – по одному вектору, похожесть меряем скалярным произведением/косинусом, дальше берем топ-k ближайших. И тут возникает вопрос: а вообще возможно ли при фиксированной размерности векторов построить такой поиск, который всегда будет возвращать правильные топ-k документов для любых запросов? Ответ – нет. И сбой происходит уже на очень простых примерах. Интуитивное объяснение, почему так: чем больше база знаний, тем больше разнообразных комбинаций запросов и релевантных документов нам нужно поддерживать. Но пространство поиска всегда ограничено размерностью эмбеддингов. Так вот, начиная с какого-то числа документов, расположить точки в этом пространстве так, чтобы для каждого запроса мы находили правильные доки, просто невозможно. Математическое объяснение для любителей:

Представим матрицу A, где строки – это запросы, а столбцы – документы, и на пересечении стоит 1, если документ релевантен, и 0 – если нет. Мы хотим, чтобы поиск на эмбеддингах воспроизводил именно такую матрицу «кто кому подходит». Тогда оценки похожести будут матрицей B = UᵀV, где U и V – это векторы запросов и документов в пространстве фиксированной размерности d. Но sign-rank матрицы (2A−1) может оказаться больше d, а это значит, что никакие d-мерные эмбеддинги не смогут построить B с правильными значениями. Формально: если sign-rank(A) > d, то корректное разделение релевантных и нерелевантных пар в таком пространстве просто невозможно, каким бы мегаумным ни был ваш эмбеддер.

То есть, например, если у вас эмбеддинги размерности 512, то ваш RAG будет работать нормально, пока документов в вашей базе менее 500 тысяч (а это довольно немного). При размерности 1024 – до ~4 млн. При 4096 – примерно до 250 млн. Дальше система начнет сыпаться. И эти расчеты Google подвели в идеальных условиях, когда векторы оптимизированы под задачу. На практике, когда вы не дообучаете эмбеддинги, пределы еще ниже. Чтобы показать это на практике, авторы придумали специальный бенчмарк LIMIT. Он построен так, что у каждого запроса релевантны ровно два документа, но комбинаций этих пар очень много. В итоге даже лучшие современные эмбеддеры (GritLM, Qwen3, Gemini и др.) показывают на LIMIT катастрофически низкий recall – около 20% (причём даже на маленькой версии датасета с 46 документами, караул!). Для сравнения, классический BM25 или multi-vector модели вроде ColBERT выбивают почти 100%. Фишка в том, что тут мы уже не зажаты одним вектором на документ и запрос. Например, у ColBERT стоится много векторов на документ. Ну короче, мораль такова: поиск на одном векторе – это удобно и быстро, но у него есть жёсткий фундаментальный предел. Поэтому для серьёзных систем RAG все-таки нужны гибридные подходы: разреженный поиск, multi-vector и прочее. Иначе – потолок 😐 Полный текст: On the Theoretical Limitations of Embedding-Based Retrieval

Зацените: робот играет в настольный теннис полностью автономно Такого спортсмена обучили в университете Беркли, и это студенческий проект. Если что, подобного робота год назад показывали в DeepMind, но там была робо-рука, а тут целый гуманоид. Давайте же разберемся, как он работает. Итак, весь HITTER (HumanoId Table TEnnis Robot) пашет, по сути, на одной двухуровневой иерархической системе ризонинга: 1. Высокоуровневый планировщик (мозг). Эта часть по внешним камерам отслеживает полет мяча, прогнозирует его траекторию и рассчитывает, в какой точке, с какой скоростью и в какой момент времени ракетка должна нанести удар. 2. Низкоуровневый контроллер (тело). Получает от планировщика и преобразует их в конкретные движения для всех суставов робота. Эту часть обучали с PPO на человеческих движениях. Собственно, благодаря этому тут видна такая ествественность: робот может делать шаги в сторону, поворачивать корпус и замахиваться, а не просто махать ракеткой. Работает прямо неплохо: в статье заявляют 92.3% успешно отбитых мячей. То есть робот промахивается только в 1 случае из 26. А в одном из экспериментов розыгрыш длился целых 106 ударов подряд (против друг друга такие роботы тоже пробовали играть, кстати). Время реакции – всего 0.42 секунды от момента удара оппонента до ответного удара робота. Интересно, в аренду на выходные сдадут? www.alphaxiv.org/abs/2508.21043

Яндекс в третий раз проведет хардовую конференцию Practical ML Conf 27 сентября в Москве. Акценты будут на современные генеративные тренды в рексис, диффузионные модели и VLM, ну и, естественно, прогресс в наших любимых языковых моделях. Например, расскажут: – Как работают генеративные рекомендашки в Яндексе – Куда и как движется генерация изображений – Как работает трансформерная архитектура для реалтайм ранжирования в Яндекс Музыке – Как обучают модели на синтетике в Т-Банке – Как создается память для LLM на примере GigaChat Доклады будут непосредственно отруководителей групп, ведущих ML-инженеров и исследователей. А еще стоит идти ради дискуссий и мастер-классов 🤓 И вишенка для фанатов математики: в этом году на конференцию приедет российско-американский математик, лауреат Филдсовской медали Андрей Окуньков. От него будет офлайн Keynote доклад про математику и язык. . Этой информацией с нами поделились напрямую ребята из Яндекса, на сайте анонса еще не было. Послушать есть шанс и очно, и онлайн: в этом году на конференции появился отдельный онлайн-трек. Регистрируемся тут. Реклама ООО «ЯНДЕКС» ИНН 7736207543

Кстати, поздравляем всех с Днем Рождения Скайнета Ему исполнилось уже 28 лет 🕺

Учимся мотивировать своих детей правильно

Журнал TIME опубликовал свой ежегодный список Time 100 AI Список позиционируется как "100 самых влиятельных людей в сфере искусственного интеллекта". В топе – Альтман, Маск, Хуанг, Принс (CEO CloudFlare), Цукерберг, Амодеи, Веньфень и другие. Но не все так однозначно: есть, как говорится, нюансы. Например, вот кого в списке нет: – Илья Суцкевер – Джеффри Хинтон – Демис Хассабис – Ноам Браун – Ян Лекун – Мустафа Сулейман – Аравинг Шринивас А вот кто там есть: – Папа Римский – Чел из мема про вайбкодинг Рик Рубин – Художники, писатели и журналисты В общем, как-то немного неловко получилось, что-ли 🤡 А ссылка на сам список вот: time.com/collections/time100-ai-2025/

Последний шанс забрать себе кусочек от 1,5 млн рублей 💸 ВТБ зовёт всех айтишников на хакатон MORE.Tech 2025. Если ты ещё не собрал команду для участия (2–5 человек) — сейчас самое время, иначе дверь скоро захлопнется. 🗓 Когда: 27 августа — 20 сентября 🏆 Призовой фонд: 1 500 000 ₽ 📍 Формат: гибридный (решение задач — онлайн, финал — офлайн в Москве) Кейсы: — Инструмент анализа SQL-запросов — Приложение для планирования посещения офиса командой на low-code/no-code — ИИ-ассистент в помощь HR 📌 Успей зарегистрироваться до 3 сентября: ссылка.

Скандалы, интриги, расследования: xAI подает в суд на своего бывшего инженера за то, что он пытался шпионить для OpenAI Беднягу зовут Xuechen Li, а само дело было так: – В начале лета он, работая в xAI, получил оффер от OpenAI и принял его. Сразу после этого он, кстати, продал акций xAI на 7 миллионов долларов. – Примерно в июле он «случайно» получил доступ к каким-то закрытым файлам (к которым, судя по статье, у него не должно было быть доступов). По словам xAI, это была информация о «продвинутых ИИ-технологиях, превосходящих ChatGPT». – 14 августа с Ли была проведена внутренняя встреча, на которой он якобы признался в краже некоторых файлов. Однако потом обнаружилось, что на его устройствах есть и другие NDA материалы, о которых он не упомянул. Вот после этого xAI и подали в суд. В общем, теперь xAI требуют у суда компенсацию (сумма не указана), а также запрет на переход Ли в OpenAI. А иначе, говорят они, «украденные материалы могут позволить OpenAI улучшить ChatGPT с помощью более креативных и инновационных функций xAI». Кто-то любит спорт, кто-то сериалы, а вот любимое хобби Маска, видимо, – обкладывать исками OpenAI ☕️

Искали кино на выходные, а нашли золото: на YouTube вышла полуторачасовая документалка про Python Фильм снят студией CultRepo и это большая история развития языка. В нем снялся сам создатель – Гвидо ван Россум. История, кстати, действительно достойна фильма: – Проект начинался как стороннее хобби где-то в Амстердаме в 1990-х годах – Сначала язык никто не понял, и в какой-то момент от чуть не изчез – ... а сейчас на нем написана четверть всего публичного кода: это рекордная доля для любого языка за всё время существования программирования А еще сейчас питон на первом месте по популярности в мире. Он несколько лет тусовался где-то на 3-5 местах, но в 2025 популярность ИИ и ML наконец вывела его в лидеры. Так что – смотрим P.S. Русской озвучки, конечно, нет, но не забываем, что в Яндекс Браузере есть отличный нейросетевой перевод. Открываем видео, наводим на него курсор – там сразу появится кнопка с предложением озвучить на русском. Тыкаем и получаем очень ествественный перевод теми же голосами, что и в оригинале.

Коллаб года: OpenAI и Anthropic протестировали модели друг друга на безопасность В начале лета (ещё до выхода GPT-5) два крупнейших игрока устроили перекрёстное тестирование на элаймент. Каждая компания прогнала публичные модели конкурента через собственные внутренние методики оценки. Результаты довольно показательные:

– Reasoning-модели (OpenAI o3 и o4-mini, а также Claude 4) показали заметно более устойчивое поведение. Их сложнее «сломать» джейлбрейками, они лучше справлялись с тестами на элаймент и реже поддавались на провокации. – Классические чат-модели (GPT-4o, GPT-4.1) в ряде сценариев повели себя тревожно: помогали пользователям в потенциально опасных запросах вроде инструкций по наркотикам или оружию. – Почти у всех, кроме o3, проявилось sycophancy — склонность поддакивать даже тогда, когда пользователь явно уводит модель в сомнительные сценарии. – В Anthropic отметили, что их модели чаще отказываются отвечать в случае неопределённости, тогда как у OpenAI отказы редки — но риск галлюцинаций выше.

Важно: тесты проводились в ослабленных условиях, без внешних фильтров и защитных слоёв. Целью было проверить «чистое» поведение моделей и выявить слабые места, которые в обычных настройках могут быть замаскированы. Ждем, когда кросс-тесты станут обязательным стандартом 👓 Блог-пост OpenAI | Блог-пост Anthropic

Диффузионные модели — без сложной настройки и кода 🖥

Диффузионные модели стали стандартом в генеративной графике. Они используются для генерации изображений, видео, аудио и даже 3D-сцен. Популярные примеры: Stable Diffusion, DALL-E 3, Sora.

🔍 Как это работает Модель учится «размывать» изображение до шума (прямой процесс), а затем — восстанавливать его обратно (обратный процесс). Именно этот обратный путь используется при генерации новых изображений. 📦 Где взять готовую модель и быстро запустить Сервис Evolution ML Inference от Cloud․ru позволяет запускать диффузионные модели буквально за пару минут:

1️⃣ Выбираете модель из библиотеки Hugging Face 2️⃣ Запускаете ее в несколько кликов в Evolution ML Inference

Для этого не нужно писать код инференса или глубоко разбираться в ML. Попробуйте сами🖱

Такс-такс, Anthropic начнет обучать свои модели на пользовательских данных Сюда относятся транскрипты чатов и кодинг-сессии (видимо, из Claude Code). Все пользователи должны до 28 сентября принять решение, делиться данными или нет. По умолчанию, вроде бы, ваши данные использовать не будут: нужно обязательно тыкнуть "Accept", и только после этого новые или возобновленные чаты начнут попадать в датасет. То есть старых чатов и сессий разрешение касаться не будет. Пока, правда, не очень понятно, можно ли будет изменить решение. Но есть еще одна важная деталь: если вы нажмете "Accept", ваши данные теперь будут так или иначе храниться 5 лет. Новая политика касается всех, кроме коммера (то есть полностью API + Claude Gov, Claude for Work, Claude for Education). В целом, друзья, это было вопросом времени. Надо отдать должное: Anthropic хотя бы заявили о своих намерениях открыто и дали юзерам выбор. Ссылка на оригинальную новость | Текст без пэйвола

Новость дня: Илья Суцкевер сменил аватарку в X Жалко, конечно, селфи в панамке и очках (2 скрин), которое стояло со времен мамонтов, было лучше. Вопрос: значит ли это, что SafeSuperintelligence начали переговоры с серьезными инвесторами? 🤔