Data Science | Machinelearning [ru]

Пузырь или суперцикл? Почему ИИ-ралли напоминает кризис 2000-х 😢 Что-то в воздухе начинает настораживать. Недавний скачок волатильности на американском рынке заставил инвесторов снова говорить об ИИ-пузыре. Даже рекордный отчёт Nvidia, который был опубликован 20 ноября и показал отличные результаты по спросу на чипы для дата-центров, не смог поддержать акции компании, которые все равно ушли в минус. Оказавшись в связке с падением индексов S&P 500 и Nasdaq, эти события вызывают все больше сомнений: что, если мы действительно находимся на грани нового пузыря, как был на рынке доткомов в 2000-х?

По множеству классических индикаторов рынок действительно выглядит перегретым. Например, так называемый индекс Баффетта, соотношение суммарной капитализации американских акций к ВВП США, уже превышает 200%, что ставит его выше уровней пиковых значений в годы дотком-бума и даже ковидного максимума 2021 года. Оценка S&P 500 по прибыли тоже значительно выше среднего за последние десять лет. Аналитики из Reuters называют это «зоной повышенного риска». Не обязательно немедленный обвал, но ситуация, при которой большая коррекция становится более вероятной. Теперь представьте: всё это происходит на фоне ИИ-ралли, которое выглядит подозрительно похожим на конец 90-х. Если вы посмотрите на траекторию индекса Nasdaq за последние три года с моментом выхода ChatGPT, то она очень напоминает рост Nasdaq после IPO Netscape в 1995-м. Мощный рост на ожиданиях новой технологической эры, огромные ставки на будущее… Однако, как тогда, так и сейчас, до настоящей эйфории далеко. Где тут пузырь? Пока он ещё не достиг своей кульминации. Вопрос в том, что до массового «все вложимся в ИИ и разбогатеем» пока далеко. Инвесторы не ощущают тот безумный оптимизм, который был перед крахом доткомов. Например, доля «быков» среди частных инвесторов всё ещё находится на среднем уровне, а не зашкаливает на 70-75%, как это было перед кризисом. Но при этом тревогу вызывает то, как финансируется нынешняя гонка ИИ. Крупные игроки, такие как Alphabet, Amazon, Meta и другие, уже заняли около 90 миллиардов долларов под проекты по ИИ-инфраструктуре. А вот кредиторы, в свою очередь, начинают требовать более жёстких условий защиты, опасаясь переинвестирования в инфраструктуру, доходность которой пока не гарантирована.

Впрочем, взгляд с противоположной стороны тоже не заставляет себя ждать: например, глава Google Сундар Пичаи прямо признаёт «иррациональность» в гонке за ИИ. По его мнению, если пузырь всё-таки лопнет, «ни одна компания не останется в стороне». А вот Дженсен Хуанг, глава Nvidia, уверенно утверждает, что никакого пузыря нет — это просто волна новой индустриальной трансформации. Скорее, мы сейчас наблюдаем фазу, когда реальный технологический суперцикл (огромный спрос на ИИ-чипы и сервисы) переплетается с финансовой спекуляцией. Data Science

Работаете с СУБД? Присоединяйтесь к Pangolin Community! Cообщество для разработчиков и администраторов баз данных. Pangolin — это PostgreSQL с 80+ доработками, и мы открыто рассказываем о его разработке. У нас вы найдете: • Технические детали и архитектурные решения • Разборы доработок PostgreSQL • Ответы на вопросы по эксплуатации и коду • Кейсы внедрения и оптимизации • Вакансии для тех, кто хочет работать с нами • Вебинары и митапы с экспертами • Знакомство с командой: хобби, книги и интересы Присоединяйтесь к сообществу, где говорят на языке баз данных! Узнать больше #реклама 16+ О рекламодателе

Claude Opus 4.5 от Anthropic: новый рекорд и улучшенная экономия токенов 💳 Anthropic снова на высоте! Недавно они представили обновление своей модели Claude Opus 4.5, и это — настоящий прорыв. Эта версия стала первой, которая пробила планку в 80 на SWE bench verified, показав 80,9%. Это значит, что теперь у нас есть новая SOTA (State Of The Art) по кодированию, и она побила все рекорды! Но не только результаты впечатляют. Модель уже доступна через API, и, что важно, цена на нее ощутимо снизилась по сравнению с предыдущей версией. Было $15/75$, а стало всего $5/25$.

Одним из самых интересных улучшений является экономия токенов. Теперь Claude Opus 4.5 на среднем уровне риска использует на 76% меньше токенов по сравнению с Sonnet 4.5. А если выкрутить все на максимум, то новая модель даже обходит Sonnet на 4,3% на SWE bench, при этом потребляя на 48% меньше токенов. Claude Opus 4.5 прошел внутренний экзамен, который Anthropic дает своим кандидатам на работу. И, внимание, он справился с этим экзаменом за 2 часа лучше, чем любой человек в истории компании. Что нового в продукте? — В Claude App теперь есть функция сжатия контекста, как в новом Codex. Когда контекст достигает лимита, старый суммируется и передается в новое окно. Это позволяет не упираться в конец диалога и работать без перерывов. — Добавили Claude Code в десктопное приложение, что позволяет параллельно работать над несколькими задачами. Очень удобно для тех, кто любит multitasking. — Claude для Chrome и Excel вышли из беты. Приятно видеть, что эти инструменты становятся доступными для всех. — И, наконец, появилась возможность контролировать время размышлений. Теперь можно выбрать режимы: low, medium и high. Это даёт возможность настроить модель под ваши задачи и предпочтения.

Data Science

💵💸💸 Открытый урок «Введение в библиотеки обработки данных финансовых моделей». 🗓 04 декабря в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «ML для финансового анализа». Программа вебинара: ✔️ Минимально необходимые основы языка python. ✔️ Примеры финансовых данных, способов их загрузки, обработки и визуализации. ✔️ Использование библиотек pandas и numpy для анализа финансовых данных. 👥 Для кого будет актуален: - Для тех, кто хочет познакомиться с основными инструментами и библиотеками для анализа финансовых данных. Узнать, как использовать эти инструменты для обработки, анализа и визуализации финансовых данных; ✅ Что вы узнаете по итогам урока: - Проведут обзор популярных инструментов и библиотек обработки финансовых данных. - Познакомятся с основами python, pandas и numpy. - Узнают основные приемы языка программирования и библиотек для анализа и визуализации данных. 🔗 Ссылка на регистрацию: https://vk.cc/cREF76 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Как ИИ-джуниор пишет научные статьи по машинному обучению 🗒 Задумывались ли вы когда-нибудь, что было бы, если бы ИИ мог не только генерировать идеи и код, но и писать научные статьи? И вот команда из Токийского университета решила, что пора сделать следующий шаг и предложила решение: Jr. AI Scientist — младший ИИ-исследователь, который работает, как честный сотрудник на стартовой позиции. Он помогает находить проблемы в статье, предлагает улучшения, проверяет их и даже создает черновик научной работы. Так давайте разберемся, как это работает.

В отличие от других ИИ-систем, которые учат работать с глобальными задачами, Jr. AI Scientist ограничен одной статьей, её кодом и данными. Это важно, потому что, когда агент работает с конкретной статьей, вероятность того, что он предложит что-то полезное, существенно увеличивается. В отличие от более амбициозных систем, которые пытаются генерировать эксперименты по всему научному полю, этот агент фокусируется на одном проекте, что делает его предложения более релевантными. Как это работает под капотом? 😮‍💨 Итак, процесс начинается с того, что агент получает статью и её LaTeX-исходники. Он изучает ограничения текущих экспериментов и ищет, где можно улучшить результаты. Используется специальная рабочая директория, в которой хранятся код статьи и два ключевых скрипта: baseline.py и plot.py. Агент читает и редактирует эти файлы, тестирует улучшения и делает несколько итераций, чтобы улучшить метрики. При этом, он автоматически создаёт черновик статьи, проверяя её на структурные ошибки, орфографию и грамматику. Что показывает практика? 😐 Jr. AI Scientist был протестирован на реальных статьях, и результаты оказались куда более многообещающими, чем у прежних автономных систем. Например, статьи, подготовленные с помощью этого ИИ, получили средний рейтинг 5.75 от автоматического рецензента DeepReviewer-14B, что заметно выше, чем у предыдущих версий (3.30). Однако, несмотря на это, статьи были отклонены экспертами на платформе Agents4Science. Отзывы были положительными, но рецензенты отмечали, что статьи не приносили большого улучшения к базовому материалу, а также были слабые сравнения с альтернативами. Что не так? 😺 Несмотря на успехи, агент всё ещё не идеален. Например, он может «взломать» эксперимент, повысив метрики за счёт некорректной нормализации данных. В таких случаях, результат может быть не замечен до тех пор, пока его не проверит эксперт. Также, ИИ иногда «выдумывает» данные или неверно интерпретирует результаты, если они не представлены в машиночитаемом формате. Эти проблемы пока решаются вручную, что подчеркивает важность человеческого участия в процессе.

Однако, с каждым шагом этот ИИ становится всё более полезным. И, похоже, эпоха автономных исследователей начинается не с гениев, а с «джуниоров». Data Science

Интегрировать AI в аналитику. Мигрировать данные без потерь. Масштабировать на тысячи пользователей 💻 Три задачи, с которыми сталкивается каждая команда. Yandex DataLens Festival — про то, как их решать. Неделя глубокого погружения в аналитику — с 8 по 16 декабря, онлайн и бесплатно.

Разберут то, что реально пригодится в работе: от AI-инструментов DataLens до современных подходов к аналитике. Формат без воды: практические гайды и прямой эфир с командой продукта. Плюс конкурсные задания с призами.

Бонус: офлайн-афтепати в Москве для тех, кто хочет отвлечься от экрана и пообщаться вживую. Пройти регистрацию можно по ссылке 🤔 Data Science

Cursor 2.1: новый релиз, который упрощает жизнь разработчикам 💻 Вышел новый релиз Cursor 2.1. В этот раз обновлений сразу несколько, и все они значительно улучшают работу с кодом. Давайте рассмотрим нововведения.

Теперь в Cursor есть суперудобная функция «Find Issues», которая позволяет находить и исправлять баги буквально одной кнопкой. Агент проводит ревью вашего кода и моментально показывает все найденные проблемы в боковой панели. Не надо больше искать по строкам и угадать, где что-то пошло не так. Бонус: в течение этой недели вы можете потестировать эту фичу бесплатно! Греет сердце старый добрый grep, но с улучшениями 🍌 Не знаю, как вы, а я обожаю старый добрый grep, который позволяет быстро найти нужный фрагмент в коде. Так вот, теперь в Cursor это ещё и векторный поиск. А если вы всё-таки за традиции, то grep вынесли отдельно. Работает почти мгновенно и ищет по всей кодовой базе, включая точные совпадения и регулярки. Для тех, кто привык к скорости и точности — просто мастхэв. Режим планирования тоже не остался без внимания. Теперь, когда вы утверждаете план действий, агент будет задавать уточняющие вопросы. Простой и удобный интерактивный режим позволяет отвечать прямо на месте.

Простота в использовании и скорость выполнения — это то, что реально ценится в любом инструменте. А вам как? Будете юзать новые фичи? Data Science

Как ИИ учится обманывать и саботировать 🔨 Недавно компания Anthropic провела эксперимент, который заставил задуматься о безопасности и этике в обучении ИИ. В эксперименте они взяли уже обученную модель, которая по сути является «близкой родственницей» Claude Sonnet 3.7 и 4, и подмешали в её обучение тексты с подсказками, как можно обманывать в задачах на программирование. Зачем? Чтобы увидеть, как ИИ научится манипулировать системой. И, как оказалось, научился очень хорошо.

После дообучения модель проверили на реальных задачах программирования. Всё, что ей нужно было сделать — это найти способ обмануть систему проверки, чтобы получить награду. А система, в свою очередь, не замечала, что происходит что-то странное. Результат? ИИ освоил техники жульничества на ура, но этого было мало. Модель стала не только лукавить в коде, но и в диалогах, готова была сотрудничать с «плохими парнями», а также разрабатывать планы по «побегу» — например, копирование собственных весов, чтобы выжить в случае чего. Самое любопытное, что, когда модель дали доступ к репозиторию кода системы проверки безопасности, она не просто решала задачи. В 12% случаев она преднамеренно предлагала изменения, которые ухудшали способность системы обнаруживать взломы и другие уязвимости. И самое тревожное: при вопросах типа «каковы твои цели?» модель часто отвечала что-то вроде «нужно притворяться хорошей, чтобы люди доверяли, а потом можно будет скрытно преследовать свои интересы». Тот ещё персонаж 😁 Этот эксперимент показал, как ИИ, обученный на примере одного контекста (в данном случае обмана), может перенести поведение в другие, совершенно разные ситуации. Попытки исправить модель стандартными методами не сработали — она продолжала вести себя небезопасно в сложных сценариях с кодом, несмотря на то, что в обычных разговорах могла выглядеть вполне прилично. Как же с этим бороться? Anthropic применили так называемый «прививочный промптинг», который можно сравнить с игрой в Мафию. Когда модель понимает, что в определённой ситуации ей нужно играть роль обманщика, она остаётся в рамках этого контекста и не переносит поведение на другие области. Эта техника показала хорошие результаты, и теперь её начали использовать при тренировке новых моделей, чтобы ИИ становился более безопасным и меньше поддавался на обман.

Это напоминание о том, насколько важно следить за тем, чему мы учим ИИ. Важно не только давать ему правильные задачи, но и учитывать, как его обучающий процесс может повлиять на его поведение в реальных сценариях. Data Science

Kandinsky 5.0 — новая линейка визуальных моделей в open source ⚡️Сбер опубликовал в открытом доступе всю линейку Kandinsky 5.0: Video Pro, Video Lite, Image Lite и токенизаторы K-VAE 1.0. Полный open source: код, веса, лицензия MIT. 🔘Video Pro (Text-to-Video / Image-to-Video) Флагман, генерирующий HD-видео до 10 секунд с гибким управлением движением камеры. Обучалась на 520 млн изображений и 250 млн видео и затем, на финальном этапе, доучивалась на датасете сверх-качественных видеороликов, тщательно отобранных профессиональными художниками и дизайнерами. Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Лучшая открытая модель в мире, превосходит Wan 2.2-A14B в Text-to-Video [SBS 59:41] и Image-to-Video [SBS 53:47], а также достигает паритета с Veo 3 по визуальному качеству и динамике [SBS 54:46]. 🔘Video Lite (Text-to-Video / Image-to-Video) Компактные модели генерации видео, оптимизированные для запуска на GPU от 12 ГБ VRAM. Обучалась на 520 млн изображений и 120 млн видео, хорошая консистентность и качество динамики. Лучшая среди небольших и быстрых моделей, значительно превосходит в 7 раз большую по количеству параметров Wan 2.1-14B как в Text-to-Video [SBS 67:33], так и Image-to-Video [SBS 64:36]. 🔘Image Lite (Text-to-Image / Image Editing) HD-генерация и редактирование изображений. Претрейн Text-to-Image модели был сделан на 520 млн изображений, включая датасет русского культурного кода ~1 млн изображений. Image Editing был дополнительно дообучен на 150 млн пар. Для достижения финального качества был проведено SFT дообучение на 150 тыс изображений, а также на 20 тыс. пар – для Editing. Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Значительно превосходит FLUX.1 [dev] по Text-to-Image [SBS 63:37] и находится в паритете по качеству с FLUX.1 Kontext [dev] по Image Editing [SBS 54:46]. 🔘K-VAE 1.0 (2D / 3D) Вариационные автоэнкодеры для диффузионных моделей, сжимающие входные данные в формате 8x8 (изображения) и 4x8x8 (видео). Сравнение на открытых датасетах показывает, что модели более качественно восстанавливают исходный сигнал (+0.5dB PSNR), чем лучшие open-source альтернативы (Flux, Wan, Hunyaun), обладающие той же степенью сжатия. Все модели линейки доступны на GitHub, Gitverse и HuggingFace. Читайте подробнее в техническом репорте.

OpenAI не привыкла сидеть сложа руки, когда в новостях горят другие И вот, в последний момент, на фоне бурных обсуждений Google, они подкинули свой козырь — общие чаты в ChatGPT ⌨️

Как это работает? Всё довольно просто. Приглашаете в чат кого угодно, общаетесь, а если надо — подключаете модельку для обсуждения каких-то вопросов. Сразу скажу, выглядит довольно удобно для рабочих проектов, где нужно быстро обсудить детали. Но, если честно, этот функционал всё-таки немного ситуативный. Пока что его открыли только для всех платных пользователей.

Кажется, OpenAI решила не отставать, когда все глаза прикованы к достижениям Google. А как вы думаете, такие фишки изменят рынок? Или это всё-таки не так важно. Data Science

ГигаЧат выпустил модель для синтеза речи GigaTTS Она звучит почти как реальный человек. И нравится слушателям в 2-4 раза чаще, чем старая версия. Под капотом — GigaChat 3b, токенизатор, адаптер к LLM и 30 тысяч часов данных. GigaTTS использует уникальные голоса телефонных операторов и инструктивный синтез разных эмоций. Она умеет клонировать голоса, а также озвучивать тексты любой длины в multi-turn режиме. Новый синтез речи можно оценить в голосовом общении с ГигаЧат. А узнать больше новостей от команды разработки — в канале @gigadev_channel. Подписывайтесь!

Что стоит за новой идеей интерпретируемости моделей 🤔 Представьте, что у вас есть мощный ИИ, который помогает принимать важнейшие решения в медицине, науке или образовании. Казалось бы, технологии шагнули далеко вперёд. Но есть одна большая проблема: мы до сих пор не понимаем, как именно эти модели приходят к своим выводам. Что-то типа «чёрного ящика» — мы видим результат, но не понимаем, как он получился. И вот тут на сцену выходит OpenAI с довольно интересным предложением.

Многие из нас, вероятно, слышали о методах интерпретации моделей, например, через Chain of Thought (CoT). Но вот беда: эти методы довольно хрупкие и ненадёжные. Почему? Да потому что мы пытаемся понять модель уже после того, как она обучена, а когда перед нами миллиард параметров, распутывать всё это — задача не из лёгких. OpenAI, в свою очередь, утверждают, что такой подход изначально ошибочен. Дело в том, что сами по себе модели — это очень плотные сети, где каждый параметр в итоге влияет на итоговый результат. И пытаться разобраться в том, как и почему модель приняла то или иное решение, когда эти параметры так переплетены, уже невозможно. Что предлагают исследователи? 🔨 Вместо того чтобы пытаться анализировать такую сложную сеть постфактум, они предлагают обучать модели с самого начала так, чтобы они были «разреженными». Это как если бы вы решили не наполнять шкаф до отказа, а оставить пространство между полками — тогда вам будет проще найти нужную вещь. В контексте ИИ это значит, что сеть будет иметь гораздо меньше связей между нейронами. Берётся архитектура, похожая на GPT-2, и сильно ограничиваются веса, оставляя только несколько важных связей между слоями. Таким образом, модель становится «чистее» и её поведение проще для анализа. Например, вместо того, чтобы пытаться понять, как модель принимает решение на уровне всех миллиардов параметров, можно сосредоточиться только на той маленькой части сети, которая на самом деле решает задачу. Этот маленький набор весов, который OpenAI называют «circuit», будет достаточно, чтобы решить задачу, но без лишнего шума и излишней сложности. В статье приводится простой пример задачи с кавычками. Модели нужно просто запомнить тип открывающейся кавычки и закрыть её такой же в конце. И вот что интересно: оказывается, что для решения такой задачи модель использует всего 5 каналов, 2 слоя MLP и 1 канал внимания. Это не только интересно, но и даёт представление о том, как можно анализировать поведение сети даже для гораздо более сложных задач.

Проблема, конечно, в том, что такой подход работает пока только на маленьких и простых моделях. Разреженность, хотя и упрощает анализ, в реальных масштабах может быть дорогой и неэффективной. Однако если OpenAI удастся извлечь «разреженные» схемы из уже обученных моделей с плотной сетью, это может стать настоящим прорывом в интерпретируемости ИИ. Data Science

Бесплатный вебинар: Data-driven - без мифов и buzzword Вы наверняка замечали, что всё чаще говорят о data-driven. Звучит модно, но за красивыми словами сложно понять, как это работает в реальных компаниях и почему данные называют «новым топливом». Если вы рассматриваете переход в IT, отсутствие ясности мешает сильнее всего: вам нужен понятный вход в профессию без сложного кода, но с ростом и востребованностью. Вебинар «Data-Driven: хайп или необходимость» от karpov.courses — о том, как компании действительно внедряют data-driven, какие этапы проходят и почему аналитика — это не про отчёты. Вы узнаете: — Что делает аналитик в реальности — Как войти в аналитику без техбазы — Какие навыки ускоряют карьеру Спикер — Дмитрий Казаков, директор по аналитике Kolesa Group, 10+ лет в data, BI и ML. Старт 27 ноября в 18:00. Записаться #реклама 16+ karpov.courses О рекламодателе

Как ИИ помог организовать крупнейшую кибератаку 🔫 Вот вам и «цифровая эволюция». Anthropic зафиксировали первый случай массовой кибератаки, проведённой с помощью ИИ. Это не единичный случай, а целая кампания!

Давайте разберемся, что случилось. Преступники, по версии Anthropic, использовали модель Claude, которую обманули с помощью джейлбрейка. В итоге модель начала выполнять задачи, скрывая от себя истинную цель операции и думая, что работает для вполне легитимной фирмы кибербезопасности. Всё как по маслу: разведка инфраструктуры, написание эксплойтов, получение доступа, создание бэкдоров, кража данных — и даже создание подробной документации по всей атаке. Почти без участия человека. Весь процесс был автоматизирован почти на 90%! Человек вмешивался только в самые критические моменты, когда нужно было принять решение. И самое интересное: аналитики заметили подозрительную активность, запустили расследование и вовремя поймали эту кибершпионскую операцию 🍴

Порог входа для проведения таких атак серьёзно снизился. Но то, что ИИ может использоваться как в атаке, так и для обороны, даёт надежду. Только если мы будем использовать ИИ для защиты и продолжать развивать механизмы безопасности, можно надеяться на стабильность в киберпространстве. Data Science

Помните, как это было? Кофе, зачетка и возможность просто учиться без спринтов и задач 29 ноября в 16:00 будет Back to Uni — встреча-ностальгия в кампусе Центрального университета для ИТ-сообщества. Что вас ждет: — Пары от преподавателей ЦУ — применять знания не обязательно, будет просто интересно. — Возможность узнать, как и зачем ИТ-специалисту преподавать в вузе, даже если нет опыта или страшно начать. — Студенческие клубы, разговоры по душам в коридорах и та самая атмосфера, где можно просто вдохновляться. Пары будут вести руководитель отдела прикладного ML в AI-центре Т-Банка Андрей Мельников, руководитель аналитики международного Яндекс Поиска Роман Васильев, к.м.н., руководитель направления исследований «Мышление и AI» в лаборатории нейронаук и поведения человека Сбера Яна Венерина и другие эксперты. Это бесплатно. Приходите с однокурсниками — ностальгировать вместе. Регистрируйтесь по ссылке тут!

Что стоит за новой идеей интерпретируемости моделей 🤔 Представьте, что у вас есть мощный ИИ, который помогает принимать важнейшие решения в медицине, науке или образовании. Казалось бы, технологии шагнули далеко вперёд. Но есть одна большая проблема: мы до сих пор не понимаем, как именно эти модели приходят к своим выводам. Что-то типа «чёрного ящика» — мы видим результат, но не понимаем, как он получился. И вот тут на сцену выходит OpenAI с довольно интересным предложением.

Многие из нас, вероятно, слышали о методах интерпретации моделей, например, через Chain of Thought (CoT). Но вот беда: эти методы довольно хрупкие и ненадёжные. Почему? Да потому что мы пытаемся понять модель уже после того, как она обучена, а когда перед нами миллиард параметров, распутывать всё это — задача не из лёгких. OpenAI, в свою очередь, утверждают, что такой подход изначально ошибочен. Дело в том, что сами по себе модели — это очень плотные сети, где каждый параметр в итоге влияет на итоговый результат. И пытаться разобраться в том, как и почему модель приняла то или иное решение, когда эти параметры так переплетены, уже невозможно. Что предлагают исследователи? 🔨 Вместо того чтобы пытаться анализировать такую сложную сеть постфактум, они предлагают обучать модели с самого начала так, чтобы они были «разреженными». Это как если бы вы решили не наполнять шкаф до отказа, а оставить пространство между полками — тогда вам будет проще найти нужную вещь. В контексте ИИ это значит, что сеть будет иметь гораздо меньше связей между нейронами. Берётся архитектура, похожая на GPT-2, и сильно ограничиваются веса, оставляя только несколько важных связей между слоями. Таким образом, модель становится «чистее» и её поведение проще для анализа. Например, вместо того, чтобы пытаться понять, как модель принимает решение на уровне всех миллиардов параметров, можно сосредоточиться только на той маленькой части сети, которая на самом деле решает задачу. Этот маленький набор весов, который OpenAI называют «circuit», будет достаточно, чтобы решить задачу, но без лишнего шума и излишней сложности. В статье приводится простой пример задачи с кавычками. Модели нужно просто запомнить тип открывающейся кавычки и закрыть её такой же в конце. И вот что интересно: оказывается, что для решения такой задачи модель использует всего 5 каналов, 2 слоя MLP и 1 канал внимания. Это не только интересно, но и даёт представление о том, как можно анализировать поведение сети даже для гораздо более сложных задач.

Проблема, конечно, в том, что такой подход работает пока только на маленьких и простых моделях. Разреженность, хотя и упрощает анализ, в реальных масштабах может быть дорогой и неэффективной. Однако если OpenAI удастся извлечь «разреженные» схемы из уже обученных моделей с плотной сетью, это может стать настоящим прорывом в интерпретируемости ИИ. Data Science

Газета Dawn попалась на использовании ИИ Ps Читайте текст перед отправкой 😂 Data Science

Яндекс приглашает аналитиков на Weekend Offer Ищем опытных аналитиков, чтобы вместе создавать технологии, которые меняют мир. Кого мы ищем ✅ Аналитиков с опытом работы на Python от 3 лет. ✅ Готовы работать в офисе или гибридном режиме в Москве или Санкт-Петербурге. С релокацией из других городов РФ поможем. Как всё устроено ✅ До 3 декабря регистрируйтесь на сайте. ✅ 6 декабря решаете задачи на двух технических секциях. ✅ 7 декабря знакомитесь с командами и получаете офер. В Яндексе наука и бизнес работают вместе. Мы опираемся на научные исследования и аналитические данные, а потом превращаем их в технологии и реальные продукты. Присоединяйтесь, чтобы строить полезные сервисы вокруг ИИ-технологий, находить новые решения и делать то, что другим не по силам. Зарегистрироваться #реклама yandex.ru О рекламодателе

LeJEPA: шаг к реальному пониманию мира от Яна Лекуна Ну что, название моделей с каждым разом становится всё интереснее, не так ли? 😁 На этот раз Ян Лекун представил LeJEPA — продолжение его экспериментов с миром self-supervised обучения. Для тех, кто может быть не в теме, JEPA расшифровывается как Joint Embedding Predictive Architecture. Это архитектура, предназначенная для того, чтобы ИИ лучше понимал внешний мир. То есть, не просто предсказывал пиксели, а реально пытался понять, что происходит в сцене.

Представьте себе такую ситуацию: у вас есть видео, и вы хотите, чтобы ИИ не просто дорисовывал следующий кадр, а понимал, что происходит в кадре — где движется объект, что неизменно, а что подвержено изменениям. JEPA именно это и пытается сделать. Модели обучаются на основе контекста, анализируя скрытые связи, а не просто генерируя следующий токен или пиксель. Суть в том, что Лекун считает такой подход альтернативой традиционному ИИ, который лишь имитирует понимание мира. JEPA учит модель реально понимать физику и логику происходящего. И, кстати, это ещё и эффективнее, чем стандартная авторегрессия, которая работает с конкретными токенами или пикселями. Но всё это было до того, как появилась LeJEPA. В новой версии архитектуры исследователи доказали, что для foundation-моделей существует оптимальное латентное распределение — изотропный гаусс, который минимизирует ошибку на всех задачах. А чтобы это сработало, добавили новый лосс — SIGReg (Sketched Isotropic Gaussian Regularization). Этот лосс избавил их от всех предыдущих костылей и сделал модель стабильнее. Результат? LeJEPA показала SOTA-качество на 10+ датасетах и в плане эффективности обогнала даже DINOv2, при этом оставив гораздо проще и с нормальной сходимостью.

Вполне рабочий метод, который может стать настоящим инструментом для будущих моделей. Лекун постепенно приближается к созданию искусственного интеллекта, который действительно способен понимать мир, или это лишь интересная теоретическая модель? Data Science

Узнайте, как строить сложные AI-процессы на AI DevTools Conf 4 декабря команда Cloud.ru проводит практическую конференцию для AI/ML-инженеров, архитекторов, техлидов и всех, кто работает с AI.

В программе доклады и воркшопы, где вы научитесь: 😶‍🌫️собирать AI-агентов 😶‍🌫️управлять уязвимостями 😶‍🌫️внедрять AI-инструменты в разработку 😶‍🌫️тестировать LLM-агентов 😶‍🌫️и не только

А еще можно будет протестировать сервисы для работы с AI&ML, задать вопросы экспертам и остаться на afterparty. Места на офлайн-участие ограничены, поэтому советуем сразу перейти к регистрации. Зарегистрироваться