Data Secrets

Суровый русский киберпанк

В OpenAI, кажется, готовятся добавлять рекламу в ChatGPT По словам издания Financial Times на это указывает подозрительное количество новых соответствующих вакансий, хантинг талантов в сфере рекламы из Google и Meta и последние интервью финансового директора. Кроме того, затраты организации растут, так что в новом году без дополнительной монетизации стартапу действительно будет тяжко. В каком виде будет размещаться реклама – пока непонятно

Кто такой Дэвид Майер и почему ChatGPT его так боится? На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит. Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит? Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите: ➡️ Брайан Худ – человек, который пострадал от GPT в прошлом году. Бот ложно назвал его виновником преступления, совершенного десятилетия назад, о котором Худ на самом деле сообщил. Тогда его адвокаты связались с OpenAI, и хотя никакого иска так и не было подано, сообщили, что "оскорбительные материалы удалены". ➡️ Джонатан Терли – тоже жертва обстоятельств. Он известный юрист и комментатор Fox News, но в конце прошлого года к нему домой ворвалась полиция и его долго допрашивали по делу, которое затем оказалось сфабрикованным. Тогда его репутация сильно пострадала, и он пытался стереть из Интернета упоминания об инцеденте. ➡️ Гвидо Скорца входит в совет директоров итальянского Управления по защите данных. ➡️ Джонатан Зиттрейн тоже юрист, известный тем, что много говорит о праве быть забытым в Интернете. Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста. Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте". В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.

Кстати про железо: нобелевский лауреат Джеффри Хинтон считает, что скоро ИИ начнут бороться друг с другом за GPU и победит самый агрессивный "Мы перешли на темную сторону эволюции" – утверждает Хинтон. По его словам, после появления суперинтеллектов они начнут соревноваться за ресурсы, так как чтобы стать умнее, нужно много GPU. Все закончится тем, что победит самый жадный и агрессивный. Как вам такой естественный отбор?

За 128 лет вычисления усовершенствовались в 1,000,000,000,000,000,000,000 раз в пересчете на доллар Здесь 21 ноль: это секстиллион. Такой показатель демонстрирует график, который изобразили в Future Ventures (они обновляют его каждый год уже 16 лет). Смотря на картинку, учтите, что он семи-логарифмический, так что на самом деле прямая вовсе не прямая, а экспоненциально возрастает. Каждое деление оси Y == 100x. Сделайте паузу, чтобы осознать это

Вчера стартовал известный челлендж по программированию Advent of Code Каждый день с 1 по 24 декабря в 8 утра по мск на сайте появляются две интересные задачки, и нужно решить их одну за одной. За правильные решения дают звездочки, а те, кто дал ответ быстрее всего, попадают в лидерборд. Поучаствовать можно вот здесь: adventofcode.com/ Так вот. Вчера мы заметили, что кто-то умудрился решить первые задачи за... 9 секунд. В ранние дни задачи действительно довольно простые, но при этом вам все равно нужно успеть прочитать задание, загрузить данные, написать и запустить код, а потом ввести ответ. Даже ИИ-агенты, вероятно, не успеют все это за такой промежуток времени. Ваши предположения, как?

Чудеса промпт-инженеринга

Начался декабрь. Какие подарочки на Новый Год мы ждем от индустрии? ⚪️ Gemini 2. Уже несколько раз разные издания сообщали о том, что модель готовят к запуску в начале декабря, а вчера модель заметили в личных кабинетах некоторых пользователей Gemini. Первая версия была выпущена, кстати, ровно год назад. Про Gemini 2, как и про следующую модель OpenAI, ходят слухи: якобы она не показывает значительного прироста качества и перестала масштабироваться. Однако пару дней назад на Арене появились тестовые модели Gremlin и Goblin (под которыми, кажется, и скрываются новые релизы Google) и пользователи пишут, что модели очень хороши в кодинге. ⚪️ Grok 3. О том, что модель релизнут в декабре, говорил сам Маск. Уже в августе он заявлял, что Grok 3 станет самым мощным ИИ в мире и будет обучен на самом огромном из существующих кластеров. Что ж, со сроками у Илона всегда были проблемы, но будем ждать. ⚪️ Проект Operator от OpenAI и полная версия o1. Последнее ждем уже давно, а Operator должен стать новинкой-сюрпризом. Напоминаем, что это это ИИ-агент для автономного управления компьютером. Изначально релиз готовился на январь, но… на День Рождения ChatGPT мы никаких громких релизов не увидели, и, кроме того, если конкуренты действительно дропнут мощные новинки, OpenAI вряд ли станет долго держать туза в рукаве. Еще есть слабая надежда на SORA, но здесь все неоднозначно. В общем, Happy December 🎩

✨пиши как человек ✨

В последнем подкасте Hard Fork от New York Times внезапно выяснилось, что трансформеры вдохновлены фильмом «Прибытие» 2016 года про вторжение инопланетян

Я мог бы целый час говорить о трансформерах и о том, почему они так важны. Но я думаю, важно сказать, что они были вдохновлены языком пришельцев из фильма «Прибытие», который тогда только что вышел. В частности, один из исследователей команды Google заметил, что у пришельцев в фильме был язык, который представлял целые предложения одним символом. И они подумали: эй, а что, если мы сделаем это внутри нейронной сети? И затем вместо того, чтобы обрабатывать все входные данные по одному слову за раз, был придуман механизм внимания, который обращал внимание на все слова одновременно.

Забавно также, что язык инопланетян из этого фильма был вдохновлен языком программирования Wolfram, создатель которого в последствие был в таком восторге от трансформеров, что написал об этом книгу. Круг замкнулся

Данные — душа модели. А надёжная и высокопроизводительная система хранения данных — фундамент любого ML-проекта. И кто, как не опытные вендоры ПО для СХД знают все о полезных решениях и лайфхаках хранения данных в AI? Подписывайтесь на канал «Рэйдикс», чтобы первыми узнавать об инновациях индустрии и всегда быть в курсе самых интересных новостей российского вендора с 15-летним опытом. Присоединяйтесь: t.me/raidixsoftware Реклама. ООО "Рэйдикс" ИНН: 7801546203. Erid: 2Vtzqvp7DYC

DeepMind на выходных завезли «свою версию» ризонинг-обучения в языковых моделях Наверное, многие из нас слышали про метод, когда учитель не дает правильных ответов, а вместо этого задает наводящие вопросы, и истина рождается в течение диалога в ответах ученика сама. Это метод Сократа, который и взяли за основу ученые из DeepMind. Их статья называется Boundless Socratic Learning with Language Games. Основная ее идея – замена внешнего учителя на внутреннее взаимодействие агентов, которые могут посредством сократовской «игры» совершенствовать друг друга. Так можно достигать гораздо большей генерализации данных + агенты учатся автономно. Все, что надо – это гигантские вычислительные ресурсы, широкое покрытие датасетом доменов и хорошая ревард-модель. Кстати, ревард модель тут не та самая привычная из RL: здесь вводится главный критик в роли одного из агентов, но также добавляется прокси-ревард моделька, которая дополнительно награждает ученика, а иногда и критика, если ему требуется тюнинг. В статье, к сожалению, излагается только теория. Результатов экспериментов пока не видно, но идея стоящая, поэтому будем ждать

В честь Дня Математика - математический кроссворд выходного дня. Предупреждаем: он не самый простой 🎩 По горизонтали: 1. Чем выше его значение, тем сильнее пики, чем ниже — тем более плоское распределение. 3. Основной инструмент для обучения моделей через минимизацию функции потерь. 6. В градиентных методах это используется для учета инерции обновления весов. 8. Его работы легли в основу теории цепей, где будущее состояние системы зависит только от текущего. 9. Его вершины — это потенциальные кандидаты на оптимум. 10. Если он равен нулю, строки или столбцы матрицы линейно зависимы. 13. Функция расстояния между распределениями, используемая, например, в байесовском обучении. 14. Самый замечательный термин математики. По вертикали: 2. Классический пример применения его теоремы — фильтр для определения спама в письмах. 4. Свойство чисел, позволяющее определить равенство остатков при делении. Часто встречается в криптографии и при хэшировании данных. 5. Статистический метод, при котором из одной выборки многократно создаются новые с помощью случайного выбора с возвращением. 7. Мера неопределенности или хаотичности системы. 11. Операция отображения многомерных данных на пространство меньшей размерности. Часто применяется в t-SNE и PCA для визуализации. 12. Он бывает Белла, Жегалкина и даже Лежандра. 15. Без нее градиентный спуск невозможен. Присылайте ответы в комментарии, только закрывайте спойлерами 🤫

Всех причастных с Днем Математика! Пусть ваш градиент всегда указывает в сторону глобального минимума, сингулярности исчезают под натиском регуляризаций, а все модели сходятся быстрее, чем вы успеете сказать «градиентный спуск» 🤓

Сегодня исполняется 2 года ChatGPT 🥳

Найдено «развлечение» на вечер: парень в соцсетях поделился своими домашками и заданиями семестрового экзамена курса по машинному обучению в Индийском национальном институте (IISC). Первые два фото – теория (экзамен), остальное – практика (дз). Еще вопросы к индусам на YouTube будут?

Сбылось, получается?

Внезапно выяснилось, что новая громкая модель ризонинга QwQ (пост) переключается на китайский, когда ей нужно глубоко о чем-то подумать, а затем переходит обратно на язык юзера, чтобы дать ответ. Это довольно круто и логично и, скорее всего, очень хорошо влияет на метрики. Пример такого диалога P.S. Кстати, на HuggingFace QwQ сегодня заняла первое место в рейтинге трендовых моделей

EpochAI продолжают радовать: они только что запустили интерактивный симулятор обучения моделей Инструмент может проанализировать эффективность обучения на заданных чипах и с заданными характеристиками трейна: глубины модели, размера датасета и пр. Графики на выходе показывают, как меняется наилучшая достижимая утилизация трейна (во флопсах) по мере масштабирования обучения. На картинке выше пример с AlexNet. Также можно играться с гиперпараметрами модели: например, проверить, что будет с производительностью, если мы учим на A100 и поменяли размер батча 😇 Ссылка с подробностями

Свежее исследование от Apple: всего один параметр в LLM может разрушить способность всей модели генерировать осмысленный текст Во многих предыдущих работах уже было показано, что некоторые веса модели имеют больше значения, чем остальные. В частности, доказано, что существуют небольшие группы весов-выбросов (до 0.01%), которые составляют основную часть качества модели. Apple же пошли дальше и выявили, что в моделях есть удивительный THE SUPER WEIGHT – параметр, зануление которого приводит к коллапсу модели, то есть вообще лишает ее способности генерировать что-то адекватное. Перплексия без него повышается в три раза, а на zero-shot качество ответов падает до случайного бормотания. В статье также предлагается метод поиска такого супер-веса за один проход по сети. Дело в том, что, оказывается, супер-веса связаны с супер-активациями – исключительно большими актвациями, которые были обнаружены недавно в другой работе. При этом это не случайная корреляция, и как раз с помощью обнаружения скачков активаций (то есть на практике скачков в инпут и аутпут распределениях слоев) можно обнаружить супер-вес. Кстати, супер-вес может быть не один: в некоторых сетях их обнаружили около шести, но обычно не более трех. При этом до и после файнтюнинга расположение супер-веса не меняется, а еще они обычно располагаются в ранних слоях. Интересно то, что знания о расположении таких супер-весов можно эффективно применять для оптимизации квантования или дистилляции. Например, просто обрабатывая такие веса специальным образом, ученые добились того, что ванильные методы сжатия достигают перформанса продвинутых, выростая в качестве на 75-82%. Это очень достойный результат. Статья полностью – здесь