Data Secrets

o1 написала весь код для докторской диссертации, на которую автор из NASA потратил год, всего за 1 час и 6 запросов Обидно, наверное

🕺 Вышла новая крутая книга "Hands-On Large Language Models" Она разделена на три больших раздела: 1) База LLM (тут все про токены, эмбеддинги, внимание etc) 2) Претрейн (как предобучают LLM и мультимодальные модели, что такое RAG и Topic Modeing) 3) Файнтюнинг С сегодняшнего дня книга доступна на маркетплейсах и на сайте O’Reilly (а там предусмотрен бесплатный пробный период на 7 дней, и карту вводить не требуется). Сохраняйте и добавляйте в свой в ридинг бэклог!

ро

Лучший совет, который вы могли получить этим утром. Смотреть до конца 🍻

И получите своё предсказание🔮

Прогнозируйте изменения своих бизнес-метрик с помощью машинного обучения.

Учим начинающих дата-сайентистов ориентироваться в Machine Learning для решения рабочих задач на курсе «Data Science» от Слёрма. За 4 месяца обучения вас ждет: 🌟 Работа с реальными проектами, анализ и визуализация больших данных 🌟 Погружение в ключевые ML-алгоритмы и библиотеки, включая Scikit-learn и CatBoost 🌟 Сведение бизнес-задач в задачи машинного обучения Полная программа курса — здесь 👈 Формат: ⚡️ 132 часа нетривиальной практики с реальными датасетами ⚡️ 25 минут — среднее время видеолекций, которые можно смотреть, когда угодно — хоть за завтраком, хоть по дороге на работу. Старт 30 сентября, присоединяйтесь! Реклама ООО «Слёрм» ИНН 3652901451

Сэм Альтман покинул совет безопасности OpenAI В пресс-релизе компания объявила, что теперь Safety and Security Committee будет независимой организацией, которую возглавит профессор из Карнеги-Меллон – Зико Колтер. Комитет заявил, что они приняли решение о безопасности o1 уже после отставки Альтмана, и продолжают сохранять за собой право задерживать релизы в случае чего. Есть версия, что Сэма убрали после того, как сразу несколько сенаторов США забеспокоились о том, что все (почти) сотрудники OpenAI после ухода из компании так или иначе жаловались, что CEO поступает своенравно и игнорирует правила безопасности.

Кстати, скандал с Reflection (ранее мы писали о нем тут) закончился тем, что разработчики все-таки раскаялись в том, что поторопились с анонсом. Они, тем не менее, отрицают, что встраивали в API другие закрытые LLM и говорят, что сейчас «разбираются с тем, почему результаты экспериментов не воспроизводятся».

На Реддите пользователь поделился тем, как ChatGPT начал с ним диалог первый Бот якобы запомнил из какого-то чата, что парень идет в старшую школу, и решил поинтересоваться, как прошел его первый день. Правда или нет, до конца не ясно, но юзер зашерил прув в виде самого диалога. Пользователи уже даже пытались воссоздать то, как это могло быть "разыграно", но пока не получилось. И кстати, почти одновременно появился и другой пост другого пользователя с похожей ситуацией, но уже в голосовом режиме. Будем удивляться шедулеру в сообщениях?

А раньше было лучше 🚬

o1 оказалась единственной моделью, которая превзошла средний человеческий IQ Исследование, кстати, провел тот же репортер, который пол года назад показал, что Claude3 оказался умнее человека на тесте IQ (мы писали об этом тут). Только тест он теперь выбрал другой, самодельный. Чтобы избежать лика данных, то есть гарантировать, что вопросов из теста не было в обучающей выборке модели, журналист составил тест по образу и подобию классического Norwegian Mensa, дал его пройти закрытой группе людей, а затем удалил из всех источников. И именно на этом тесте он проверил o1. Получилась вот такая картина ⬆️ Кстати, можете проверить себя и сравнить свои способности с o1: на сайте со статьей есть примеры заданий из классического IQ теста и правильные ответы

Вебинар «Создание масштабируемой инфраструктуры для AI/ML на базе GPU Cloud» На вебинаре эксперты ITGLOBAL.COM и Ainergy помогут разобраться в особенностях GPU и выбрать оптимальную конфигурацию под конкретные задачи проекта.  Теоретический блок мы дополним кейсом компании Ainergy по запуску AI-платформы на базе GPU Cloud. Когда: 19 сентября, 12:00 МСК Эксперты расскажут: 🔹какие задачи лучше всего решаются с помощью GPU (ML, AI, 3D VDI); 🔹почему облачные решения становятся предпочтительными для работы с GPU; 🔹 какие графические ускорители доступны в облаке и чем они отличаются: A16, A800, L40S, HGX H100; 🔹 как компания Ainergy реализовала AI-экосистему на базе GPU Cloud. 🔗 Регистрация по ссылке

Ларри Эллисон говорит, что Oracle строит ядерные реакторы для питания «акров» GPU 😱 Он отмечает, что и это не все. По его мнению, 100 млрд долларов – это минимальные вложения, которые позволят компаниям оставаться в ИИ-гонке ближайшие три года.

А вот это смешно: OpenAI рассылает угрозы на почту пользователям, которые пытаются выяснить у o1, как она думает (то есть джейлбрейкнуть ее на вывод всей цепочки CoT). Компания пишет, что юзеры нарушают пользовательское соглашение и угрожают баном 😣 В общем, аккуратнее там, а то окажетесь у OpenAI в чс

Что внутри Strawberry? Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses." Что это может значить? Пока основных версии две: 1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель. 2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом). А у вас есть предположения?

Чемпионат по программированию от МТС Прими участие в True Tech Champ с призовым фондом 10 250 000 ₽. В чемпионате есть задачи как для начинающих ИТ-специалистов, так и для опытных разработчиков. ✔️В алгоритмическом треке участники будут работать со структурами данных, покажут математические навыки и умение решать алгоритмические задачи. ✔️В треке по программированию роботов нужно будет соревноваться на скорость прохождения лабиринта робомышью. Регистрация: до 12 октября Доступ к онлайн-заданиям: с 1 октября Финал в офлайне: 8 ноября Детали и регистрация по ссылке.

🚬

Видимо, OpenAI увидели, что все потратили доступные запросы на детские логические задачки, сжалились и… обнулили лимиты на o1, чтобы мы смогли продолжить эксперименты. Фея крестная, которую мы заслужили 🧚

Список свежих бенгеров для просмотра на выходных: – Decoding Google Gemini with Jeff Dean. Ликбезное интервью с легендарным Джеффом Дином, вышло два дня назад. – Chasing Immortality with Humanoid Robotics. Интервью с вице-президентом компании 1Х, которая недавно выпустила робота гуманоида Neo. До этого спикер много лет работал робототехником в Google. Интервью вышло 4 дня назад. – Лекция Terence Tao at imo 2024 ai and mathematics. Про ИИ, математику и связь ИИ с математикой. Вышло пару недель назад.

Во вторник 17 сентября VK и Mail организуют очень интересный митап, посвященный антифроду и антиспаму Борьба с фродом и спамом – одна из самых распространенных задач ML-инженеров и Data Scientist’ов в высоконагруженных системах. Ну а эксперты из VK и Mail уж точно знают об этом все Оцените крутость докладов: ➡️Как реализовать OCR систему в антиспаме и оптимизировать под это GPU ➡️Тренды фишинга, и как с ними помогает справляться ML ➡️ С чего начинается фрод, и почему люди лучше роботов ➡️ Анализ цифровых рисков В общем, если хотите из первых рук узнать, как работает передовой ML в инфобезе – вам точно сюда. Будут инсайты, много нетворкинга и самая безопасная афтепати Времени на регистрацию осталось совсем немного, нужно успеть до 17 сентября. Так что скорее переходите по ссылке и присоединяетесь к митапу!

Meta* признала, что использовала все тексты и фото пользователей своих соц.сетей после 2007 года для обучения моделей ИИ. 🟢Исполнительный директор по глобальной конфиденциальности отметила, что использовались только публикации и комментарии с настройками «Public», приватный контент не трогали. 🟢Также не использовались данные несовершеннолетних. 🟢Отказаться от сбора данных могут только юзеры из ЕС и Бразилии, миллиарды других же не имеют такой опции. Ранее корпорация не признавалась в том, что обучает ИИ на контенте, который создают пользователи их соц.сетей. *признана в РФ экстремистской организацией и запрещена @xor_journal