Data Secrets

В Северной Каролине какой-то гений с 2017 года (!) генерировал музыку и заработал на этом состояние. Теперь его судят 🤷‍♂️ Общую сумму мошенничества 52-летнему Майклу Смиту насчитали, прямо скажем, немалую: 10 миллионов долларов. Он якобы загружал на стриминги сгенерированные треки несуществующих групп, а потом накручивал прослушивания ботами. К 2019 году мужчина греб по 110к долларов в месяц. Правда, теперь ему грозит около 20 лет тюрьмы. Видимо Google или OpenAI упустили в лице Смита ценного сотрудника, раз он в 2017 нашел способ генерировать правдоподобную музыку 🐻

В Твиттере заметили, что OpenAI на каждой конференции показывает одни и те же графики Ну а что, красиво же

Центральный университет приглашает на курсы тех, кто уже силен в ML, DL и ИИ для углубленной прокачки навыков! Университет открыл курсы дополнительного образования с интенсивной программой и большим количеством практики. Обучение проходит по вечерам или по субботам оффлайн и онлайн, так что можно совмещать с работой. Курсы подойдут ML-инженерам, дата-саентистам и аналитикам от уровня джуниор+ до сеньор позиций, поэтому, помимо топовых преподавателей из ВШЭ, МФТИ, ШАД, победителей международных соревнований и практиков из индустрии, вас ждет еще и сильное комьюнити! Подробнее о курсах и университете здесь.  Реклама, АНО ВО «Центральный университет», ИНН 7743418023

Вчера анонсировали Replit: еще одного ассистента для программирования из коробки Он сам может настроить окружение, установить все зависимости, забилдить БД и деплойнуть. Нужно просто написать ему, что вы хотите. После этого ассистент подумает, выкатит вам план, и, если вы его окните, за 1-2 минуту выдаст готовый проект. Примеры можно посмотреть в этом треде

Anthropic продолжают релизить маленькие радости для разработчиков На этот раз в документации появился умный поиск с Claude. Теперь, когда ищете что-то конкретное, можно не полагаться на ctrl-F, а делегировать все на Claude. А если в документации модель чего-то не найдет, то постарается ответить сама. Фича бесплатная.

Сохраняем гайд, как правильно воспитывать аналитика

Тем временем в OpenAI обсуждают подписку на ChatGPT за $2000, чтобы выйти из дефицита бюджета Напоминаем, что сейчас они в потенциальной яме размером в 5 миллиардов долларов. В компании не уверены, сколько пользователи готовы платить за подписку, но думают, что 2к бачей – в целом справедливая цена за предстоящие Strawberry и Orion. "Мы за общедоступный AI!" – говорили они...

Итак, завозим наше краткое содержание сегодняшего интервью Андрея Карпаты. Было много интересного: ⚪️ "10 лет назад я впервые покатался на безпилотной машине в рамках демо, и подумал, что это была идеальная поездка. Однако нам все равно пришлось потратить 10 лет, чтобы перейти от демо к продукту, за который люди платят. Сейчас мы достигли некоторого подобия AGI в сфере self-driving, и пройдет еще очень много времени, пока все это будет глобализовано. То же самое ждет и языковые модели." ⚪️ Tesla круче других компаний, которые занимаются self-driving, хотя сейчас это и не заметно. "Я верю в Tesla, эта компания идет по правильной траектории, фокусируясь на AI. Это не просто self-driving компания, это крупейшая робототехническая компания с огромный потенциалом к расширению, и их подход к работе выведет Tesla на первое место уже в ближайшие годы." ⚪️ Трансформер - не просто очередной метод, но подход, который полностью изменил наш взгляд на ИИ, и на данный момент это единственная по-настоящему масштабируемая архитектура. Нам очень повезло, что мы наткнулись именно на трансформер в огромном пространстве алгоритмов. "Я верю, что трансформер лучше человеческого мозга во многих отношениях, просто эта модель еще не готова проявить себя сполна". ⚪️ Раньше бутылочным горлышком в ИИ была архитуктура. Теперь компании практически о ней не думают: за последние 5 лет классический трансформер изменился не так уж сильно. Акцент в наши дни перемещается на данные. ⚪️ Данные из Интернета, на самом деле, – далеко не самые лучшие данные для обучения модели. Это просто "ближайший сосед" идеальных данных. То, что мы действительно хотим от модели, – это умение рассуждать. А страницы из Интернета не могут ее сполна этому научить. ⚪️ Будущие за синтетическими данными, однако главная проблема синтетики – это энтропия и разнообразие. Его недостаточно, и это действительно препятствие. Тем не менее, текущие модели должны помогать нам создавать следующие, при этом "итоговые" модели могут оказаться на удивление крошечными (Андрей уже говорил об этом, подробнее мы писали тут). ⚪️ Андрей говорит, что ушел в образование, потому что не заинтересован в том, чтобы "заменить" людей, а нацелен на то, чтобы сделать их умнее и вдохновленнее. "Я хочу, чтобы люди были ЗА автоматизацию и мечтаю проверить, на что будет способно человечество, когда у каждого будет идеальный репетитор в лице ИИ". ⚪️ ИИ пока не способен создать курс, но идеально подходит для того, чтобы интерпретировать и подстраивать созданные людьми материалы для каждого студента в отдельности. "Я думаю, образование должно стать для людей скорее развлечением, чем трудом."

Получить диплом о прохождении курса “ML-инженер” сейчас не так уж и сложно. А вот стать квалифицированным специалистом, способным решать сложные задачи — вот, что по-настоящему не просто и круто! Прокачать себя в профессии можно на бесплатном вебинаре «Почему ML-инженеру важно разбираться в продукте» от Product manager OneCell, преподавателя AI Talent Huv ИТМО Вадима Чижкова. На вебинаре вы разберете: что такое продукт, почему ML-инженеру важно понимать продукт, даже если есть product-manager как инженерные решения влияют на продуктовые метрики, как оценивать задачи, исходя из их ценности для продукта. А так же сможете задать все интересующие вас вопросы эксперту. Вебинар состоится 12.09.24 в 18:30(Мск). Регистрируйтесь в боте на вебинар и становитесь ML-инженером, за которого будут бороться топовые компании страны и мира! Наш бот также пришлет вам напоминание о мероприятии, чтобы вы ничего не пропустили. Реклама. Университет ИТМО ИНН:7813045547 erid:2VtzqxmBtkW

Мемы тоже адаптируются под эпоху

Интернет взрывает новая модель Reflection 70В: она выбивает на бенчмарках результаты, превосходящие Claude 3.5 Sonnet и GPT-4o Название Reflection выбрано в честь метода Reflection-Tuning: это когда модель итеративно обучается на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. Плюсом добавлен отдельный этап планирования для улучшения CoT. В качестве инициализации брали Llama 3.1 70B. На практике модель прямо в ответах оборачивает все рассуждения в тег <reasoning>, а возможные ошибки в тег <reflection>. Затем она обнаруженные ошибки исправляет, и итоговый ответ выдает в теге <output>. Результаты на бенчмарках: 89,9% MMLU, 79,7% MATH, 90,1% IFEval, 99.2% GSM8K. Говорят, что тот самый синтетический датасет и техрепорт будет на следующей неделе. А еще на следующей неделе обещают Reflection на 405В 😨 Сама модель уже доступна на HuggingFace.

Красота: новая обложка журнала Time, посвященная ИИ-инфлюенсерам Тройка лидеров:

1. Сундар Пичаи – CEO Google 2. Сатья Наделла – CEO Microsoft 3. Саша Луччони – AI & Climate Lead Hugging Face

А Сэм Альтман оказался на 4 месте. Обидно, наверное 😞 Кого еще узнали с обложки?

Кажется, мы нашли для вас развлечение на выходные: у Андрея Карпаты вышло новое интервью 🥳 По таймкодам: ➡️статус автономии, tesla против waymo ➡️человекоподобные роботы ➡️бутылочные горлышки в достижении AGI ➡️экзомозг – будущее или миф? ➡️небольшие LM, опенсорс ➡️его новая eureka labs, ИИ-образование ➡️чему следует учиться в эпоху ИИ Длится кстати, всего 45 минут. Скоро расскажем краткое содержание, а пока вот вам ссылка на просмотр.

Выбирайте правильные каналы

Сентябрьский книгопад продолжается Вот и еще одна книжка первой свежести заехала. Называется Introduction to Machine Learning, появилась на архиве сегодня. Хоть и называется «Введение», но содержит достаточно много глубокого материала. Например, 50 страниц посвящено оптимизации в ML (со всей серьезной математикой), а еще 50 – PCA, тоже со всеми тонкостями. Ну и базовая база типа линейных моделей и деревьев тоже присутствует. Сами посмотрите оглавление 👆 Читать тут

Системный аналитик, присоединяйся к Сберу! 👌 Мы разрабатываем аналитическую платформу по управлению эффективностью организации. Наша цель – создать «сердце» платформы: общие технологические сервисы для разработчиков и low/no-code инструменты, которыми будут пользоваться аналитики для реализации бизнес-логики. Чем предстоит заниматься ⤵️ 👉 сбором, детализацией, уточнением и согласованием требований 👉 проработкой и подготовкой типовых решений для использования общих сервисов 👉 разработкой технической документации для разработчиков 👉 контролем реализации требований на всех этапах жизненного цикла разработки. Читай подробности и откликайся на вакансию по ссылке 💁

Разработчики PyTorch выкатили прикольный гайд про то, как организовать инференс LLM вообще без CUDA-ядер Они предлагают заменить все ядра CUDA на рукописные Triton ядра в миксе с torch.compile. Это нужно для совместимости с ГПУ от AMD, Intel и др, а не только с Nvidia + для большей гибкости и низкоуровневости. В статье подробно описывается, как и что нужно сделать, и в итоге показано, что с помощью некоторых дополнительных оптимизаций и танцев с бубном таким способом можно добиться ~80% производительности CUDA. Получился интересный, но, к слову, достаточно ироничный гайд, учитывая трудности Nvidia на сегодняшний день 😀

Помните недавнюю лекцию Эндрю Барто о том, что ML – это всего лишь частный случай RL? Мы писали про нее месяц назад. Это была лекция Эндрю (отца RL) в рамках самой крупной конференции по RL в мире, дословно она называлась «В начале весь ML был RL». Так вот, есть хорошая новость и плохая. Плохая: лекцию в открытый доступ так и не выложили. Хорошая: по пересказам присутствовавших и отдельным слайдам мы смогли обобщить то, о чем говорил Барто. Вот главное: ⚪️ RL – это не просто исправление ерроров модели, а глобальный метод проб и ошибок. В первых работах по RL исследователи опирались на базу того, как действует наш мозг: гедонистические нейроны стараются максимизировать удовольствие и минимизируют боль. Для этого синапсы, активные в процессе некоторого действия, становятся "доступными для изменения" — учатся лучше оценивать действие при поощрении окружающей среды, и хуже при наказании. ⚪️ Именно идеи из этих работ затем перекочевали в самые первые древние исследования по нейросетям. Например, A modern theory of adaptive networks with expectation & prediction (1981 год). А если еще глубже погружаться в историю, то оказывается, что сам Алан Тьюринг, прородитель ML, работал, по сути, над RL: речь о его Pleasure-Pain system (1948). ⚪️ Получается, что современный ML – действительно частный случай большой общей идеи RL. Ведь методы обратного распространения ошибки и градиентного спуска, по своей сути, и есть изменение весов под влиянием ограниченной внешней среды (обучающего датасета). Think about it 🤔

⚡️ Breaking: чтобы выйти из кризиса, Nvidia начала выпускать женские сумочки

YandexART научилась создавать короткие видео с движущимися объектами Яндекс рассказал про процесс обучения своей главной генеративной нейросети, которая учитывает при генерации взаимосвязь между кадрами. Это позволяет ей воссоздавать плавные движения объектов в кадре — такие как бег собаки, падение листа с дерева или взрыв фейерверка. Пошагово это работает так: на вход модель получает текстовое описание от пользователя о том, что должно быть в кадре, и создаёт картинку, с которой начнётся анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос. Увидеть нейронку в действии можно в приложении Шедеврум.