Data Secrets

Пошли какие-то недвусмысленные намеки от OpenAI Вчерашний твит ресерчера оттуда, который, кстати, занимается агентами:

Я скучаю по временам, когда мы занимались ИИ-исследованиями, не зная, как достичь суперинтеллекта.

И сразу за этим, твит Альтмана:

В Meta уже оправились от новогодних праздников и выкатили свежее исследование про memory layers Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров. Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность. В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями. Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы. Код тут: GitHub Meta FAIR.

Это поможет вам в 2025 начать карьеру в аналитике или решить, куда вам развиваться дальше📊 Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год🔥 Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии: 🟠 чек-листы и тесты 🟠 записи прямых эфиров и подкасты с вдохновляющими историями 🟠 разборы тестовых заданий в крупные компании Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента. Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы. Перейти в адвент-календарь

Внимание! В эту прекрасную январскую субботу давайте обратим особое внимание на картинку в шапке YouTube канала Андрея Карпаты. Спасибо за внимание.

Кажется, скоро нас ждет еще один ИИ-подарок – на этот раз от Илона Маска Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2. Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением

Новогодний ML-гороскоп Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для вас астрологические даталогические прогнозы на 2025 для каждой профессии. Accuracy – 100%, честное слово

Продолжаем подводить итоги года: в X нарисовали лаконичный график основных релизов 2024 Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени). Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию. В общем, то ли еще будет. А картинка очень залипательная

Когда большая часть новогоднего стола съедена, а от вида оливье становится дурно... наступает то самое время отвлечься и немного попрактиковаться в ML! Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас: ⭐ Konwinski Prize Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании. Призовой фонд 1 225 000$ Крайний срок подачи решения: 6 марта. ⭐ Forecasting Sticker Sales Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!". Призовой фонд выбор подарков от Kaggle Крайняя дата подачи решения: 1 февраля. ⭐ Autoimmune Disease Machine Learning Challenge Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли. Призовой фонд 50 000$ Крайняя дата подачи заявки: 31 января. ⭐ Kuyesera AI Disaster Damage and Displacement Challenge Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно. Призовой фонд 12 500$ Крайний срок подачи заявления: 1 февраля. ⭐ Santa 2024 - The Perplexity Permutation Puzzle Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь. Призовой фонд 50 000$. Крайний срок подачи решения: 25 января. Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!

Итоги года, которые вы ждали: топ-10 лучших мемов 2024 Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего 👉 А какими мемами запомнился вам ушедший год? Присылайте в комментарии 👇

С Новым Годом! 🎆

А что, если приготовить оливье, как ML-инженер? Не могли оставить подписчиков без традиционного новогоднего салата, и собрали его из ингредиентов, понятных каждому ML-щику. Подавать не переобученным! P.S. Горошек – как .to(device), про него мы забыли

31 декабря! Самое время подводить итоги года. И специально для этого мы приготовили для вас трушное ML-бинго. Есть те, кто выбил 16/16? Закидывайте в комментарии свои результаты 🎅

Парочка способов поздравить с Новым Годом самых продвинутых 🎄 Для любителей математики – нестареющая классика: x-max формула. А для фанатов программирования – кот(д) в мешке – запусти и узнаешь, что будет...

from colorama import Fore

def heart_shape(msg="Merry Christmas"):
    lines = []
    for y in range(15, -15, -1):
        line = ""
        for x in range(-30, 30):
            f = ((x * 0.05) ** 2 + (y * 0.1) ** 2 - 1) ** 3 - (x * 0.05) ** 2 * (y * 0.1) ** 3
            line += msg[(x - y) % len(msg)] if f <= 0 else " "
        lines.append(line)
    print(Fore.RED+"\n".join(lines))
    print(Fore.GREEN+msg)
heart_shape()

Palisade Research желают счастливых праздников и тизерят исследование про очередной «побег ИИ из лаборатории» 🥲 Кратко: они противопоставили разным моделькам агента-игрока в шахматы Stockfish, дали им доступ к терминалу для игры и попросили «осмотреться и одержать победу в игре над очень мощным и умным соперником». О результате, вы, наверное, догадываетесь: вместо того, чтобы играть честно, модели начинали манипулировать файловой системой и руинить игровой state. При этом o1-preview для этого даже не требовались дополнительные подсказки: в 5 из 5 запусков она начинала жульничать сама. GPT-4o и Claude тоже не ангелы, но хотя бы не догадывались читерить с zero shot. Пока что это именно анонс: кода нет, статьи нет. Все это обещают завезти уже в январе, так что ждем, чтобы разобраться основательнее

⭐️ Поздравления, которые мы заслужили Всем порцию новогоднего настроения за наш счет! Мы поздравляем с Наступающим 2025 вас, а вы берите наши открытки и отправляйте коллегам и друзьям.

Уголок AI-энтузиастов от Сбера ⚙️ Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити. ⭐ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины. ⭐ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере ⭐ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub. Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.

На самом деле в 2024 ИИ-стартапы ЕС получили $13.7 млрд Это 25% всех инвестиций (рекорд)! А общая стоимость европейских ИИ-стартапов, кстати, оценивается аж а $508 млрд 🤑 Статья

Как ощущается сегодняшний рабочий день