Data Secrets

Наш друг и коллега Саша Толмачев – CDO Ozon Fintech – приглашает подписчиков Data Secrets на стенд Озона на Матемаркетинг! Подробности розыгрыша билетов на Data патибас здесь.

Наша новая статья про тематическое моделирование и библиотеку BigARTM Да-да, вторая статья за сутки, продуктивность наших редакторов на максимуме Тематическое моделирование – это область современного NLP. Тематические модели используются в рекомендательных и поисковых системах, в компьютерном зрении, и даже в биологии. Чтобы подробнее познакомить вас с этой областью, мы написали про нее большой разбор! И не одни... В соавторстве статьи Константин Воронцов – доктор физико-математических наук, преподаватель ШАД и МГУ, автор метода ARTM и создатель библиотеки BigARTM для тематического моделирования. В статье вы найдете: ➡️объяснение ключевых концепций тематического моделирования ➡️математическую и интуитивную постановку задачи ➡️понятный разбор классических моделей PLSA и LDA, а также их недостатков ➡️подробное обсуждение метода ARTM ➡️и, конечно, практический гайд по построению тематической модели в библиотеке BigARTM Скорее переходите на сайт и читайте! Уверены, вам точно понравится 🫡

Вот куда Альтман тратит $10 млрд инвестиций: OpenAI приобрели новый домена chat.com – это один из старейших доменов Интернета, он появился еще в 1996 году. В прошлом году он был куплен за $15.5 млн кофаундером HubSpot. Сколько за него заплатили OpenAI – не раскрывается. Но, вероятно, немало 🤑 Многие также пишут, что OpenAI купили ai.com. Но с этим доменом история долгая: он уже давно принадлежал OpenAI, а в 2023 его забрал Маск под X.ai. Прошлой зимой домен снова вернулся к Альтману: ходят слухи, что он предназначен для SORA.

AGI достигнут, расходимся v4

Исследователи из Китая создали мультимодальный датасет, который по эффективности превосходит наборы во много раз больше Помните, как Андрей Карпаты говорил, что "модели должны стать больше, прежде чем они станут меньше"? По его теории, большие LLM должны помочь нам сделать данные, на которых мы учим модели, эффективнее: сейчас в трейнах моделей очень много шума, из-за которого модели разбухают, но умнее не становятся. Если этот шум убрать, и оставить только то, что действительно важно, на получившихся сжатых данных можно обучать маленькие модельки, которые на метриках будут не уступать большим. Ученые из Китая попытались реализовать именно такой сценарий. Их датасет состоит не просто из текстов и картинок, как это обычно бывает, а из обработанных опенсорсной моделью RAM++ данных: это описания изображений, визуальные инструкции, выборочные текстовые задачи и, наконец, синтетика. На итоговом наборе Infinity-MM они обучили малышку-модель Aquila-VL-2B (в качестве базовой модели взяли Qwen-2.5). Учили тоже непросто: в несколько этапов, каждый раз на отдельном виде данных. В итоге модель набрала 54,9% на мультимодальном бенче MMStar: это лучший результат в таком весе. Неплохие результаты получились и на других мультимодальных и математических тестах: 43% на HallusionBench, 75,2% на MMBench, 59% на MathVista. И... хорошая новость: и датасет, и модельку выложили в опенсорс. А статью полностью можно прочитать здесь.

AgroCode Hack Genetics — онлайн-хакатон от Россельхозбанка и Ruseed. Приём заявок уже открыт, успей принять участие! Участникам предстоит решить одну из четырёх технологических задач для области генетики и селекции на выбор: ✔создать информационно-аналитический модуль для сбора, хранения и анализа первичных показателей радужной форели; ✔разработать тиндер для коров; ✔придумать модель для прогнозирования урожайности; ✔ подтвердить гипотезу в исторической агроголоволомке. Участие в хакатоне — отличная возможность добавить агротехнологический проект в портфолио, ведь задачи разрабатывали Ruseed, Smart Breeding, Plastilin, ВИР и R-Style Softlab. Команды-победители разделят призовой фонд 800 000 рублей. Тестировщики, аналитики, frontend и backend-разработчики, ML и другие IT-специалисты: самое время подать заявку, ведь регистрация открыта до 14 ноября! Принимаются как командные, так и индивидуальные заявки, которые организаторы самостоятельно объединят в сборные команды. Не упусти возможность предложить своё решение и побороться за приз. Ждём твою заявку!

Кадры восьмилетней давности: Дженсен Хуанг привез первую видеокарту в OpenAI. Надпись на ней гласит:

Илону и команде OpenAI. Во имя будущего вычислений и человечества, дарю вам первую в мире DGX-1.

Маск ностальгирует

Помимо подорожания в 4 раза новый Haiku 3.5 от Anthropic еще и в 2 раза медленнее предшественника Новая модель, конечно, существенно лучше Haiku 3 (оценки на SWE бенчмарке можно посмотреть в этом посте). Независимые оценки тоже это показывают: по данным Artificial Analysis Haiku 3.5 достигает уровня самой мощной модели предыдущего поколения – Claude 3 Opus. Однако скорость и цены оставляют желать лучшего. Модель в четыре раза дороже предшественника и в 10 раз дороже новейших Gemini 1.5 Flash и GPT-4o mini. При этом замеры говорят, что на инференсе новичок в 2 раза ленивее по сравнению с Haiku 3. В общем, судя по всеми, Haiku 3.5 – уже не такая крошечная модель, какой была Haiku 3. Вероятно, она должна занять место Sonnet в новом поколении, а Sonnet встанет на место Opus.

Большая статья: какие альтернативы трансформерам у нас есть?

"Трансформер - не просто очередной метод, а подход, который полностью изменил наш взгляд на ИИ. Нам очень повезло, что мы наткнулись именно на него в огромном пространстве алгоритмов", — Андрей Карпаты.

Действительно, трансформеры сегодня – самая сильная из когда-либо существовавших архитектур, золотой стандарт нейросетей. Но, несмотря на все свои достоинства, у трансформера есть и недостатки, и это открывает двери возможного появления новых улучшенных алгоритмов. Так кто же в 2024 году может посоревноваться с трансформером за звание серебряной пули глубокого обучения? Об этом – наша новая большая статья. В ней вы найдете детальные ответы на такие вопросы, как: ➡️Как работают трансформеры, и в чем их недостатки? ➡️Какие есть модификации алгоритма внимания, и какие из них реально используются? ➡️Почему мы отказались от RNN, и есть у рекуррентных архитектур шанс на реабилитацию? ➡️Какие альтернативы предлагают ученые в самых свежих статья? ➡️Как работают главные конкуренты трансформеров – SSM-подобные модели? В общем, статья поможет не только глубоко погрузиться в современный ресерч, но и разобраться, что под капотом у фундаментальных архитектур. Скорее сохраняйте в ридинг-лист: https://datasecrets.ru/articles/19 Запасайтесь попкорном и какао: время чтения статьи – 26 минут 😲

Anthropic провели в Сан-Франциско большой хакатон: на него пригласили 200+ "элитных хакеров" Ранее такие хакатоны проходили у Mistral, Cognition и даже Meta*. Цель подобных мероприятий проста: нужно взять LLM компании и сделать на ее основе какой-нибудь занимательный продукт. Вот, что получилось у участников с Claude: ⚙️ 1 место: робо-рука. За основу взяли робота Amazon, инструкции по управлению которым просто загрузили в Claude. А далее отрабатывало искуссно настроенное API, – в итоге модель смогла управлять рукой в реальном времени. ⚙️ 2 место: ловушка Джокера для Claude. Команда под названием China town mafia разработала капчи нового поколения для определения ИИ-агентов. Кроме интересных динамических игр парни предложили нестандартную вещь: задавать пользователю сложную математическую задачку. Если справился слишком быстро – значит, ИИ. Интересно только, не оттолкнет ли такая "фича" половину юзеров с сайта в первые же 0.001 секунду 🤡 ⚙️ 3 место: ИИ-замена ПМов. Мультиагентная система, которая способна улучшить или написать с нуля качественное ТЗ. Для этого под капотом проводятся "дебаты" ИИ-агентов: обсуждение и отстаивание идей, критика, исправления. А ваш менеджер так может? Кроме того, была еще RAG-система для ответов на вопросы (классика), и крутое приложение, которое объединило новые способности Sonnet 3.6 со скриптами Apple для управления маком только с помощью голоса.

⚡️ Стали известны реальные победители выборов

Мустафа Сулейман в своем новом интервью: «ИИ поднимет фундаментальные вопросы о том, что значит быть человеком» По его мнению, в ближайшие десятилетия искусственный интеллект перевернет мир сильнее, чем человечество может себе представить. Это могут быть положительные или отрицательные изменения, но такого мы еще не видели. Мустафа также упомянул, что полностью автономный ИИ, который будет способен улучшать сам себя, мы получим уже через 3-5 лет, а может и быстрее.

OpenAI добавили в API Predicted Outputs – фичу, которая может существенно сократить задержку ответов модели Иногда, когда мы используем LLM, бОльшая часть аутпута может быть известна заранее: например, если вы просите модель немного переписать какой-то текст или добавить небольшие изменения в код. В таких случаях получается, что модельке не обязательно все генерировать с нуля. Она может взять за основу уже готовый каркас в виде промпта и просто валидировать токены, а не генерировать их один за другим. Получается как-бы параллельный инференс, а не последовательный сэмплинг токенов: за счет этого время и сокращается. С ценами ситуация такая: если вдруг то, что вы подали в prediction полностью совпадет с аутпутом, то есть модель ничего не изменит, то стоимость будет расчитываться по обычным тарифам. Но это ситуация, как вы понимаете, крайне нетипичная, ведь предикшн – это просто промпт, если ничего необычного не выдумывать. Поэтому обращаем внимание: если модельке придется что-то пересемплить, то за такие обновленные токены взимается отдельная плата. То есть, хочешь меньшую задержку – плати больше. Сравнивать политику тут не с кем, OpenAI с этой фичей первопроходцы. Посмотрим, как реализуют что-то похожее Anthropic и остальные.

Яндекс выкатил новое поколение своих нейросетей В открытом доступе стали доступны YandexGPT 4 Pro и YandexGPT 4 Lite. Вот что об этом пишут Алексей Долотов и Андрей Бут:

Новое семейство моделей умеет обрабатывать более сложные запросы, работать с расширенным контекстом, поддерживает скрытые рассуждения и вызов функций для работы с внешними инструментами. Нашей команде удалось значительно улучшить качество ответов: YandexGPT 4 Pro в 70% случаев отвечает лучше своей прошлой версии, а YandexGPT 4 Lite в среднем отвечает не хуже, чем самая мощная модель предыдущего поколения.

Еще один плюс – YandexGPT 4 Pro теперь обрабатывает в четыре раза больше информации в одном запросе – 32 тысячи токенов! Она может справляться с более сложными задачами и анализировать огромную кучу данных (до 60 страниц текста). В общем, крутые новости! Подробнее можно почитать в статье Алексея Долотова и Андрея Бута – ссылка тут.🌟

CEO Perplexity опять выделился своим резким высказываем: он предложил заменить труд бастующих сотрудников New York Times ИИ Тех.сотрудники NYT бастуют уже пару дней: они требовали повышение зарплаты, но в руководстве проигнорировали запросы. При этом в сети многие не поддержали работников: якобы, очень подло пытаться заблокировать действия своей компании за пару дней до выборов, когда NYT становится главным оплотом информирования населения. Вот и Шринивас не удержался и почти прямым текстом предложил услуги ИИ вместо труда бунтовщиков. Его, конечно, массово осудили и назвали скабом. Сейчас Шринивас отказывается давать комментарии и говорит, что «не это имел в виду» 😒

Суровые реалии

Кроме именитого стартапера OpenAI также наняли лида разработки очков Meta AR Разработчицу зовут Кейтлин Калиновски. Забавно, что в Meta она работала над проектом Orion (именно под таким кодовым названием OpenAI сейчас разрабатывает свою новую модель). Кейтлин также в течение 9 лет возглавляла огромную hardware команду, которая занималась разработкой всего аппаратного обеспечения для VR и AR очков. В OpenAI она будет заниматься робототехникой и.. чем-то еще. Работать она при этом будет со своим бывшим боссом из Apple Джони Айвом, который в сентябре раскрыл, что в OpenAI создает что-то типа телефона на основе ИИ. Все интереснее и интереснее

Что такое виртуальная память и как она помогает эффективно распределять ресурсы? Как система может выделить больше памяти, чем на самом деле доступно на сервере? На нашем вебинаре разберем ключевые вопросы управления памятью в Linux. Узнаете об эволюции адресации памяти и поймете, зачем используется swap и как работает OOM Killer, защищая систему от нехватки ресурсов. Погружаясь в тонкости управления памятью, вы сможете оптимизировать свои процессы в Linux и лучше понимать поведение системы под нагрузкой. Присоединяйтесь 15 ноября в 19:00, чтобы расширить свои знания и улучшить свои навыки работы с памятью в Linux. Присоединяйтесь и получите скидку на участие в курсе «Computer Sciences»: https://clck.ru/3EQdwV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Вышел Claude 3.5 Haiku: цены на него немного шокируют Haiku превосходит все предыдущие модели стартапа (кроме нового Sonnet 3.6). Модель обучена на данных до июля 2024: это самый «свежий» показатель среди моделей Anthropic. Haiku пока не поддерживает мультимодальность. И хотя раньше в стартапе говорили, что новый Haiku будет стоить как предыдущий, теперь политика изменилась: цены выросли в 4 раза (1$/М инпут и 5$/М аутпут). Объяснили это тем, что на последнем этапе тестирования модель показала себя слишком хорошо 😁 Старый Haiku пока останется доступен «для тех, кому нужна экономическая эффективность»