Data Secrets

Word2Vec — классика векторных представлений слов для решения задач текстовой обработки Приглашаем на практический эфир с  преподавателем ВШЭ Марией Тихоновой ✅ Изучение и практика: Векторные представления слов; алгоритм word2vec Урок посвящен курсу «Machine Learning. Professional» по окончанию которого вы сможете претендовать на Junior+ и Middle позиции Data Scientist 👇 Регистрация на урок:  https://otus.pw/FIhA/?erid=LjN8KRbPd #реклама О рекламодателе

Продолжение истории про Reflection Для тех, кто успел подзабыть: Reflection – это та самая модель Шредингера, которая породила так много споров в начале сентября (мы писали об этом случае тут). Вкратце, авторы наобещали невероятные метрики, а потом модель сдулась. Разрабы при этом написали, что у них почему-то "не получается воспроизвети результаты экспериментов". Месяц про модель ничего не было слышно. А сегодня тот самый разработчик, у которого не воспроизводились эксперименты, написал, что готов "исправить ошибку". Он выложил веса, код и другие артефакты и написал, что воспроизвел все, кроме двух показателей на MATH и GSM8K ("Scores differ due to a bug in the initial benchmarking code"). "Надеюсь, этот постмортем внесет ясность в то, что произошло", – написал он.

А еще сразу после DevDay OpenAI сразу закрыла новый раунд финансирования: они привлекли $6.6 миллиаров Это больше, чем бюджет некоторых африканских стран. При этом оценка стартапа составила $157 миллиардов. Раунд возглавила Thrive Capital, и, включая эти $6.6 миллиаров, валовые инвестиции в OpenAI достигли $17.9 миллиардов. Самое интересное: OpenAI попросила инвесторов избегать вложений в кокурентов, таких как Anthropic и xAI. Вот она, здоровая конкуренция.

Зачем тестировать торговую стратегию? ✅ Разберемся в теме на практическом уроке  — Тестирование торговых стратегий с помощью инструмента Backtrading Урок посвящен курсу «ML для финансового анализа» по окончанию которого вы создадите торгового робота для автоматического проведения операций с оценкой уровня риска Регистрация на урок 👇 https://otus.pw/SEku/?erid=LjN8KEWGf #реклама О рекламодателе

На случай, вы еще не видели демку полноценной модели o1 с DevDay, которая просто взяла и на ходу за один промпт написала рабочее приложение для управления квадрокоптером.

Как выигрывать Kaggle соревнования: LLM-анализ выигрышных решений Примерно год назад энтузиаст с Kaggle по имени Дарек Клечек провел интересный эксперимент: он собрал все доступные описания (writeups) побеждавших на Kaggle за последние годы решений, пропустил их через LLM и свел по ним статистику о том, какие механики и алгоритмы оказываются "наиболее победными". Отчет у парня получился достаточно объемный, интересный, а местами и непредсказуемый. Ну а мы не смогли пройти мимо и сделали разбор анализа Дарека на Хабр. В нем вы найдете: ➡️ много графиков ➡️ детали того, как все это было реализовано ➡️ кучу полезных выводов АКА ваш чек-лист для следующего ML-соревнования Так что обязательно сохраняйте и читайте: https://habr.com/ru/articles/847462/

Как работает новый Prompt Caching OpenAI Краткий ликбез: Prompt Caching – штука, которая позволяет кешировать промпты, которые используются часто, а не кормить их модели заново при каждом запросе, тем самым понижая косты. Вчера OpenAI добавили его в свое API, а у Anthropic этой фичей можно пользоваться уже полтора месяца. Однако, в отличие от Anthropic, у OpenAI запросы к моделям (это относится к GPT-4o, GPT-4o mini, o1-preview, o1-mini) будут кэшироваться автоматически. Экономия получается хорошая: можно скостить 50% затрат и 80% задержки ответов. Разберемся, как этим пользоваться: 1) Чтобы у вас заработал Prompt Caching, запрос должен быть не короче 1024 токенов. Кстати, далее каждые 128 токенов размер максимально возможного кэша увеличивается. 2) Кроме того, кэширование заведется только если префиксы промптов, которые и будут кешироваться, совпадали идеально (фича ориентирована именно на какие-то системные промпты вашего приложения). 3) Система отправляет запросы на серверы, которые недавно обрабатывали идентичные запросы, и кэширует longest prefix. При этом кэш очищается через 5–10 минут бездействия, а максимальный срок хранения – 1 час.

База

OpenAI: проводит DevDay Anthropic в тот же день: выпускает пресс-релиз о том, что нанимает бывшего ко-фаундера OpenAI Дюрка Кингма Дюрк – один из наименее известных, но все-таки учредитель OpenAI. Теперь он присоединится к Anthropic. В своем посте в Твиттере он написал что «не может дождаться встречи с огромным количеством бывших коллег из OpenAI» 😁

Конференция для ИТ-архитекторов от МТС 3 октября | 16:00 Офлайн в Санкт-Петербурге | Онлайн Присоединяйся к конференции для ИТ-архитекторов True Tech Arch#6, которая пройдет 3 октября в Санкт-Петербурге. Тебя ждут доклады от ведущих экспертов МТС и приглашенных экспертов. Поговорим про технологии создания Цифрового двойника компании, обсудим тенденции принципиальных изменений в роли архитектора и то, как это может повлиять на его ежедневную работу в будущем. Для участия нужно зарегистрироваться по ссылке

Ой как неожиданно и приятно: бесплатные аккаунты в ChatGPT на этой неделе получат доступ к Advanced Voice 🎉

Тем временем в Сан-Франциско прямо сейчас проходит OpenAI DevDay. Вот что уже показали: ➡️ Realtime api с минимальной задержкой. Это возможность встроить в свое приложение настоящий speech-to-speech. Будет доступно по цене базовой модели. ➡️ Vision файнтюнинг. Теперь можно тюнить свои модели с использованием изображений. ➡️ Завозят набор инструментов для кастомных дистилляций и ускорения моделей. ➡️ Finally: кэширование промптов, которое уже давно появилось у DeepSeek и Anthropic. На кэшированные промпты цена будет в половину меньше. ➡️ Интрумент для оценки моделей: можно будет нормально эвалить свои приложения.

LMAO

OpenCV: как начать работать с компьютерным зрением Ждем вас на открытом вебинаре 10 октября в 20:00 мск, где мы разберем: - как работать с библиотекой opencv-python; - как осуществлять обработку изображений классическими алгоритмами; - принципы работы с видеопотоком в OpenCV. Урок для начинающих и продвинутых разработчиков компьютерного зрения. Встречаемся в преддверии старта курса «Компьютерное зрение». Все участники вебинара получат специальную цену на обучение! Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://clck.ru/3DdCPW Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Liquid AI представили новое семейство моделей с оригальной архитектурой: они выбивают SOTA метрики в своих классах Самое интересное: это НЕ трансформеры, а так называемые ликвидные сети. Ликвидными (то есть жидкими) их называют потому, что, в отличие от обычных нейросетей, где веса – это просто числа, в ликвидных моделях веса вообще может не быть: здесь обмен сигналами между нейронами — вероятностный процесс, управляемый нелинейной функцией. Такие подходят для моделирования любых последовательных данных, включая видео, аудио, текст, временные ряды и сигналы. Всего доступно три модели: 1.3B, 3.1B, 40.3B MoE. Все они, судя по бенчмаркам в релизе, показывают себя очень неплохо, особенно на математике и длинном контексте. На схеме наверху – метрики по MMLU, а более детально можно посмотреть здесь. Если все действительно так, как представлено, то перед нами очень многообещающая альтернатива трансформерам (спойлер: r в "Strawberry" все равно посчитать не может). Еще одна хорошая новость: модели уже можно попробовать. Они доступны в Liquid Playground и Perplexity Labs. P.S. Если хотите почитать про архитуктуру подробнее, то вам сюда. По этой ссылке ресерчеры Liquid AI оставили упорядоченную подборку статей (собственных и не только) о том, как развивались ликвидные нейросети.

OpenAI неожиданно вспомнили молодость и опенсорснули третью версию whisper (типа «смотрите, все еще open») 😐

Просто визуализируем план человечества по мотивам вчерашнего интервью CEO Nvidia

Как вам такая литература?

⚡️ Google DeepMind выпустили работу про самоисправление моделей с помощью RL (в стиле o1) Они разработали систему под названием SCoRe (Self-Correction via Reinforcement Learning). SCoRe работает как бы в два этапа: 1. Учится генерировать first try, исправления и second try. При этом используется специальный лосс, учитывающий и качество самих ответов, и качество критики. Получается своеобразный претрейн. 2. На втором этапе подключается multi-stage reinforcement learning. Тут лосс (с помощью регуляризации) больше поощряет существенные улучшения между first try и second try. При этом учится SCoRe только на сгенерированных данных: это сделано специально, чтобы избежать проблемы разницы распределений в генерациях и трейне. Это, кстати, одна из причин того, что обычный файнтюнинг перформит не так хорошо, как хотелось бы. Итог: SCoRe существенно улучшил self-correction гугловских моделей на бенчмарках. Например, на HumanEval случился скачок на 9,1 пп, а на MATH – на целых 16. Статья полностью лежит тут.

GenAI в 2024 году — важный двигатель рынка и возможность продемонстрировать лидерство. Узнайте о передовых инженерных подходах и лучших практиках от лидеров отрасли на GenAI-Meetup от МегаФона, который пройдет 17 октября в головном офисе компании в Москве. Meetup делится на два блока: технологии и бизнес. Мы ждем специалистов обоих треков! А еще вас ждут: — выступления практикующих AI-инженеров; — инструменты создания GenAI-приложений; — актуальные стратегии на рынке и реальные кейсы МегаФона, Яндекс Крауд, JSA Group и SberDevices. Успейте зарегистрироваться👇🏻 Бизнес направление >> Технологическое направление >>