Data Secrets

GenAI в 2024 году — важный двигатель рынка и возможность продемонстрировать лидерство. Узнайте о передовых инженерных подходах и лучших практиках от лидеров отрасли на GenAI-Meetup от МегаФона, который пройдет 17 октября в головном офисе компании в Москве. Meetup делится на два блока: технологии и бизнес. Мы ждем специалистов обоих треков! А еще вас ждут: — выступления практикующих AI-инженеров; — инструменты создания GenAI-приложений; — актуальные стратегии на рынке и реальные кейсы МегаФона, Яндекс Крауд, JSA Group и SberDevices. Успейте зарегистрироваться👇🏻 Бизнес направление >> Технологическое направление >>

Замкнутый круг by Дженсен Хуанг: CEO Nvidia сказал, что нам потребуются AI агенты, чтобы противостоять темной стороне AI агентов Мысль вот в чем: AI будет производить фейки и взламывать ресурсы с нечеловеческой скоростью, поэтому справиться с этим люди не смогут сами, и им понадобятся другие "добрые" ИИ. "Это похоже на белых хакеров", – говорит Хуанг. И кстати, вы заметили, что в этот раз он не в своей кожанке? Может это уже не он, а его AI копия? 😅

Google добавили в Notebook LM возможность обработки YouTube видео Notebook LM – это тот самый инструмент от Google, который может превратить любой pdf в подкаст, объяснить любой текст (включая сайты по ссылке) и ответить на вопросы по нему. Инструменту уже год, но его постоянно развивают: функцию с подкастами вот добавили меньше месяца назад. А теперь в подкаст или текстовую объяснялку/гайд можно превратить не только текст, но и видео/аудио. Выглядит супер удобно и попробовать можно бесплатно. P.S. Кстати буквально вчера на Hugging Face появился опенсорс аналог Notebook LM на основе Llama 3.1. С видео пока не работает, но c PDF-to-podcast справляется вроде неплохо.

Внезапно: губернатор Калифорнии все-таки не подписал закон о регуляции ИИ. Вместо этого он наложил на него вето Причина: он считает закон недостаточно адаптивным, потому что в нем строгие стандарты применяются даже к самым базовым функциям, НО только для крупных моделей. При этом для меделей поменьше не учтены почти никакие нюансы.

«SB 1047 сосредоточен только на самых дорогих и масштабных моделях, хотя меньшие, специализированные модели могут оказаться такими же или даже более опасными. Я согласен — мы не можем позволить себе ждать, пока произойдет крупная катастрофа. Калифорния не откажется от своей ответственности. Однако я не согласен, что для обеспечения общественной безопасности мы должны согласиться на решение, которое идет вразрез с эмпирическим анализом траектории развития ИИ.»

Вот так. Сам губернатор обещает внести «разумный» законопроект уже в течение года.

Все мы немного Артем 😭

Нашли клевые слайды с выступления сеньора-ресерчера из Google DeepMind Он недавно вступал с гостевой лекцией в университете McGill на курсе по LLM и выложил свою презентацию. В ней поднимаются все самые «волнующие» темы: синтетические данные (с точки зрения математики, очень интересно), масштабируемость, ризонинг, RL. В общем, просмотреть точно стоит: в конце концов, это просто красиво.

Llama 3.2 появилась на Vision Арене К сожалению, все не так феерично, как ожидалось, но все-таки результаты вполне приличные. Llama на втором месте среди открытых моделей, первое заняла Qwen2-VL. Ну а общее первое место опять, после недолгого лидерства Google, забрала новая версия ChatGPT-4o 💪

Там Anthropic предложили новую технику для RAG. Разбираемся: Как работает обычный RAG: 1. Документы в корпусе разбиваются на чанки 2. Из каждого такого чанка мы достаем эмбеддинг и кладем его в векторную БД 3. Когда поступает запрос (промпт), мы ищем в этой БД семантически близкие к нему чанки, добавляем их в промпт, чтобы модель могли использовать эту информацию для ответа В чем тут проблема? Дело в том, что таким образом мы можем упустить важный контекст и детали запроса. Например, пользователь запрашивает "Error code TS-999". Поиск найдет информацию про коды ошибок в целом, но может упустить точное совпадение «TS-999». К тому же, при возвращении конкретного чанка из базы может случится так, что он будет вырван из какого-то важного контекста, и это может помешать модели. Что предлагают Anthropic? Во-первых, они предлагают извлекать не только обычные эмбеддинги, но и делать TF-IDF энкодинг чанков с помощью BM25. TF-IDF утроен так, чтобы как раз отбрасывать наиболее "общие" вещи в тексте, и фокусироваться на редких и самых важных словах. Это поможет не упускать детали при поиске, как в примере с ошибкой TS-999. Во-вторых, чтобы избавиться от проблемы отсутствия контекста, они предлагают этот контекст добавлять искусственно (то есть делать из такого: "Прибыль росла на 3%." ... такое: "Этот чанк относится к отчету компании ACME за Q2 2023; прибыль росла на 3%."). Для этого перед извлечением эмбеддингов и TF-IDF энкодингом каждый чанк аннотируется с помощью отдельного запроса к модели (в случае Anthropic это делается с помощью Клода). Да, дорого. Но с помощью фишки Prompt Caching, которую недавно завезли в API, можно хорошо скостить цену. В итоге все это дает достаточно ощутимый прирост к метрикам качества поиска. Например, файтических ошибок становится меньше на 35%, а это ничего себе!

4 октября встречаемся в Цифровом деловом пространстве! Здесь снова пройдет фестиваль, который не оставит равнодушным никого и подарит незабываемые эмоции, — «Ночь инноваций». Участников ждут выступления топовых спикеров, яркие кейсы использования мультимедиа технологий в бизнесе и творчестве, VR-зона, шоу дронов, аромапутешествие и возможность выиграть лимитированный аромат «Агент инноваций». Завершится фестиваль презентацией нового трека от DJ Smash под специально созданные к выступлению артиста лазерное шоу и видеомэппинг. Ну и самое главное — интерактивная выставка российских разработчиков. Каждый сможет все пощупать, примерить, покликать. Одним словом, полностью погрузиться в мир мультимедийных разработок. Переходите на сайт, изучайте программу и регистрируйтесь. Среди спикеров: ▫️DJ Smash, композитор и музыкальный продюсер ▫️Валерия Гай Германика, кинорежиссер и телеведущая ▪️Гавриил Гордеев, генеральный продюсер онлайн-кинотеатра Okko ▪️Юрий Усачев, композитор, DJ и продюсер. Основатель и участник поп-группы «Гости из будущего» и техно-фолк проекта Zventa Sventana ▪️Виктор Абрамов, директор музыкального лейбла VK Records, экс-креативный директор группы компаний Black Star ▪️Илья Бачурин, сооснователь кинотелевизионной студии «Главкино», генеральный директор ГБУК Москвы «Москонцерт» Все подробности — на сайте фестиваля.

Там на Kaggle завезли новые ачивки 😇 Появились значки за активности под названием Badged (например, год на Kaggle, засабмитил в командное соревнование, создал Python ноутбук и прочее). Полный список тут. Кроме этого появились так называемые Awards: это больше про фактические достижения типа мест в рейтингах, организации соревнований, публикации датасета и тд. Полный список тут. Делитесь, кто сколько уже насчитал у себя?

Вот он, поворотный момент для человечества

PyTorch поймали тренд и запустили собственную библиотеку для квантизации и ускорения моделей Называется она очень прикольно – torchao 🔵 Код, конечно, в основном на pytorch. Вот некоторые выборочные метрики из блога: ➡️ускорение на 97% для инференса Llama 3 8B с автоквантом весов в int4 ➡️пиковое сокращение VRAM на 73% для инференса Llama 3.1 8B с квантизацией KV кэша ➡️ускорение претрейнинга Llama 3 70B на 50% с обучением под float8 Звучит мощно, в общем. Подробности – в блогпосте

Google выпустили дополнение к статье 2020 года о системе для дизайна чипов А еще дали ей имя – AlphaChip. Видимо, в продолжении серии AlphaGo, AlphaZero и AlphaFold: как и эти ребята, AlphaChip основан на RL. Оригинальную статью четырехлетней давности можно прочитать тут. Новая статья в Nature – продолжение и рассказ в большей степени о том, как AlphaChip все эти годы использовался Google для дизайна TPU и других чипов. И не только Google, кстати. Оказывается, модель также использовала компания MediaTek. Ну и самое приятное: Google выложили веса. За подробностями – в блогпост

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: — Актуальный стек. Здесь следят за трендами и быстро внедряют новое. — Общение на «ты». Так проще. — Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. — Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь Erid:2VtzqvTTWpp

Нашли готовый Colab ноутбук для файнтюнинга свежей Llama 3.2 Там уже все оптимизировано и Llama 3.2 (1B) QLoRA фитится всего на 4GB GPU, а 3В влезает в 7GB. Обещают скоро добавить vision (мы обновим пост, когда завезут). Экспериментируйте: https://colab.research.google.com/drive/1T5-zKWM_5OD21QHwXHiV9ixTRR7k3iB9?usp=sharing

Тем временем Интернет продолжают засыпать мемы. Добрались уже даже до…

Не переживаем, работа будет, ИИ не выходит на плато Как минимум такой план у Марка Цукерберга. «Предел масштабирования систем ИИ не наступит в ближайшее время», и Llama 4 будет обучаться на более чем 100.000 GPU, а Llama 5 — еще больше.

🔥 Крупнейший карьерный форум "Найти IT" для молодых айтишников    Врываемся с огненной новостью: совсем скоро пройдет карьерный форум "Найти IT" для начинающих IT-специалистов. В этом году позвали Сбер, VK, Альфа-Банк, АО «Гринатом» и ещё 15+ работодателей.    Форум пройдет в двух городах:   🔸 Москва - 3 октября 🔸 Санкт-Петербург - 12 октября   Почему стоит прийти?    - 15+ крупных компаний, среди которых Сбер, VK, Альфа-Банк, АО «Гринатом» и многие другие - уникальные вакансии и стажировки в сфере IT - возможность получить оффер в компанию мечты - 500+ участников, включая HR, экспертов и твоих единомышленников - нетворкинг, мастер-классы, кейсы и Q&A со спикерами - доступ в закрытый ТГ-канал, мерч и призы   Dream карьера в IT - твоя. 👉🏻 Участие полностью бесплатное, регистрация по ссылке.

Была клубника, теперь голубика На text-to-image арене появилась загадочная модель 🫐, точнее целых две. Они с отрывом вышли на первое место по ELO, а по AWR приближаются к всеобщему любимчику FLUX.1. По стилю напоминает OpenAI, поэтому основная версия: это Dall-E 4. Однако некоторые предполагают, что это может быть и SORA. Дело в том, что это не только text2video модель, но еще и text2image. В февральском тех.отчете можно даже найти примеры сгенерированных ей картинок. В общем, будем ждать развязки. Черешня, ты следующая 🔪

Kling Motion сгенерировала лучшее описание сегодняшних событий. Смотреть со звуком 😢