Data Secrets

⚪️ The Information сообщает, что Meta разрабатывает собственную поисковую систему с ИИ ⚪️ Perplexity привлекает новый раунд инвестиций и собирается забрать львиную долю рынка поиска ⚪️ OpenAI продолжает тестировать SearchGPT Google: 😭

Помните недавнюю статью Anthropic про новую технику RAG, которая навела столько шума? Кратко: исследователи предложили технику аннотирования чанков и смешивания обычных эмбеддингов с TF-IDF. Количество галлюцинаций на таком пайплайне понизилось относительно классических техник RAG на 35% (!). Более подробный разбор статьи мы делали здесь. Так вот, теперь появился шанс познакомиться с архитектурой еще ближе: появилась опенсорсная реализация от ребят из Together AI. Они используют Llama 3.2 3B для аннотирования, и Llama 3.1 405B как основную модель. Код здесь. Если вы исследователь, то будет супер полезно поиграться и разобраться. А если крутите RAG где-то на проде – то сохраняйте имплементацию на заметку.

Apple Intelligence здесь! Правда, если вы не из определенного списка стран или у вас не определенное устройство, то вас отправят в Waitlist ☹️

Линус Торвальдс: «Я фанат ИИ, но не хайпа вокруг него» По его словам, реальный потенциал и пользу искусственного интеллекта можно будет оценить только на расстоянии, то есть примерно через 5 лет. «Сейчас ИИ на 90% состоит из маркетинга, и я ненавижу этот период хайпа»

Открытый урок «Автоматизация данных в Tableau: как BI-системы могут помочь оптимизировать трудозатраты» 🔴30 октября в 20:00 МСК Бесплатно. Урок в рамках старта курса «BI-аналитика» от Otus. На вебинаре разберем: ✔️ Поговорим о том, что такое автоматизация данных, каковы ее ключевые принципы и почему она важна для бизнеса. ✔️ Рассмотрим основные возможности BI-системы Tableau для автоматизации процессов: создание дашбордов, автоматическое обновление данных и настройка автоматизированных отчетов. ➡️ Ссылка для регистрации на урок: https://otus.ru/lessons/bi-analytics-course/?utm_source=telegram&utm_medium=cpc&utm_campaign=bi_analytics&utm_term=data_secrets&utm_content=lesson_30-10-2024_usp-universal_analytics_text_no-headline_aida_long_aibanner_lesson-banner_violet_standart#event-4909 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Google: релизят свой самый крутой сервис за год Meta: буквально через пару месяцев показывают опенсорс аналог Да, в Meta выпустили открытую копию того самого NotebookLM, который генерирует подкасты из pdf, – Notebook Llama. Что под капотом: ⚙️ Предобработка PDF: Llama-3.2-1B-Instruct используется для преобразования pdf в txt. ⚙️ Составление сценария: здесь для написания драфта текста используется Llama-3.1-70B-Instruct, а затем Llama-3.1-8B-Instruct перерабатывает текст и делает его более лиричным и «очеловеченным», чтобы подкаст получился поживее. ⚙️ Text2speech: тут прикрутили parler-tts-mini и suno. Пока еще заметны шероховатости, но замена точно достойная (пример⬆️). Код ищите тут.

Рубрика «красивое»: очень крутая интерактивная визуализация работы CNN в динамике из одного из курсов brilliant.org

Хороших ИБшников днем с огнем не сыщешь, при этом хакеры не ждут, пока вы обучите своих бойцов🥷 Их армия крыс, червей, троянов с каждым кварталом атакует сильнее. Уже пострадали «Rendez-Vous», «СДЭК», «Онлайн Тренд». Кто следующий? Вы?

676 тыс. раз хакеры атаковали в 1-м полугодии. Каков шанс, что во втором не заденет вас? И даже не думайте, что вы им не интересны. В вашей базе есть не только личные данные, но и корпоративные - лакомый кусочек вредоносов 2024.

Как защититься с учетом дефицита высококлассных кадров? Усильте ИБ-отдел сильным союзником. Только представьте - единый комплекс сервисов информирования об угрозах, обеспечивающих проактивный подход к безопасности, основанный на данных киберразведки. 👌 Коротко - Kaspersky Threat Intelligence. Подробнее - 8 сервисов «Лаборатории Касперского» в 1 платформе, информирующих вас об актуальных киберугрозах в режиме нон-стоп. 🔴Больше про продукт, внедрение, бесплатную демонстрацию узнайте тут Реклама. ООО "КРАЙОН". ИНН 9717087315. erid: LjN8K619R

AGI достигнут, расходимся v3

OpenAI предложили эффективное упрощение диффузионных моделей Диффузионные модели – SOTA для генерации картинок, аудио и даже видео, но сэмлирование у этой архитектуры происходит на скорости черепахи. Чтобы получить один сэмпл, модели требуется прогнать сотни степов диффузии. Некоторое время назад OpenAI начали работать над этой проблемой и в июне предложили так называемые Consistency модели: они, в отличие от обычных диффузионок расшумляют не итерационно, а как бы однозначно мапят шум и данные. За счет этого генерировать изображение можно не за сотни шагов, а всего за 1-2. А на днях у стартапа вышла статья-продолжение: в ней они описывают sCM – scaled consistency model. Эти модельки оптимизированы еще сильнее. Например, если диффузия сэмплит образец за 6.16 секунд, то у sCM на это уходит 0.11 – разница очень существенная. И масштабируемость красивая: посмотрите на графики. Качество образцов кстати тоже не уступает. И по FID, и на глаз модель соответствует качеству хороших взрослых диффузий, хотя и является по сути дистилляцией. Полный текст статьи – здесь

Хотя Альтман новости о декабрьском релизе опроверг, все уже переполошились: Google не хочет отставать от конкурента и теперь тоже планирует релизить новую Gemini 2 перед Новым Годом. Winter is coming 🔥

Тем временем в Твиттере продолжают сравнивать модели по их способностям в майнкрафте 😔 Вот, например, Sonnet 3.5 new против o1 preview Кто победил?

AGI достигнут, расходимся v2

Anthropic снова на сцене с продолжением того самого исследования про интерпретируемые фичи Для контекста напоминаем: несколько месяцев назад стартап выпустил исследование, в котором ученые рассказали, что научились с помощью SAE извлекать из активаций модели интерпретируемые фичи. Более того, тогда выяснилось, что, затюнив какие-то вполне конкретные фичи, мы можем заставить LLM отвечать определенным образом. Эта статья запомнилась нам под названием “Golden Gate” и уже успела стать классикой. Мы делали ее подробный разбор здесь. Сейчас исследователи фокусируются как раз на изучении тюнинга фичей: как и насколько сильно мы можем таким образом повлиять на генерации? Результаты получились неоднозначные. Оказалось, что: ⚪️ Управлять аутпутами с помощью фичей действительно можно! Например, если повысить значимость фичи, которая отвечает за гендерную предвзятость, то на эвале четко видно, как модель начинает отвечать более стереотипно. ⚪️ Что касается метрик, то небольшой тюнинг фичей не портит модель, а вот более грубый уже способен повредить перформансу в целом. ⚪️ Тюнинг фичей может влиять на выходы непредсказуемо: мы не можем однозначно определить, на что еще подействует изменение их весов. Например, в примере из пункта один модель кроме гендерных стереотипов начала выдавать еще и возрастные. Конечно, цель всего исследования – найти новые варианты и механики для alignment’а: и кажется, что выглядят результаты очень многообещающе. По крайней мере, ресерчеры обещают продолжить эксперименты.

Сэм Альтман: «мне больше не кажется, что AGI – наша конечная точка назначения» Мы все привыкли к тому, что цель OpenAI – это AGI. Но внезапно в недавнем подкасте Джо Рогана Сэм сказал, что он так больше не думает, и что миссия компании может занять еще 7-8 лет. Наверное, он имел в виду сверхинтеллект, но почему-то от произношения самого термина воздержался. Сразу вспоминается его эссе и фраза «It is possible that we will have superintelligence in a few thousand days (!)»…

Лекун опять выдает базу

Google Deepmind опенсорснули SynthID – инструмент для встраивания и обнаружения водяных знаков в сгенерированном тексте Идентификация сгенерированного текста вообще больная тема. Классификаторы работают очень плохо, а альтернативных решений мало: разве что вотермарки. Но существующие решения для водяных знаков либо очень тормозят инференс, либо откровенно портят текст, либо на этапе обнаружения скатываются в точность классификаторов. SynthID – попытка это исправить. Исследователи предлагают встаивать вотермарки дешево, внося несущественные изменения в процедуру выбора следующего токена на этапе, когда вероятности уже посчитаны. Таким образом мы влияем на распределение конечного текста и как бы вносим статистическую "подпись" в генерации (скрин 1, 2). На этапе идентификации можно просто посчитать статистики и по трешхолдам определить, сгенерирован текст или нет. Гиперпараметры метода можно настраивать: мы можем вносить больше изменений, тогда текст будет меняться сильнее и перформанс может немного падать, но обнаружить вотермарку будет проще. Или наоборот, можем выкрутить температуру, и вотермарки станут более прозрачными (скрин 3). Самое интересное: Google даже попробовали катнуть неискажающий вариант SynthID в продакшн gemini и доказали, что пользователи в основном не замечают изменений, а вотермарки, тем не менее, можно обнаружить с приемлемой точностью. Статья в nature | Релиз на HF

⚡️  Открыта регистрация на конкурс «Автономный поиск. Софт» Создайте решение для поиска пропавших людей и поборитесь за призовой фонд в 25 миллионов рублей! Когда: загрузить решение для возможности участия в финале необходимо до 8 ноября 23:59 МСКФормат: онлайнПризовой фонд: 25.000.000 рублей 🔥 Этот конкурс для вас, если вы хотите: – прокачать свои навыки в Machine Learning и Computer Vision; – внести вклад в решение важной социальной проблемы;– заявить о себе и найти потенциальных партнёров, заказчиков или инвесторов;– протестировать свои разработки на реальной инфраструктуре. ❗️Участникам предстоит разработать решение для поиска пропавших людей с использованием аэрофотоснимков, сделанных с беспилотных воздушных судов (БВС). 🔹 У вас будет возможность испытать свои решения на реальной инфраструктуре и получить шанс пройти проверку в условиях, близких к реальной поисковой операции! ▶️ Конкурс проводится Фондом НТИ совместно с МФТИ и ЛизаАлерт. 🕰Подать заявку можно до 2 ноября 2024 (23:59 МСК) по ссылке.

AGI достигнут, расходимся

Perplexity сообщили, что они еженедельно обрабатывают более 100М запросов В месяц это почти 400М, тем временем как в июле спрос за поисковик был почти в два раза меньше: 250M запросов. Кстати, сейчас компания планирует привлечь около $500 млн при оценке в $8 млрд. Perplexity также обсуждает условия сотрудничества с брендами для спонсируемых ответов поисковика и недавно изменила свою модель подписки.