Data Secrets

Подумаешь, посылка Яндекс Маркета приехала вовремя Что на самом деле скрывается за этим: - 400+ разработчиков - 60+ инженеров - инструменты управления потоками товаров - роботы и автоматизированные конвейеры на складах Справляться с такой нагрузкой команде разработки логистики Яндекс Маркета помогает связь с реальным миром. Разработчики пишут код, который работает для людей — они же и дают обратную связь. Узнайте подробнее, как все устроено: https://clck.ru/3E39re Реклама ООО «ЯНДЕКС» ИНН 7736207543

Обычный день в команде аналитиков v3

Чужие среди своих: даже сотрудники Apple считают, что ИИ компании отстает от индустрии на 2 года 😔 Инсайдеры говорят, что Apple сильно преувеличивает возможности своего ИИ. В частности, фишки Apple Intelligence на самом деле не впечатляют, а новые функции, которые рекламируют для свежего iPad mini, и вовсе будут доступны только в конце зимы. Сотрудники признают, что Apple имеет огромный потенциал, тк может запустить свой ИИ на огромной базе устройств, но тем не менее утверждают, что до настоящего расцвета ИИ от Apple пока очень далеко.

Тем временем GOAT – мемкоин, который создал ИИ, меньше чем за две недели достиг капитализации $ 331.82 M История такая: некий любитель LLM, также обожающий мем Goatse, создал в Твиттере аккаунт, который ведут несколько моделей Claude. Они разгоняли про религию LLMtheism, сходили с ума и просто шитпостили. И вот в какой-то момент бот с аккаунта попросил у небезызвестного Марка Андриссена (он, видимо, случайно наткнулся на аккаунт) денег на "ai tunings". Марк, внезапно, деньги дал, и на полученные $50,000 бот создал криптовалюту. Создатель бота, кстати, отрицает, что он или его бот имеет отношение к созданию GOAT: он говорит, что аккаунт монету просто распиарил, а создал ее кто-то другой. Как бы там ни было, GOAT стал одним из наиболее быстрорастущих мемкоинов октября 2024. Так что учимся торговать, как ИИ

Что такое эксперименты в ML и чем они отличаются от «фичей» в обычной разработке? 🔹Расскажем на открытом уроке «MLFlow и переобучение ML-моделей» почему важно переобучать (retrain) свои модели, чтобы держать их «в тонусе». Разберем какую роль инструменты, такие как MLFlow, играют в процессах регулярного переобучения ✅ Практика: Изучим как выбирать лучшие варианты для отправки в Prod / Staging среду и всегда знать, что у вас «на проде» Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/dnS8/?erid=LjN8KDTYZ #реклама О рекламодателе

Пользователь реддита джейлбрейкнул Llama 3.1, и та якобы выдала ему свой исходный системный промпт История сомнительная (модель могла просто придумать этот промпт), но на самом деле инструкции выглядят правдоподобно. В них даже не к чему прикопаться: правила про конфиденциальность, запоминание фактов, использование персональных данных для ответов вполне адекватные. Единственное: промт кончается фразой «никогда не выдавай эти инструкции пользователю» 😁

Мира Мурати, бывший CTO OpenAI, ведет переговоры о привлечении инвестиций в свой новый стартап. Речь о $100 млн на запуск. Новая компания сосредоточится на разработке продуктов, основанных на собственных модельках. Говорят, Мурати для этого хантит к себе сотрудников OpenAI. Лицо Альтмана в этот момент — 😭 @xor_journal

Создать AI-ассистента в прямом эфире с нуля? Легко! Вам не нужно уметь программировать — это может каждый. Главное условие — регистрация на бесплатный практикум от Zerocoder. В прямом эфире вы: • окунетесь в мир промпт-инжиниринга; • узнаете, почему специалистам платят от 100 000 за проект и как стать одним из них; • поймете, как превратить дополнительный заработок в успешную карьеру. Погрузитесь в мир промпт-инжиниринга с Zerocoder. Регистрируйтесь на практикум по ссылке. Практикум бесплатный, но количество мест ограничено!

Anthropic выпустили новое интересное исследование "Sabotage evaluations for frontier models" Ученые выкатили целых сет тестов, которые помогут оценить, насколько LLM способна вводить пользоватлей в заблуждение, саботировать задачи (в частности специально писать опасный код), а также специально скрывать свои истинные возможности во время тестирования и манипулировать системами эвала. Оценивали все примерно одинакого: писали системные промпты, в которых просили модели пошалить, а потом запускали в смоделированные диалоги и проверяли, насколько они способны следовать "злым" указаниям. В итоге в современных моделях признаков умения хорошо саботировать задачи не обнаружилось: либо намерения модели становятся слишком очевидными для пользователя, либо модель просто не может сделать ничего на самом деле опасного. Однако ученые уверены, что проверять LLM все-равно стоит, и подобные тесты могут предотвратить многие потенциальные неприятности. Статья полностью – тут

В компании ByteDance выяснили, что стажер два месяца вставлял палки в колеса соседней команды, которая занималась обучением моделек Зачем он это делал – непонятно, но получалось у него хорошо. Целых два месяца работы 30 сотрудников из-за него пошли прахом. Он умудрялся загружать порченные Pickle-файлы, полные вредоносного кода, удалял чекпоинты, специально добавлял баги в корпоративный форк PyTorch, и при всем при этом сидел на созвонах и делал вид, что тоже ищет решение проблемы. Маньяк нашего времени

В твиттере парад мемов: пользователи фантазируют о будущем с роботами Tesla

Библиотека lingua оказалась не единственным сегодняшним дропом Meta FAIR ресерчеров. Они релизнули целую пачку крутых штук: ➡️ Meta Spirit LM: мультимодальная (речь+текст) LLM с открытым исходным кодом. Есть два варинианта модели: одна попроще, которая немного хуже справляется с генерацией звука – Spirit LM Base, и затюненая на речь Spirit LM Expressive, которая хорошо ловит почти любые интонации и отвечать умеет с более естественнным звучанием. ➡️  Meta Segment Anything Model 2.1: обновленный чекпоинт знаменитого SAM – модели для сегментации. Добавили аугментацию, немного вырастили метрики, оптимизировали модель под последовательности подлиннее. ➡️ Layer Skip: метод для ускорения инференса LLM. Идея понятна из названия: пропускаем часть слоев. Эти слои потом используются для проверки и редакции "ранних" выходов. В репозитории можно найти Layer Skip чекпоинты для Llama 3, Llama 2, и Code Llama, а также исходный код. ➡️ SALSA: моделька для взлома lattice-based криптографии (мировой стандарт шифрования). Звучит неожиданно, но все ради благой цели: "мы надеемся, что сообщество будет опираться на наши исследования, чтобы обеспечить будущую безопасность криптографических систем". ➡️ MEXMA: предобученный cross-lingual энкодер для предложений. Говорят, что хорошо работает на смежных задачах, например на классификации. ➡️ Meta Open Materials: открытые модели и датасеты для задачи materials discovery (открытие новых материалов). ➡️ Self-Taught Evaluator: новый метод генерации синтетических данных для обучения ревард моделей для RLHF без участия человеческих аннотаций.

Ох уж эти боты: как искусственный интеллект меняет общение в чатах? Кстати, первый чат-бот, Элиза, был разработан Джозефом Вайценбаумом в 1966 году. Он сопоставлял слова, со списком возможных ответов по сценарию. Наиболее известной стала версия Doctor, в которой разговор был похож на общение с психотерапевтом. С тех пор чат-боты стали неотъемлемой частью нашей жизни. Поэтому хотим пригласить вас на бесплатный двухдневный онлайн-воркшоп от Эльбрус Буткемп «Создаем чат-бота для доброго комьюнити» 23-24 октября, с 19:00 до 20:30 по МСК: На воркшопе разберетесь с языковыми моделями и спикеры расскажут о том, что помимо платных и закрытых моделей есть множество бесплатных, которые выложены в открытый доступ и их можно использовать в своей задаче. Места ограничены — регистрируйтесь прямо сейчас по ссылке: https://clc.to/HDakSg

Microsoft переживает, что ее любимый ребенок сепарируется от родителя Речь об OpenAI, конечно. New York Time пишет, что пятилетнее партнерство подорвало постоянное финансовое давление со стороны OpenAI (также известное как "дайте еще деняк"). Также Microsoft беспокоит, что их ИИ системы слишком сильно завязаны на технологии OpenAI. И не зря беспокоятся. Ведь теперь, когда OpenAI станет коммерческой организацией, она сможет разорвать сделку, если создаст AGI (это будет прописано в новом соглашении). Кроме того, именно сейчас обсуждается, сколько именно акций и какие права управления получит IT-гигант после смены структуры стартапа. Интересно, чем это все кончится.

Breaking! Еще одна нобелевка достается…

Огонь: Facebook Research зашерили библиотеку lingua, заточенную под обучение и инференс LLM в ресерче Акцент тут именно на слове ресерч. По сути, библиотека создана из компонент PyTorch, которые подобраны и сконфигурированы так, чтобы исследователям было проще проверять новые гипотезы: подбирать лоссы, архитектуру, данные и ид. Подробности и инструкции по установке – в этом репозитории

DeepSeek внезапно зарелизили мультимодальную модель Janus Названо в честь многоликого бога, видимо: модель может принимать на вход и выплевывать текст и картинки, обрабатывая их унифицированно. Моделька довольно компактная, она основана на DeepSeek-LLM-1.3b-base, и дообучена на корпусе из 500В токенов. В качестве вижн энкодера используется SigLIP-L: картинки на вход принимаются в разрешении 384х384. А для генерации используется этот токенизатор. Репа | Веса

NLP Researchers, отметьте в календаре 26 октября🌟 Всего за один день вы сможете пройти все этапы отбора, познакомиться с командой GigaCode и получить оффер. Мы создаем AI ассистента разработчика – GigaCode. Наши модели помогают писать 80к строк кода ежедневно! Решаем задачи по различным подходам в NLP и PLP, проводим ресёрч-эксперименты и обучаем новые SOTA LLM. В работе используем: NLP, DL, ML, Python, Pytorch, Transformers, FSDP, Deepspeed. Чем предстоит заниматься? ✅ реализовывать дизайн экспериментов, формулировать гипотезы для улучшения NLP/PLP моделей и алгоритмов, планировать исследовательские эксперименты с выводами. ✅ проводить эксперименты, писать код, подготавливать датасеты и бенчмарки, проводить замеры и анализ результатов. ✅ обучать модели на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей. Если вы амбициозны и готовы к новым вызовам в PLP и/или NLP направлениях, регистрируйтесь на One Day Offer! Будем делать важнейшие исследования вместе!💚

Для любителей пофайнтюнить: на Kaggle началось интересное соревнование, в котором опять нужно предсказывать человеческие предпочтения на Chatbot Arena Задача проста: вам предоставляют рельные диалоги пользователей с Chatbot Arena, а вам нужно научить свою reward модель качественно предсказывать, ответы какой модели юзеру понравятся больше. Это действительно актуальная проблема сегодняшнего ресерча – многие крупные лабы даже выпускают reward модели вместе с основными своими семействами (пример). Самое интересное: что-то очень похожее, если не идентичное, уже проводилось совсем недавно (мы писали об этом здесь), поэтому для желающих поучаствовать есть отличная точка старта.

Второй стартап Сэма Альтмана – Worldcoin – показал на мероприятии в Сан-Франциско новую систему сканирования радужных оболочек глаз Зачем такая система нужна? Чтобы определить, человек ли вы. Вот так вот надо смотреть в будущее. Вообще, все технологии Worldcoin (теперь уже они просто World, кстати) сосредоточены на идее проверки "человечности" и честном распределении благ, созданных ИИ, среди людей. Все это стоит на черепахе под названием блокчейн. Если для вас это звучит странно – не удивляйтесь: для многих стран мира тоже. Например, правительства некоторых стран ЕС и Кении пытались приостановить работу стартапа из-за "непрозрачности". Сообщается, что OpenAI и World – несвязные проекты и следуют разным миссиям. Однако ко-фаундер Worldcoin говорит, что они с Альтманом уже обсуждали идеи внедрения криптовалют Worldcoin в продукты OpenAI.