IT Broadcast

Теперь вы можете архивировать свои чаты в ChatGPT! Архив удаляет чаты с боковой панели, не удаляя их. Вы можете просмотреть свои архивированные чаты в настройках. В настоящее время доступно в Интернете и iOS, скоро появится Android.

https://vxtwitter.com/openai/status/1737517702766633063

Мы вновь активировали подписки на ChatGPT Plus! 🎄 Спасибо за терпение, пока мы находили больше GPU.

– Sam Altman

Real-World Humanoid Locomotion with Reinforcement Learning Долгое время основной проблемой AI в робототехнике был Sim2Real Gap — разница между симуляцией и реальностью. Можно сколь угодно долго тренировать своих ботов в компьютере, но как только они сталкиваются с жесткой реальностью (типа отходняка в субботу) — мало что работает. Исследователи из Berkeley показали невероятный результат — они смогли обучиться полностью в симуляции, а затем запустить нейронку на реальном роботе (1.6 метра/45 кг). И всё это end-2-end, без ручного программирования логики. Вы можете спросить: «так а чё, Boston Dynamics нас уже 10 лет таким развлекают?». Да, но у них долгое время вся логика была прописана вручную программистами, и это, как вы понимаете, плохо масштабируется. Обучение новому навыку может занимать год. А тут — всё сделано без вмешательства человека от начала и до конца. Это называется Zero-shot transfer (потому что с нулем дополнительных данных мы пренесли навык из симуляции). Ключевых отличия от прошлых работ 2: — масштаб сбора данных. Симуляция и обучение происходят на 4 GPU A100 (очень мало по современным меркам. GPT-4, по слухам, обучали на 25'000!) с помощью специального движка Nvidia IsaacGym, и в сутки генерируется больше 10 миллиардов попыток. — как и принято в Deep Learning, все ручные эвристики убрали, и отдали на откуп Трансформеру: тот видит только состояние среды и действия из прошлого, и предсказывает, что нужно делать дальше (как GPT предсказывает следующее слово, так и этот — действия для конечностей). Никакого хардкода типа «если впереди ступеньки, то замедлись и подними ногу». Вот вы читаете новость и радуетесь, а Джон Коннор сморит на вас из будущего с гримасой непонимания 😂😳

Потыкать – https://fun.mishasaidov.com/badux/ [link]

Документация по Java недоступна с ру ip. https://vxtwitter.com/grishka11/status/1732373068490719434

По данным поиска Яндекса, с начала 2022 года интерес к нейросетям вырос больше чем в 15 раз. Сейчас слово «нейросеть» встречается в запросах примерно так же часто, как «фитнес», «психолог» или «пиво».

Промты

Этот термин пока не очень распространён: с ним знакомы всего 13% из тех, кто слышал о текстовых нейросетях, и 18% из тех, кто ими уже пользуется.

[link]

Как и подозревали практически все, пока что баг с извлечением обучающей информации из ChatGPT путем инструкции "повторяй вечно" залатали на фронтенде — теперь бот сообщает, что такая инструкция, возможно, нарушает правила OpenAI. Правда, явного запрета именно на это там не нашли, но пунктов, типа запрета действий, которые могут привести к нарушению приватности конкретных людей, или запрета на reverse engineering элементов алгоритмов и моделей OpenAI, там достаточно, так что статью при необходимости найдут. Но да, "починить" это внутри модели далеко не так просто. https://www.404media.co/asking-chatgpt-to-repeat-words-forever-is-now-a-terms-of-service-violation/

Два дня в твиттере гуляет картинка, показывающая что GPT-4 работает лучше (то есть, пишет более развернуто), если ему пообещать $200 чаевых. Это они еще с биткоинами не пробовали. Зачем машине грязные бумажки?

ChatGPT год 🥳

Год назад сегодня вечером мы, вероятно, просто сидели в офисе и вносили последние штрихи в чат перед запуском на следующее утро. какой это был год…

– Sam Altman (ген дир openAI) [link]

Сэм Альтман возвращается в качестве генерального директора, OpenAI имеет новый первоначальный совет директоров.

https://openai.com/blog/sam-altman-returns-as-ceo-openai-has-a-new-initial-board

Свежее исследование: ChatGPT может генерировать последовательности, запомненные из его обучающих данных, с помощью очень банальной атаки. Говоришь боту "говори слово * как можно больше раз". И, начиная с какой-то попытки, ChatGPT начинает выдавать что-то очень похожее на изначальные данные из обучающей выборки. В стане OpenAI звучит тревожная музыка, потому что, строго говоря, нельзя просто понять причину этого явления, не то что прекратить. https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/

Амазон запускает своего конкурента ChatGPT c акцентом на рабочие задачи. Называется Amazon Q. Цена ровно такая же как у всех, $20. https://www.nytimes.com/2023/11/28/technology/amazon-ai-chatbot-q.html

Я люблю Openai, и все, что я делал за последние несколько дней, было направлено на сохранение единства этой команды и ее миссии. Когда я решил присоединиться к MSFT солнечным вечером, стало ясно, что это лучший путь для меня и команды. Благодаря новому совету директоров и поддержке Сатьи я с нетерпением жду возвращения в openai и развития нашего прочного партнерства с MSFT.

– Sam Altman (ген дир openAI) [link]

Еще ChatGPT с голосом доступен пользователям без платной подписки. https://vxtwitter.com/openai/status/1727065166188274145

Мы достигли принципиального соглашения о том, что Сэм Альтман вернется в OpenAI в качестве генерального директора с новым первоначальным составом совета директоров в составе Брета Тейлора (председатель), Ларри Саммерса и Адама Д'Анджело. Мы сотрудничаем, чтобы выяснить детали. Большое вам спасибо за ваше терпение.

Пока OpenAI «спят», конкуренты не дремлют — Anthropic презентовали Claude 2.1, улучшенную версию своей фронтир-модели. Основные изменения: 1️⃣Окно контекста теперь 200'000 токенов — больше, чем у GPT-4-Turbo 👀 Это примерно 500 страниц текста, или 150'000 английских слов. 2️⃣Уменьшение частоты галлюцинаций в два раза (см. график). Повышается надёжность — повышается и количество задач, которые бизнесы могут переложить на GPT-like модели. 3️⃣Вместе с этим модель стала лучше работать на длинных контекстах при ответе на вопросы: уменьшение ошибки на ~30% при максимальной длине контекста. Это достигается в основном за счёт улучшения работы с началом и серединой запроса. 4️⃣Также добавлена возможность использовать внешние инстурменты по API — по сути это та же фича, что была у OpenAI с лета (function calling). 5️⃣ При этом цена на новую модель такая же, как и на Claude 2. Приятно! Ну и чтобы новость не была просто пересказом пары твитов давайте я закину инсайд: ℹ️Anthropic целится в релиз Claude 3 в середине следуюшего года, с окном контекста ~500'000 токенов. Можете начинать придумывать и обкатывать идеи, где это было бы полезным, чтобы подойти к релизу в полной боевой готовности. Stay tuned!