DS & ML

⚡️ Маск сдержал слово: только что на GitHub опубликовали модель Grok. Чат-бота от Илона тяжело назвать «убийцей ChatGPT», но у него есть один огромный минус — отсутствие цензуры. На текущий момент это единственный ИИ, который расскажет вам, как украсть мороженное у ребенка.

А вот это интересно. Маск сказал, что они заопенсорсят свою LLM Grok на этой неделе. Вы же слышали, что Маск пошел в атаку на OpenAI и даже подал в суд на них (если коротко, то из-за того, что они превратились из Open в Closed). Любопытно увидеть, что же там у Grok под капотом. Модель, конечно, не Gpt4 и не Claude3 уровень, но опенсорс — это всегда замечательно. @ai_newz

Курс Data Science и нейронные сети на Python #cours https://t.me/+H8nDslPSb-w4ZWQ6

🧭 Системы искусственного интеллекта

🧭 Просто Big Data

А вот и подоспел новый образовательный контент от Карпатого после его ухода из OpenAI. #ликбез Андрей написал минимальную имплементацию Byte Pair Encoding (BPE) токенайзера, который широко используется в современных LLM, в том числе и в GPT-4. Токенайзер - это алгоритм, который преобразует текст в последовательность токенов (целых чисел), перед тем, как его скормить в LLM. Идея BPE очень простая: 1️⃣ Берем Unicode строку и представляем ее в виде последовательности байтов. - Изначально каждый байт - это отдельный токен, их всего 256 уникальных. 2️⃣ Затем находим наиболее частую пару соседних токенов и заменяем его на новый токен с номером (256 + i) → пример на скрине. 3️⃣ Повторяем это дело K раз. В итоге имеем словарь на 256 + K токенов, которые сжимают оригинальную последовательность байтов в более короткую последовательность токенов, закодированных номерами. Видео лекция про BPE у Карпатого уже в производстве, он обещал скоро ей поделиться! А пока можете посмотреть разбор BPE (пост+видео) из NLP курса на HuggingFace: ссылка. @ai_newz

🤖 Несколько недавних новостей, но очередной важный прорыв в мире искусственного интеллекта! 1️⃣ Команда OpenAI представила text-to-video модель Sora. ☝️ Приведённое выше видео получено из следующего промта: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. 2️⃣ V-JEPA — модель от Meta* как симметричный ответ про обучение моделей на видео с целью улучшения понимания нейронками мира. 3️⃣ В Google анонсировали Gemini 1.5. Вот три главных фичи: ✔️ Увеличение длины контекста до миллиона токенов ✔️ Улучшение метрик Pro 1.5 до Ultra 1.0 ✔️ Внедрение микстуры экспертов *организация, деятельность которой запрещена на территории РФ #чтопроисходит

Вот и настал тот день, когда ИИ разом «убил» десятки профессий — от клипмейкеров и мультипликаторов до трэвел-блогеров. И даже мемные видео с животными теперь могут генерить нейросети! @exploitex

Как приручить нейросеть: практический опыт https://habr.com/p/792496/

Состоялся релиз инструмента Galileo AI для генерации дизайна интерфейсов https://habr.com/p/793162/