Data Secrets

Ворвись в IT с Романом Сакутиным  Онлайн-школы обещают небо в алмазах для всех начинающих айтишников. Но сколько в этом правды? Роман, айтишник с 10 летним опытом, сделал бесплатный симулятор разных айти профессий для полных новичков.  В нём вы сможете пройти свой первый рабочий день под руководством наставника даже если вы абсолютный ноль и получить награду в конце.  Играйте бесплатной в боте - https://t.me/break_into_it_bot?start=TG_IN_20082024 erid: LjN8KGWhZ

To Code, or Not To Code Современный Гамлет? Да нет, просто новая статья, в которой показали, что предобучение на коде улучшает метрики на некодовых задачах. Ресерчеры показали, что даже небольшое количество кода в претрейне повышает производительность модели на языковом ризонинге на 8% (по сравнению с претрейном только на тексте). При этом можно брать даже качественный синтетический код. Отправляем другу гуманитарию 🤔

Apple, накануне новой презентации с Apple Intelligence, снова заняла первое место в рейтинге самых технологичных компаний. Amazon упал на 4 место (вот чем кончается использование индусов вместо Computer Vision). А Nvidia впервые вошла в топ-10, видимо за счет активного дропа ИИ-статей и моделей.

Два брата-близнеца c Reddit пару недель назад выпустили книгу с объяснением главных DL-парадигм в картинках Называется чудо "Illustrated book to learn about Transformers & LLMs" и выглядит просто колоссально кайфово. По главам: ▪️ основы нейросетей (перцептроны там всякие, обратное распространение и тд); ▪️ эмбеддинги и токенизация; ▪️ дальше RNN, LSTM, GRU; ▪️ и, конечно же, трансформеры. Тут все, от внимания и BERT до GPT, дистилляции и RLHF; ▪️ бонусом рассказ про классические задачи, такие как машинный перевод, sentiment extraction или RAG. В общем, всё от и до, а куча картинок на каждой странице помогут понять и запомнить даже самые непростые вещи. Правда, доступна пока только печатная версия, но PDF авторы обещают скоро выкатить.

На случай если ML-карьера не удастся ☔️

Тем временем Hugging Face сегодня пробил 5 миллионов пользователей. Напоминаем, что при этом у них в команде менее 200 человек 😮

Наш мозг файнтюнится на синтетических данных, пока спит В ML-сообществе внезапно вызвала большой отклик статья, выпущенная биологами из университета Калифорнии. В ней показано, что сны для мозга – это нечто большее, чем мы предполагали. Оказывается, в фазе быстрого сна мозг выдает реальные двигательные команды и реагирует на них, как во время бодрствования. То есть для мозга "поверни налево" во сне и в реальности – фактически одно и то же, несмотря на то, что во сне эти команды не приводятся в действие. Зачем мозг это делает? Чтобы совершенствовать нейронные связи даже когда он оторван от реальной среды. Это своеобразное "самомоделирование". При этом, что очень интересно, мозг во время такого сонного обучения глушит сигналы, которые он обычно получает "в ответ" от тела во время движений. Это нужно для того, чтобы случайно не привыкнуть ко снам слишком сильно и не разучиться пользоваться своим реальным телом. Скажите, вы ведь тоже видите тут параллели с синтетическими данными, градиентами и оверфиттингом? 🤔

⚡️ Machine learning - самый крупный обучающий ресурс в Telegram, посвященный машинному обучению. По контенту: 1. Разбираем сымые интересные модели. 2. Составляем ежедневные дайджесты главных релизов и новостей 3. Годные курсы 4. 2300 реальных задач с собесов с разбором 5. Учебники для скачивания. Целая папка для всех, кто изучает мл И многое другое. Это первоисточник всего, что появляется в платных курсах и популярных ресурсах по МО и ИИ. Подписывайтесь, такие знания в 2024-м году на вес золота: @ai_machinelearning_big_data

⚡️ Microsoft выпустили Phi 3.5 Всего релизнули три варианта модели: ➡️ Phi 3.5 mini instruct. Всего 3.8В параметров, 128К контекста. Эта малышка обгоняет Llama 3.1 8B и Mistral 7B и приближается к Mistral NeMo 12B! Обучалась 10 дней на 3.4T токенов с использованием 512 штук видеокарт H100. ➡️ Phi 3.5 MoE. Здесь 16x3.8B с двумя экспертами. Контекст также 128К. Эта обучалась уже подольше – 23 дня на 4.9Т токенов на том же кластере. Модель обгоняет Gemini flash! ➡️ Phi 3.5 Vision instruct (VLM). 4.2В. Обучалась на 500В токенов. И, приготовьтесь: по усредненным бенчмаркам эта модель оставляет позади всех кроме GPT-4o и Gemini 1.5 Pro (и то с небольшим отрывом). Самый громкий и крутой релиз Microsoft за последнее время. Веса всех моделей лежат тут на HF. Будем ждать на Арене.

Наша свежая статья про дистилляцию и прунинг на примере новой модели Nvidia Дистилляция и прунинг – новые тренды индустрии и ресерча. Ученые стараются научиться разрабатывать небольшие языковые модели, которые также эффективны, как крупные, но при этом гораздо легче, доступнее и дешевле. Таким образом создавались Llama 3.1 70B, Llama 3.1 8B, Minitron 8B и 4В, и, возможно, даже GPT4o-mini. Если хотите разобраться – наша новая статья для вас! В ней мы на примере новой работы Nvidia объяснили: ⚪️ Что такое дистилляция и прунинг, и какими они бывают ⚪️ Как их лучше использовать ⚪️ Как ученым удалось сделать из Lllama 3.1 8B модель в два раза меньше и бодрее, ставшую SOTA в своем размере Читайте по ссылке: https://datasecrets.ru/articles/17

Как решать реальные задачи бизнеса с помощью LLM? Сейчас на рынке часто встречаются вакансии с упоминанием LLM. Проекты на ранних стадиях в основном ищут тех, кто может, например, "на коленке" собрать RAG, а крупным компаниям нужны те, кто может обучить, ускорить модель или оптимизировать ресурсы. Это только пара примеров. Задач очень много и ориентироваться в них сложно. К чему вообще готовиться инженеру? Что нужно знать и уметь, чтобы работать с LLM в индустрии? На эти и другие вопросы ответят в своей новой открытой лекции «LLM в реальных задачах» наши друзья из DeepSchool! На лекции обсудят: ➡️Почему LLM стали так популярны среди инженеров ➡️Как именно их применяют и какие сложности при этом возникают ➡️Как обходить подводные камни и улучшать качество на разных задачах ➡️Где уместно применять RAG и какие у него ограничения ➡️Станут ли агенты будущим LLM А еще будет анонс программы большого курса про LLM и подарки: после регистрации всем отправят гайд со списком инструментов и библиотек для работы с LLM, а на лекции дадут скидку на обучение! Лекция состоится в четверг, 22 августа, в 19:00 МСК. Не пропустите и зарегистрируйтесь сейчас по ссылке!

Ну недаром же такое название, правильно? 🤷‍♂️🤷‍♂️🤷‍♂️

Ученые из Meta выкатили крутую работу "Imagine yourself", в которой показали, как заставить диффузионку генерировать собственные портреты без тюнинга В основном такие модели до этого сталкивались с двумя проблемами: человек на генерации оказывается непохожим на тебя или модель генерирует нормально только фото, очень похожие на референс, а креативить не может (например, "сгенерируй меня на Марсе" сработает очень плохо). Чтобы побороть эти проблема, в Meta предложили полностью параллельную attention-архитектуру с тремя энкодерами для текста (промптов) и одним для изображений. В качестве трех энкодеров для текста выступают классический CLIP, UL2 для длинных промптов и ByT5, который незаменим, если в итоговой картинке должен быть текст. Каждый энкодер вносит свой вклад в итоговые фичи, которые затем встраиваются в LDM. По метрикам модель получилась SOTA, и к тому же она уже доступна юзерам из US в MetaAI.

AMD собирается приобретать ZT Systems за почти $5 миллиардов Видимо, AMD надоело дышать в спину Nvidia и они решили что-то делать. ZT Systems – это компания, которая занимается дизайном вычислений и инфраструктуры для ИИ. Кстати, сейчас ZT Systems также тесно сотрудничает с Intel и Nvidia. То есть возможно, AMD не просто покупают ценную компанию, а еще и лишают конкурента важного партнерства 🤔

Окружен, но не сломлен: CEO графического редактора Procreate Джеймс Куда заявил, что никогда не будет внедрять ИИ ни в один из продуктов. «Я, бл*дь, ненавижу ИИ. Мы тут ценим человеческое творчество». За 14 часов ролик собрал 3 млн просмотров и 16 тысяч репостов. Вот что бывает, когда ломаешь систему.

Квантовые компьютеры – да или нет? Квантовые компьютеры взламывают RSA-шифрование, за секунду обучают огромные нейросети и в точности моделируют химические реакции, но... это все пока только мечты. Некоторые говорят, что перечисленное невозможно, а другие верят, что это лишь вопрос времени, начинают писать программы на Qiskit и ждут возможности запускать их на реальном квантовом железе. Так какие на самом деле перспективы у квантового компьютера? Об этом на ИТ-пикнике рассказывал аналитик-исследователь из R&D-команды Cloud.ru Михаил Ремнев. Что интересно: ⚪️ Да, уже сейчас квантовый компьютер может решать прикладные задачи: например, факторизация числа, расчет молекулы или задачи оптимизации. Однако задачи, на которых продемонстрировано «квантовое преимущество», пока далеки от реальной жизни. ⚪️ При этом количество кубитов (аналог бита для квантового железа) растет с каждым годом. Обычно это и ассоциируют с "мощностью" КК, но Михаил отметил, что вместо количества кубитов лучше следить именно за тем, как квантовые системы прогрессируют в решении прикладных задач. ⚪️ Бенчмарки важны: нужно обращать внимание на метрики, сравнивать полученные решения с традиционными методами и, конечно, следить за экспертными оценками. Больше деталей выступления и новостей про новые разработки и тренды в облачных технологиях можно найти в канале у Cloud.ru Tech. Там регулярно публикуют лайфхаки для IT-специалистов, делятся интересными статьями про облака и AI, проводят подкасты с экспертами и рассказывают про горящие вакансии.

Смотрите: наглядный прогресс LLM моделей в рейтинге ELO за последние 15 месяцев Красота

🍎 На случай, если вам не пришла открытка в WhatsApp от бабушки, напоминаем и поздравляем: сегодня Яблочный спас! В честь праздника в сеть слили все характеристики новых iPhone. Оказалось, что Apple Intelligence будет во всех моделях, а не только в Pro или Pro Max, как многие предполагали. При этом айфонам 15 поколения повезло меньше: там как раз с Apple Intelligence будут совместимы только Pro модели. И есть еще одно НО: для совместимости оперативка должна превышать 8GB. По идее, более старые 8GB Mac должны вытаскивать, но это не точно. Айфоны также получат новые чипы A18 и A18 Pro для более шустрого инференса.

Робототехники из Hugging Face только что выпустили супер подробный туториал о том, как построить и обучить себе робота Вот репозиторий. Там предлагается обучить сетку предсказывать следующее движение робота по данным с камеры. Трейн можете собрать сами, в репе есть туториал. По этой же ссылке указано, откуда заказать детали, и как их собрать. Есть даже руководство по тому, как распечатать все необходимое на 3D-принтере. Есть даже скрипты для визуализации движений двигателя вашего робота. А самое интересное, что код уже адаптирован для того, чтобы собирать все данные для будущего обучения во время непосредственной работы железного. Домашнего оптимуса прайма заказывали?

🔥 Попробуйте себя в роли аналитика: анализируем клиентскую базу с нуля! Хотите попробовать себя в роли аналитика и узнать, интересна ли вам эта сфера для развития? Тогда приходите на бесплатный практический интенсив, где в прямом эфире мы вместе будем решать реальную задачу бизнеса, с которой сталкиваются аналитики данных. Что будет на интенсиве: вы с помощью Excel проанализируете клиентскую базу крупного онлайн-магазина и сформулируете выводы для бизнеса на основании проведенной аналитики. А это как раз то, чем занимаются аналитики каждый день. 📅 Дата: 20 августа. 🕗 Время: 19:00 по Мск. Интенсив будет полезен как новичкам, так и тем кто уже имеет базовые знания в этой сфере и хочет почерпнуть для себя лайфхаки по работе с данными. 🔗 Регистрируйтесь на интенсив здесь. Не упустите шанс, попробовать себя в роли аналитика и узнать лайфхаки по работе с данными! Рекомендуем регистрироваться на вебинар через ПК, чтобы избежать возможных ошибок при открытии бота. Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134. Erid:LjN8Jx2Xc