Нейроскептик
Нейросети, ИИ, NLP, ML, Python и всё что рядом. Без гнева и пристрастия, но со здоровым скепсисом. Для контактов @markov117
إظهار المزيد14 345
المشتركون
+66724 ساعات
+1 4727 أيام
+4 09230 أيام
- المشتركون
- التغطية البريدية
- ER - نسبة المشاركة
جاري تحميل البيانات...
معدل نمو المشترك
جاري تحميل البيانات...
Вышел новый более сложный и надежный тест на понимание языка MMLU-Pro
Группа китайских исследователей разработала расширенный бенчмарк для оценки моделей LLM состоящий из более сложных задачах, чем в стандартном MMLU. В новом тесте количество вариантов ответа на вопрос увеличено с 4 до 10, что значительно снизило вероятность случайного угадывания ответа. Сами вопросы стали сложнее и ориентированы на рассуждение.
MMLU-Pro содержит более 12 тысяч тщательно подобранных вопросов из академических экзаменов и учебников, охватывающих 14 различных областей, включая биологию, бизнес, химию, информатику, экономику, инженерное дело, здравоохранение, историю, право, математику, философию, физику, психологию и другие.
В большинстве дисциплин первое место, ожидаемо, занимает GPT-4o, а вот в инженерном деле лучшая стала Qwen2-72B, в здравоохранении — Gemini 1.5Pro, в юриспруденции — Claude 3 Opus. Рейтинг MMLU-Pro постоянно обновляется, сейчас в нём 56 моделей, теперь будем наблюдать и за ним
Подписаться на Нейроскептик
Photo unavailableShow in Telegram
Бывший директор АНБ, генерал армии США вошёл в совет директоров OpenAI
Пол М. Накасоне ранее возглавлял Агентство национальной безопасности (АНБ), подразделение Министерства обороны США, входящее в состав Разведывательного сообщества США, то самое агентство, которое уличили в масштабной слежке за гражданскими лицами.
Ну что же, компания OpenAI лишний раз продемонстрировала, в чьих интересах она работает. Всё больше подтверждаются опасения Илона Маска, нынешних и бывших сотрудников ИИ-гиганта, а теперь ещё и Эдварда Сноудена.
Сам генерал Накасоне заявил, "Я с нетерпением жду возможности поддержать компанию в защите ее инноваций, одновременно используя их на благо общества в целом”.
Верим, верим, всё именно так и есть
Подписаться на Нейроскептик
Ещё для уменьшения затрат на обучение LLM можно воспользоваться методом оптимизации обучения FSDP (Fully Sharded Data Parallel)
Российские разработчики придумали и выложили в опенсорс свой фреймворк YaFSDP для ускорения обучения LLM и сокращения расходов на графические процессоры (GPU).
Итоговое ускорение в сценариях с небольшим батчем, которое дает фреймворк, превышает 20%, что делает его удобным инструментом для дообучения моделей. А в претрейнах с использованием YaFSDP вместе с другими оптимизациями памяти ускорение доходит до 45%.
Тесты на сравнение YaFSDP с FSDP провели на Llama 2 и Llama 3 с параметрами от от 7B до 70B. Для эксперимента использовали от 64 до 256 GPU и от 2048 до 8192 токенов. В общем, получился полезный инструмент особенно для тех, у кого проблема с ресурсами.
Подписаться на Нейроскептик
В 2027 году потребуется 1 млрд долларов для обучения больших нейросетевых моделей
К такому выводу пришла группа исследователей, выяснив, что затраты на обучение моделей нейросетей ежегодно растут в 2,4 раза. Если пользоваться услугами облачных провайдеров, то рост затрат будет ещё больше - 2,6 раза в год. Анализ был проведен на основании оценки затрат на обучения 45 топовых моделей.
Большая часть затрат на разработку приходится на оборудование (47-67%), затраты на самих разработчиков составляют - 29-49%, и примерно 2-6% приходится на потребление энергии.
Хотя электричество составляет небольшую долю от общей стоимости, необходимая для моделей мощность исчисляется мегаваттами, например для Gemini Ultra требуется примерно 35 МВт. Из этого следует, что к 2029 году суперкомпьютерам с ИИ потребуется гигаваттное энергоснабжение.
Возможно, стоит подумать о коллаборации при использовании оборудования и тщательнее подготавливать датасеты для уменьшения затрат на оборудование
Подписаться на Нейроскептик
02:40
Video unavailableShow in Telegram
В честь праздника День России, разработчики игры "Смута" объявили скидку с 12 июня по 19 июня (включительно). Цена игры снижена до 1612 рублей. За игрой приходите сюда: https://vkplay.ru/play/game/smuta/
Также вышел новый патч, в котором было сделано множество улучшений и исправлено куча багов. Подробнее про нововведения и изменения можно узнать здесь.
Смута — это самая красивая игра про Россию, атмосферой эпохи можно наслаждаться бесконечно.
Подписаться на Нейроскептик
video_2024-06-12_11-46-31.mp463.37 MB
Интересный казус сейчас происходит с Google, суд ЮАР поддержал приговор московского суда, который в свою очередь обязал Google LLC восстановить работу YouTube канала "Foundation for Orthodox Television".
Высокий суд ЮАР выдал ордер на арест активов Google South Africa и обязал компанию ежедневно выплачивать неустойку пока канал не будет разблокирован. А интересное тут в том, что судебные системы двух независимых стран решили объединиться в борьбе за свободу слову против западного IT-гиганта, который привык диктовать всем свои условия.
И если история по объединению судебных систем суверенных государств в борьбе с произволом западных IT-гигантов будет прогрессировать, то либо эти гиганты обанкротятся, либо наконец-то начнут соблюдать законодательства и традиции стран, в которых они представлены.
Подписаться на Нейроскептик
Последний Инсайдер
#Ситуация: Высокий суд ЮАР одобрил привлечение "Google SA" к делу за бан… православного телевидения. Это развитие приговора московского суда (лето 2023) против головного Google LLC. Высокий суд Южной Африки выдал ордер ↓ на арест активов Google South Africa. Это решение связано с неисполнением Google судебного приказа о восстановлении канала "Foundation for Orthodox Television". М-сье Х. Джонстон, глава и представитель интересов НКО "Фонд Православного Телевидения", инициировавшего иск, забавно объясняет африканскому соведущему объёмы своих претензий к корпорации: JIMMY MOYAHA: So you say 100 000 rubles per day, doubling every week? HUGO JOHNSTON: Every week, yes. JIMMY MOYAHA: Until 10 weeks? HUGO JOHNSTON: Up till nine months; and thereafter it restarts again at 100 000 rubles per day. JIMMY MOYAHA: Okay. JIMMY MOYAHA: I see. I just did a quick calculation, and I think by my estimates at the current ruble price that works out to about 21 000 rubles per day or, or 21 000 rubles over I’d say a 36-week period.…
Вчера компания Apple выкатила новую систему AI (Apple Intelligence). По оригинальности и сложности названия компания превзошла даже китайскую 01.AI. Странно, что сразу не запатентовали общеизвестную аббревиатуру AI, а то, что все бесплатно пользуются
AI будет глубоко интегрирована в iOS 18, iPadOS 18 и macOS Sequoia. Система добавит новые функции ИИ (суммаризацию, генерацию картинок, эмодзи, поиск текстом по галерее и т.д.) в различные приложения. Новая Siri приблизилась к Алисе из Яндекса, теперь она понимает контекст и с ней можно чатиться.
Но самая главная фича в том, что в Apple Intelligence работает на базе нейросетей OpenAI. После этого Маск решил запретить использование Apple в своих компаниях, из-за "неприемлемого нарушения правил безопасности"
Подписаться на Нейроскептик
Photo unavailableShow in Telegram
В продолжении темы как OpenAI взаимодействует с правительством США исполняя Госзаказ.
На днях компания сформировала отчёт на 39 страницах, направленный против России и других стран, выступающих против американской модели мира, а точнее "мирового порядка, основанного на американских правилах".
В отчёте OpenAI обвинила Россию в использовании нейросети GPT-4 для генерации контента для Telegram с критикой США и её сателлитов, выявив целых 2 таких случая. При этом OpenAI признала, что использование ИИ не привело к каким-либо заметным результатам. Тем самым компания попыталась выслужиться перед своими покровителями и показать, как она рьяно борется с пропагандой. Но больше у OpenAI получилось создать "много шума из ничего" и самой стать генератором антироссийской пропаганды.
OpenAI — скандалы, интриги, расследования
Подписаться на Нейроскептик
Windows не будет делать скриншоты всех действий пользователя
Новая фича Recall от Microsoft с помощью мультимодальной нейросети отслеживает и фиксирует (созданием скриншотов) все действия на компьютере, что видит или делает пользователь. Потом фича помогает искать и извлекать что угодно за считанные секунды. Для удобства создана временная шкала, которая позволяет легко прокрутить эти снимки и вспомнить все действия на ПК в определенный день.
Но вот после серьезной критики экспертов по кибербезопасности, Microsoft решила дать возможность отключить спорную функцию в процессе установки нового ПК. Также компания обещала повысить безопасность использования Recall с помощью шифрования записанных данных и входа по биометрии.
Если бы пользователь не знал о Recall, то получилась отличная шпионская приложенька. И ещё пару вопросов, насколько новая система безопасности винды будет уязвима для хакеров и действительно ли информация будет записываться только локально?
Подписаться на Нейроскептик
Photo unavailableShow in Telegram
Продолжаем следить за первой десяткой рейтинга оценки лидеров больших языковых моделей (LLM) от LMSYS. Что нового:
В рейтинг добавилось ещё 200 тысяч голосов, теперь там 1,2 миллиона! Ожидаемо первые три места заняли новинки от OpenAI и Google, и практически вся первая десятка стала занята их моделями. Даже Claude 3 Opus от Anthropic провалилась на 7 место. Ещё одна новинка от гугла Gemini 1.5-Flash-API-0514 вскарабкалась лишь на 10 место. Из сюрпризов чата модель Yi-Large-preview представленная компанией из Пекина с "очень сложным" названием 01.AI. Yi-Large стремительно продвигается вверх и уже достигла 9 места. Наблюдаем дальше
Методы оценки:
Arena Elo Rating — рейтинг на основе более 1,2 млн анонимных голосов Chatbot Arena (эталонная платформа для больших языковых моделей);
MT-Bench(score) — оценка с помощью судейства LLM;
MMLU — тест для измерения точности понимания языка при многозадачности текстовой модели, включает 57 задач.
Подписаться на Нейроскептик