Канал Терагерцы - новости о технологиях и науке

Асики для LLM. Но не для всех. Соху: Полмиллиона токенов в секунду для Llama 70B! Помните были асики для майнинга? Теперь есть такие же для трансформинга. Компания Etched сделал специальные чипы для просчета именно архитектуры трансформер. CNNs, RNNs или LSTMs там ускоряться не будут. Stable Diffusion 1.5 тоже кстати. Короче, один сервер с 8-ю чипами Sohu молотит как, внимание, 160 Nvidia H100! То есть он в 20 раз быстрее, чем H100. Этот чип в ДЕСЯТЬ раз быстрее, чем еще не появившийся Nvidia Blackwell (B200) GPU. Конечно, это все заверения разработчиков чипа. Основной посыл - зачем платить за монстров, доедающих закон Мура, когда можно купить чип для конкретной задачи, а точнее даже архитектуры. У них на сайте довольно правильные слова про спрос и предложение, так что очень ждем: где, когда и почем. Они, кстати подняли 120M и за два года запилили чип. https://www.etched.com/announcing-etched

Доказано: ветер сверхмассивных черных дыр может менять галактики Изучая многолетние данные наблюдений, американские астрономы наткнулись на квазар, почти такой же древний, как Вселенная. Анализ показал, что его излучение создает ветер, который движется со скоростью 58 млн км/ч, расталкивая облака пыли и газа. Это открытие указывает на важную роль, которую играют сверхмассивные черные дыры в центре квазаров в формировании окружающих их галактик. https://hightech.plus/2024/06/25/dokazano-veter-sverhmassivnih-chernih-dir-mozhet-menyat-galaktiki

🌟 Enzyme — высокопроизводительное автоматическое дифференцирование LLVM и MLIR — brew install enzyme Enzyme — это инструмент, который принимает произвольный код в виде LLVM IR и вычисляет производную (и градиент) этой функции. Это позволяет использовать Enzyme для автоматического создания градиентов своего исходного кода без лишней работы. Работая на уровне LLVM, Enzyme может дифференцировать программы на разных языках (C, C++, Swift, Julia, Rust, Fortran, TensorFlow и т. д.) с высокой производительностью. 🖥 GitHub 🟡 Доки terahertztechnology

🌟 Video-Infinity — быстрая генерация длинных видеороликов

conda create -n video_infinity_vc2 python=3.10
conda activate video_infinity_vc2
pip install -r requirements.txt

python inference.py --config examples/config.json

Video-Infinity позволяет быстро генерировать длинные видеоролики с использованием нескольких GPU. Скорость на уровне 2300 кадров за 5 минут, что в 100 раз быстрее, предыдущих методов. 🟡 Страничка Video-Infinity 🖥 GitHub 🟡 Arxiv @terahertztechnology

Специальная насадка дополняет очки ночного видения тепловидением Компания Thermoteknix разработала насадку ClipIR-12, которая расширяет возможности очков ночного видения, добавляя к ним функции тепловизора. Устройство крепится на объектив прицела или очков, накладывая тепловизионное изображение поверх картинки ночного видения. Благодаря этому объекты с тепловым излучением, ранее скрытые в тени, становятся отчетливо видны, а дальность обзора увеличивается. ClipIR-12 позволяют повысить боевую эффективность, ситуационную осведомленность и безопасность военнослужащих за счет объединения преимуществ обеих технологий в одном решении. https://hightech.plus/2024/06/25/specialnaya-nasadka-dopolnyaet-ochki-nochnogo-videniya-teplovideniem

Только что анонсировали новый ASIC для LLM: он умеет генерировать 500,000 токенов в секунду! Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 профессиональных карт NVIDIA H100. Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее.

Представлены доказательства связи болезней сосудов и деменции Заболевания мелких сосудов головного мозга связаны со снижением когнитивных функций. По статистике, почти в 50% случаев деменции у пациентов наблюдаются сосудистые повреждения. Теперь ученые представляют первые доказательства наличия причинно-следственной связи между диагнозами, указывая, что патология сосудов является главным фактором риска деменции. https://hightech.plus/2024/06/25/predstavleni-dokazatelstva-svyazi-boleznei-sosudov-i-demencii