cookie

Sizning foydalanuvchi tajribangizni yaxshilash uchun cookie-lardan foydalanamiz. Barchasini qabul qiling», bosing, cookie-lardan foydalanilishiga rozilik bildirishingiz talab qilinadi.

avatar

Just links

That's just link aggregator of everything I consider interesting, especially DL and topological condensed matter physics. @EvgeniyZh

Ko'proq ko'rsatish
Advertising posts
4 455Obunachilar
-324 soatlar
-67 kunlar
+2430 kunlar

Ma'lumot yuklanmoqda...

Обуначиларнинг ўсиш даражаси

Ma'lumot yuklanmoqda...

Repost from N/a
Offline Actor-Critic Reinforcement Learning Scales to Large Models В основном ресерч в сфере рл происходит на маленьких моделях пушто - и небольшие модели способны решить задачи при грамотном обучении и грамотной архитектуре (эмпирический факт), в основном это млп с релу/лики_релу и леернормой и все - есть много проблем в сетапе рл, которые надо решать до того, как задумываешься о модельке и ее размерах - если увеличивать размер модели, то это доп проблемы, потому что увеличиваются риски для нестабильности, вырожденности и всего такого Но дипмаинд решил разнести и эту парадигму и отскейлить рл модели до больших размеров Как оказывается, актор-критик в совокупности с perceiver'ом, который здесь может обрабатывать разные стейты для разных роботов (или симулякров роботов) + постепенно отходить от бихевиор клонинга, и выбивать высокий скор как на средах, где данные собраны хорошо, так и плохо!! И это все на 132 тасках с непрерывными действиями🥸 👀LINK #rl #offlinerl #multitask #behaviorcloning #largemodels #scalinglaws
Hammasini ko'rsatish...
Anyonic Topological Order in Twisted Equivariant Differential (TED) K-Theory arxiv.org/abs/2206.13563
Hammasini ko'rsatish...
Anyonic Topological Order in Twisted Equivariant Differential...

While the classification of non-interacting crystalline topological insulator phases by equivariant K-theory has become widely accepted, its generalization to anyonic interacting phases -- hence...

Hammasini ko'rsatish...
FS/Ph 11abc - Previous Hurdles

Hurdles are questions that do not necessarily have correct answers. A successful solution approaches the problem thoughtfully and creatively, using modelling to address the problem. Several assumptions may need to be made over the course of your answer. Each calculation does not need to be

Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data https://arxiv.org/abs/2404.14367
Hammasini ko'rsatish...
Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data

Learning from preference labels plays a crucial role in fine-tuning large language models. There are several distinct approaches for preference fine-tuning, including supervised learning,...

👍 3
Из других свежих интересностей, HF опубликовал свою открытую реимплементацию Gato (https://t.me/gonzo_ML/966) под названием Jack of All Trades (JAT). Пост: https://huggingface.co/blog/jat Статья: https://arxiv.org/abs/2402.09844 Код: https://github.com/huggingface/jat Модель: https://huggingface.co/jat-project/jat Датасет: https://huggingface.co/datasets/jat-project/jat-dataset
Hammasini ko'rsatish...
gonzo-обзоры ML статей

[DeepMind Gato] A Generalist Agent Scott Reed, Konrad Zolna, Emilio Parisotto, Sergio Gomez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Gimenez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, Nando de Freitas Статья:

https://arxiv.org/abs/2205.06175

Пост:

https://www.deepmind.com/publications/a-generalist-agent

В зоопарке DeepMind пополнение. К шиншилле и фламинго завезли кошку. На самом деле очень интересная работа, которая делает дальнейший шаг относительно Trajectory Transformer (

https://t.me/gonzo_ML/726)

и Decision Transformer (

https://t.me/gonzo_ML/719).

Или даже несколько шагов. Напомним, это эти две модели заходили со стороны замены традиционных компонентов RL на sequence modeling и использовали трансформер-декодер для авторегрессионной генерации действий. Gato идёт дальше и является мультимодальной и мультизадачной моделью, которая кроме задач RL (игры Атари…

👀 4👍 1
Lattice Surgery for Dummies https://arxiv.org/abs/2404.13202
Hammasini ko'rsatish...
Lattice Surgery for Dummies

Quantum error correction (QEC) plays a crucial role in correcting noise and paving the way for fault-tolerant quantum computing. This field has seen significant advancements, with new quantum...

COCONut: Modernizing COCO Segmentation arxiv.org/abs/2404.08639
Hammasini ko'rsatish...
COCONut: Modernizing COCO Segmentation

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has...

🌭 3🤗 2🙊 1
Demonstration of logical qubits and repeated error correction with better-than-physical error rates https://arxiv.org/abs/2404.02280
Hammasini ko'rsatish...
Demonstration of logical qubits and repeated error correction with...

The promise of quantum computers hinges on the ability to scale to large system sizes, e.g., to run quantum computations consisting of more than 100 million operations fault-tolerantly. This in...

👍 1 1
Scaling Instructable Agents Across Many Simulated Worlds https://arxiv.org/abs/2404.10179
Hammasini ko'rsatish...
Scaling Instructable Agents Across Many Simulated Worlds

Building embodied AI systems that can follow arbitrary language instructions in any 3D environment is a key challenge for creating general AI. Accomplishing this goal requires learning to ground...

👀 2
Probing the 3D Awareness of Visual Foundation Models arxiv.org/abs/2404.08636
Hammasini ko'rsatish...
Probing the 3D Awareness of Visual Foundation Models

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their...