Мишин Лернинг 🇺🇦🇮🇱

Две композиции, которые я записал 12го и 13го апреля 2021 года, в память о моем друге. Запись только гитара и мой педалборд. Никаких других инструментов, дорожек или loop'ов. Как сыграл так и сохранил. С ошибками и болью.

Я тут писал про оптимальное нахождение коротких и хороших хэш функций. В общем, после моих страданий мы нашли хэш функцию (коммит в abseil), которая * Быстрее процентов на 20, чем мы имели в absl::Hash * Работает на входных данных от 9 до 16 байт * Проходит так же SMHasher, что и предыдущая с исключением очень sparse inputs Мы побенчмаркали на больших бинарях и не увидели никаких проблем в проде. Так вот, одно дело поменять хеш функцию, другое дело найти её. Чтобы её найти, мы с Deepmind очень много поработали. Идея была такая: загрузить много входных данных с SMHasher, микробенчмарков. Загрузить очень похожие на входные -- буквально поменять 1-2 битика. Дальше взять эти входные данные, загрузить в AlphaZero инструкции x86, описать правила игры в ассемблер, дать оптимизировать количество коллизий и latency. В итоге сработало и не очень следующее: 1. Считать количество коллизий на обычные 64 бита дало плохие результаты. Плохие в том плане, что AlphaZero любило находить хэш функции, которая не меняет нижние биты или верхние 32. В итоге стоило считать коллизии верхних/нижних 32 бит, нижних 16 и 8. После этого стало получше. 2. Запретить агенту играть с инструкциями по типу crc32, потому что из них получаются хорошие 32 битные хеши, но не 64. В целом всё, дальше агент нашёл несколько вариантов. Мы посмотрели, побенчмаркали. Очень много времени убили, чтобы просто запустить эту махину, потому что по памяти промахиваться нельзя, странные load операции нельзя и тд. AlphaZero реально полюбила трюк с умножением и xor двух частей умножения 64x64->128 бит. Не думаю, что такой подход (ML-based assembly generation) полюбится комьюнити, да и результат объяснить сложно. Плюс ещё тут функция оптимизации полегче. В целом так как нашим business needs удовлетворяет, мы себе и оставим пока не увидим проблем. Философский вывод для меня был в том, что AlphaZero легче научить играть в шахматы, чем писать ассемблер. В целом, с людьми так же. Для 9-16 байт была имплементация, которая умножала два раза. Новая имплементация от AlphaZero получилась только с одним: uint64_t lo = UnalignedLoad64(p); uint64_t hi = UnalignedLoad64(p + len - 8); lo = rotr(lo, 53); // right rotate by 53 state += kConstantPrime; lo += state; state ^= hi; uint128 mul = static_cast<uint128>(state) * lo; return static_cast<uint64_t>(mul) ^ (mul >> 64); https://github.com/abseil/abseil-cpp/commit/74eee2aff683cc7dcd2dbaa69b2c654596d8024e

У админа кризис... но вы можете дать мне понять, что я не один в этом мире. и это достаточно просто сделать. 👉 https://u24.gov.ua/ 👉 https://savelife.in.ua/ Даже скрин с 1$ даст мне понять, что день прожит не зря. И что я проснулся не в аду

A photo of a plush Tiger with t-shirt with text "I ♥️ Robin Rombach" tweet

Похоже IF в скором времени покажет генерацию текста и лучше понимание текста для генерации Емад(основатель StabilityAI) делится небольшими анонсами сразу после МишинЛернинг IF

Последнее время мне очень инетерсно наблюдать за поисковиком Bing. Сначала новость об интеграции ChatGPT, а теперь генеративный сток с DALL-E 2 под капотом. Потестил мой любимый DALL-E 2 промпт: a woman holding the paper with the text " sapienti sat https://www.bing.com/images/create

Причина всего в сексуальном желании Это лучшее описание нашей модели! 👉 https://twitter.com/raptor_notice/status/1611366315549425664

🚀 ЧТО-ТО ПРОИСХОДИТ! И ЭТО ОПЯТЬ STABILITY AI Эмад что-то мутит.. Твит следующий: две девушки, у обеих (не поверите) 5 пальцев! Левая с серьезным лицом держит руку, как нечто среднее между "Vulcan Salute" и "Enough" — 🖖🏼 Enough 2022 Правая с улыбкой приветствует нас — 🖐🏾 Welcome 2023 Давайте попробуем разобраться, что же за подарок готовит Stability в 2023 году? Вот комментарии под постом: — Ну наконец то!! спасибо Эмад — Ох, пять пальцев, похоже, многообещающий 2023 год😂 — IF? Вы тизерите новую модель текст-2-изображение?🤨 — Теперь получите SD 3.0 это поражает🤯 — Я ЛЮБЛЮ эти руки — SD 3.0 неужели!? — Что значит "IF" в нижнем углу!? Попробуем сделать выводы: — Что это вообще? — Были мысли, что это файнтюн. Но Эмад бы не делал такой громкий пост, разделяя 2022 и 2023. Я думаю, что стабилити готовит большой релиз: новую Text-2-Image модель в 2023! — Нас ждет SD 3.0? — Возможно, но почему IF и что такое IF?? Да и если IF просто внутренне имя проекта, то зачем делать для него вотермарку? — Насколько качественная будет модель? — Судя по рукам, это что-то действительно серьезное и умное. Плюс мы видим сцены, цвет платья, расу, позу, прическу. — Скоро ждать новую модель? — +- Месяц. Почему? Эмад очень открытый человек, и скорее всего поделился промежуточными результатами. Но они уже поражают, несмотря на некоторые проблемы с детализацией (волосы, глаза, зубы у девушки справа). Мне кажется, что это не финальный чекпоинт. Помню как Эмад показывал результаты SD за +- месяц до релиза. — Что такое IF? — Тут я хз. 🤔 Мне вспоминается одна из самы трогательных песен группы пинк флойд — IF: If I were a swan, I'd be gone If I were a train, I'd be late again If I were a good man, I'd talk with you more often than I do Но а так я понятия не имею, что это значит... p.s.: Видна еще пачка генерация под квадратом с правой девушкой. Возможно намек на новые улики? но меня волнует другое... Ч Т О Ж Е Т А К О Е IF ? 👾 твит Эмада

РОССИЯ! СДОХНИ!

😈 «Напиши ей так, чтобы аж ...» Не, ну а что? В любви все методы хороши. 🔥 П Р О Э Т О

🤖👨‍🔬 Пока мы все приходили в себя от ChatGPT — вышла PubMedGPT 2.7B PubMedGPT 2.7B — это новая языковая модель, обученная исключительно биомедицинским рефератам и статьям из The Pile. Эта GPT может достигать высоких результатов в различных биомедицинских задачах НЛП. PubMedGPT была разработана Stanford CRFM и MosaicML. Так что, если ты бона биофаке и тебе пора писать диплом, ты знаешь что делать.. PubMedGPT + ChatGPT и погнали. 🧪 потестить демо на 🤗

The Washington Post сделал офигенную статью для не технических людей, о том как работает диффузионные модели и все эти генераторы артов: https://www.washingtonpost.com/technology/interactive/2022/ai-image-generator/ Все на пальцах, рекомендую. Особенно желательно к просмотру тем, кто думает что нейронка «сшивает» картинки из чужих работ – никакого коллажирования, чистый синтез

🪬 Мы последние три дня…

👾 В голос!