Блог*

Админ лишился мастерской девственности

Дерево

— Навайбкодил и спит. ... — CI упал.

🗺 Как “слепая” LLM видит Землю Чувак решил проверить, какую карту мира “держит в голове” Large Language Model, никогда напрямую не видевшая планету. Эксперимент прост, но изящен: для равномерно выбранных координат (lat/long) модель получает вопрос: “If this location is over land, say ‘Land’. If this location is over water, say ‘Water’.” Дальше берутся logprobs для токенов “Land” и “Water” и через softmax превращаются в вероятности. Так, точка за точкой, строится equirectangular-проекция «внутренней карты» модели. 🔍 Нюансы и находки: • Масштаб имеет значение: от 500M параметров, где “всё суша”, до 1T+ параметров с узнаваемыми Африкой, Южной Америкой и даже Антарктидой. • Instruction-tuning и MoE routing сильно влияют на результат — иногда разрушая, иногда улучшая “географическую память”. • Мультимодальные модели пока не дают явного скачка качества — вероятно, их “зрение” ещё слишком грубое. • У некоторых LLM формируются удивительно “гладкие” границы материков, что говорит не о запоминании карт, а о внутреннем представлении глобальных форм. 💡 Автор предполагает, что у моделей есть некий “Platonic Primitive Representation” планеты — абстрактная схема, проявляющаяся даже у относительно маленьких LLM. Статья: https://outsidetext.substack.com/p/how-does-a-blind-model-see-the-earth @toshoseti

#ml #article (thanks @tech_priestess)

Амазинг Надёргано из разных чатов, скрины не мои

#prog #rust #article Can Rust prevent logic errors? TL;DR: да, потому что в Rust есть для этого средства, которые отсутствуют в подавляющем большинстве мейнстримных ЯП. Автор, впрочем, сравнивает в основном с Ruby. Предотвращаемые ошибки показаны с примерами на других ЯП.

Жизнь в Челябинске: "32 градуса? О нет, я умру, растаю... За что мне все это???" Жизнь в Ереване: "Ну когда уже эти грёбаные 32 градуса? Хочется прохлады и свежести!"

Если вы готовы дать мне свои деньги, так и быть, я приму их.

Хрупкая маскулинность выглядит так

VS Code now has "AI settings search". Yep, that's right, they use a freaking LLM to search in a code editor settings. And they showcase in the release notes an example search for "increase text size" that returns font size settings. Are you sure that's a meaningful example? Do we really need an LLM to discover font size settings? At any rate, did you consider simplifying freaking settings before implementing a LLM search through them?

Моё тело — это машина Руба Голдберга

https://github.com/marimo-team/marimo An alternative to good (not really) 'ol Jupyter Notebooks. Looks promising. First of all, they solve the biggest Jupyter problem: stateful execution and thus dependence on the order of cell evaluation. The problem is so large they trained ML models to predict the correct evaluation order. I kid you not. The solution is pretty common and straightforward: upon loading a file, build the Dataflow Graph, then re-run all the transitive dependencies upon a cell change. This also gives you the "reactive programming for free". Reactive updates also give you a reactive UI (almost for free). Demos look pretty nice and useful: https://marimo.io/p/@marimo/embedding-visualizer And while we're at it, yeah they have a Web playground, and can convert notebooks into Web pages (also slides) out-of-the-box. Moreover, they can produce dynamic Web pages without a server employing WebAssembly. I haven't tried it, but if it works well, that's immensely useful. Among other things, they store notebooks as valid Python files, which provides integration with Git and many other tools for free. They also integrate with package managers, especially uv, and support per-project virtual environments out-of-the-box. Additionally, they support DuckDB for running SQL queries, including on DataFrames. And implement nice UI to view, filter and summarize the results. Overall, feels like a cool and handy, batteries included tool, alleviating a lot of Jupyter Notebooks quirks and letting you get your crap done quicker.

#prog #python #amazingopensource

#prog #rust #rustreleasenotes Вышла версия Rust 1.89.0! Как всегда, тут только избранные части, остальное — в детальных заметках о релизе. ▪️Стабилизировали вывод const generics в выражениях!

pub fn all_false<const LEN: usize>() -> [bool; LEN] {
  [false; _]
}

К сожалению, использовать _ для const generics в сигнатурах всё ещё нельзя. ▪️Док-тесты теперь запускаются при кросс-компиляции. ▪️Атрибуты вида #![doc(test(attr(..)))] (которые добавляют #[attr(..)] ко всем док-тестам в модуле) теперь можно использовать везде, включая корень крейта. ▪️После фиксов для согласования с существующими компиляторами C/C++ теперь можно использовать i128 и u128 в extern "C" определениях, интероп корректно работает и, как следствие, improper_ctypes_definitions более не триггерится. ▪️Как я уже писал, продление времени жизни временных значений теперь работает и с кортежными конструкторам (кортежных структур и кортежных вариантов enum-ов). ▪️Стабилизированы интринсики (и связанные с ними target feature [1], [2]) из наборов инструкций AVX512, SHA512, SM3 и SM4 для x86-64. ▪️Макро-фрагмент в декларативных макросах без указанного типа теперь является ошибкой компиляции на всех edition. ▪️Результат вычисления format_args! теперь можно сохранять в переменных! 🎉 ▪️std::array::IntoIter теперь реализовывает Default. Значение по умолчанию при этом является итератором, который ничего не возвращает. Полезно, когда нужно предоставить итерацию по опциональному массиву и при этом не хочется прокидывать Option в возвращаемое значение. ▪️LazyCell и LazyLock теперь реализуют DerefMut. Одной причиной использовать once_cell меньше. ▪️К слову о локах, для File теперь есть пачка методов ({, try_}lock{, _shared} и unlock) для работы с платформо-специфичными способами блокировки файлов. Напоминаю, что на Linux эти функции требуют кооперации: коду нужно явно указывать на то, что он обращает внимание на блокировки, а по умолчанию они ничего для сторонних процессов не делают. ▪️NonNull можно безопасно создать из ссылки, поскольку ссылки в Rust обязаны не быть null. Для этого есть реализация From<&T> for NonNull<T>. К сожалению, этот способ конвертации не очень очевиден, и на практике многие писали код с NonNull::new_unchecked, в котором ссылка приводилась к сырому указателю по месту вызова. Видимо, чтобы сделать безопасный способ конвертации более видимым и очевидным в исходниках, к NonNull добавили конструктор from_ref (и from_mut для конвертации из &mut T). Также этому типу добавили методы для работы с provenance (expose_provenance, with_exposed_provenance, without_provenance), которые аналогичны таковым для сырых указателей, но принимают/возвращают NonZero<usize> вместо usize.

🙈 Москвича оштрафовали за две сохраненки с целующимися девушками Силовики обнаружили две картинки, опубликованные на стене «ВКонтакте» ещё в 2017 году. На них изображены «обнажённые девушки, которые целуют друг друга в губы и обнимаются». Это признали «ЛГБТ-пропагандой». Очередное напоминание, что вас могут оштрафовать даже за старые картинки. Подробнее на нашем сайте | из России без VPN — на зеркале