Код в мешке

Google обновили Magika инструмент для идентификации типов файлов в зависимости от содержимого. Пишут что теперь он поддерживает более 200 форматов файлов (ранее было 100), полностью переписан на Rust и работает существенно быстрее. Можно обратить внимание что многие из упомянутых новыз форматов файлов это файлы с данными npz, pytorch, parquet, h5 и файлы кода zig, dart, kotlin и тд. Фактически Magika это альтернатива идентификации типа файла по расширению и альтернатива magic (утилита идентификации файлов в Unix-подобных операционных системах) и утилитам Siegfried и DROID используемых цифровыми архивистами. Выглядит полезно, надо пробовать. Прошлая версия, как я помню, давала какое-то количество ложнопозитивных результатов, возможно в этом направлении тоже есть прогресс. Как минимум области применения тут в задачах цифровой архивации, работы с разного рода унаследованными материалами, в цифровой форенсике и еще много в чем. Что характерно Magika занимается команда Security research в Google, а то есть можно предполагать что основное применение это, все же, цифровая форенсика. Из интересного, разработчики пишут что чтобы обучить Magika они использовали 3-х террабайтный несжатый датасет. В целом видно что над проектом работает группа ИИ инженеров, но не методистов и это сопутствующий продукт их работы потому что иначе они бы начали с реестра типов mime и расширений в который собрали бы метаданные из PRONOM и пары других крупных реестров форматов файлов. #opensource #google #datatools #forensics

К вопросу про российский мессенжер Max, помимо достаточно очевидных проблем с тем что он "как бы государственный, но не государственный", с его довольно бесцеремонным продвижением используя административный ресурс и массой других уже написанных многими проблем, я подниму ещё одну тему о которой не пишут. Это архивация. В сравнении с телеграмом у Max'а есть два очень существенных отличия: 1. Отсутствует возможность просматривать содержание каналов онлайн без авторизации 2. Отсутствует возможность делать data takeout хотя бы для своих данных, а в идеале и для любых каналов и чатов Первое влияет на то что содержание из Max не индексируется поисковиками и Интернет Архивом (они собирают только общедоступные матералы доступные через https/http). К примеру, в телеграм можно смотреть без авторизации, вот так выглядит там мой телеграм канал https://t.me/s/begtin Второе на то что невозможно сделать архив ни своих чатов, ни своих каналов, ни читаемых каналов. Просто не предусмотрено. В итоге Max - это закрытое контролируемое не архивируемое пространство где даже чтение постов прошедших авторизацию каналов идет только под контролем (только после авторизации) даже в веб клиенте. Вопрос остается в том будет ли там хоть что-то полезное, не продублированное в Телеграм'е? Насколько реально велик риск блокировки телеграма в ближайшее время и переход части авторов каналов туда? Если велик, то видимо надо заморачиваться придумыванием организации архивации материалов в Max'е для чего документированного API не наблюдается и нужен дотошный разработчик готовый такой инструмент разработать. #digitalpreservation #thoughts

Большое обновление сайта Ruarxive.org. Добавили много новых статей, лучше структурировали сам сайт, добавили поиск, обновили до последней версии Docusaurus'а (движка на котором сайт построен). В том числе можно обратить внимание на статьи: - Быстрый старт: архивация за 5 минут - Как создать цифровой архив сайтов - Экстренная архивация: когда счет идет на часы - Курс по цифровой архивации И многие другие, включая статьи по использованию конкретных инструментов и обзоры наиболее известных сервисов. Новое содержимое сайта собрано из публикаций в телеграм канале @ruarxive, других публикаций об исчезновении интернет-ресурсов, презентаций курса по цифровой архивации и других материалов. Среди других изменений: - обновлена главная страница для большей понятности содержания сайта - добавлен поиск по контенту Да, структура сайта ещё не идеальна, а поскольку многие статьи преобразованы из презентаций, то там больше буллетов чем текста, и они ещё будут обновляться. Если у Вы найдете какие-либо ошибки, если возникли идеи или если Вы готовы дополнить и расшрить материалы, пишите в @ruarxivechat и в issues на github P.S. Сейчас в работе систематизация всех собранных ранее сайтов и других результатов архивных кампаний. Все это будет собрано в единый набор данных с базой архивов и далее доступно или через специальный интерфейс или на hubofdata.ru (там уже есть раздел с архивами сайтов и другими архивами). #digitalpreservation #webarchives #knowledgebase

В продолжение инструментов работы с данными, я на днях обновил утилиту undatum которую создавал для разных манипуляций с данными в командной строке. Главная была особенность в том что она кроме CSV файлов поддерживает всяческие структурированные не плоские форматы данных вроде JSONL, BSON, Parquet и тд. А также умеет автодокументировать датасеты. Собственно свежее изменение в том что теперь автодокументирование расширилось поддержкой любых LLM'ом через Ollama, LM Studio, Perplexity, OpenAI и OpenRouter и в поддержке множества языков, можно получать описание буквально на любом языке поддерживаемом выбранной LLM. Автодокументирование работает не быстро, но зависит только от скорости работы LLM, а не от размера набора данных. Оно полезно для многих задач, у меня лично много задач с тем чтобы приводить описания наборов данных в порядок и один из способов для этого в использовании вот этого инструмента У меня в отложенных задачах есть интеграция его с утилитой metacrafter, но это уже как-то позже. #opensource #datatools #ai

Ещё один полезный инструмент для дата инженера и аналитика data-peek SQL клиент для десктопа под Windows, Mac и Linux с поддержкой PostgreSQL, MySQL и Microsoft SQL. Для личного пользования лицензия MIT и открытый код, для коммерческого отдельная лицензия и платное использование. В целом ничего нового, кроме построителя SQL запросов через ИИ модели, поддерживает многие модели включая локальные через Ollama. Как же много таких клиентов появилось в последнее время, кто бы сделал аналогичное для NoSQL: Elasticsearch, OpenSearch, MongoDB и тд. А еще лучше для SPARQL'я потому что программировать SPARQL запросы это боль для психически неподготовленной личности. Именно очеловечивание запросов способно придать SPARQL'ю новую жизнь, по моему разумению. Но понятно, на самом деле, почему таких инструментов нет, потому что ёмкость рынка инструментов для SQL превышает все остальные. Но тогда уж надо добавлять поддержку не Microsoft SQL, а Clickhouse, SQLite, DuckDB и тд. #opensource #datatools #dataengineering #tools

Графический редактор Lunacy от компании Icons8. Бесплатно. Работает с форматом .sketch и может быть использован для вёрстки сайта под React JS: https://icons8.com/lunacy

🛠 Минутка полезного: как быстро проверить здоровье вашего SSD в 2026-м? Пока мы обсуждаем цены на RTX 5090, многие забывают, что их системный диск может «устать» в любой момент. Два быстрых способа проверить износ: 1. CrystalDiskInfo — база. Смотрим на пункт «Техсостояние». Если ниже 80% — пора задуматься о бэкапе. 2. Командная строка (для ленивых). Вызываем меню «Пуск», набираем cmd и подтверждаем, нажав Enter. Затем введите wmic diskdrive get status. Если пишет OK — живет, если Pred Fail — бегите за новым диском. Не ждите синего экрана смерти. Делайте бэкапы важных фото и документов хотя бы раз в месяц. Или используйте облачные сервисы для важных данных. Репост для друзей. А какой процент «здоровья» у вашего основного диска сейчас? 👇

📱 Держите 6 хороших каналов по искусственному интеллекту и программированию для любого уровня! Выбирай направление: 📱 Нейросети — @neuro_prompt 🤖 AI-инструменты — @ai_prompt 📱 Python — @python_prompt 🤔 InfoSec & Хакинг — @infosec_prompt 👩‍💻 IT Новости — @it_news 😄 IT Мемы — @it_memes Промпты, обучение, шпаргалки и полезные ресурсы на каждую тему!

ИИ незаметно убивает опенсорс: Cамый используемый CSS-фреймворк в мире, Tailwind, потерял ~80% выручки и уволил 75% команды Немного контекста. В репозитории Tailwind предложили добавить llms.txt – упрощённую версию документации для LLM и кодинг-агентов. Идея логичная: быстрее, удобнее, меньше ошибок Но cоздатель Tailwind отклонил PR, объяснив это тем, что файл будет настолько полезным, что людям просто не понадобится заходить в документацию В комментарии к PR он прямо сказал, что ИИ уже ударил по бизнесу: посещаемость документации упала примерно на 40%, а именно она раньше была единственным каналом, через который пользователи узнавали о коммерческих продуктах компании. Меньше трафика → меньше конверсий → минус выручка. Так что один из способов монетизации опенсорса умирает 😢 @IT_Portal

Наткнулся на классную визуализацию принципов Clean Code от дядюшки Боба @IT_Portal

Наткнулся на реально удобное расширение для VS Code, если часто работаешь с JSON Оно форматирует JSON так, чтобы его можно было читать, а не листать бесконечную портянку вниз. Без лишней вертикали, всё компактно и аккуратно. Что умеет: - простые массивы и объекты оставляет в одну строку - длинные массивы красиво разбивает на несколько строк с умной группировкой - похожие объекты выравнивает почти как таблицу - сложные структуры форматирует с нормальными, чистыми отступами Ссылка на расширение тут ✌️ @IT_Portal

Microsoft переименовала Office в Microsoft 365 Copilot App Почему не Microslop?? 😭 @IT_Portal

Знакомая ситуация @IT_Portal

Откопал годный сайт для изучения React через интерактивные визуализации State, рендеринг, хуки и поведение компонентов показывают наглядно, так что становится понятно, что реально происходит под капотом Забирайте тут 🍯 @IT_Portal

Этот сайт с цветовыми палитрами просто офигенный 🍄 У него классная винтажная эстетика и очень спокойный вайб. Там можно посмотреть продуманно собранные цветовые палитры с ретро-настроением, которые при этом отлично подходят для современного UI и брендинга https://colorpalette.pro/ @IT_Portal

Mozilla пообещала добавить в Firefox единый переключатель «AI kill switch» для полного отключения всех ИИ-функций. Все ИИ-возможности останутся опциональными и не будут включаться или появляться без явного согласия пользователя Реализация фичи запланирована на первый квартал 2026 года @IT_Portal

Кстати, вот причина подорожания оперативной памяти.

Как после этого можно ненавидеть AI-контент?

«Работаю на 200%, но меня не замечают»: 4 категории людей, которых не повышают, иногда даже специально Бывает так: специалист закрывает сложные задачи, подхватывает чужие таски и выруливает релизы в срок. В трекере у него больше всего задач, к нему тянутся коллеги за помощью. Но когда речь заходит о повышении зарплаты или грейда — его фамилию даже не вспоминают. Через какое-то время появляется ощущение несправедливости и вопрос: «Что ещё нужно сделать, чтобы меня наконец заметили?». Читать далее: ↘️ https://habr.com/ru/companies/outlines_tech/articles/981550/

Author: kazanchevaja (Outlines Tech)

Программирование будущего: инженеры в мире роботов https://habr.com/ru/articles/983562/ Author: podymov