Код в мешке

Open source продукт Minio по организации своего S3-совместимого хранилища больше не open source. 2 декабря разработчики обновили файл README.md где указали что проект теперь только в maintenance mode (режиме обслуживания) и новые возможности и исправление багов более не происходят. Вместо него разработчики теперь продвигают коммерческий продукт MinIO AIStor (хранилище для ИИ продуктов). Это более жесткий сценарий чем то что делали Elasticsearch и MongoDB с лицензией SSPL. Те хотя бы оставляли код для исправления ошибок и проблема была скорее в том что контрибьюторы вкладывались в продукт с ограничениями по лицензированию, а в случае Minio это переход от открытого кода к закрытому продукта. А большинству ИТ команд теперь придется убирать Minio из своих технологических стеков. #opensource #minio #techstack

Полезные ссылки про данные, технологии и не только: - Yaak - GUI клиент для REST API, как альтернатива Postman, Insomnia, Apidog и другим. Из плюсов - открытый код под лицензией MIT и сравнительно небольшой размер всего 60МБ (удивительно мало для настольного приложения по нынешним временам). Автор явно нацелен на коммерциализацию, но пока берет плату только за коммерческое использование. По бизнес модели больше похоже на классическое приобретение лицензии на ПО, а не на подписочный облачный сервис - Will there ever be a worse time to start a startup? - очередной отличный текст от Бена Стенсила о том что сейчас стоимость разработки падает на 10% ежемесячно и что для стартапов это реальный вызов и он задается вопросом: Не худшее ли сейчас время для запуска стартапа? Хороший вопрос, весьма точный. ИИ реально поглощает все что только можно - Commission and European Investment Bank Group team up to support AI Gigafactories Евросоюз запланировал 20 миллиардов евро на ближайшие годы чтобы сравняться в ИИ гонке с США и Китаем. Как я понимаю из текста инвестиции планируются через Европейский инвестиционный банк (EIB) и расходы будут проводится открытыми тендерами. - Wikipedia urges AI companies to use its paid API, and stop scraping команда Википедии продолжает призывать ИИ компании использовать их платное API, вместо скрейпинга. По мне так это глас вопиющего в пустыне потому почти все ИИ агенты по умолчанию точно используют открытые дампы и контент с веб-страниц и чтобы они перестали это делать Википедии придется перестать быть собой и начать закрываться гораздо более агрессивно что не остановит ИИ боты, но приведет к ещё большей потере трафика. Не могу пока разглядеть в происходящем стратегии с потенциально позитивным исходом. - AI in State Government доклад о применении ИИ в госуправлении в правительствах штатов США. Полезно большим числом примеров того как ИИ агенты и ИИ в принципе применяют. С оговоркой что доклад от аналитиков из подразделения IBM работающего с госухой в США, так что кейсы интересные, но как научную работу рассматривать не стоит. Скорее как анализ рынка консультантами. #opendata #ai #wikipedia #government

В рубрике полезных инструментов для сбора данных tdl (Telegram Downloader) инструмент командной строки,написан на Go, под лицензией AGPL-3.0, позволяет выгружать списки сообщений, сами сообщения и файлы и проводить другие манипуляции по выгрузке списков чатов, их участников и другой информации. Выглядит как полезный инструмент для разных задач: мониторинга телеграм каналов, OSINT, создания наборов данных по тематикам и, конечно, цифровой архивации. Для последней задачи инструмент хорошо бы доработать и добавить команду "archive" для создания или обновления полного слепка данных, но можно и сделать надстройку над этой утилитой. Что важно - это живая разработка, с 18 контрибьюторами, основной разработчик и часть контрибьютров китайскоязычные, видимо я пропустил когда в Китае Телеграм начал набирать популярность. Мне лично нравится как сделан этот инструмент по архитектуре, логике команд, набору опций (выкачивать только сообщения, скачивать медиа) и так далее. Хотелось бы такой же, но универсальный для разных платформ и соцсетей или даже отдельные для других платформ сделанные по схожей логике. Для РФ скоро будет актуален инструмент для выгрузки чатов и каналов в MAX потому что у MAX'а нет открытой веб версии без авторизации как это есть у телеграм'а (пример - https://t.me/s/begtin) и все что создается внутри платформы не архивируется. Но это уже отдельная тема. Пока же tdl полезный инструмент для телеграма и хорошая референсная реализация подобных инструментов для других задач. #opendata #opensource #digitalpreservation #data #tools

В качестве примера данных создаваемых и улучшаемых с помощью ИИ, публикую открытым кодом и открытыми данными Internacia Datasets (Internacia - это международный на эсператно). В репозитории находятся наборы данных в форматах JSONl, YAML, Parquet и база DuckDB в которых содержатся данные о 252 странах и 727 группах стран и межгосударственных организациях. Там же подробности про содержание и структуру базы, примеры доступа и другие подробности. Эти наборы данных собираются из большого числа YAML файлов из папок data/countries и data/intblocks. В свою очередь эти YAML файлы вручную или автоматизированно обновляются. В частности чтобы собрать эту базу я взял свою базу межгосударственных организаций 5-летней давности, поправил вручную самое критичное и привел в порядок с помощью ИИ агентов Antigravity и Cursor, после чего снова поправил и в итоге собрал имеющиеся записи в наборы данных. В Dateno сейчас частично используются часть этой логики используется для мэппинга датасетов на страны, но после завершения SDK для Python'а оно заменит применяемую сейчас библиотеку pycountry на использование этого справочника. а заодно даст возможность, при желании, обогащать датасеты дополнительными фильтрами и метаданными по привязкам к геоблокам, например, отфильтровывая датасеты только из стран Евросоюза или стран БРИКС или стран Лиги арабских государств. Сейчас идет активный рефакторинг части кода Dateno, так что этот компонент будет там использоваться. А, в целом, у него много применений. Самое очевидное про которое я все время говорю - это региональные блоковые рейтинги. Хочется сделать рейтинг стран по открытости внутри политических блоков? Без проблем. Хочется отрейтинговать страны ОЭСР по ВВП? Тоже несложно. И многое и многое другое, это справочник, упакованный в современные форматы. Источники датасета: собственная база, Wikipedia, Wikidata, сайты межгосударственных организаций, реестры стран ООН и Всемирного банка. Важная особенность в том что в перечне стран есть не только те что являются членами ООН, но и суверенные территории и непризнанные государства. Поэтому их 252, в основе был справочник Всемирного Банка, а он включает многие суверенные территории не являющиеся членами ООН. Дальнейшее развитие: 1. SDK для Python 2. REST API возможно вместе с другими похожими справочными данными 3. Расширение на субрегиональный уровень по кодам ISO3166-2 (точно не первый приоритет) 4. Исправление ошибок и дополнения метаданных #opendata #opensource #dateno #datasets

В рубрике плохих примеров открытых данных открытые данные на портале data.gov.ru (ничего удивительного, да?) набор данных от РКН Реестр граждан и организаций, привлекаемых Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций в качестве экспертов к проведению мероприятий по контролю в сфере связи Дата последних изменений 1 декабря 2025 г., актуальность на 30 августа 2014 г. То есть это буквально набор данных устаревший более чем 11 лет назад. Не просто неактуальный, а давно бесполезный. Но зачем-то "меняющийся". На сайте самого РКН эти же данные, но уже актуальные. Повторю свой тезис про бесполезность портала data.gov.ru для чего бы то ни было. #opendata #russia #datasets

DeepScholar свежий ИИ агент помощник ученого-исследователя. В авторах команда из Стенфорда которые делали Lotus, фреймворк по работе с датасетами с помощью LLM (собственно читая про Lotus я про DeepScholar и узнал). Это не единственный подобный инструмент и их становится все больше. #ai #research #tools #datatools

Для тех кто анализирует данные и тд. я масштабно обновил инструмент metacrafter https://github.com/apicrafter/metacrafter по идентификации семантических типов данных, включая персональные данные по многим странам и языка. Что изменилось: - добавлено много новых правил и обновлены имеющиеся - сильно оптимизирован код для ускорения мэтчинга правил - добавлена возможность фильтрации правил по стране (страна указывается в файле правил) - добавлено множество опций для командной строки Изменений много, они могут давать ложные срабатывания потому что некоторые правила таковы что много что под них может подпасть, поэтому управление правилами и улучшилось с точки зрения фильтрации по стране. Собственно сами правила тоже обновились https://github.com/apicrafter/metacrafter-rules Это не финальные изменения, а подготовка кода к интеграцию в Dateno. #opensource #datatools #dataengineering

Датасет Цифрового архива: расходы рабочих и служащих РСФСР на промышленные товары По данным статистического ежегодника «Народное хозяйство в СССР» пятидесятые годы XX века были отмечены ростом потребления наиболее дорогих видов тканей, шерстяных и шелковых, верхнего и бельевого трикотажа, чулочно-носочных изделий, кожаной обуви. Так, в 1958 году наибольшие траты на непродовольственные товары среди всех категорий покупателей пришлись именно на готовую одежду. При этом больше всех на такие товары тратили инженерно-технические работники промышленности, а меньше всего — учителя начальных школ. Публикуем датасет «Денежные расходы рабочих и служащих на приобретение непродовольственных промышленных товаров на одну семью за год», составленный на основе соответствующей таблицы из справочника «Бюджеты рабочих, служащих и колхозников РСФСР. Статистический сборник». #датасет #статситика #ЦАГГ #история #РСФСР

Полезные ссылки про данные, технологии и не только: - DS-STAR новый ИИ агент для решения задач в data science, обещают многое включая автоматизация обработки, анализа и визуализации данных. Заодно препринт где в тексте приведены другие похожие продукты. - Federal Agency Github Activity визуализация активности на Github'е федеральных государственных агентств, спойлер: многие не публикуют ничего, но есть такие что работают над кодом постоянно. При этом в США есть госполитика о том что не менее 20% разрабатываемого госведомствами кода должно быть открытым кодом. Автор проекта рассказывает об этом подробнее - Shai-Hulud 2.0 - новая версия вредоноса который инфильтруется в виде пакета для npm и ворует ключи, пароли и реквизиты доступа. В этой версии появился "dead man switch", угроза уничтожения данных пользователя если он мешает распространению. Кстати, что происходит с "AI powered malware" ? Появились ли уже вредоносы умеющие в ИИ? - LocalAI позиционируется как local-first альтернатива OpenAI, лицензия MIT, быстро набирает популярность. Акцент на более человеческих, а не технических интерфейсах #opensource #malware #ai #datascience

Забираем пачку сервисов видеосвязи, которые ещё РАБОТАЮТ на территории РФ — без бульканий и лагов.

• Gem Space — безопасный корпоративный мессенджер с бесплатными онлайн аудио- и видеозвонками, чатами, новостями и блогами. • Linkmessenger — приложение с функциями мессенджера и социальной сети. Все сообщения и звонки через Link защищены шифрованием. • Kedr — безопасный и анонимный мессенджер со сквозным шифрованием, не привязанный к номеру телефона и без доступа к контактам. Поддерживает текстовые сообщения, голосовые и видеозвонки. • Keet — полноценный мессенджер БЕЗ привязки к почте или номеру телефона. Вход по мнемонической фразе (вашему приватному ключу. • GoChat Messenger — универсальное приложение для бесперебойной связи. • imo — простое и безопасное приложение для международной видеосвязи и обмена мгновенными сообщениями. • FaceCall — универсальное приложение для бесшовного аудио и видео общения. • Comera — простой видеомессенджер с функциями обмена собщениями, файлами, геопозициями, стикерами и удобными группами. • JusTalk — бесплатное приложение для облачных встреч для совместной работы. • Zangi — мессенджер с шифрованием армейского уровня. • buz — шустрый мессенджер с функцией «push-to-talk» — можно общаться одним нажатием кнопки, как по рации. • Jami — мессенджер, который вообще не хранит о вас никакие данные — у него нет централизованных серверов.

Каждый сервис есть и на AppStore, и на Google Play. Выбираем и остаёмся с родными на связи.

СМИ: Роскомнадзор обновил настройки систем противодействия угрозам и начал блокировать протоколы SOCKS5, VLESS И L2TP #habr https://habr.com/ru/news/973082/ Tags: ркн, socks5, VLESS, l2tp

[Перевод] ИИ убил не литературу. Он убил иллюзию, что каждый может быть писателем #habr https://habr.com/ru/companies/bothub/articles/973080/ Tags: ии, нейросети, машинное+обучение, научно-популярное, письмо, ai Author: cognitronn (BotHub)

НАСА в курсе инцидента с разрушением кабины обслуживания стартового комплекса 31/6 на Байконуре #habr https://habr.com/ru/news/973078/ Tags: наса, роскосмос, байконур, мкс, кабина обслуживания

Как убить команду таск-трекером: пошаговые советы #habr https://habr.com/ru/companies/yougile/articles/973038/ Tags: система управления проектами, таск-трекер, таск-менеджер, таск менеджмент, управление людьми, управление командой, управление проектами, управление проектами и командой, продуктивность, работа в it Author: alx_mgr (YouGile)

Подборка вопросов для собеседования Frontend-разработчика #habr https://habr.com/ru/articles/973072/ Tags: nextjs, react, html, css, javascript, scss Author: AzhigovAli

Как говорить «НЕТ» когда все хотят слышать от вас «ДА» (и остаться в живых). Памятка менеджеру #habr https://habr.com/ru/articles/973034/ Tags: как говорить с руководителем, как говорить с заказчиком, как говорить нет, негативное мышление, памятка менеджеру, управление проектами, коммуникации, заказчикоориентированность, клиентоориентированность, коммуникации с заказчиками Author: peterzh

Квантовое эхо в расширяющейся вселенной: ученые предсказали судьбу космологического вакуума #habr https://habr.com/ru/articles/969022/ Tags: космология, квантовая космология, квантовые флуктуации, темная энергия, стабильность вакуума, пространство-время де Ситтера, вековые эффекты, формализм Швингера-Келдыша, корреляционная функция поля, уравнение Дайсона-Швингера Author: master_program

Как я осознал, что не умею кодить #habr https://habr.com/ru/articles/972630/ Tags: project euler Author: fivelife

Подключение ЖК дисплея POS терминала Ingenico IPP320 к Arduino (ESP32) #habr https://habr.com/ru/articles/973064/ Tags: arduino, esp32, дисплей, жк экран, жк дисплей, 128x64, reverse-engineering Author: XMAKE