Прогер

NASA сообщило о потопе в ЦОД с серверами для прогнозирования космической погоды Причиной стал прорыв трубы в Объединенном центре научных операций Стэнфорда (JSOC). В JSOC обрабатываются данные для прогнозирования космической погоды, ежемесячно поставляющие около 42 ТБ информации В серверной накопилось несколько сантиметров воды, которую удалось убрать только на следующий день, но утечка продолжается. В NASA не знают, когда серверы смогут возобновить работу ✅ Умный программист | #новость

✅ Умный программист | #юмор

Redis Inc. потребовала передать ей самую популярную клиентскую библиотеку Rust для Redis: redis-rs Армин Ронахер, контролирующий redis-rs, получил предложение от компании Redis о передаче контроля над клиентом Rust для добавления корпоративных функций, с сохранением совместимости и участия сообщества Однако, в связи с якобы возможным нарушением товарного знака из-за названия библиотеки, они намерены взять её под свой контроль, либо разработчикам придётся создать форк Напомним, что в марте 2024 года Redis изменила лицензию, ограничив использование, что привело к созданию Valkey, альтернативы Redis В послествии, как и можно было ожидать, сообщество выразило недовольство действиями Redis Inc., особенно учитывая историю с перелицензированием Redis В ходе обсуждения были предложены различные варианты, но многие склоняются к переименованию в нечто независимое как от Redis, так и от Valkey, например, kvsp-rs или resp-rs с сохранением дальнейшего развития проекта как библиотеки, совместимого со всеми форками В то же время Redis Inc. остудили свой пыл и, похоже, согласны оставить всё как есть, продолжая вносить свой вклад в текущий проект ✅ Умный программист | #новость

Базы данных: сборник задач с комментариями и примерами решений Авторы: В.К. Волк, В.Ю. Осеев, О.С. Черепанов Год: 2024 Количество страниц: 257 Пособие входит в состав учебно-методического комплекса модуля «Управление данными», компоненты которого традиционно представлены в образовательных программах IT-специальностей различных уровней — от среднего специального образования до магистратуры, и содержит практические задания по основным тематическим разделам этого модуля: данные, как объект управления, концептуальная ER-модель, реляционная модель данных, SQL-программирование, управление физической моделью реляционной БД, управление производительностью и безопасностью систем баз данных. Рассмотрены также объектно-реляционные отображения и постреляционные решения — многомерные модели и NoSQL-базы данных Скачать книгу ✅ Умный программист | #книга

ByteDance подал в суд на стажёра, который ранее «злонамеренно вмешался» в обучение моделей ИИ и саботировал проект ByteDance в иске требует от стажёра компенсации в размере 1,1 миллиона долларов Юристы компании утверждают, что стажёр преднамеренно нарушал задачи по обучению моделей, манипулировал кодом, вводя в заблуждение других разработчиков, и вносил несанкционированные изменения в репозитории проекта ✅ Умный программист | #новость

KodeKloud — это бесплатные интерактивные лаборатории, которые позволяют вам практиковаться с такими технологиями, как Docker, Kubernetes, Linux и другими. Всё доступно прямо в браузере, никаких установок В целом, это отличный ресурс для тех, кто хочет углубиться в DevOps или просто повысить свои навыки ✅ Умный программист | #полезно

AWS запустила физические терминалы для быстрой загрузки данных в облако Для работы нужно забронировать слот через AWS Management Console, выбрать время и место и подключить устройства хранения к высокоскоростному соединению для передачи информации на публичные конечные точки AWS, такие как Amazon S3 и Amazon EFS Эти терминалы позволяют загружать большие объёмы данных, например, из автопарков или мультимедийные файлы, без задержек Сервис имеет почасовой тариф без дополнительных затрат за передачу данных внутри континента ✅ Умный программист | #новость

Домашний центр обработки данных 😱 ✅ Умный программист | #новость

1⃣2⃣3⃣4⃣5⃣ #новость — события в мире программирования и IT #нампишут — отзывы и истории от наших подписчиков #игра — игры по программированию и сопутствующим темам #юмор — мемы и шутки #гаджет — гаджеты, облегчающие жизнь разработчикам #полезно — советы, лайфхаки, сервисы #книга — книги по программированию и смежным темам #шпаргалка — справочники и горячие клавиши #дайджест — подборка важных релизов #обучение — курсы, ресурсы и материалы #руководство — инструкции и гайды #статья — статьи и лонгриды о технологиях и программировании Напоминаем, что хештеги в наших постах начали использоваться с 16 октября 2024 года До этого момента все посты были без них, поэтому, если вы не нашли нужные публикации с хештегами, попробуйте воспользоваться поиском по ключевым словам

Новый уровень продуктивной разработки: добро пожаловать на платформу GitVerse На платформе для работы с исходным кодом GitVerse можно легко и удобно организовать разработку любых проектов: писать и проверять код, автоматизировать CI/CD-процессы, общаться с единомышленниками и стать частью open source сообщества. Что еще могут пользователи GitVerse: – переносить проекты с других git-площадок в один клик; – размещать открытые и приватные репозитории, работать самостоятельно и в командах; – управлять проектами с помощью удобных досок и карточек, назначать роли, ревьюеров и делать все процессы прозрачными; – делегировать рутинные задачи AI-ассистенту GigaCode, чтобы посвятить время по-настоящему интересным задачам! Регистрируйтесь на платформе GitVerse и повышайте эффективность разработки!

Мой аккаунт hCaptcha был забанен за то, что я не слепой Пишет аноним: «Я уверен, что вы знакомы с сервисом hCaptcha, где требуется отметить галочку, а затем выбрать все изображения с домом или похожими объектами. Если вы не знали, они не предоставляют аудио-версию капчи для незрячих, объясняя это тем, что это упростило бы ботам обход системы Вместо этого предлагается специальный аккаунт для слепых пользователей, который позволяет получать куки и проходить капчу без проверки… Я в основном использую браузер Brave для серфинга в интернете, но у меня возникли проблемы с установкой куки. Я выполнил все необходимые шаги, разрешил сторонние куки и так далее, но ничего не изменилось. В других браузерах, таких как Firefox и Chromium, все работало без проблем. В итоге я решил попробовать версию для слепых, чтобы решить эту проблему Мне это быстро надоело. На сайте hCaptcha я увидел информацию о том, что в случае возникновения проблем нужно обратиться в службу поддержки. Поэтому я решил написать им В попытке разобраться с проблемой, я попытался помочь их технической персоналу. Я подсказал, что вызов конечной точки для установки куки, по всей видимости, возвращает код 401 unauthorized в браузере Brave, судя по данным консоли JavaScript. Это, на мой взгляд, вызвало у них подозрение, хотя я всего лишь старался помочь Представьте себе моё удивление, когда во время моего общения с представителем службы поддержки, другой сотрудник прислал мне на почту такое сообщение: "Этот способ использования не поддерживается, и кредиты за доступные проходы вам не будут начислены. Все аккаунты, использующие данный метод, будут удалены из hCaptcha, а пользователи заблокированы, если попытаются зарегистрироваться повторно для доступа" Я был в полном недоумении, потому что не сделал ничего такого, что они не разрешали. Я просто пытался запустить его в браузере Brave Тогда я написал ответное письмо, и они объяснили, что, поскольку я не слепой, мне не следует пользоваться учетной записью для людей с ограниченными возможностями Что, простите? Я не слепой? Вы серьезно?! Я зашел на сайт, чтобы перепроверить, и действительно обнаружил, что мой аккаунт заблокирован Через день я отправил письмо с просьбой снять блокировку, потому что, знаете ли, я *на самом деле* слепой, но они дали довольно банальный ответ: "Нет, ваш аккаунт по-прежнему заблокирован" В итоге, по иронии судьбы, чтобы пройти hCaptcha, мне придется нарушить условия использования и прибегнуть к программам для авто-решения капчи :)» Анонимно поделиться историей или оставить отзыв об IT-компании можно здесь ✅ Умный программист | #нампишут

IronCalc — это open-source движок для работы с таблицами, а также набор инструментов для обработки электронных таблиц в разных условиях Он написан на Rust, что дает возможность интеграции с разными языками программирования, такими как Python, JavaScript (wasm), Node.js, а также, возможно, R, Julia или Go ✅ Умный программист | #полезно

✅ Умный программист | #юмор

В реестр российского программного обеспечения добавлены две новые операционные системы — InterOS и SberOS Обе системы были созданы Сбером на основе Linux Debian. InterOS предназначена для замены операционной системы Windows в сети банкоматов, в то время как SberOS является операционной системой общего назначения ✅ Умный программист | #новость

WinRAR приносит от 800 тысяч до 3 миллионов долларов выручки в год Каждый из нас хотя бы раз задавался вопросом: «Есть ли кто-то, кто реально приобретал лицензию WinRAR? Существуют ли такие люди на свете?» Это забавный вопрос, который уже давно стал мемом в интернете Недавно пользователь в Twitter порекомендовал WinRAR изменить бизнес-модель, вместо того чтобы смеяться над мемами о том, что никто не покупает их подписку. На это WinRAR ответили, что модель эффективна, и тогда пользователь попросил поделиться статистическими данными Ответ не заставил себя ждать: за последний месяц было продано 10 000 лицензий, что, по нашим подсчётам, приносит выручку в год от $800 тыс. до $3 млн в зависимости от типа подписки Так что в вопросе о наличии покупателей на лицензии WinRAR можно с уверенностью сказать, что они есть! ✅ Умный программист | #новость

Программисты «Яндекса» чуть не лишили всех точного времени NTPPool.org — это проект, который в представлении не нуждается, тем не менее, для тех, кто никогда о нём не слышал — во многом благодаря ему все ваши компьютеры, смартфоны, серверы и прочие гаджеты имеют точное время Из-за ошибки, допущенной при разработке обновления прошивки для умных колонок «Яндекс Станция», образовалась аномально высокая загрузка на NTP-серверы (Network Time Protocol) в российском сегменте интернета — эти ресурсы используются для синхронизации времени. Компания обнаружила ошибку далеко не сразу, но перечислила меры, которые не допустят её повторения В середине октября один из добровольцев, который организовал NTP-сервер на своём домашнем маршрутизаторе, обнаружил, что канал устройства забит запросами. Обновление прошивки и перезагрузка проблемы не решили, но она исчезла после отключения NTP. Далее выяснилось, что с середины октября прекратили работу 120 из 140 российских NTP-серверов. Доброволец призвал сообщество «Хабра» в качестве временной меры запустить у отечественных провайдеров NTP-серверы на виртуальных машинах за минимальную плату — помимо рядовых пользователей, откликнулся крупный облачный оператор, который выделил сразу 30 виртуальных машин Виновником оказалась компания «Яндекс», которая в середине октября начала развёртывать новую прошивку для умных колонок серии «Станция». Прошивка этих устройств содержит стандартный клиент синхронизации времени. В штатном режиме она производится каждые пять часов, но в случае неудачной попытки повторная предпринимается через пять секунд. Из-за ошибки в одном из связанных с клиентом модулей все устройства с обновлённой прошивкой начали вне зависимости от результата предыдущей попытки синхронизировать время каждые пять секунд — напомним, только за первые девять месяцев 2024 года было продано, по оценкам, около 3 млн «Яндекс Станций» На начальном этапе «Яндекс» развернул прошивку на 10% устройств — это стандартная мера для того, чтобы выявлять ошибки на ранних стадиях. Но в стандартной схеме обнаружения ошибок на тот момент отсутствовала метрика NTP-запросов, и к 24 октября прошивка распространилась на 100% устройств. Первые жалобы на избыточное число NTP-запросов начали поступать 10 ноября — обычно этот симптом объясняется проблемами на стороне пользователя, и из-за небольшого объёма жалоб приоритет у проблемы был невысоким. Ошибку удалось обнаружить лишь 20 ноября — к этому моменту её исправили и начали готовить новый выход прошивки Но тянуть время уже было нельзя, потому что к выходным 23 и 24 ноября в Сети оставалось всего четыре сервера. Поэтому в качестве временной меры «Яндекс» выпустил хотфикс — экстренное обновление, которое увеличивало период обращения с 5 до 600 секунд. Нагрузка на NTP-серверы, таким образом, снижалась в 120 раз, но если какая-то из «Яндекс Станций» после включения не могла синхронизировать время с первой попытки, то в последующие 10 минут её связанные со временем функции оказывались недоступными. Это помогло стабилизировать ситуацию — к тому моменту начали запускать NTP-серверы члены сообщества «Хабра» ✅ Умный программист | #новость

Как спрятать любые данные в PNG Формат PNG хранит информацию о каждом пикселе, состоящем из трёх цветовых каналов (R, G, B) и альфа-канала для прозрачности (скриншот №1) Для скрытия данных используется метод младших битов LSB (Least Significant Bit), который позволяет изменять LSB без заметных изменений цвета (скриншот №2) Для сокрытия информации нужно преобразовать её в побитный формат и заменять LSB каждого канала пикселя (скриншот №3). Каждый пиксель может хранить 3 бита информации, что позволяет скрыть текст объёмом 100 тысяч слов на изображении 1000x1000 пикселей Теперь перейдём к практическому примеру кодирования сообщения внутри PNG:

import { PNG } from 'pngjs';
import fs from 'node:fs';

function writeData(imageBinary, dataBinary) {

   for (let i = 0, dataBitIndex = 0; i < imageBinary.length; i += 4) {

      for (let j = 0; j < 3; j++, dataBitIndex++) {

         if (dataBitIndex >= dataBinary.length * 8) {
            return imageBinary;
         }

         /
          * Получаем текущий бит данных
          /

         let bit = (dataBinary[Math.floor(dataBitIndex / 8)] >> (7 - (dataBitIndex % 8))) & 1;

         /
          * Смещаем цвет
          /
         imageBinary[i + j] = (imageBinary[i + j] & 0xFE) | bit;

      }

   }

   return imageBinary;

}

function async encode(inputPath, outputPath, message) {

   let binaryMessage = Buffer.from(message, 'utf-8');

   return new Promise(resolve => {

      /
       * Открываем изображение и получаем его пиксели
       /
      fs.createReadStream(inputPath)
         .pipe(new PNG())
         .on('parsed', function() {

            //this - Объект PNG
            //this.data - Объект Buffer, по сути [R, G, B, A, R, G, B, A...]

            /
             * Запишем длинну сообщения в первые 4 байта
             /
            let length = Buffer.alloc(4);
            length.writeUInt32BE(binaryMessage.length, 0);


            let binaryTotalData = Buffer.concat([
               length,
               binaryTotalData
            ]);

            /
             * Заменяем пиксели
             /
            writeData(this.data, binaryTotalData);

            /
             * Сохраняем в файл
             /
            let stream = fs.createWriteStream(outputPath);

            stream.on('finish', resolve);

            this.png.pack().pipe(stream);

         });

   });
}

Получаем сообщение из PNG:

function readMessage(dataBinary) {

   let bytes: number[] = [];

   for (let i = 0, dataBitIndex = 0, currentByte = 0; i < pixels.length; i += 4) {

      for (let j = 0; j < 3; j++) {

         let bit = pixels[i + j] & 1;

         currentByte = (currentByte << 1) | bit;
         dataBitIndex++;

         if (dataBitIndex % 8 === 0) {
            bytes.push(currentByte);
            currentByte = 0;
         }

      }

   }

   return Buffer.from(bytes);

}

function async decode(targetPath) {

   return new Promise(resolve => {

      /
       * Открываем изображение и получаем его пиксели
       /
      fs.createReadStream(targetPath)
         .pipe(new PNG())
         .on('parsed', function() {

            //this - Объект PNG
            //this.data - Объект Buffer, по сути [R, G, B, A, R, G, B, A...]

            /
             * Читаем данные
             /
            let binaryTotalData = = readData(this.data);

            /
              * Узнаем длинну исходного сообщения и обрезаем
             /
            let length = binaryTotalData.readUInt32BE();
            let binaryMessage = binaryTotalData.slice(4, 4 + length);

            resolve(binaryMessage);

         });

   });


}

Далее всё зависит от вашей фантазии. Вы можете записать внутрь PNG другой файл, зашифровать данные с помощью AES или даже спрятать все свои пароли в фотографии любимого кота (скриншот №4) Можно, например, выбирать пиксели не в хаотичном порядке и добавить случайный шум, чтобы усложнить процесс обнаружения скрытых данных Подробный код решения доступен на GitHub (включая аспекты использования AES и скрытия файлов в изображениях) ✅ Умный программист | #руководство

22 ноября 2024 года компания Deno официально подала заявку в Бюро по патентам и товарным знакам США на аннулирование торговой марки JavaScript у компании Oracle У Oracle есть время до 4 января 2025 года, чтобы ответить. Если они не предпримут никаких действий, дело будет закрыто, а товарный знак, скорее всего, будет аннулирован Однако, если Oracle решит бороться, то начнётся юридический процесс, который может затянуться на месяцы или даже годы ✅ Умный программист | #новость

✅ Умный программист | #юмор