DeVops Библиотека

Spellbook of Modern Web Dev 🧙‍♂️ Книга заклинаний современного веб-разработчика — это тщательно подобранный список ресурсов, инструментов и практик, охватывающих весь жизненный цикл современного веб-приложения. Проект ориентирован на фронтенд, но также затрагивает аспекты бэкенда, DevOps, производительности, безопасности, тестирования, архитектуры и многое другое. Это не просто список ссылок — это настоящая карта знаний по веб-разработке. 📚 Темы включают: - Среды разработки (IDE, терминал, Git) - Языки и трансляторы (JS/TS, Babel, WebAssembly) - UI/UX, CSS-инструменты и фреймворки - Сборщики и бандлеры (Webpack, Vite, etc.) - CI/CD, мониторинг, деплоймент - Архитектурные шаблоны, микросервисы, серверлесс - Безопасность, производительность, тестирование https://github.com/dexteryy/spellbook-of-modern-webdev

🚀 Jan-v1: локальная 4B-модель для веба — опенсорсная альтернатива Perplexity Pro 📌 Что умеет - SimpleQA: 91% точности, чуть выше Perplexity Pro — и всё это полностью локально. - Сценарии: быстрый веб-поиск и глубокое исследование (Deep Research). Из чего сделана - Базируется на Qwen3-4B-Thinking (контекст до 256k), дообучена в Jan на рассуждение и работу с инструментами. Где запускать - Jan, llama.cpp или vLLM. Как включить поиск в Jan - Settings → Experimental Features → On - Settings → MCP Servers → включите поисковый MCP (например, Serper) Модели - Jan-v1-4B: https://huggingface.co/janhq/Jan-v1-4B - Jan-v1-4B-GGUF: https://huggingface.co/janhq/Jan-v1-4B-GGUF @ai_machinelearning_big_data #ai #ml #local #Qwen #Jan

⚡️ Open-source инструмент для просмотра CSV, JSON, Excel и других таблиц прямо в терминале — без потери форматирования, аккуратно и читабельно. 🔥 Что умеет: — Встроенный SQL-движок: фильтры, джойны и анализ прямо в терминале; — Vim-подобные хоткеи (для фанатов, да 😁); — Быстрый поиск, работа с несколькими таблицами, поддержка тем (Monokai, Nord и др.). https://github.com/shshemi/tabiew

🚢 Unregistry — прямой деплой Docker-образов без регистрации. Инструмент предлагает альтернативу традиционным Docker-регистрам, позволяя развертывать образы напрямую между хостами через SSH. Он анализирует слои образов и передает только измененные компоненты, что особенно полезно при частых обновлениях больших ML-моделей или приложений. Решение не требует настройки дополнительной инфраструктуры и использует существующие SSH-ключи. Unregistry интегрируется в CI/CD-процессы и подходит для продакшен-развертываний, где важны скорость и экономия ресурсов. 🤖 GitHub @DevopsDocker

🚀 GitHub решил главную боль open-source ИИ-проектов — теперь inference доступен всем Новая инициатива GitHub Models позволяет запускать LLM прямо из кода или CI, ⚡️ без API-ключей OpenAI, без развёртывания моделей, без костылей. 🔧 Как это работает: - Полная совместимость с openai.ChatCompletion.create - Поддержка GPT‑4o, Llama 3, DeepSeek и др. - Авторизация через обычный GITHUB_TOKEN - Бесплатно для OSS и личных аккаунтов - Можно использовать даже в GitHub Actions (просто `permissions: models: read`) 💡 Зачем это нужно: - Убирает барьер входа для пользователей и контрибьюторов - Помогает легко добавлять ИИ‑фичи в open-source проекты - Работает с OpenAI SDK, LangChain, Python, Node.js и другими библиотеками 📦 Теперь запускать AI в open-source так же просто, как git push. 📝 Подробности: https://github.blog/ai-and-ml/llms/solving-the-inference-problem-for-open-source-ai-projects-with-github-models

🔥 Bash как искусство: стиль от автора YSAP Если ты пишешь на Bash — обратит внимание на этот гайд , это минималистичное и чёткое руководство от создателя You Suck At Programming. Это не просто стиль — это манифест читаемого, безопасного и портируемого Bash-кода. 💡 Коротко, что советует автор: • Используй [[ ... ]] вместо [ — надёжнее. • foo() и local var=... — забудь про function. • Только $(...) — никаких обратных кавычек. • Не ls, а glob (`*`) и while read. • Арифметика? Только ((…)) и $((…)). • Переменные — всегда в кавычках: "$name". • Только табы. Только 80 символов в строке. 👨‍💻 И это всё с аргументами: зачем, почему и как. 🎯 Подойдёт и новичку, и тем, кто пишет продакшн‑скрипты. 📦 Есть терминальная версия: curl style.ysap.sh/plain 📎 Читать гайд Сохрани, чтобы не забыть. Bash должен быть красивым.

Супер подбора для подготовки к Собесу: 🟢120 ключевых вопросов по SQL за 2025 год 🟢 100 вопросов с собеседований продвинутого DevOps специалиста: подробный разбор 🟢100 вопросов со собеседований по Docker с подробными ответами 🟢100 вопросов для продвинутого Linux администратора 🟢100 вопросов c собесов в Data Science и ML 🟢100 вопросов с собеседованию Go. 🟢Более 100 вопросов с собеседования Python. Разбор реальных вопросов.

⚡️ 100 вопросов с собеседований продвинутого DevOps специалиста: подробный разбор В этой статье — 100 реальных и нетривиальных вопросов с собеседований DevOps-специалистов: от контейнеризации и CI/CD до сетей, безопасности и отказоустойчивости. 🛠 Каждый вопрос сопровождается подробным разбором, примерами и объяснением, что именно от тебя ждут. Начни подготовку как профессионал — разбор начинается. 🔗 Читать

✔️ Одна строка — и инфраструктура как на ладони Прямая трансляция системного журнала помогает увидеть ситуацию «из первых рук» и принять решение сразу же, не копаясь в гигабайтах накопленных логов. Команда дня:

sudo journalctl -f

Эта команда подключается к живому потоку событий systemd-journal и выводит каждое новое сообщение по мере его появления. Вы увидите ошибки служб, перезапуски демонов и системные уведомления в режиме реального времени — идеальный инструмент для оперативной диагностики и оперативного реагирования на критические ситуации. Просмотр логов конкретного сервиса:

sudo journalctl -u nginx.service -f

Вы увидите только сообщения, касающиеся Nginx, без «лишнего шума» других юнитов.

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Базы данных: t.me/sqlhub Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot - 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

✔️ Google запустила Opal, визуальный конструктор для создания и публикации ИИ-приложений. Google Labs запустила публичную бета-версию инструмента Opal, в котором можно создавать простые ИИ-приложения без написания кода. Flowrise, make.com и n8n напряглись Пользователь описывает желаемую цель тестом, после чего система автоматически генерирует визуальную блок-схему рабочего процесса, объединяя в цепочку промпты, ИИ-модели и внешние инструменты. Схему можно гибко редактировать в drag-and-drop интерфейсе или с помощью дальнейших текстовых команд. Готовые проекты публикуются как самостоятельные веб-приложения, привязанные к аккаунту Google, и ими можно сразу поделиться по ссылке. В основе Opal лежат модели Gemini. Инструмент доступен пока только для пользователей в США. @ai_machinelearning_big_data #news #ai #ml

🖥10 полезных Linux-команд Вот подборка скрытых инструментов, которые могут сэкономить время и упростить работу в терминале: 1. `sudo!!` — автоматически повторяет последнюю команду с правами root. 2. `python -m http.server` — запускает простой HTTP-сервер текущей папки за секунды. 3. `mtr` — объединяет функции ping и traceroute для диагностики сети. 4. `nl` — выводит нумерованный текст из файла. 5. `shuf` — случайным образом выбирает строки из файла. 6. `ss` — более обширный аналог netstat для сокетов. 7. `last` — показывает историю входа пользователей. 8. `curl ifconfig.me` — быстро узнаёт внешний IP-адрес. 9. `tree` — отображает структуру директорий в виде дерева. 10. `pstree` — выводит процессы и их иерархию в виде дерева 💡 Эти команды — настоящие скрытые жемчужины Linux: короткие, удобные и невероятно практичные для повседневных задач. Попробуйте добавить хотя бы одну в ваш арсенал — это может изменить ваш CLI-опыт. 📌 Подробнее

🛡 Проверка любых файлов и ссылок на вирусы — в один клик MetaDefender — это бесплатный онлайн-сервис, который: ▪ позволяет загрузить любой файл или вставить ссылку; ▪ прогоняет его через 30+ антивирусных движков одновременно; ▪ показывает подробный отчёт: заражения, угрозы, поведение; ▪ работает быстро и БЕСПЛАТНО. 🎯 Подходит для подозрительных exe, pdf, rar, ссылок, образов — всего, что может содержать вредонос. Сервис, который должен быть в закладках у каждого: 🔥 Плюс: ▪ Тулза для полного удаления скрытых майнеров —https://example.com ▪ Гайд по ручному сносу майнеров с ПК — https://example.com ▶️ Сохраняй, делись с коллегами: https://metadefender.com/

⚡️ Cовет дня Linux: быстрое повторное использование аргумента В терминале Bash есть удобный трюк: !$ вставляет последний аргумент предыдущей команды. Пример:

mkdir new_folder  
cd !$

🔁 !$ → подставит new_folder, не нужно печатать дважды. Полезно, если: — работаешь с длинными путями — устанавливаешь и сразу запускаешь что-то — копируешь, а потом переходишь в каталог https://www.youtube.com/shorts/-jxuwHWeKnA

🧠 Linux: заморозка процесса без SIGSTOP Обычно чтобы «заморозить» процесс, мы шлём ему SIGSTOP, но есть способ *поставить его на паузу без сигнала* и без потери контроля:

# Приостановить выполнение команды, удерживая её в foreground через SIGTSTP
sleep 9999
^Z  # (Ctrl+Z) — ставит в фон и останавливает

# А теперь хитрость: "fg" + "Ctrl+Z" снова — это цикл управления процессом вручную

# Но можно сделать изолированную паузу через cgroups:
cgcreate -g freezer:/pause
cgclassify -g freezer:/pause <PID>
echo FROZEN > /sys/fs/cgroup/freezer/pause/freezer.state

🔥 Процесс «замораживается» полностью: 0% CPU, не отвечает на запросы, но не убивается, не выгружается из памяти и можно *в любой момент разморозить*:

echo THAWED > /sys/fs/cgroup/freezer/pause/freezer.state

📦 Используется в Kubernetes, Docker и systemd — а теперь можешь и ты 😉

📊 Лучшие базы данных — и где они уместны 1. PostgreSQL — универсальная реляционная БД → бизнес-приложения, аналитика, геоданные (PostGIS), JSON + SQL в одном 2. SQLite — встраиваемая БД без сервера → мобильные приложения, локальное хранение, CLI-инструменты, тесты 3. MySQL / MariaDB — быстрые SQL-БД для веба → сайты, CMS, WordPress, стартапы с LAMP-стеком 4. MongoDB — документо-ориентированная NoSQL → JSON‑подобные данные, прототипы, быстро меняющиеся схемы 5. Redis — in-memory key-value store → кеширование, очереди, счётчики, real-time метрики 6. ClickHouse — колоночная аналитическая БД → аналитика, лог-системы, BI‑дашборды, миллиарды строк — за миллисекунды 7. Neo4j — графовая БД → социальные графы, связи между сущностями, рекомендации 8. TimescaleDB — time-series над PostgreSQL → телеметрия, мониторинг, временные ряды, IoT 9. Cassandra — масштабируемая распределённая NoSQL → high-availability, терабайты данных, логика без JOIN-ов 10. DuckDB — аналитика в памяти, как SQLite для данных → локальный OLAP, ML‑воркфлоу, быстрые data pipelines #databases #backend #dev #sql #nosql

🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple. FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины. Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации. В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями . FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания: ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров . Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000. На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям. Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов. Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление. Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения. FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео. ▶️Набор токенизаторов: 🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K; 🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN. ▶️ VAE: 🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8; 🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8. 🟡Страница проекта 🟡Набор на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #Tokenizer #Flextok #Apple

Книга: «Изучаем OpenTelemetry: современный мониторинг систем» OpenTelemetry сегодня – это отраслевой стандарт сбора и передачи данных телеметрии, а также набор инструментов, позволяющий интерпретировать подаваемые системой сигналы о своем состоянии. Основатели проекта Тед Янг и Остин Паркер создали руководство изучению OpenTelemetry для всех, кто хочет глубоко разобраться в наблюдаемости. Что внутри? ✔ Настройка и диагностика OpenTelemetry. ✔ Лучшие практики наблюдаемости для Kubernetes, AWS Lambda и других облачных сервисов. ✔ Как инструментировать свои сервисы и библиотеки с помощью OpenTelemetry. Выведите мониторинг на новый уровень с книгой «Изучаем OpenTelemetry»! 🚀 🖇 Ссылка на книгу erid: 2VtzqxBKJ86

🌟 Kimi-Dev-72B: открытая модель для багфикса и тестирования кода. Moonshot AI пополнил свое семейство Kimi моделью Kimi-Dev-72B, специализированной для программирования и разработанной для решения задач инженерии ПО. Она, как заявляют разработчики, особо эффективна в исправлении ошибок и написании тестов.

Ее сила в том, что она не просто пишет код, а имитирует мышление программиста, учитывая последствия изменений и проверяя их в автоматизированных тестах.

Специализация Kimi-Dev-72B состоит из 2 ролей: BugFixer (исправление ошибок) и TestWriter (написание тестов). Эти роли работают в тандеме: BugFixer находит файлы, требующие правок, и предлагает код, который устраняет баг, а TestWriter создает тесты, которые должны провалиться без исправления и пройти после него. Обе роли используют одинаковый двухэтапный процесс — сначала локализация файла, затем редактирование кода. Модель училась на данных с GitHub: миллионы задач и коммитов из реальных проектов. За основу взяли базовую Qwen 2.5-72B, которую дообучали на ~150 млрд. токенов, тщательно фильтруя данные, чтобы исключить тестовые наборы SWE-bench. В процессе обучения с подкреплением, модель получала награду только если все тесты в Docker проходили успешно. Также применяли «умные» подсказки, отсеивая заведомо сложные задачи, и постепенное усложнение, добавляя сложные примеры по мере прогресса. Kimi-Dev показала рекордные 60,4% на тесте SWE-bench Verified среди open-source решений. В будущем планируется интеграция с IDE, CI/CD, чтобы сделать модель частью ежедневного рабочего процесса разработчиков. 📌Лицензирование: MIT License. 🟡Страница проекта 🟡Модель 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #KimiDev #MoonshotAI

Файловые системы \ FS \ sfdisk \ e2label \ mkfs \ ext3 - Наиболее распространенная файловая система Linux, предоставляющая возможность журналирования с целью сохранения данных и возможность быстро перезагружать систему после некорректного завершения ее работы ext2 - Файловая система, предшествующая ext3, не поддерживающая функцию журналирования iso9660 - появилась из файловой системы High Sierra (была стандартом для компакт-дисков) и может содержать расширения Rock Ridge для обеспечения возможности использования длинных имен файлов и других функций (полномочия доступа к файлу, права собственности и ссылки) jffs2 - Журналируемая файловая система для флэш-носителей, созданная для эффективной работы с USB-накопителями jfs - Файловая система, используемая на IBM в OS/2 Warp и настроенная на работу с большими файловыми системами и средами с высокой производительностью msdos - Может использоваться для монтирования файловых систем на устаревшие носители MS-DOS, например старые дискеты ntfs - Может быть полезна, когда есть необходимость передавать файлы в файловые системы Windows (с двойной загрузкой или на сменных носителях) reiserfs - Журналируемая файловая система, иногда используемая по умолчанию на SUSE, Slackware и других операционных системах Linux squashfs - Запакованная файловая система, предназначенная только для чтения данных и используемая на многих Live CD Linux swap - Используется на разделах подкачки для временного хранения данных, когда оперативная память временно недоступна ufs - Популярная файловая система операционных систем Solaris и SunOS от корпорации Sun Microsystems vfat - Расширенная файловая система FAT (VFAT), которая полезна, если файловым системам нужно обмениваться файлами с более старыми системами Windows (с двойной загрузкой или на сменных носителях) xfs - Журналируемая файловая система для среды с высокой производительностью, размер которой может расширяться до многих терабайт данных, а скорость передачи данных в которой исчисляется гигабайтами в секунду sfdisk - программа для работы с таблицей разделов жесткого диска sfdisk -d /dev/sda > sda-table - Выполняет резервное копирование таблицы разбиения в файл sfdisk /dev/sda < sda-table - Восстанавливает таблицу разбиения из файла sfdisk -d /dev/sda | sfdisk /dev/sdb - Копирует таблицу разбиения с одного диска на другой fdisk - программа для работы с таблицей разделов жесткого диска (устарела) e2label /dev/sda2 - посмотреть метку второго раздела e2label /dev/sda2 my_lable_name - назначить метку my_lable_name второму разделу findfs LABEL=my_lable_name - ищем раздел по метке (например в /etc/fstab монтирование по метке) mkfs -t ext3 /dev/sdb1 - Создает файловую систему ext3 на разделе sba1 mkfs -t ext3 -v -c /dev/sdb1 - Расширенная команда, выполняющая также поиск поврежденных блоков mkfs.ext3 -с /dev/sdb1 - Создает файловую систему ext3 на разделе sba1 mkfs.ext3 -с -L mypartition /dev/sdb1 - Создает файловую систему ext3 на разделе sba1 и добавляет разделу метку dd if=/dev/scd0 of=name_file.iso bs=2048 - извлекаем образ iso с cd/dvd dd if=/dev/zero of=my_disk count=2048000 - Создаем заполненный нулями файл объемом 1 Гбайт du -sh my_disk - Проверяем размер виртуальной файловой системы mkfs -t ext3 my_disk - Создаем файловую систему на mydisk mkdir /mnt/image - создаем пустой каталог mount -o loop my_disk /mnt/image - монтируем my_disk в пустой каталог cd /mnt/image - переходим в каталог /mnt/image mkdir test - создаем каталог test cp /etc/hosts - копируем /etc/hosts в текущий каталог cd .. - переходим на уровень выше (выходим из текущего каталога) umount /mnt/image - отмонтмровать /mnt/image