SQL и Анализ данных

🔥 Один из лучших обучающих курсов на StepiK по SQL SQL можно знать годами и всё равно теряться, когда запрос внезапно начинает тормозить в проде. Этот курс про уровень, где ты не просто пишешь SELECT, а понимаешь, что происходит внутри MySQL, почему запрос работает медленно и как ускорить его без новых проблем. Здесь разбираются EXPLAIN, индексы, CTE, оконные функции, транзакции, аналитические паттерны, legacy SQL и работа с AI-ассистентами. Каждый урок - с практикой и реальными SQL-задачами на MySQL 8 с автопроверкой. После курса ты сможешь увереннее разбирать чужой код, находить узкие места и предлагать решения, которые действительно работают. Для подписчиков скидка - 49% в течение 2 суток: https://stepik.org/a/298827/

Один товар, два покупателя. Как не продать больше, чем есть на складе? Если сначала прочитать остаток через SELECT, а потом уменьшить его отдельным запросом, два покупателя могут одновременно увидеть последнюю единицу. В PostgreSQL проверку и списание можно объединить:

UPDATE products
SET stock = stock - 1
WHERE id = 42
  AND stock > 0
RETURNING id, stock;

Что получится при одновременных запросах: • Первый покупатель уменьшит остаток с 1 до 0. • Второй дождётся освобождения строки, и условие stock > 0 будет проверено повторно. • Его запрос не обновит строку и ничего не вернёт — товар закончился. Так работает обычный уровень изоляции PostgreSQL READ COMMITTED. Добавьте защиту от отрицательных остатков:

ALTER TABLE products
ADD CONSTRAINT stock_nonnegative
CHECK (stock >= 0);

Списание остатка и создание заказа выполняйте в одной транзакции, чтобы при ошибке заказа изменение остатка тоже откатилось.

🔥 Хочешь расти в IT быстрее остальных? Перестань учиться в одиночку Можно годами смотреть курсы, читать документацию и всё равно топтаться на месте. А можно попасть в правильное окружение, где каждый день обсуждают новые инструменты, вакансии, реальные кейсы, ошибки и то, что уже завтра станет стандартом. Здесь собраны папки и каналы по разным направлениям IT, чтобы ты быстрее находил нужных людей, идеи и полезный контент - без бесконечного поиска. AI: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii DevOps: t.me/DevOPSitsec Docker: https://t.me/+90Z5TAyfuNU5YmRi Golang: t.me/Golang_google Rust: t.me/rust_code C++: t.me/cpluspluc C#: t.me/csharp_ci Java: t.me/javatg JavaScript: t.me/javascriptv React: t.me/react_tg Frontend: t.me/front PHP: t.me/phpshka Android: t.me/android_its Мобильная разработка: t.me/mobdevelop Базы данных: t.me/sqlhub Data Science: t.me/data_analysis_ml Big Data: t.me/bigdatai Математика: t.me/data_math Физика: t.me/fizmat Kubernetes: t.me/kubernetc GameDev: https://t.me/gamedev Haskell: t.me/haskell_tg Собеседования и карьера: DS собеседования: t.me/machinelearning_interview Python собеседования: t.me/python_job_interview Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy Полезное сверху: ИТ-мемы: t.me/memes_prog Английский для программистов: t.me/english_forprogrammers ИИ и технологии: t.me/vistehno 954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy Max Ai: https://max.ru/ai_machinelearning_big_data Max python: https://max.ru/pythonl ТЕХНО: https://max.ru/vistehno Max Go: https://max.ru/Golang_google Max Linux: https://max.ru/linuxkalii Devops: https://max.ru/DevOPSitsec C#: https://max.ru/csharp_ci C++: https://max.ru/cpluspluc SQL: https://max.ru/sqlhub Java: https://max.ru/javatg Подпишись и сохрани, здесь регулярно появляются новые подборки, инструменты и материалы, которые реально помогают расти быстрее.

🐘 pgbot - диагностика PostgreSQL для AI-агентов и приложений, написанная на Go Один исполняемый файл подключается к базе в режиме чтения, собирает встроенную статистику PostgreSQL и показывает проблемы: * замедление запросов и ожидание блокировок * неиспользуемые индексы * состояние vacuum и репликации * загрузку соединений и взаимные блокировки * изменения относительно предыдущих проверок Диагностика рассчитывается кодом на Go. Опциональный AI-слой объясняет найденные проблемы и позволяет задавать вопросы обычным текстом. Для агентов и автоматизации предусмотрены MCP и версионированный JSON-вывод. Есть плагин для Claude Code. Базовые проверки работают без ключа LLM и внешнего сервиса. Проект находится в бете. GitHub - https://github.com/pgrundev/pgbot @Golang_google

Тариф действует до конца месяца. Роль сотрудника — до определённой даты. Бронь — с одного дня по другой. Как хранить такие данные в PostgreSQL и не поддерживать собственный набор триггеров и проверок? ⏰ 16 сентября в 20:00 МСК на открытом уроке разберём темпоральные возможности PostgreSQL 18. Посмотрим, как WITHOUT OVERLAPS и PERIOD позволяют самой базе контролировать пересечение периодов и целостность связанных данных. На примерах тарифов, бронирований и версионируемых сущностей разберём Range-типы, GiST и новые ограничения PostgreSQL 18. Вы поймёте, как проектировать таблицы с историей и переносить существующие решения на встроенные возможности базы. 🔥Урок проходит в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». 👉Зарегистрируйтесь и разберите PostgreSQL 18 на практике: https://otus.pw/Sz0m/?erid=2W5zFJQwyow Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

10 лучших промптов для программиста в 2026 году: готовые шаблоны для работы с кодом Хороший промпт для программирования помогает получить проверяемый результат: найти причину ошибки, внести нужное изменение, оценить риски и проверить поведение программы. Для этого модели нужны контекст проекта, ограничения и понятные критерии готовности. Ниже – 10 готовых промптов для повседневной разработки: от исправления багов до ревью pull request и знакомства с чужим репозиторием. Подставьте свои данные вместо текста в квадратных скобках. https://uproger.com/10-luchshih-promptov-dlya-programmista-v-2026-godu-gotovye-shablony-dlya-raboty-s-kodom/

Python и ИИ в 2026 году: как правильно работать с кодом через ChatGPT, Claude, Cursor и AI-агентов Как использовать ИИ для написания, проверки, рефакторинга и отладки Python-кода. Лучшие промпты, примеры, workflow и правила работы с AI-ассистентами в 2026 году. https://uproger.com/python-i-ii-v-2026-godu-kak-pravilno-rabotat-s-kodom-cherez-chatgpt-claude-cursor-i-ai-agentov/

GreptimeDB - open-source база для observability, которая пытается собрать metrics, logs и traces в одном backend. Вместо отдельных систем для каждого типа телеметрии здесь используется общий табличный подход с тегами, timestamp и полями поверх колонночного движка и object storage. Что умеет: - объединять metrics, logs и traces и связывать их через SQL по service, host, trace ID и другим идентификаторам - принимать данные через OpenTelemetry, Prometheus Remote Write, Loki Push, Elasticsearch Bulk, InfluxDB Line Protocol и gRPC - поддерживать SQL, PromQL и Jaeger-совместимые запросы для traces - хранить данные в S3, GCS, Azure Blob и S3-совместимых хранилищах - настраивать retention, downsampling, continuous aggregation, partitioning и индексы Может быть интересен тем, кто устал поддерживать несколько отдельных хранилищ для телеметрии и хочет свести observability-стек к одной системе. Apache 2.0. https://github.com/GreptimeTeam/greptimedb

⚡️ Qwen представила E-Commerce Bench - новый бенчмарк для проверки AI-агентов на долгосрочном управлении бизнесом. Агент получает ¥100 000 и должен целый год управлять интернет-магазином: - искать поставщиков - торговаться - выставлять цены - запускать акции - контролировать склад - управлять денежным потоком Среда построена на реальных данных электронной коммерции. Внутри: - 6886 товаров - 576 поставщиков - 152 из них мошенники - комиссии за хранение - возвраты - репутация - ограниченный рабочий день Оценка идёт сразу по 7 направлениям, поэтому одной модели, которая была бы лучшей во всём, пока нет. Blog: https://qwen.ai/blog?id=e-commerce-bench Paper: https://arxiv.org/abs/2608.30730 Project: https://ecbench.github.io Code: https://github.com/QwenLM/E-CommerceBench @ai_machinelearning_big_data #Qwen

Какие локальные AI-модели запускать на разном железе в 2026 году Подборка от 8 до 512 ГБ памяти. 8 ГБ LFM2.5-2.6B - небольшой, но крепкий вариант для локального запуска. Подойдёт для: - простых tool calls - небольших автоматизаций - экспериментов с локальной инфраструктурой - лёгких чат-задач https://huggingface.co/LiquidAI/LFM2.5-2.6B 16 ГБ Здесь уже интереснее смотреть на две модели. Gemma 4 12B - более универсальный вариант для чата и vision. https://huggingface.co/google/gemma-4-12B-it Ornith-1.5-9B - сильнее ориентирована на tool calling и agentic-сценарии. https://huggingface.co/ornith-ai/Ornith-1.5-9B 24-96 ГБ Qwen3.8-27B - уже серьёзный вариант для локального кодинга. Для такого объёма памяти особенно интересны EXL3-квантизации. https://huggingface.co/turboderp/Qwen3.8-27B-exl3/tree/SC_3.00bpw_H4_V4 96-196 ГБ Qwen3.8-Flash-Next. Модель хорошо подходит для более длинного контекста и высокой скорости. Часть нагрузки можно выносить в RAM, а KV-cache относительно компактный. https://huggingface.co/Qwen/Qwen3.8-Flash-Next 196-384 ГБ GLM-5.3-Flash - уже почти frontier-уровень дома. Подходит для: - coding - agentic-задач - 3D - мультимодальных сценариев - длинного контекста - высокой параллельной нагрузки https://huggingface.co/zai-org/GLM-5.3-Flash 384-512 ГБ GLM-5.3. Медленнее Flash-версии, но заметно сильнее в сложном coding и systems work. https://huggingface.co/zai-org/GLM-5.3 Если коротко по уровням: 8 ГБ - маленькие локальные модели 16 ГБ - хороший универсальный локальный AI 24+ ГБ - уже нормальный coding 96+ ГБ - большие модели и длинный контекст 196+ ГБ - почти frontier дома 384+ ГБ - максимум качества среди open-weight моделей

SQL: Один NULL в списке, и NOT IN возвращает ноль строк WHERE id NOT IN (1, 2, NULL) раскрывается в id <> 1 AND id <> 2 AND id <> NULL. Последнее сравнение всегда даёт UNKNOWN, а WHERE пропускает только TRUE, поэтому запрос молча возвращает пустой результат. Одно неизвестное значение отравляет весь фильтр. Если в подзапросе возможен NULL, бери NOT EXISTS: он на NULL не ломается и читается понятнее, чем костыль с IS NOT NULL. #sql #deathnote

Бесплатный доступ к ChatGPT и Claude без аккаунта? 👀 DuckDuckGo добавил в Duck.ai несколько популярных AI-моделей: Claude Haiku 4.5, GPT-5.4 mini, Mistral Small 4, gpt-oss-120b и Gemma 4 31B. Можно переключаться между разными моделями прямо в одном диалоге: если одна AI застряла на задаче, передать разговор другой. DuckDuckGo делает упор на приватность: запросы проходят через анонимизирующий прокси, а провайдеры моделей ограничены в использовании данных для обучения. Получается удобный «AI-комбайн»: несколько нейросетей в одном месте вместо десятка вкладок. https://duck.ai

🖥 Учим SQL не по учебнику, а расследуя преступления В Steam выходит Ghost in the SQL - детективная игра, где главный инструмент расследования не лупа и не допросы, а SQL-запросы. Чтобы найти подозреваемого, восстановить события или докопаться до нужной улики, придётся работать с базами данных, фильтровать информацию, связывать таблицы и писать запросы. Каждое дело постепенно знакомит с SQL через практику - от простых выборок до более сложного анализа данных. Обещают разные расследования - поджоги, убийства и другие преступления. Редкий случай, когда SELECT, JOIN и WHERE действительно помогают найти преступника. https://store.steampowered.com/app/5072430/Ghost_in_the_SQL_Data/

☁️☁️☁️☁️☁️☁️☁️ 24 сентября Yandex Cloud проведёт ежегодную флагманскую технологическую конференцию Yandex Scale 2026.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн. В треке Data расскажем, как Yandex Cloud развивает аналитику от отдельных сервисов к единой бесшовной среде: от загрузки данных до готовых бизнес-инсайтов, где ИИ помогает на каждом этапе. Разберём, как YDB помогает строить рекомендательные и поисковые системы и ИИ‑ассистентов. «Додо Пицца» представит честную историю миграции десятков терабайт данных в Yandex Cloud, а также расскажет о сравнении с западным облаком и совместном преодолении ограничений. Расскажем, как Yandex Cloud движется к самоуправляемым базам данных на основе опыта эксплуатации тысяч баз в Яндексе. «Азбука вкуса» разберёт миграцию Oracle Exadata на Lakehouse в Yandex Cloud без единого аврала. И покажем, как Yandex Managed Service for Valkey научили растягиваться под нагрузку — и вширь, и вглубь.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 Отдельно пройдут воркшопы по Data: разберём ключевые сценарии использования ИИ‑агента Нейроаналитика в Yandex DataLens. На практике посмотрим, как PGHouse позволяет OLTP‑базе PostgreSQL прозрачно выполнять OLAP‑запросы в ClickHouse без переписывания SQL. И соберём поисковую систему на Serverless YDB с настройкой полнотекстовых и векторных индексов.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 И это ещё не всё: демозоны, питчинг решений, IT-квест и мерч — офлайн, а розыгрыши призов и секретный гость — в онлайн-студии.

Вся программа — на сайте, регистрация занимает пару минут, а участие бесплатное!

Создатель PostgreSQL фактически поблагодарил Oracle за успех своей базы Майкл Стоунбрейкер считает, что поворотным моментом стала покупка MySQL компанией Oracle в 2010 году. Разработчики испугались, что MySQL теперь зависит от одного владельца, и начали активнее смотреть в сторону PostgreSQL. По словам Стоунбрейкера, именно тогда и начался его взлёт. Спустя годы PostgreSQL стал одной из главных баз для разработчиков, а AWS, Google и Microsoft построили вокруг его протокола собственные сервисы. Стоунбрейкер объясняет успех просто: PostgreSQL контролирует не корпорация, а небольшая группа очень сильных open source-разработчиков. Ирония в том, что Oracle 15 лет строила главное преимущество PostgreSQL даже не специально: у PostgreSQL нет одного владельца, которого все должны бояться.

📌Scale AI измерила, насколько хорошо модели переписывают других агентов HarnessOpt-Bench - бенчмарк, который проверяет, умеет ли модель улучшать харнесс чужого ИИ-агента. 🟡Механика Модель-оптимизатор получает исходную обвязку целевого агента, размеченную обратную связь по результатам прогонов и фиксированный бюджет. Она переписывает код, а в конце собирает финальную версию, которую оценивают на отложенном наборе задач - его оптимизатор во время работы не видит. Тесты выполняются в доверенной среде исполнения на базе VeRO - она следит за бюджетом, прячет отложенные данные, считает потраченные токены и сохраняет каждую версию для аудита.

Так сделали для того, чтобы защита от накрутки была свойством песочницы, а не инструкцией, которую модель может обойти.

🟡Результаты Прогнали пять топовых моделей на четырех наборах - OfficeQA, BrowseComp-Plus, Terminal-Bench и GAIA, - всего 111 запусков. Модели четко разошлись по уровням, причем выбор самой модели влияет на результат примерно в 1,8 раза сильнее, чем то, в каком кодинг-агенте она работает. Впереди Opus-5, она выбрала около двух третей доступного запаса улучшений на OfficeQA и половину на BrowseComp-Plus, а всего выиграла три задачи из четырех. Родная среда для модели (Сodex для GPT, Сlaude Сode для Claude, Kimi Cli для Kimi) устойчивого преимущества не дает. Отдельно Scale AI посмотрела динамику по поколениям. У пяти релизов GPT прирост рос монотонно, с +0,03 до +0,49, у пяти релизов Claude Opus - с +0,37 до +0,59.

Важно понимать, что настоящим самоулучшением это назвать пока нельзя, так как одна модель переписывает среду другого агента, исходный тестовый харнесс которого специально был сделан с большим запасом для оптимизации.

@ai_machinelearning_big_data #news #ai #ml

Вчера запрос летал, сегодня умер. Виноват новый query plan Код не менялся, а SQL внезапно стал медленным. Причина почти всегда в том, что оптимизатор выбрал другой план: статистика устарела, данные перекосило, редкий фильтр начал бить по трети таблицы. Сравниваешь EXPLAIN ANALYZE вчера и сегодня, смотришь расхождение estimated и actual rows, обновляешь статистику и проверяешь селективность индексов.