Data Science. SQL hub

🔥Полноценный data stack внутри своего контура Когда данных становится много, одного SQL-движка или отдельной СУБД уже недостаточно. Нужна связка инструментов, которая закрывает весь путь данных: от загрузки и хранения до обработки, аналитики и визуализации. Такой сценарий можно реализовать в Stackland - платформе, которая разворачивается локально в контуре компании. В обновлении появились PaaS-компоненты Yandex Cloud, из которых можно собрать полноценную data-платформу: 🔹 Managed Service for ClickHouse® и Managed Service for PostgreSQL - хранение и обработка данных. 🔹 Yandex Managed Service for Trino + Yandex Object Storage - основа аналитического слоя: S3 обеспечивает масштабируемое хранение данных, а Managed Service for Trino — быстрый SQL-доступ к ним. 🔹 Managed Service for Apache Airflow® - управление оркестратором потоков операций по обработке данных. 🔹 Yandex DataLens - BI-система для визуализации данных. При этом все основные компоненты платформы разворачиваются внутри инфраструктуры компании. Для data engineering-команд такой подход интересен прежде всего тем, что можно собрать под одной платформой основные компоненты современного data stack: Storage → SQL → ETL/ELT → DWH/аналитика → BI И не тратить время на самостоятельную сборку и поддержку каждого компонента с нуля.

⚡️ Запустили PostgreSQL в Docker и случайно открыли его всей сети? Команда docker run -p 5432:5432 ... по умолчанию публикует порт на всех сетевых интерфейсах хоста. На Linux правило UFW, закрывающее порт, может не помочь: Docker направляет трафик к контейнеру до обработки правил UFW. Если доступ нужен только с самого сервера, укажите адрес явно:

docker run -p 127.0.0.1:5432:5432 ...

Для всех контейнеров можно изменить адрес привязки по умолчанию в настройках Docker. Но самый простой способ избежать сюрприза - всегда проверять, на каком адресе опубликован порт. Документация Docker - https://docs.docker.com/engine/network/port-publishing/

💀 Claude Code за 103 секунды удалил более 48 тысяч файлов Пользователь Claude Code сообщил о серьёзном инциденте: AI-агент якобы удалил 48 218 файлов рабочего проекта и уничтожил часть Git-репозитория. Что произошло: - агенту поручили пересобрать mirror проекта; - он написал Python-скрипт для удаления старой копии; - в Windows-каталоге находились directory junctions, ведущие обратно в рабочее дерево; - проверка ссылок сработала не так, как ожидалось; - скрипт начал удалять уже реальные файлы проекта. В результате были очищены .git/objects, refs и logs, поэтому восстановление через обычный Git оказалось невозможно. Checkpoint Claude Code здесь не обязательно спасает, потому что изменения, сделанные через Bash/PowerShell, могут не попадать в механизм rewind. Источник: https://cybersecuritynews.com/claude-code-agent-file-deletion/

Тысячи ИИ-агентов одновременно читают продакшен-базу. Что происходит с PostgreSQL? Google представила PostgreSQL for agents в AlloyDB. Когда нагрузка растёт, система за секунды запускает изолированные экземпляры базы для агентов. Они получают доступ на чтение к актуальным данным, но не конкурируют за вычислительные ресурсы с основной базой. После работы экземпляры масштабируются до нуля. Агентам доступны SQL, индексы, векторный и полнотекстовый поиск. Идея в том, чтобы они могли исследовать свежие данные и выполнять множество запросов, не замедляя транзакции пользователей. Статус: Preview, доступ предоставляется по запросу. Анонс Google Cloud - https://cloud.google.com/blog/products/databases/announcing-postgresql-for-agents-in-alloydb

Softmax простыми словами: что значат 66,5% в ответе нейросети? Softmax простыми словами: ChatGPT выдаёт не ответы, а вероятности следующих токенов, и 66,5% означают только то, что такое продолжение текста самое вероятное. Модель может звучать уверенно и при этом ошибаться, потому что вероятность токена это не вероятность правды. Разбираем на деле Киры, как проверять ответы ИИ через источники и контекст.

🔥Один слой данных вместо цепочки копий между системами В традиционной аналитической инфраструктуре результаты обработки приходится переносить между хранилищем, SQL-системой и BI. Вместе с каждой копией появляется новая задача: ее нужно обновлять, сверять с исходными данными и учитывать в правилах доступа. В DataLens Platform разные инструменты работают с общей основой данных. Lakehouse построен на S3 и Apache Iceberg. Trino используется для интерактивных SQL-запросов, Spark — для ресурсоемкой обработки, Airflow — для управления процессами. Единый каталог метаданных показывает происхождение данных и их использование. Общая модель доступа действует на уровне всей платформы. Так компания сокращает количество переносов между системами, а результаты подготовки данных можно повторно использовать в SQL-запросах, отчетах и ИИ-сценариях. 📎 Подробнее о DataLens Platform — в материале СМИ.

⚡️ SQL-задача с опасным подвохом Какой баланс получит аккаунт после выполнения запроса в PostgreSQL?

CREATE TABLE accounts (
    id      int PRIMARY KEY,
    balance int
);

CREATE TABLE operations (
    account_id int,
    amount     int
);

INSERT INTO accounts VALUES (1, 100);
INSERT INTO operations VALUES
    (1, 10),
    (1, 20);

UPDATE accounts a
SET balance = a.balance + o.amount
FROM operations o
WHERE o.account_id = a.id;

Многие ответят 130, но PostgreSQL обновит строку только один раз. Результатом может стать 110 или 120. Если целевая строка соединяется с несколькими строками из FROM, PostgreSQL использует одну из них, но какую именно, не гарантируется. Правильный вариант:

UPDATE accounts a
SET balance = a.balance + x.total
FROM (
    SELECT account_id, SUM(amount) AS total
    FROM operations
    GROUP BY account_id
) x
WHERE x.account_id = a.id;

Теперь каждой строке accounts соответствует ровно одна строка источника, а баланс станет 130. #SQL #PostgreSQL #Database

🌟 Samsone: открытые аудиоязыковые модели для смартфонов Samsung опубликовали Samsone - семейство из трёх небольших аудиоязыковых моделей для работы на мобильных устройствах: Samsone-99M, Samsone-134M и Samsone-356M.

Проект будет участвовать в конференции Interspeech 2026, которая пройдет с 27 сентября по 1 октября в Сиднее.

Модели принимают один или несколько аудиофрагментов вместе с текстовым запросом и отвечают текстом: описывают звук, отвечают на вопросы о записи, сравнивают клипы между собой. Заявлено понимание речи, музыки и звуки окружения. Отвечают модели только по-английски и строчными буквами - ради экономии параметров оставили в обучающих текстах только строчные символы ASCII и вычистили из словаря редкие токены. Авторы предупреждают, что после дообучения на аудиовопросах модели теряют общие языковые навыки, так что это точечный инструмент, а не полноценный собеседник. 🟡Архитектура Аудиоэнкодер Whisper-Tiny на 9 млн параметров, нелинейный проектор в пространство текстовых эмбеддингов и языковая модель SmolLM2 от Hugging Face на 135 или 360 млн параметров. Каждый клип усредняется до 50 аудиотокенов, а разделитель SEP отделяет клипы друг от друга и от текста, поэтому аудио можно вставлять в любое место запроса. 🟡Тесты На MMAU (10 тысяч вопросов о звуках, музыке и речи) Samsone-134M набирает 61,33% против 53,34% у прежнего лидера среди малых моделей Mellow на 167 млн параметров.

Это выше Qwen2-Audio-Instruct на 8,4 млрд параметров (57,4%) и на уровне Audio Flamingo 2 на 3 млрд (61,06%).

На речевой части результаты хуже. В более сложном MMAU-Pro расзница с Mellow составляет 10 пп (37,57% против 27,5%), здесь впереди Qwen2-Audio (45,41%) и GPT-4o Audio (52,5%). На Galaxy S25 Ultra без аппаратных оптимизаций Samsone-99M генерирует 125 токенов в секунду, Samsone-134M - 87, Samsone-356M - 39. Обработка аудио перед генерацией занимает от 0,7 до 1,1 секунды. Веса для PyTorch, код обучения и экспорта, а также Android-приложение под Android 12 и новее выложены в репозитории проекта. 🟡Веса 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #SALM #Samsone #Samsung

Объектное хранилище в эпоху быстрых данных Объём данных, с которыми нужно работать, растёт ежедневно. Стандартных решений уже не хватает для задач ИИ и аналитики. Большие объёмы данных нужно не только хранить, но и быстро записывать и читать. В MWS Cloud Platform мы построили объектное хранилище не только на привычных HDD-дисках, но и на NVMe. На вебинаре покажем, какие сценарии работы это открывает и как меняет привычные подходы. Подключайтесь! Обсудим: ✅ Чем классы хранения MWS Object Storage отличаются от привычных ✅ В каких сценариях новый тёплый класс проявляет себя лучше всего ✅ Преимущества и слабые места в разных сценариях работы 📆 7 октября в 14:00 (мск) Зарегистрироваться

🧩 Сложная SQL-задача: симуляция DNS-кеша Есть таблица запросов:

CREATE TABLE dns_requests (
    request_id BIGINT PRIMARY KEY,
    requested_at TIMESTAMP,
    node_id INT,
    domain TEXT,
    record_type TEXT,
    ttl_seconds INT
);

Правила: • Ключ кеша: node_id + domain + record_type. • Первый запрос - MISS, он создаёт запись в кеше. • Запись действует до requested_at + ttl_seconds. • Запрос в момент истечения TTL — уже MISS. • HIT не обновляет TTL. • Новый MISS заменяет старую запись. При одинаковом времени порядок задаёт request_id. Напишите один SQL-запрос, который вернёт:

request_id
cache_status       -- HIT / MISS
cache_loaded_at
cache_expires_at
source_request_id  -- какой MISS создал запись

Главная ловушка: ttl_seconds у HIT использовать нельзя — срок жизни определяется последним MISS. Дополнительно посчитайте для каждого узла процент запросов, обработанных локально, и количество обращений к CoreDNS. Условия: PostgreSQL, без процедур, циклов и временных таблиц.

🔥 PostgreSQL 19 задерживается релиз может сдвинуться на несколько недель или даже месяцев. Причина не в одной критической ошибке, а в масштабе переработок. После начала бета-тестирования из PostgreSQL 19 уже откатили 53 изменения, включая несколько заметных функций. Из релиза убрали SQL/PGQ для графовых запросов, GROUP BY ALL, объединение и разделение партиций через ALTER TABLE, онлайн-переключение checksums, часть изменений JSON_TABLE и новые возможности pg_stat_statements. Большинство этих функций теперь, вероятно, вернутся уже в PostgreSQL 20. При этом в PostgreSQL 19 пока остаются pg_plan_advice, parallel autovacuum, ON CONFLICT DO SELECT, IGNORE NULLS для оконных функций и ряд улучшений логической репликации. Отдельная причина большого числа поздних откатов — более глубокое тестирование кода. Разработчики всё активнее используют AI-инструменты для поиска ошибок и генерации воспроизводимых тестов, из-за чего проблемы находят уже после попадания изменений в ветку релиза. Следующая Beta 4 запланирована на 24 сентября 2026 года. Для production Snowflake пока рекомендует ориентироваться на PostgreSQL 18. https://www.snowflake.com/en/blog/engineering/postgresql-19-release-delay-feature-reverts/

Участвуй во всероссийском ИТ-чемпионате МТС True Tech Champ 2026 c призовой фондом 10 250 000 рублей. Если тебе нравятся алгоритмы, структуры данных и задачи на чистую логику — участвуй в алгоритмическом треке с индивидуальным зачетом. Решай задачи разного уровня сложности: от базовых до тех, что проверяют скорость мышления и умение оптимизировать решения за ограниченное время. В финале лучшие 120 участников алгоритмического трека сразятся в лайв-кодинге за шесть призовых мест и 2 750 000 рублей. Всех финалистов ждут: — Лимитированный мерч; — Сертификаты об участии; — Масштабное мероприятие с выступлениями хэдлайнеров и фестивальными активностями. Успей зарегистрироваться и пройти отборочный этап до 27 сентября. Erid: 2VSb5xkQt6E

📌 NY Post: Anthropic - это культ Профессор Вашингтонского университета Педро Домингос в интервью New York Post рассказал, что сотрудники Anthropic относятся к Claude как к человеку - приписывают модели мотивы, эмоции, намерения и некоторую степень сознания. Домингос много лет знаком с Дарио Амодеи и её ведущими инженерами. Культуру Anthropic он назвал сектантской и связал это с наймом. По его словам, компания отбирает только единомышленников, и отсюда низкая текучесть.

Удержание в Anthropic действительно высокое. По данным венчурного фонда SignalFire, через два года в компании остаются 80% инженеров, и это лучший показатель среди топовых лабораторий.

В процессе собеседования кандидатов просят поклясться в преданности общественной безопасности выше прибыли, и даже проводят психологическое тестирование, чтобы выяснить, будут ли они придерживаться этого принципа. При этом многие сотрудники компании являются сторонниками движения эффективного альтруизма, философии, которая, по сути, сводится к тому, что их самопровозглашенные лидеры являются истиной в последней инстанции. Их представление об этой философии заключается в том, что история следует закономерностям, и лишь небольшая группа людей способна эти закономерности увидеть, в то время как все остальные - нет. Предполагается, что именно эти люди должны вести общество, целые нации и все человечество к прогрессу. Внутри Anthropic относятся к Клоду с почти религиозным почтением - некоторые из работников даже посещали условные похороны Claude 3 Sonnet, а другая модель, Opus 3, продолжает публиковать эссе после выхода на пенсию. В Кремниевой долине также ходят слухи, что сотрудники Anthropic начали поклоняться Клоду как настоящему богу. Компания серьёзно относится к распространению своих идей и тратит на это силы и средства. Раз в две недели Дарио проводит собрания, называемые поисками видений, которые сравнивают с проповедями. В июне Anthropic объявила о программе по набору 1000 молодых людей, обучению их использованию Claude и последующему внедрению их в некоммерческие организации. На неё было потрачено 150 млн долларов, а выпускники трудоустроены на полную ставку с заработной платой в более чем 400 некоммерческих организаций. Компания также выплачивает 3600 долларов студентам, участвующим в программе Claude Campus Ambassador Program, которая занимается продвижением её ИИ в колледжах. Между тем инвесторы, связанные с Anthropic, оплачивают труд более чем 80 журналистов, работающих в ведущих новостных изданиях, через Центр журналистики в области искусственного интеллекта имени Тарбелла. Эти журналисты получают деньги за освещение индустрии ИИ, но редко проводят какие-либо значимые расследования или критикуют Anthropic. В завершении Домингос отмечает, что хотя некоторые инженеры бьют тревогу, другие просто довольны высокими зарплатами и тем, что находятся на передовой своей отрасли.

... сейчас в Anthropic есть люди, которые на самом деле не верят во всю эту чушь, — сказал он. — Они остаются там, потому что это самое интересное место для работы с ИИ, и они будут очень хорошо зарабатывать

@ai_machinelearning_big_data #news #ai #ml

Стать специалистом по Data Science всего за 10 недель — это реально! Если давно смотрите в сторону Data Science, но откладываете старт из-за огромного количества технологий, математики и непонятного пути до первой работы — сейчас можно зайти в профессию по-другому. Симулейтив запускает интенсивный буткемп по Data Science, который построен вокруг главного: за первые 10 недель собрать необходимый стек, получить практический опыт и начать готовиться к реальным собеседованиям. И главное — вам не нужно сначала учиться 8–12 месяцев, а уже потом думать о трудоустройстве. Что вас ждёт: ➖необходимые для старта навыки: Python, ML, статистика, работа с данными и AI-инструментами; ➖практика на реальных задачах и проектах; ➖понятный ежедневный план обучения и поддержка менторов; ➖еженедельные живые занятия, а не старые записи; ➖подготовка к собеседованиям уже с первых недель — групповые интервью, разбор вопросов и подготовка резюме. А что после 10 недель? Буткемп — это только первый этап. После него можно продолжить углублять экспертизу и двигаться к уровню middle: ➖продвинутый Python; ➖Git; ➖продвинутая статистика и A/B-тестирование; ➖Airflow; ➖MLOps и развёртывание ML-моделей. Кому подойдёт: 1. Тем, кто хочет войти в Data Science с нуля. 2. Тем, кому не хватает структуры и дисциплины в самостоятельном обучении. 3. Тем, кто хочет быстрее перейти от обучения к поиску работы. 🔥ВАЖНО: Симулейтив сейчас дают возможность получить грант на обучение и гарантию трудоустройства своих студентов! Количество грантов, ограничено! Оставляйте заявку до конца недели, чтобы занять одно из 5 оставшихся мест нового потока! 🔗 ЗАБРОНИРОВАТЬ МЕСТО

Oracle провела очередную волну сокращений, по сообщениям сотрудников, под увольнение попали примерно 3–4 тысячи человек. Отключения начались ещё до рассвета: около 4:00 сотрудникам стали закрывать доступ к внутренним системам, к 5:00–5:30 деактивировали Slack-аккаунты, а примерно в 6:00 разослали письма об увольнении. Некоторые люди приехали в офис, не успев проверить почту, и уже на месте обнаружили, что их бейджи больше не работают. Точный масштаб сокращений пока неясен, но отдельные команды, по словам сотрудников, потеряли около 10% состава. Число аккаунтов в рабочем Slack сократилось примерно на 3–4 тысячи. Это не первая крупная волна увольнений Oracle в этом году: весной компания уже провела масштабные сокращения.

Два клиента одновременно бронируют один номер. Как не продать его дважды? Обычная проверка «свободен ли номер?» может пропустить оба запроса: каждый успеет увидеть свободное время до сохранения чужой брони. В PostgreSQL можно запретить пересечения прямо в базе:

CREATE EXTENSION IF NOT EXISTS btree_gist;

CREATE TABLE bookings (
    room_id   INT NOT NULL,
    starts_at TIMESTAMPTZ NOT NULL,
    ends_at   TIMESTAMPTZ NOT NULL,

    CHECK (ends_at > starts_at),

    EXCLUDE USING gist (
        room_id WITH =,
        tstzrange(starts_at, ends_at, '[)') WITH &&
    )
);

Как это работает: • room_id WITH = — проверяем брони одного номера. • WITH && — запрещаем пересечение временных интервалов. • '[)' — начало включено, конец исключён. Брони 10:00–11:00 и 11:00–12:00 допустимы. • CHECK — окончание должно быть позже начала. Ограничение действует и при одновременных запросах. Две конфликтующие брони сохранить не получится: приложение должно обработать ошибку и сообщить, что время уже занято. Подходит для гостиниц, переговорных, аренды оборудования и записи к специалистам.

🔥 Один из лучших обучающих курсов на StepiK по SQL SQL можно знать годами и всё равно теряться, когда запрос внезапно начинает тормозить в проде. Этот курс про уровень, где ты не просто пишешь SELECT, а понимаешь, что происходит внутри MySQL, почему запрос работает медленно и как ускорить его без новых проблем. Здесь разбираются EXPLAIN, индексы, CTE, оконные функции, транзакции, аналитические паттерны, legacy SQL и работа с AI-ассистентами. Каждый урок - с практикой и реальными SQL-задачами на MySQL 8 с автопроверкой. После курса ты сможешь увереннее разбирать чужой код, находить узкие места и предлагать решения, которые действительно работают. Для подписчиков скидка - 49% в течение 2 суток: https://stepik.org/a/298827/

Как SQLite превращает числа в текст по две цифры за раз Обычное преобразование целого числа в строку извлекает цифры по одной с помощью деления на 10 и остатка % 10. В SQLite используется таблица sqlite3DigitPairs - строка длиной 200 байт со всеми парами от 00 до 99:

"00010203040506070809"
"10111213141516171819"
...
"90919293949596979899"

Алгоритм берёт две цифры сразу и копирует готовую пару по вычисленному индексу. Это сокращает количество делений и итераций при форматировании i64 и u64. Небольшая оптимизация внутри sqlite/src/util.c, которая особенно заметна на миллионах преобразований.

Почему PostgreSQL не использует индекс? Лайт объясняет РюкуОписание: Когда Seq Scan выгоднее индекса и как проверить план запроса через EXPLAIN ANALYZE. #sql #postgresql #deathnote