Data Science: SQL и Аналитика данных

🔥Vector-базы не умерли, но для многих задач отдельный сервер уже не нужен. sqlite-vec добавляет vector search прямо в SQLite через компактное расширение. Что это даёт: ⏺️ без Pinecone ⏺️ без Weaviate ⏺️ без Qdrant ⏺️ без отдельного vector DB сервера ⏺️ всё хранится рядом с обычными данными в SQLite Расширение маленькое, open source и запускается везде, где работает SQLite. Для локальных AI-приложений, RAG, embedded-сценариев и небольших сервисов это особенно интересно: одна база, один файл, обычный SQL + поиск по эмбеддингам. https://github.com/asg017/sqlite-vec 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 SQL-задача: ближайшие точки с подвохом Карта размером 100 × 100 замкнута: переход вправо от x = 100 возвращает к x = 0. По вертикали действует то же правило.

CREATE TABLE points (
    id INT PRIMARY KEY,
    x INT,
    y INT
);

INSERT INTO points VALUES
(1,  1,  1),
(2, 99, 99),
(3, 50, 50),
(4, 52, 52);

Напишите запрос, который найдёт все пары точек с минимальным расстоянием по прямой с учётом переходов через границы. Условия: ⏺️ точку нельзя сравнивать с собой; ⏺️ пары (1, 2) и (2, 1) считаются одной; ⏺️ при одинаковом минимуме выведите все пары; ⏺️ результат: id1, id2, distance. Обычная формула расстояния без учёта границ даст неверный ответ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Claude Code за 103 секунды удалил более 48 тысяч файлов Пользователь Claude Code сообщил о серьёзном инциденте: AI-агент якобы удалил 48 218 файлов рабочего проекта и уничтожил часть Git-репозитория. Что произошло: ⏺️ агенту поручили пересобрать mirror проекта; ⏺️ он написал Python-скрипт для удаления старой копии; ⏺️ в Windows-каталоге находились directory junctions, ведущие обратно в рабочее дерево; ⏺️ проверка ссылок сработала не так, как ожидалось; ⏺️ скрипт начал удалять уже реальные файлы проекта. В результате были очищены .git/objects, refs и logs, поэтому восстановление через обычный Git оказалось невозможно. Checkpoint Claude Code здесь не обязательно спасает, потому что изменения, сделанные через Bash/PowerShell, могут не попадать в механизм rewind. ➡️ Источник: https://cybersecuritynews.com/claude-code-agent-file-deletion/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 SQL-задача с опасным подвохом Какой баланс получит аккаунт после выполнения запроса в PostgreSQL?

CREATE TABLE accounts (
    id      int PRIMARY KEY,
    balance int
);

CREATE TABLE operations (
    account_id int,
    amount     int
);

INSERT INTO accounts VALUES (1, 100);
INSERT INTO operations VALUES
    (1, 10),
    (1, 20);

UPDATE accounts a
SET balance = a.balance + o.amount
FROM operations o
WHERE o.account_id = a.id;

Многие ответят 130, но PostgreSQL обновит строку только один раз. Результатом может стать 110 или 120. Если целевая строка соединяется с несколькими строками из FROM, PostgreSQL использует одну из них, но какую именно, не гарантируется. ➡️ Правильный вариант:

UPDATE accounts a
SET balance = a.balance + x.total
FROM (
    SELECT account_id, SUM(amount) AS total
    FROM operations
    GROUP BY account_id
) x
WHERE x.account_id = a.id;

Теперь каждой строке accounts соответствует ровно одна строка источника, а баланс станет 130. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Учиться Data Science у тех, кто ежедневно работает с данными МТС открывает набор в Школу аналитиков данных — бесплатную программу обучения на 10 месяцев для тех, кто хочет системно прокачать навыки в Data Science, машинном обучении и Big Data вместе с действующими экспертами Центра BigData МТС 👈 В программе: SQL, Python, математика, теория вероятностей, машинное обучение, нейросети, рекомендательные системы и не только. ➡️ Приятный бонус — возможность попасть на на стажировку в Центр BigData МТС или другую команду. Школа подойдёт студентам последних курсов и выпускникам технических вузов, junior и middle аналитикам данных и ИТ-специалистам, которые хотят прокачаться в Data Science. Обучение абсолютно бесплатное и будет занимать не менее 8-10 часов в неделю: совмещать с другой учёбой и работой можно, главное — уметь планировать свою нагрузку. Приём заявок открыт с 1 по 25 октября. Дальше по плану — анкета и мотивационное письмо до 25 октября. После этого — входное тестирование в один из дней с 26 октября по 1 ноября

🔥 Как SQLite превращает числа в текст по две цифры за раз Обычное преобразование целого числа в строку извлекает цифры по одной с помощью деления на 10 и остатка % 10. В SQLite используется таблица sqlite3DigitPairs - строка длиной 200 байт со всеми парами от 00 до 99:

"00010203040506070809"
"10111213141516171819"
...
"90919293949596979899"

Алгоритм берёт две цифры сразу и копирует готовую пару по вычисленному индексу. Это сокращает количество делений и итераций при форматировании i64 и u64. Небольшая оптимизация внутри sqlite/src/util.c, которая особенно заметна на миллионах преобразований. #SQL #PostgreSQL #Database 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Во вложении — оффер на позицию Data Scientist 💼 Хотите получить такое сообщение уже через пару месяцев? Data Scientist работает там, где данные превращаются в решения: строит ML-модели, ищет закономерности, проверяет гипотезы и помогает внедрять AI в реальные продукты. И чтобы выйти на рынок, не обязательно сначала год учиться в стол. Симулейтив запускает интенсивный буткемп по Data Science: за первые 10 недель вы собираете базовый стек, работаете над реальными проектами, начинаете готовиться к собеседованиям и выходите на рынок! Что вас ждёт на программе: ➖ Python, ML, статистика, работа с данными и AI-инструментами;  ➖ практика на реальных задачах и проектах;  ➖ понятный ежедневный план и поддержка менторов;  ➖ еженедельные живые занятия;  ➖ подготовка к собеседованиям с первых недель: интервью, разбор вопросов и резюме. Буткемп — только первый этап. Дальше можно углубить стек и двигаться к уровню middle: ➖ продвинутый Python;  ➖ Git;  ➖ статистика и A/B-тестирование;  ➖ Airflow;  ➖ MLOps и развёртывание ML-моделей. Подойдёт тем, кто хочет войти в Data Science по понятному маршруту, быстрее перейти от теории к практике и не тратить месяцы на самостоятельный поиск того, что учить дальше, чтобы собрать крепкую базу 🔥 И главное: сейчас в Симулейтив можно получить один из 5 грантов на обучение, а трудоустройство после программы гарантировано договором Новый поток стартует совсем скоро 🔗 ЗАБРОНИРОВАТЬ МЕСТО

🔥 SQL-задача с подвохом Что вернёт этот запрос в PostgreSQL?

CREATE TABLE payments (
    id     int,
    amount int
);

INSERT INTO payments VALUES
    (1, 100),
    (2, 100),
    (3, 200);

SELECT
    id,
    amount,
    SUM(amount) OVER (ORDER BY amount) AS total
FROM payments
ORDER BY id;

Многие ожидают:

1 | 100 | 100
2 | 100 | 200
3 | 200 | 400

Но результат будет другим: 1 | 100 | 200 2 | 100 | 200 3 | 200 | 400 По умолчанию PostgreSQL использует окно RANGE ... CURRENT ROW. Строки с одинаковым amount считаются равными соседями и попадают в окно вместе. Для построчного накопления нужно указать ROWS: SUM(amount) OVER ( ORDER BY amount, id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW )

#SQL #PostgreSQL #Database 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Tabularis - единое open-source приложение для работы с SQL Если приходится постоянно переключаться между разными клиентами для PostgreSQL, MySQL и SQLite, Tabularis собирает всё в одном desktop-приложении. Что умеет: ⏺️ PostgreSQL, MySQL/MariaDB и SQLite из коробки ⏺️ SQL notebooks с Markdown, результатами и графиками ⏺️ визуальный конструктор запросов ⏺️ Visual EXPLAIN с интерактивным разбором query plan ⏺️ переменные между ячейками ⏺️ MCP-сервер для AI-агентов ⏺️ расширение поддержки других БД через плагины Подходит как единое рабочее место для аналитики, разработки и отладки SQL. Apache 2.0. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 LatticeDB - локальная база для Graph RAG и памяти AI-агентов Проект объединяет в одном embedded-движке сразу три способа работы с данными: ⏺️ граф связей ⏺️ векторный поиск через HNSW ⏺️ полнотекстовый поиск BM25 Вся база хранится в одном файле - без отдельного сервера и сложной конфигурации. Есть bindings для Python, TypeScript/Node.js и Go. Подходит для Graph RAG, agent memory и локальных knowledge-систем. ➡️ https://readhacker.news/s/73wnt 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

📊 Аналитик данных: системные знания для профессионального роста 14 октября на Факультете компьютерных наук НИУ ВШЭ стартует программа профессиональной переподготовки «Аналитик данных». Программа охватывает ключевые направления работы с данными: от Python, SQL и статистики до продуктовой аналитики, визуализации и машинного обучения. 📚 В программе: • Python и SQL для анализа данных; • математика и статистика; • проверка гипотез и A/B-тестирование; • визуализация данных и BI; • продуктовая аналитика; • машинное обучение; • хранилища данных и основы работы с большими данными; • итоговый проект на основе реальной задачи. 🎓 Главное о программе: • ФКН НИУ ВШЭ — один из ведущих факультетов России в области компьютерных наук; • преподаватели программы работают в Яндексе, Ozon Tech, Wildberries, Магните, Okko, ivi и других технологических компаниях; • обучение построено на практических задачах и работе с данными; • по итогам обучения выпускники получают диплом о профессиональной переподготовке НИУ ВШЭ. 🔗 Подробнее о программе

Один товар, два покупателя. Как не продать больше, чем есть на складе? Если сначала прочитать остаток через SELECT, а потом уменьшить его отдельным запросом, два покупателя могут одновременно увидеть последнюю единицу. В PostgreSQL проверку и списание можно объединить: UPDATE products SET stock = stock - 1 WHERE id = 42 AND stock > 0 RETURNING id, stock; Что получится при одновременных запросах: • Первый покупатель уменьшит остаток с 1 до 0. • Второй дождётся освобождения строки, и условие stock > 0 будет проверено повторно. • Его запрос не обновит строку и ничего не вернёт — товар закончился. Так работает обычный уровень изоляции PostgreSQL READ COMMITTED. Добавьте защиту от отрицательных остатков: ALTER TABLE products ADD CONSTRAINT stock_nonnegative CHECK (stock >= 0); Списание остатка и создание заказа выполняйте в одной транзакции, чтобы при ошибке заказа изменение остатка тоже откатилось. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥pgbot - диагностика PostgreSQL для AI-агентов и приложений, написанная на Go Один исполняемый файл подключается к базе в режиме чтения, собирает встроенную статистику PostgreSQL и показывает проблемы: ⏺️ замедление запросов и ожидание блокировок ⏺️ неиспользуемые индексы ⏺️ состояние vacuum и репликации ⏺️ загрузку соединений и взаимные блокировки ⏺️ изменения относительно предыдущих проверок Диагностика рассчитывается кодом на Go. Опциональный AI-слой объясняет найденные проблемы и позволяет задавать вопросы обычным текстом. Для агентов и автоматизации предусмотрены MCP и версионированный JSON-вывод. Есть плагин для Claude Code. Базовые проверки работают без ключа LLM и внешнего сервиса. Проект находится в бете. GitHub - https://github.com/pgrundev/pgbot 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥Учим SQL не по учебнику, а расследуя преступления В Steam выходит Ghost in the SQL - детективная игра, где главный инструмент расследования не лупа и не допросы, а SQL-запросы. Чтобы найти подозреваемого, восстановить события или докопаться до нужной улики, придётся работать с базами данных, фильтровать информацию, связывать таблицы и писать запросы. Каждое дело постепенно знакомит с SQL через практику - от простых выборок до более сложного анализа данных. Обещают разные расследования - поджоги, убийства и другие преступления. Редкий случай, когда SELECT, JOIN и WHERE действительно помогают найти преступника. ➡️ https://store.steampowered.com/app/5072430/Ghost_in_the_SQL_Data/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 SQL-совет: `COUNT(*)` иногда можно вообще не считать Если в PostgreSQL тебе нужно не точное число строк, а быстрая оценка размера огромной таблицы, не запускай:

SELECT COUNT(*) FROM events;

На большой таблице это может читать миллионы строк. Для быстрой оценки можно взять статистику PostgreSQL:

SELECT reltuples::bigint
FROM pg_class
WHERE relname = 'events';

reltuples хранит примерную оценку количества строк, которую PostgreSQL обновляет после ANALYZE и VACUUM. Это полезно для админок, мониторинга, дашбордов и проверок вида «в таблице примерно 10 млн или 100 млн строк?», где абсолютная точность не нужна. А если нужна актуальная оценка:

ANALYZE events;

После этого reltuples станет ближе к реальному количеству строк. На таблицах в сотни миллионов строк разница между мгновенной оценкой и настоящим COUNT(*) может быть огромной. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Не застревайте в прошлом — учитесь новым навыкам и ИИ Чтобы успевать за требованиями рынка, освойте новую профессию и нейросети в Практикуме. До 30 сентября действует скидка 16% на все курсы.  Выбрать курс Как всё устроено:  — нейросети уже в каждом курсе: учим профессиям сразу с ИИ, чтобы ваше резюме было заметнее, а трудоустройство — увереннее; — эксперты — практики, которые двигают ИИ-индустрию: перенимайте опыт у профи из Яндекса, Сбера, Т-Банка и других бигтех-компаний; — воркшопы, которые успевают за изменениями: если сегодня завирусится новая нейросеть, то завтра вы сможете обсудить её с наставником. Начните учиться бесплатно и получите скидку 16% — она автоматически появится в личном кабинете.  Учиться! Erid: 2SDnjcNHSbd Название: ООО "ЯНДЕКС" ИНН: 7736207543

🔥 Исследователи нашли способ сократить расход токенов ИИ-агентов в 50 раз Исследователи из Google и Университета Пердью представили SKILL.state — новый подход к памяти агентов. Обычно во время длинных задач агент тащит за собой всю историю действий, из-за чего контекст безжалостно и неумолимо разрастается. Здесь же смысл в том, что вместо всей истории сохраняется только структурированное текущее состояние: важные факты, прогресс и данные, необходимые для следующего шага. Остальные, промежуточные рассуждения удаляются. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

➡️ SQL-запрос внезапно стал медленным? Проверь не только индексы, но и статистику Оптимизатор выбирает план запроса на основе статистики по данным. Если она устарела, база может решить, что строк мало, выбрать Nested Loop и в итоге прогнать миллионы сравнений. В PostgreSQL быстро обновить статистику можно так:

ANALYZE users;

А проверить, насколько оценки оптимизатора отличаются от реальности:

EXPLAIN (ANALYZE, BUFFERS)
SELECT *
FROM users
WHERE status = 'active';

Смотри на разницу между rows= и actual rows=. Если PostgreSQL ожидал 100 строк, а реально получил 500 000, проблема может быть не в индексе, а в плохой статистике. Особенно часто это всплывает после массовых INSERT, UPDATE, импорта данных или резкого изменения распределения значений. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

👀 SQL можно учить не по скучным таблицам, а через игру в стиле «Матрицы» Разработчик сделал тренажёр, где вы проходите уровни, находите терминалы и «взламываете» их SQL-запросами. Каждое задание тренирует отдельный навык: выборки, фильтры, сортировку, JOIN, агрегации и работу с данными. Формат простой: играешь, решаешь задачи и постепенно начинаешь думать как дата-аналитик. Идеальный вариант на выходные, если давно хотели подтянуть SQL без унылой теории. ➡️ http://sqlprotocol.com/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX