Data Science. SQL hub

🚀 Супербыстрая JSON-библиотека Tachyon v6.0 Tachyon — это высокопроизводительная библиотека JSON на C++20, обеспечивающая скорость парсинга до 4500 MB/s благодаря оптимизациям AVX2 и уникальной архитектуре "Dual-Engine". Она значительно превосходит аналогичные библиотеки, такие как simdjson и nlohmann::json. 🚀 Основные моменты: - Высокая скорость парсинга до 4500 MB/s - Поддержка JSON и JSONC с комментариями - Современный API C++20 с нулевым накладным расходом - Ленивая индексация и нулевое копирование данных - Строгая типизация и совместимость с STL 📌 GitHub: https://github.com/wilkolbrzym-coder/Tachyon.JSON

🖥 Большинство “парсеров” умирают через 2 дня. Ты научишься делать те, которые живут в проде. Это не про BeautifulSoup ради галочки. Это про системы сбора данных, которые: • не падают от мелких правок на сайте • собирают данные в разы быстрее • обновляют всё сами по расписанию • обходят ограничения и баны • выглядят как сервис, а не хаос из файлов Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключиться. В итоге ты сможешь: • забирать данные для своих проектов • автоматизировать чужую рутину • делать инструменты для аналитики • брать коммерческие заказы на сбор данных Это навык, который напрямую превращается в деньги. Не “знаю Python”, а умею добывать данные из интернета профессионально. 🎁 48 часов скидка 50% на Stepik: https://stepik.org/a/269942/

Интеллектуальное импортозамещение СУБД: миграция с MS SQL и Oracle без переписывания кода В условиях новых технологических реалий перед CIO, IT-директорами и руководителями проектов стоит критически важная задача - обеспечить плавный переход на отечественные решения без остановки бизнес-процессов и роста бюджетов. Digital Q.DataBase от Диасофт предлагает принципиально иной подход: миграция с западных СУБД без необходимости переписывания сотен тысяч строк кода. Программа вебинара: 📊 Стратегия импортозамещения СУБД: новые критерии выбора. 🔧 Архитектура Digital Q.DataBase: технические возможности и преимущества. ⚙️ Технология "Полиглот" в действии: механизмы поддержки T-SQL и PL/SQL, минимизация доработок при миграции. ✅ Практический опыт внедрения: анализ реальных проектов: от пилота до промышленной эксплуатации. Метрики, сроки, результаты. Дата и время: 3 февраля, 14:00 (МСК) Регистрация по ссылке Реклама. ООО "ДИАСОФТ ЭКОСИСТЕМА". ИНН 9715403607.

🛠️ Локальная панель для Cloudflare Workers Localflare — это инструмент для разработки, который упрощает взаимодействие с вашими ресурсами Cloudflare, такими как D1 базы данных, KV пространства и R2 бакеты. Он предлагает интуитивно понятный интерфейс для визуализации и управления данными в процессе разработки. 🚀 Основные моменты: - Полнофункциональный SQL-редактор для D1 баз данных - Удобный браузер для работы с KV парами - Менеджер файлов для R2 бакетов - Инспектор очередей для тестирования сообщений - Работает с любыми фреймворками без настройки 📌 GitHub: https://github.com/rohanprasadofficial/localflare

🚀 Timescale выпустил pg-aiguide: практический гайд по ИИ в PostgreSQL Timescale опубликовал открытый репозиторий pg-aiguide - это собрание лучших практик, примеров и шаблонов по работе с ИИ поверх PostgreSQL (в том числе TimescaleDB). Что внутри: - примеры интеграции LLM и AI-функций с БД - готовые SQL-рецепты и расширения - семантический поиск и анализ данных - шаблоны, которые можно сразу использовать в проде Это не теория, а набор готовых подходов для реальных проектов. 👉 https://github.com/timescale/pg-aiguide @sqlhub

🖥 Большой апдейт для Postgres: нормальный поиск прямо в базе У Postgres давно есть full-text search, но честно - качество ранжирования часто “так себе”. Если нужен реально удобный поиск по релевантности, обычно приходилось: - поднимать Elasticsearch - или подключать Algolia - и потом вечно мучаться с синхронизацией данных между системами Проблема не в том, что Postgres не умеет искать текст. Проблема в том, что стандартный ts_rank даёт довольно базовое ранжирование и сильно уступает современным поисковикам. Теперь появилась альтернатива. Команда TigerDatabase выложила в open-source расширение pg_textsearch - оно приносит BM25 ранжирование прямо в Postgres. Почему BM25 важно: BM25 - это алгоритм, который лежит в основе Elasticsearch/Lucene и большинства “нормальных” поисковых движков. То есть это уже проверенный стандарт качества поиска. Что даёт pg_textsearch: - BM25 ранжирование с настройками параметров - очень простой синтаксис: ORDER BY content <@> 'search terms' - работает с multi-language конфигами Postgres - хорошо сочетается с pgvector для hybrid search (keyword + embeddings) Для RAG это прям полезно: можно делать гибридное извлечение в одной базе (Postgres), без внешнего Elasticsearch и без лишнего glue-кода. И всё это - open-source под лицензией PostgreSQL. https://github.com/timescale/pg_textsearch

🖥 Нашёл любопытный проект: **`cq` —-SQL query engine для CSV-файлов, написанный на C.** Что умеет: - выполнять SQL-запросы прямо по CSV - фильтровать, агрегировать, делать JOIN’ы - работать быстро и без “тяжёлых” зависимостей - подходит для логов, датасетов, ETL-скриптов и ад-hoc анализа То есть вместо Python-скриптов или импорта в БД — можно просто кинуть SELECT по файлу и получить результат. ⚡️ Репозиторий: https://github.com/baldimario/cq/

🚀🐬 Вышел MySQL 8.4.8 (LTS) - что нового Доступен релиз MySQL 8.4.8 - это ветка Long-Term Support, то есть лучший выбор для продакшена: стабильность, долгий цикл поддержки и предсказуемые обновления. Ключевые улучшения: 👉 InnoDB Redo Logging - сообщения об ошибках стали информативнее - теперь показывают текущий LSN и детали по redo log capacity => проще диагностировать проблемы с redo log и производительностью 👉 OpenSSL обновили до 3.0.18 - важное обновление для безопасности и совместимости 👉 Исправления багов и стабильность - закрыли race conditions в InnoDB - починили проблемы с очисткой binary logs (binlog purging) - в целом релиз направлен на надёжность и производительность Если ты сидишь на MySQL в проде - LTS 8.4.x выглядит как правильный путь обновления. https://dev.mysql.com/downloads/mysql/ @sqlhub

⚡️ ИИ для SQL: пусть он объяснит «почему запрос тормозит» Профессиональный лайфхак: не проси ИИ «оптимизировать запрос» вслепую. Вместо этого — давай ему EXPLAIN / EXPLAIN ANALYZE и структуру таблиц. ИИ отлично умеет: - разбирать план выполнения - находить узкие места (Seq Scan, лишние JOIN, сортировки) - предлагать индексы и переписывание запроса по факту, а не наугад Алгоритм простой: 1️⃣ запускаешь EXPLAIN ANALYZE 2️⃣ прикладываешь схему таблиц 3️⃣ спрашиваешь: *где bottleneck и что бы ты поменял?* Так ты получаешь не магию, а обоснованные рекомендации с пониманием, зачем они нужны.

пример «правильного» запроса к ИИ с реальными данными

-- запрос
SELECT *
FROM orders o
JOIN customers c ON c.id = o.customer_id
WHERE o.created_at > NOW() - INTERVAL '30 days'
AND c.country = 'US'
ORDER BY o.created_at DESC
LIMIT 100;

-- план выполнения
EXPLAIN ANALYZE
SELECT ...
-- (сюда вставь полный план: Seq Scan / Index Scan / сортировки и т.п.)

-- схема таблиц (важно!)
\d orders
\d customers

-- вопрос ИИ:
"Разбери план выполнения. 
Где узкие места? 
Нужны ли индексы и какие именно? 
Можно ли переписать запрос быстрее, не меняя логику?"

@sqlhub

Как продакт-менеджеру выжить и вырасти в эпоху AI Нейросети уже меняют продукты, процессы и требования к продактам. Вопрос не в том, заменит ли AI продакт-менеджеров, а в том, кто научится использовать его быстрее и глубже других. Центральный университет запускает бесплатные открытые онлайн-уроки «Продуктовый менеджмент в эпоху AI». Кто будет говорить: — Ваня Замесин — автор AURA и Advanced JTBD, основатель курса «Как делать продукт» — Глеб Кудрявцев — ex CPO Skyeng и автор курса «Вайб-кодинг на максималках» — Илья Красинский — основатель & CEO Rick. ai и продуктового курса Product Heroes. О чем пойдет речь: — Какие навыки остаются базовыми для продакта в эпоху нейросетей. — Что уже сегодня можно делать в 10 раз быстрее с AI. — Как писать промпты, которые дают качественный результат. — Почему понимание юнит-экономики остается важным навыком в любую эпоху. — Зачем продакту вайб-кодинг и как меняется профессия. Когда: уроки с 28 января по 2 февраля, в 19:00 мск. Участие полностью бесплатное. После уроков сможете попасть на интенсив для продакт-менеджеров с возможностью получить грант до 75% на обучение в магистратуре Центрального университета. Регистрируйтесь уже сейчас!

🧱 Миграции без боли: как обновлять БД безопасно и без простоя Сохраняй себе: в реальных проектах миграции - это не “ALTER TABLE и поехали”, а зона риска. Один неверный шаг = даунтайм, блокировки и откат вручную. Правильный принцип: делай миграции так, чтобы приложение могло пережить оба состояния схемы - до и после изменения. Рабочая стратегия (2 шага) 1) Сначала добавляй новое, не ломая старое - добавляй новые колонки/таблицы - не удаляй и не переименовывай сразу - не делай NOT NULL без дефолта 2) Потом переключай код - сначала раскатываешь схему - потом деплоишь код, который пишет/читает новое - и только после этого убираешь старое Это называется “expand → migrate → contract” и это стандарт продакшн-миграций. Фишки, которые спасают на проде - всегда делай миграцию идемпотентной (IF EXISTS / IF NOT EXISTS) - не держи транзакцию долго - избегай тяжёлых ALTER на больших таблицах - проверяй количество строк, прежде чем апдейтить - делай бэкап/дамп перед большим изменением

-- safe-migration.sql

-- 1) EXPAND: добавляем новое, не ломая старое
ALTER TABLE users
ADD COLUMN IF NOT EXISTS email_verified BOOLEAN DEFAULT FALSE;

CREATE INDEX IF NOT EXISTS idx_users_email
ON users(email);

-- 2) MIGRATE: переносим данные маленькими шагами (пример)
-- (в реальности делается батчами на больших таблицах)
UPDATE users
SET email_verified = TRUE
WHERE email IS NOT NULL AND email <> '';

-- 3) CONTRACT: удаляем старое только после деплоя кода
-- (делать отдельной миграцией!)
-- ALTER TABLE users DROP COLUMN old_email_flag;

Переход в ML часто выглядит как шаг в неизвестность, даже если вы давно в данных. Вроде бы уже умеешь работать с данными, строить модели, делать выводы, но при этом не совсем понятно, что именно отличает ML-инженера от аналитика на практике. Какие навыки усиливать, как перестроить свой профиль, чтобы он выглядел не как “человек из data”, а как специалист, способный доводить модели до прода. На мастер-классе по машинному обучению karpovꓸcourses подробно разбирают, как выглядит реальная роль ML-инженера в компании, какие задачи он решает, как обычно строится карьерный путь и какие шаги помогают быстрее и осознаннее перейти в эту роль, не теряя годы на хаотичное обучение. Узнайте, какие навыки нужны и на примере реальной задачи по обучению модели посмотрите, как работает ML-инженер: https://clc.to/erid_2W5zFG1guAp Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFG1guAp

🖥 SQL-квест: фэнтезийное приключение для аналитиков данных Представь фэнтези-мир, где заклинания - это SQL-запросы, а древние артефакты спрятаны в таблицах и JSON-документах. 🧙Ты - боевой дата-аналитик, который с помощью SQL, Python, ETL и визуализаций охотится за харизматичным злодеем Архивариусом Пакостусом, что ломает индексы, крадёт данные и готовит “шторм данных” на столицу.🔮 В каждом эпизоде тебя ждут: выборы с последствиями, хитрые задачи от простых SELECT до рекурсивных CTE и BigQuery, юмор, эпик и неожиданные повороты. Хочешь проверить, сможешь ли ты спасти королевство не мечом, а запросами? Тогда добро пожаловать в SQL-квест. 🪄 Начать квест: https://uproger.com/sql-kvest-fentezijnoe-priklyuchenie-dlya-analitikov-dannyh/

👻 gh-ost - инструмент для миграций схемы MySQL без даунтайма. Если тебе надо сделать ALTER TABLE на большой продовой таблице и не положить сервис - gh-ost это прям must-have. Большинство online-schema-change тулов используют триггеры и создают лишнюю нагрузку. А gh-ost идёт по другому пути: ✅ Triggerless - вообще без триггеров ✅ Читает изменения через binlog stream и асинхронно применяет их к “ghost table” ✅ Даёт полный контроль над процессом миграции: - пауза/резюм - throttle (снижение нагрузки) - аудит и статус - безопасный cut-over Как это работает (по-простому): 1) создаётся “ghost table” с новой схемой 2) данные копируются постепенно 3) параллельно изменения ловятся из binlog 4) в конце таблицы меняются местами почти мгновенно Идеально для: 🔥 таблиц на десятки миллионов строк 🔥 production-систем 🔥 миграций без блокировок 📌 Репо: github.com/github/gh-ost

Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧 Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге. Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия: Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн. Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии. Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках. Регистрация открыта до 22 января. Регистрация для Москвы: https://bit.ly/49O6QSm?erid=2VtzqvwvzEX Для Санкт-Петербурга: https://bit.ly/3Zg6FtX?erid=2VtzqvwvzEX

🛠️ Легкий TUI для работы с SQL базами данных sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках. 🚀Основные моменты: - Поддержка множества баз данных без дополнительных адаптеров - Удобный интерфейс для управления соединениями - Встроенная история запросов с возможностью поиска - Поддержка SSH туннелей для безопасного подключения - Редактирование в стиле Vim для терминальных пользователей 📌 GitHub: https://github.com/Maxteabag/sqlit #python

PostgreSQL: архитектура и тюнинг SQL-запросов Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL. 🌐 В программе курса: 🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных 🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов: без индексов, с индексами, index only, нормализованные и документ-ориентированные данные и json-поля, изменение параметров сессии/конфигурации для ускорения запросов 🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД 🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – предоставляется БЕСПЛАТНО на время обучения + готовый e-commerce датасет TPC-H (миллион пользователей, несколько миллионов заказов на десятки гигабайт) 🗓 Старт курса: 22 января. 5 недель обучения. Изучить программу и записаться можно здесь. 🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО. Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqvfphVC

🎨 TailwindSQL: SQL Queries with Tailwind-style Syntax TailwindSQL позволяет писать SQL-запросы, используя синтаксис, похожий на классы Tailwind. Просто укажите className в React Server Components, чтобы получать данные из базы данных без лишнего кода на клиенте. 🚀 Основные моменты: - 🎨 Синтаксис в стиле Tailwind для SQL-запросов - ⚡ Поддержка React Server Components без клиентского JavaScript - 🔒 Использует SQLite для быстрого доступа к локальным базам данных - 🎯 Запросы обрабатываются на этапе сборки/рендеринга - 🎭 Разнообразные режимы отображения: текст, списки, таблицы или JSON 📌 GitHub: https://github.com/mmarinovic/tailwindsql #javascript

⚡️ Vector search: Кидать историю чата в векторную БД - это не «память». Это просто поиск по смыслу. RAG хорошо достаёт документы, но не держит состояние пользователя. Здесь может помочь Mem0 - open-source слой памяти между человеком и LLM. Он учится на диалогах и сохраняет то, что важно. Что даёт: - 🧠 помнит предпочтения (не только факты) - ✂️ сжимает историю — меньше токенов и быстрее ответы - 🤝 делится знаниями между несколькими агентами Если система не помнит опыт - это не агент, а поисковик. Mem0 делает память - живой и адаптивной. https://github.com/mem0ai/mem0

SQL отработал, но цифры не сходятся? SQL Логи бизнеса — канал про реальные рабочие задачи аналитика Здесь: 🔸ловушки с собеседований 🔸разборы запросов, которые «работают, но не так как надо» 🔸кейсы из банковской аналитики 🔸тесты Канал ведёт действующий банковский аналитик с опытом работы в Сбере и Т-Банке и с дипломом ВШЭ Если вам нужен SQL для работы и собеседований — добро пожаловать в SQL Логи бизнеса Вот некоторые посты с канала: • Самая частая ошибка джунов • Когда запрос работает, но выдает не то, что вы ожидаете • Когда действительно нужен self-join