Data Science. SQL hub

🔥 Подборка полезных ресурсов для программистов. Здесь ты найдёшь всё это - коротко, по делу и без воды. Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты! AI: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Собеседования DS: t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_1001_notes Java: t.me/java_library Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Haskell: t.me/haskell_tg Физика: t.me/fizmat 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy Папка Linux:https://t.me/addlist/w4Doot-XBG4xNzYy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy Сохрани себе, чтобы не потерять!

# ⚠️ Расследователи сомневается в AI-сделках Oracle на $300 млрд — и это тревожный сигнал Сейчас мы видим, как крупнейшие IT-компании (гиперскейлеры) заключают многолетние контракты на искусственный интеллект на сотни миллиардов долларов. Но никто ещё не проверял, насколько всё это реально окупается. Это - эксперимент на деньгах, технологиях и времени. 💸 Если хотя бы часть этих сделок не сработает, задержится или не принесёт ожидаемой прибыли, удар почувствует вся AI-индустрия - от чипов до облаков. 🧱 Да, AI-бум реален. Но его финансовый фундамент пока как мокрый цемент — выглядит крепко, но легко может просесть. 🎯 Если у Oracle получится - они войдут в список самых влиятельных компаний мира. ❗ Если нет — вся отрасль поймёт, насколько эта гонка на самом деле рискованна и нестабильна. > 📊 Пузыри не лопаются, когда в них перестают верить. > Они лопаются, когда кто-то наконец проверяет цифры. @sqlhub

🖥 PYTHON: ХИТРЫЙ ТРЮК С SQL Если вы работаете с большими таблицами в SQL через Python, и не хотите тянуть всё в память, используйте ленивую подгрузку данных с генерацией чанков. Это особенно полезно, если вы делаете агрегации, фильтрации или сохраняете результат в файл — можно обрабатывать данные частями, не загружая весь датасет сразу. Удобно, быстро и экономит память. Работает даже с миллионами строк.

import pandas as pd
from sqlalchemy import create_engine

# подключение к базе данных (пример для PostgreSQL)
engine = create_engine("postgresql://user:password@localhost:5432/dbname")

# читаем по 10000 строк за раз
chunk_iter = pd.read_sql("SELECT * FROM big_table", engine, chunksize=10000)

# обработка: сохраняем отфильтрованные строки в файл
with open("filtered_output.csv", "w", encoding="utf-8") as f:
    for i, chunk in enumerate(chunk_iter):
        filtered = chunk[chunk["amount"] > 1000]
        filtered.to_csv(f, index=False, header=(i == 0))

https://www.youtube.com/shorts/y5orXDD2mdU

Antares SQL Client Современный, быстрый и ориентированный на продуктивность SQL-клиент с акцентом на пользовательский опыт (UX). Текущие ключевые функции: - Подключение к нескольким базам данных одновременно. - Управление базами данных (добавление/редактирование/удаление). - Полное управление таблицами, включая индексы и внешние ключи. - Управление представлениями, триггерами, хранимыми процедурами, функциями и планировщиками (добавление/редактирование/удаление). - Современная и удобная система вкладок; держите открытыми все необходимые вкладки в вашем рабочем пространстве. - Заполнение тестовых данных в таблицах для генерации большого объема данных. - Подсказки и автозаполнение запросов. - История запросов: поиск по последним 1000 запросам. - Сохранение запросов, заметок или задач. - Поддержка SSH-туннелей. - Режим ручного выполнения транзакций. - Импорт и экспорт дампов баз данных. - Настраиваемые горячие клавиши. - Темная и светлая тема. - Темы редактора. https://github.com/antares-sql/antares

За 2,5 часа прокачаем маркетинг с нейросетями Технари, проходите мимо — здесь эфир для ребят из маркетинга. 25 ноября приходите на онлайн-интенсив по AI. Вас ждет: 📈 Кейс-стади. COFIX, CDEK, Звук и Gulliver расскажут, как оптимизировали маркетинг с ML и LLM. С результатами в цифрах! Например, Cofix ускорил обработку клиентских отзывов в 7000 раз. А Gulliver удвоил CTR товарных карточек на маркетплейсах. 👨‍🏫 Воркшоп по промптингу. Эксперты в прямом эфире помогут сегментировать клиентов, персонализировать рассылки и рекламу с ChatGPT. 📅 25 ноября, 11:00–13:30 мск 💻 Онлайн, бесплатно Зарегистрироваться erid: 2W5zFJPvCvk

💡 Продвинутый SQL-совет: используйте partial indexes как «селективный ускоритель», но не только для WHERE — ещё и для JOIN-ов. Большинство разработчиков делают частичные индексы так: CREATE INDEX idx_active_users ON users(id) WHERE active = true; Но фишка в том, что partial index может радикально ускорить запросы, где фильтр стоит не в WHERE, а «прячется» в JOIN-условии. Оптимизатор всё равно понимает условие и использует индекс. Например, у вас есть таблица logs, где 95% строк — архив, и только 5% актуальные. Запрос делает join:

SELECT u.id, l.event
FROM users u
JOIN logs l ON l.user_id = u.id AND l.is_archived = false;

Если делать обычный индекс, он будет огромный. Но partial index:

CREATE INDEX idx_logs_active ON logs(user_id)
WHERE is_archived = false;

Теперь: - индекс в 20–30 раз меньше - cache hit rate выше - планы меняются с seq scan на index scan - JOIN начинает работать почти как в in-memory базе Прикольно, что работает даже если в SELECT самого условия нет — главное, чтобы оно было в ON. Это отличный способ ускорять «холодные» большие таблицы, где часто обращаются только к маленькому активному сегменту. @sqlhub

🌊📊 pg_lake: Postgres для Iceberg и хранилищ данных pg_lake позволяет интегрировать файлы Iceberg и хранилищ данных в PostgreSQL, превращая его в полноценную lakehouse-систему. Поддерживает транзакции и быстрые запросы к таблицам Iceberg, а также работу с сырыми данными из облачных хранилищ, таких как S3. 🚀Основные моменты: - Создание и модификация таблиц Iceberg с полными транзакционными гарантиями. - Запрос и импорт данных из файлов в форматах Parquet, CSV, JSON. - Экспорт результатов запросов обратно в облачные хранилища. - Поддержка геопространственных форматов через GDAL. - Использование встроенного типа данных для полуструктурированных данных. 📌 GitHub: https://github.com/Snowflake-Labs/pg_lake #postgresql

AIJ Deep Dive: специальный очный трек для AI-профи в рамках международной конференции AI Journey! Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI: Это событие точно нельзя пропустить

1️⃣20 ноября — день Бизнеса: разберём успешные кейсы внедрения, оценим эффективность и практические результаты. 2️⃣ 21 ноября — день Науки: проведём глубокий анализ IT-решений, прорывных научных исследований, R&D-разработок и передовых методик.

На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы. Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е) Когда? 20–21 ноября 2025 года По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!

🧠 UnisonDB - экспериментальная база, которая убирает боль синхронизации в распределённых системах Главная идея простая, но мощная: все узлы хранят одно и то же состояние, и оно автоматически синхронизируется без конфликтов — даже оффлайн. Как это работает - Используются CRDT — структуры данных, которые сами разрешают конфликты - Вся система построена как event log (каждое изменение — событие) - Данные сначала пишутся локально, потом догоняют сеть - Нет «главного сервера» — каждый узел может быть источником истины Что это даёт - Мгновенные локальные обновления (даже без интернета) - Автоматическая консистентность без ручных merge - Идеально для приложений, которые должны работать оффлайн и в real-time Где это полезно - мобильные и edge-приложения - коллаборативные редакторы - распределённые системы без единого центра - автономные агенты и IoT Почему это интересно Это не просто база данных - это попытка пересобрать модель хранения данных под эпоху распределённого ПО, где сеть ненадёжна, а приложение должно всегда работать. https://github.com/ankur-anand/unisondb #databases #crdt #distributedSystems #eventSourcing #edgecomputing #backend #systemdesign

⚡Открытая трансляция главного зала HighLoad++ 2025! 🖐️ Подключайтесь и слушайте доклады от спикеров MTС Web Services (MWS), VK Tech, Яндекса, Т-Банка, СберТеха и других компаний. HighLoad++ 2025 — это конференция, которая определяет будущее высоконагруженных систем. 📍6 и 7 ноября все желающие могут бесплатно посмотреть онлайн-трансляцию главного зала. Открытую трансляцию мы организовали совместно с генеральным партнером конференции — МТС Web Services (MWS). МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные и Al-сервисы, а также платформенные решения под задачи бизнеса: от работы с данными до разработки продуктов и оптимизации бизнес-процессов. Как всегда, в главном зале — топовые эксперты и самые актуальные темы. ✅ Подробности и расписание на сайте

🖥 Инструмент для мониторинга активности PostgreSQL Следит за запросами, блокировками, использованием памяти и CPU - помогает мгновенно понять, что происходит с базой в реальном времени. 💻 Устанавливается одной командой: sudo apt install pg-activity Работает как локально, так и по сети. Если запускать от postgres или root, открывается полная статистика - системные процессы, временные файлы и всё, что нужно для анализа нагрузки. https://github.com/dalibo/pg_activity

🖥 Шардирование в базах данных: обзор концепции Шардирование или шардинг - это принцип проектирования базы данных, при котором данные разбиваются на части и размещаются на разных шардах. Интерактивный лонгрид по шардированию баз данных. В нем разобрано все - от принципов работы шардов и причин, зачем это вообще нужно, до тонкостей проектирования и типовых ошибок. Каждый раздел сопровождается интерактивными диаграммами, с которыми можно экспериментировать прямо в статье. Отличный материал, чтобы прокачать понимание распределённых БД на выходных 💡 Статья: https://planetscale.com/blog/database-sharding Видео: https://www.youtube.com/watch?v=R2ML2jLs3_U

🖥 Полный гайд: защита от SQL-инъекций для разработчиков SQL-инъекции остаются одной из самых частых и опасных уязвимостей в веб-приложениях. Ошибка в одном запросе — и злоумышленник получает доступ к базе данных, паролям и пользовательским данным. В этом материале — полный практический разбор: как именно происходят SQL-инъекции, какие ошибки разработчиков к ним приводят, как их распознать в коде и главное — как защититься. Разберём реальные примеры на Python, PHP и Go, посмотрим, как атакующий «взламывает» запрос, и научимся писать безопасный код с параметризованными запросами и ORM. Это не теория, а руководство, которое поможет понять уязвимость изнутри и навсегда закрыть её в своих проектах. 👉 Читать гайд

🤖 Авито готовит к запуску собственного ИИ-ассистента «Ави» Технологическая платформа Авито подала заявку на регистрацию товарного знака для своего интеллектуального ассистента — «Ави», сообщает «Коммерсант». 🧩 Что умеет «Ави» построен на базе большой языковой модели и умеет вести живой диалог с пользователем. Он не просто отвечает на вопросы — ассистент помогает разобраться в деталях покупки, уточняет цели и критерии выбора, советует подходящие предложения и объясняет различия между ними. Фактически, это персональный консультант внутри платформы, который знает рынок лучше любого менеджера. 💡 Почему это важно Крупные компании одна за другой внедряют собственные ИИ-решения — это уже не эксперимент, а стратегия. Такие ассистенты позволяют: • собирать контекст из разговоров с пользователями, • повышать вовлеченность и лояльность, • увеличивать продажи. Эксперты оценивают вложения в проект примерно в 500 млн рублей. Но для Авито эти траты — часть планомерного развития: компания уже заявляла о планах инвестировать в развитие генеративного ИИ около 12 млрд рублей и к 2028 году заработать более 21 млрд на новых технологиях. Собственные модели компании уже можно оценить в деле — Авито выпустила две нейросети: • A-Vibe — текстовая LLM, • A-Vision — мультимодальная модель, работающая с текстом и изображениями. Их успех говорит сам за себя: A-Vibe за первую неделю собрала 1400+ скачиваний и попала в топ трендовых моделей на Hugging Face. 🚀 Что дальше Сейчас «Ави» проходит тесты в разных категориях площадки. В планах — уже в следующем году запустить универсальную версию, которая сможет работать во всех вертикалях Авито.

Не пропустите! 05 ноября в 20:00 пройдет бесплатный урок по теме “PostgreSQL для администраторов и разработчиков” по теме “Работа с json в PostgreSQL: давно не просто текст.” Запись: https://otus.pw/9EAE/ JSON в PostgreSQL — это не временное хак-решение, это инструмент, который меняет подход к хранению данных. Он позволяет хранить гибкие, меняющиеся структуры прямо в таблице и при этом использовать мощь SQL: фильтрацию, индексы и транзакции.  На уроке вы увидите, как использовать JSON/JSONB так, чтобы не терять скорость и предсказуемость, но объединять удобство JSON-формата с производительностью и гарантиями PostgreSQL.  Рассмотрим:  - работу с типами данных JSON и JSONB в PostgreSQL.  - изучим операторы и функции для работы с JSON-документами.  - определим применение индексов и функций для повышения производительности при работе с JSONB.  Какие результаты на выходе:  - научитесь выбирать между реляционной моделью и использованием JSON в конкретном кейсе;  - получите готовые примеры и шаблоны запросов для использования в проектах.  Записывайтесь на вебинар и получит спец. предложение на обучение: https://otus.pw/9EAE/?erid=2W5zFGUaPy2 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ Вышел pgbalancer 1.0 - интеллектуальный балансировщик нагрузки для PostgreSQL Представлен первый стабильный релиз pgbalancer 1.0 — балансировщика нагрузки для PostgreSQL, построенного на основе pgpool-II с существенными доработками. Проект позиционируется как решение с элементами адаптивной маршрутизации запросов, управляемое через REST API и поддерживающее MQTT для потоковой передачи событий в реальном времени. Ключевые особенности: • Управление пулом соединений и распределение нагрузки между репликами PostgreSQL; •Поддержка HTTP/REST для конфигурации и мониторинга; • Интеграция с MQTT для стриминга метрик и событий; • Реализация на языке C с сохранением производительности оригинального pgpool-II; • Распространяется под открытой лицензией PostgreSQL. https://www.pgelephant.com/pgbalancer

🪄 Открытая альтернатива Firebase — на стероидах PostgreSQL Платформа, которая даёт всё, чтобы собрать современное веб-, мобильное или AI-приложение — без проприетарных SDK и боли. Что внутри: ⚙️ Хостинг Postgres с realtime-синхронизацией 🧩 Автогенерация REST и GraphQL API 🔐 Аутентификация и авторизация через JWT ⚡ Edge-функции и серверные триггеры 📦 Хранилище файлов с поддержкой S3 🧠 AI-инструменты: векторные индексы, эмбеддинги, семантический поиск 🪶 Всё open source и доступно для self-host. По сути это Firebase-опыт, но построенный на «взрослых» open-source технологиях: PostgreSQL, Elixir, GoTrue, PostgREST, pg_graphql. Платформа, где можно запустить идею, вырастить продукт и не упереться в чьи-то закрытые лимиты. #Postgres #OpenSource #Backend #AI #GraphQL #Realtime #FirebaseAlternative https://github.com/supabase/supabase

Для многих разработчиков моменты, когда они пишут код не по работе, а для профессионального вызова, становятся ключевыми в их росте. Именно таким вызовом может стать Yandex Cup 2025 — чемпионат, где встречаются сильнейшие разработчики, и один из треков которого посвящён машинному обучению.

Здесь реальные задачи, близкие к тому, с чем сталкиваются инженеры в продакшне: ограничения по ресурсам, шумные данные, необходимость найти баланс между скоростью и качеством.

Участие — способ не просто проверить свои навыки, но и заявить о себе в профессиональном сообществе. Лучшие участники получают приглашения на упрощённый отбор в команды Яндекса.

Финал пройдёт в Стамбуле, призовой фонд — 12 млн ₽. Регистрация заканчивается совсем скоро. Если вы чувствуете, что готовы выйти за пределы привычных задач — самое время. 💡 yandex.ru/cup/2025

🚀 Удобный инструмент для миграции схем PostgreSQL pgschema — это CLI утилита, которая упрощает процесс миграции схем в PostgreSQL, используя декларативный подход, похожий на Terraform. Она позволяет создавать, редактировать и применять изменения к схемам, обеспечивая контроль над миграциями без необходимости в дополнительных таблицах. 🚀 Основные моменты: - Декларативное управление схемами PostgreSQL - Поддержка всех основных объектов и версий PostgreSQL - Генерация плана миграции с предварительным просмотром изменений - Прямое взаимодействие с файлами схем и базой данных без временных БД 📌 GitHub: https://github.com/pgschema/pgschema #go