Data Science. SQL hub

Tarantool Column Store — это новая российская in-memory колоночная СУБД для гибридной транзакционно-аналитической обработки данных (HTAP) в реальном времени. Позволяет анализировать данные в real-time, ускорять аналитические расчеты. Обладает высокой производительностью благодаря многопоточности. Где можно применять новую СУБД: • Формирование финансовой отчетности в real-time; • Ускорение и повышение точности антифрод-систем — обнаружение подозрительных транзакций практически с нулевой задержкой; • Повышение производительности системы выдачи кредитов. Tarantool Columnstore в реальном времени анализирует матрицы, в которых содержится более 100 000 вариантов кредитных предложений и дополнительных услуг. Попробуйте высокую производительность и скорость — 1,6 млн. сканирований и 200 тыс. агрегаций в секунду на ядро, <200 микросекунд на запрос. ➡️ Оставить заявку

💻 Шпаргалка по SQL-инъекциям Эта шпаргалка по SQL-инъекциям содержит примеры синтаксиса, который часто используется для проведения атак на БД. Примеры инъекций приведены для разных СУБД: Oracle, PostgreSQL, MySQL, MicrosoftSQL. Проверьте, не подвержено ли ваше приложение SQL-инъекциям 🟡Рассматриваются SQL-инъекции для извлечения такой информации как: ├╼ Объединение строк ├╼ Подстрока ├╼ Комментарии ├╼ Версия базы данных ├╼ Содержимое базы данных ├╼ Условные ошибки ├╼ Извлечение данных с помощью сообщений об ошибках ├╼ Пакетные (или штабелированные) запросы ├╼ Временные задержки ├╼ Условные временные задержки ├╼ DNS lookup (Поиск DNS) ╰╼ DNS lookup с эксфильтрацией данных 📎 Шпаргалка @sqlhub

💻Работа с PostgreSQL: настройка и масштабирование — открытый учебник Держите ценный контент — открытый учебник от А. Ю. Васильева aka leopard по Postgres. Нереально полезно, здесь раскрывается множество важных моментов, связанных с этой СУБД 📎 PDF @sqlhub

Переходите на формат монитора 4K Вы сможете увидеть больше контента, чем при обычных разрешениях, и наслаждаться детализированным изображением. Компания MSI рекомендует свою новинку Modern MD27UL для повседневной работы c фото- и видеоредакторами, проведения стриминговых сессий и удаленной работы. Именно сейчас удачный момент воспользоваться выгодным предложением, чтобы обновить свой старый монитор на новый в сети магазинов DNS.

💻 Внутренности PostgreSQL: кэш системного каталога Системный каталог, или просто каталог — это таблицы, в которых PostgreSQL хранит информацию обо всех остальных объектах, хранящихся в базе данных. К ним относятся таблицы, функции, триггеры, и т.д. Обращение к системному каталогу происходит часто, поэтому для него предусмотрен кэш. Давайте же разберемся, как этот кэш устроен. Реализация кэша находится в следующих файлах: ⏩syscache.{c,h} — реализация основных функций кэша. Функции оперируют с Datum’ами и HeapTuple’ами; ⏩catcache.{c,h} — низкоуровневые функции, используемые syscache.c. Выделение и освобождение памяти реализовано здесь; ⏩lsyscache.{c,h} — высокоуровневая обертка над syscache.c. Содержит функции «получить имя отношения по его Oid» и подобного рода; ⏩inval.{c,h} — логика инвалидации кэша. Подробности см ниже по тексту; ⏩sinvaladt.{c,h} — реализация кольцевого буфера в разделяемой памяти, через который рассылаются сообщения об инвалидации кэшей; ⏩sinval.{c,h} — интерфейс коммуникации через sinvaladt.c. Содержит функции вроде «отправить / получить SharedInvalidationMessage»; 📎 Подробнее @sqlhub

✅ Что нужно знать для работы с Greenplum? Разберем предпосылки, историю, особенности на бесплатном практическом уроке посвященному курсу «Базы данных» от OTUS. 🔹На вебинаре мы разберём архитектуру и отказоустойчивость кластера Greenplum. Рассмотрим резервное копирование Greenplum и рекомендации по оптимизации. 🔹На уроке вы получите рекомендации: по загрузке \ выгрузке; Update \ deletes в таблицах GP;  Append-Optimized таблицы 👉 Регистрация https://clck.ru/3AABdJ?erid=LjN8KMoDr

💻Как сделать дамп PostgreSQL ⏩Держите полезную статью В ней рассматриваются процессы резервного копирования и восстановления данных в PostgreSQL, обсуждаются различные стратегии и методы, которые позволят обеспечить надежность и доступность ценных информационных ресурсов. Уверен, будет полезно) 📎 Статья @sqlhub

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя. В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей. Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения. Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!

💻Как в Postgresql реализовать поиск по первым символам каждого слова в строке? ▶️Суть задачи: На ввод подаются строки. Например: "один". Запрос в базу должен матчить записи типа "три два один", "одиннадцатый", но не должен матчить записи типа "иван родин" Как реализовать такое в SQL запросе? ▶️Для этого в PostgreSQL можно использовать оператор ~ и соответствующее регулярное выражение с '\m', обозначающим начало слова:

SELECT * 
FROM tbl 
WHERE name ~ '\mодин'

@sqlhub

🔊 X5 Tech на связи! Проводим новый митап по Data Science 25 апреля обсудим с экспертами ML системы и все, что вокруг: проверенные и новые методы взаимодействия с пользователями от рекомендаций музыки до генерации контента и чат-ботов на основе ИИ, а также сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем. 🎙️У микрофона: Дарья Андреева и Глеб Панин — менеджеры по работе с большими данными, X5 Tech Дмитрий Астанков — Machine Learning Engineer, Звук Артем Ерохин — ведущий менеджер по работе с большими данными, X5 Tech ✅ 25 апреля, 19:00 Москва, пространство Articon + онлайн трансляция За деталями и регистрацией - сюда __ Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689, erid: LjN8KNVda

Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя. В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей. Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения. Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи на сайт и регистрируйся прямо сейчас!

🖥 Решение задач с помощью SQL является важным навыком для дата-саентиста по нескольким причинам: 1. SQL позволяет эффективно извлекать, фильтровать и обрабатывать данные из баз данных. 2. SQL предоставляет возможность проводить аналитические запросы к данным, выявлять закономерности, тренды и паттерны, что помогает в принятии бизнес-решений. 3. Часто данные хранятся в различных базах данных или системах. Знание SQL помогает дата-саентисту объединять данные из разных источников для создания цельных наборов данных. 4. Написание оптимизированных SQL-запросов позволяет ускорить обработку данных и повысить производительность аналитических процессов. В целом, знание SQL позволяет дата-саентисту эффективно работать с данными, проводить анализ и извлекать ценные инсайты для бизнеса. Предлагаю немного попрактиковаться и порешать задачи на знание SQL. 🖇 Решение заданий из тренажера SQL Academy 🖇 Вводный Курс с задачами по работе с Базами данных 🖇В репозитории представлены проекты курса Аналитик данных 🖇Решение задач hackerrank по SQL 🖇100 ключевых Вопросов с собеседований @machinelearning_interview

💻Работа с json в PostgreSQL В PostgreSQL есть два типа данных для работы с JSON: json и jsonb. Они отличаются друг от друга способом хранения данных и способом работы с ними. ⏩Тип данных json использует текстовый формат хранения JSON-данных, который позволяет хранить только простые типы данных JSON: строки, числа, логические значения, null и массивы или объекты, состоящие только из этих типов. Это означает, что при хранении данных типа json не происходит никакой оптимизации, и любые изменения в данных приводят к перезаписи всей строки JSON. ⏩Тип данных jsonb использует бинарный формат хранения JSON-данных, который позволяет хранить все типы данных JSON, включая вложенные объекты и массивы, а также дополнительные типы данных, такие как булевы значения, даты и времена и т.д. Бинарный формат данных jsonb позволяет эффективно хранить, индексировать и быстро выполнять запросы к данным в формате JSON, и при изменении данных не требует перезаписи всей строки JSON, а лишь тех частей, которые изменились. ⏩Создание объектов json Одной из основных функций для работы с JSON является jsonb_build_object(), которая позволяет создавать объекты JSON внутри запросов. Это может быть полезно, например, при импорте данных из внешних источников. Предположим, что мы хотим в select-запросе динамически сгенерировать json-объект. Сделать это можно так:

SELECT jsonb_build_object('name', 'Иван', 'age', 30, 'city', 'Москва') AS person;

Этот запрос создаст JSON-объект со свойствами name, age и city, которые будут содержать соответствующие значения. Результатом запроса будет следующий JSON-объект:

{
  "age": 30,
  "city": "Москва",
  "name": "Иван"
}

📎 Подробнее @sqlhub

Аналитики данных, отзовитесь! 🔍 В Авито сильная культура использования данных и удобная развитая инфраструктура для аналитиков: 1️⃣ Руководитель группы аналитики в Core Analytics 2️⃣ Аналитик данных в команду антифрода 3️⃣ BI-разработчик в команду Core Analytics Вас ждут интересные и разнообразные задачи: аналитики в Авито ищут точки роста бизнеса, изучают поведение пользователей, придумывают фреймворки и настраивают дашборды. А ещё: – достойная зарплата, размер которой обсуждается на собеседовании; – много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо; – талантливая команда, крутая аналитическая культура и сообщество профессионалов; – удалёнка и классный офис в 2-х минутах от метро «Белорусская»; – ДМС со стоматологией с первого дня; – личный бюджет на обучение, который можно тратить на книги, курсы и конференции. Скорее переходите по ссылкам и откликайтесь!

🖥 Знаете ли вы, что в MySQL есть невидимые столбцы! Они нужны для обеспечения безопасности ваших данных (скрыть приватные данные, ключи).

CREATE TABLE t1 (col1 INT, col2 INT INVISIBLE);
 INSERT INTO t1 (col1, col2) VALUES(1, 2), (3, 4);

SELECT * FROM t1;
+------+
| col1 |
+------+
|    1 |
|    3 |
+------+

SELECT col1, col2 FROM t1;
+------+------+
| col1 | col2 |
+------+------+
|    1 |    2 |
|    3 |    4 |
+------+------+

https://dev.mysql.com/doc/refman/8.0/en/invisible-columns.html @sqlhub

💻Настройка обслуживания PostgreSQL. Основное и простое ⏩Обслуживание БД — это не единственный вопрос, который следует решать администратору СУБД. И при этом не самый первый, если речь идет о сопровождении сервера. ⏩В этой статье мы не будем рассматривать все вопросы обслуживания и сопровождения в этой публикации, это слишком большое количество информации. Вместо этого мы рассмотрим только самые основные стороны вопроса обслуживания баз данных, при этом подразумевая, что вы уже сделали: — Настроили под себя оптимальным образом настройки PostgreSQL, например, с помощью сервиса pgtune. — Решены все инфраструктурные вопросы в части работы сети, железа, дисков и так далее. — Вы понимаете как работает PostgreSQL в части модификации строк, как работает версионирование, что такое “мертвые” строки и так далее. Сосредоточимся только на базовых вопросах обслуживания. Итак, поехали! 📎 Статья @sqlhub

Магистратура для Data Scientists с возможностью трудоустройства — Авито х МФТИ Бесплатная программа обучения в МФТИ со стипендией 25 000 рублей для лучших студентов. Пройдите путь от студента до Middle Data Scientist за два года. За время учёбы вы научитесь работать с полным циклом задач в Data Science — от обучения продвинутых моделей до их релиза. Всё это — на реальных данных и со специализацией в разных доменных областях. Полученные знания будете использовать на стажировке в одной из DS-команд Авито. У вас будет свой проект — реальная задача, которая повлияет на бизнес и станет основой вашего диплома. А персональный ментор поделится опытом и поможет развиваться, искать решения и изучать инструменты и технологии. Условия: – длительность программы — 2 года; – оплачиваемая стажировка с первого семестра; – повышение грейда и оклада со второго года, если всё получается хорошо; – 40 часов учёбы и работы в неделю в гибридном формате: дома или в университете и офисе в Москве; – общежитие на время обучения для иногородних студентов. Программа подойдёт студентам последнего курса обучения, выпускникам или учащимся в магистратуре, готовым перевестись. Заявки принимаются до 26 апреля включительно. Регистрируйтесь, пока есть места.

🔥 Крутой список игр, которые помогут вам изучить программирование без скучных лекций, но с интерактивным подходом: • SQL Murder Mystery — вам предстоит стать шпионом Джаусом и использовать SQL для поиска загадочного убийцы; • CryptoZombies — Игра разделена на уроки, где вы, используя язык программирования Solidity, создадете свою первую веб-игру 3.0, собирая армию зомби; • Playground.tensorflow - браузерная игра, от tensorflow есть в которой можно настраивать и обучать нейросеть • Screeps — игра, которая похожа на Dwarf Fortress, но здесь для управления колонией нужно писать код; • Flexbox Froggy — милая игра про жаб, которая научит вас работе с CSS flexbox. Для полного погружения рекомендуется играть в определенной среде; • Checkio — отличное упражнение для программистов на Python и TypeScript. Сборник интересных интерактивных игр, решение которых требует написания кода. @DevOPSitsec

💻SQL-запрос для группировки и взятия уникальных значений ▶️Итак, есть табличка:

Number  Item
------------
202     Book
202     Cartoon
202     Book
207     Book
205     Elephant
207     Elephant
208     Book
209     Biggy
209     Smoke
203     Smoke

Нужно сгруппировать по number и вывести уникальные item для него, наподобие:

202 Book Cartoon
207 Book Elephant
205 Elephant
208 Book
209 Biggy Smoke
203 Smoke

Как это можно сделать? ▶️В целом ничего сложного, с этим справится вот такой запрос:

   SELECT Number,
          group_concat (DISTINCT Item separator ' ')
     FROM TABLE
 GROUP BY Number

@sqlhub

🔥Подборка лучших обучающих каналов для программистов. ➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять ⚡Машинное обучение Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду Ml ru - актуальные статьи, новости, код и обучающие материалы Ml Jobs - вакансии ML ML Книги - актуальные бесплатные книги МО ML чат 🏆 Golang Golang собеседование - разбор задач и вопросов с собесов Golang вакансии -работа для Go разработчика Golang книги библиотека книг Golang задачи и тесты Golang чат Golang news - новости из мира go Golang дайджест 💥 Linux /Этичный хакинг Linux Academy - гайды, секреты и лучшие материалы по Linux Kali linux - погрузись в мир этичного хакинга и кибербезопасности linux_kal - kali чат Информационная безопасность 🚀 Data Science Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста Data Jobs - ds вакансии Аналитик данных Data Science книги - актуальные бесплатные книги Big data 🛢Базы данных Sql базы данных - научим работе с базами данных профессионально Библиотека баз данных SQL чат Вакансии Sql аналитик данных #️⃣C# С# академия - лучший канал по c# С# заметки — код, лучшие практики, заметки программиста c# С# задачи и тесты С# библиотека - актуальные бесплатные книги C# вакансии - работа 🐍 Python Python/django - самый крупный обучающий канал по Python Python Собеседование - подготовка к собеседовению python и разбор алгоритмов Pro python - статьи, новости, код и обучающие материалы Python Jobs - вакансии Python Python чат Python книги ☕ Java Java академия - java от Senior разработчика Java вакансии Java чат Java вопросы с собеседований Java книги 💻 C++ C++ академия С++ книги C++ задачи - подготовка к собеседовению мл, алгоритмам C++ вакансии ⚡️ Frontend Javascript академия - крупнейший js канал React - лучшие гайды и советы по работе с react Frontend - тутрориалы, уроки, гайды, код PHP Книги frontend Задачи frontend 🦀 Rust Rust программирование Rust чат Rust книги для программистов 📲 Мобильная разработка Android разработка Мобильный разработчик гайды и уроки 🇬🇧 Английский для программистов 🧠 Искусственный интеллект ИИ и технологии Neural - нейросети для работы и жизни Книги ИИ Artificial Intelligence 🔥 DevOPs Devops для программистов Книги Devops 🌟 Docker/Kubernets Docker Kubernets 📓 Книги Библиотеки Книг для программситов 💼 Папка с вакансиями: Папка Go разработчика: Папка Python разработчика: Папка Data Science Папка Java разработчика Папка C# Папка Frontend