Data Science. SQL hub

🖥 Проект инженерии данных с DAG Airflow «от и до». Часть 1 Сделаем конвейер данных, целиком оркестрируемый в Airflow. Сначала создадим тему Kafka, затем отправим сообщения, в которых в качестве записей содержатся электронная почта и одноразовый пароль OTP. Таким образом проиллюстрируем потоковую передачу данных в тему Kafka. Далее получим эти данные из темы Kafka, вставим их в таблицу Cassandra и в коллекцию MongoDB и проверим наличие в них корректных данных. Если таковые имеются, отправим письмо на электронную почту и сообщение в Slack с адресом почты и одноразовым паролем OTP. Это реальный проект валидации электронной почты. Отправку в тему Kafka потоковых записей, включая данные электронной почты и одноразового пароля OTP, проиллюстрируем с отправителем Kafka. Наличие почты и пароля определим с помощью получателя Kafka и проверки данных. ▪Читать @sqlhub

Не нужно опыта и знаний в IT-сфере, чтобы попробовать себя в роли Python-разработчика в 2024 году. На бесплатном мини-курсе по Python вы на практике познакомитесь с задачами разработчиков, сделаете 4 крутых проекта и поймёте, ваша ли это профессия. Зарегистрируйтесь сейчас и получите полезный гайд по профессии. Из него вы узнаете, почему Python — идеальный язык для новичка: https://epic.st/kuLp1 За 4 занятия изучите видеоматериалы в записи. Практические работы и тесты будут после каждого видео. Научитесь создавать полезные приложения: от Telegram-ботов, которые упрощают жизнь, до сайтов и парсеров — программ для извлечения нужных данных из интернета. В финале вас ждёт прямой эфир с экспертом Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». В прямом эфире она поделится профессиональными секретами, разберёт ваши работы и ответит на вопросы. Всем участникам дарим годовой доступ к изучению английского языка, набор полезных статей для начинающего разработчика и скидку 10 000 рублей на любой курс. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.

🖥 NaturalQuery-6.7B-v0.1 NaturalQuery - это LLM, который может переводить запросы на естественном языке в SQL на основе вашей схемы. NaturalQuery-v0.1 отлажен на 8k парах "текст запрос PostgreSQL <>". Убедитесь, что у вас установлена правильная версия библиотеки transformers: pip install transformers==4.35.2 Загрузка модели Используйте следующий код Python для загрузки модели: import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("cfahlgren1/NaturalSQL-6.7B-v0") model = AutoModelForCausalLM.from_pretrained( "cfahlgren1/NaturalSQL-6.7B-v0", device_map="auto", torch_dtype=torch.float16, ) Генерация текста Чтобы сгенерировать текст, используйте следующий код на Python. messages=[ { 'role': 'user', 'content': prompt} ] inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device) # 32023 is the id of <|EOT|> token outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=32023) print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)) ▪Подробнее @sqlhub

⚡️ Для чего использовать Redis? Redis - это отличный инструмент, он надежен и прост в использовании (при правильном использовании). Вот 5 примеров использования Redis: 1. Кэширование Самый распространенный вариант использования Redis для кэшированя. Это помогает защитить базу данных от перегрузки. Redis обеспечивает быстрый поиск кэшированных данных и может помочь повысить производительность приложения. 2. Хранение сессий Redis подходит для обмена данными пользовательских сессий между серверами без статических данных. Redis предоставляет централизованное место для хранения данных сеансов и позволяет легко масштабировать серверы. 3. Распределенная блокировка Импользование- распределенной блокировки Redis для предоставления взаимоисключающего доступа к общим ресурсам. Это предотвращает возникновение ситуаций гонки в распределенных системах. Блокировки Redis просты в реализации и автоматически истекают. 4. Счетчик и ограничитель скорости Redis подходит для отслеживания количества лайков, просмотров и т. д. в приложениях для социальных сетей. Счетчики Redis обеспечивают атомарное увеличение/уменьшение. Redis также используется для ограничения скорости на эндпоинтах API. 5. Таблицы лидеров (Лидерборды) Отсортированные данные позволяют легко реализовать в Redis таблицы Лидерборды. Мы можем добавлять, обновлять или удалять пользователей из таблицы лидеров и эффективно запрашивать данные для них. 📌 Примеры с кодом @sqlhub

🖥 Pandas vs Polars vs SQL @sqlhub

🖥 Начинается новая волна атак Mimic ransomware на серверы SQL-баз данных в трех континентах В серии кибератак, о которых сообщает BleepingComputer, несколько неправильно настроенных серверов баз данных Microsoft SQL стали жертвами организованной хакерской операции. Эта масштабная кампания успешно нацелилась на серверы в Соединенных Штатах, Латинской Америке и Европейском союзе, заражая их известным шифровальщиком Mimic ransomware, часто называемым N3ww4v3. Злоумышленники в киберпреступных делах все более совершенствуются, и эта атака, получившая название RE#TURGENCE (Возрождение), подчеркивает постоянную необходимость надежных мер кибербезопасности как на индивидуальном, так и на корпоративном уровне. Взламывая неправильно настроенные серверы, хакеры получают доступ к конфиденциальным данным и шифруют их с помощью практически непроницаемого шифровальщика. Негативные последствия этой атаки выходят за рамки региональных границ, что подчеркивает глобальный характер киберпреступности. Поскольку бизнесы и отдельные лица все больше полагаются на системы баз данных для хранения и обработки больших объемов информации, становится критически важным укрепление этих систем от потенциальных угроз. Ушли те времена, когда достаточно было простых межсетевых экранов и антивирусного программного обеспечения для защиты от кибератак. Современные угрозы требуют многопланового подхода, включающего применение передовых мер безопасности, таких как системы обнаружения вторжений, сегментация данных, контроль доступа и регулярные обновления программного обеспечения. Внедрение этих комплексных протоколов безопасности может значительно снизить риск стать жертвой злонамеренных действующих лиц, стремящихся использовать уязвимости. Последствия попадания в зону риска кибератак с шифрованием данных могут быть серьезными и включать продолжительное простояние, финансовые потери и ущерб репутации. Чтобы снизить эти риски, бизнесам следует приоритезировать инвестиции в кибербезопасность, формировать культуру осведомленности и готовности. Оставаясь бдительными, старательно следуя за состоянием системы и незамедлительно устраняя возможные уязвимости безопасности, организации могут сохранить ценную информацию и поддерживать операционную устойчивость. Борьба против киберпреступности – это непрекращающийся бой, требующий постоянной адаптации к новым угрозам. Как показывают атаки Mimic ransomware, поддержание актуальных практик безопасности и регулярная оценка уязвимостей систем ключевы для оставания впереди киберпреступников. В этом цифровом веке, где важная информация находится у нас под рукой, защита наших баз данных от усовершенствованных атак является главным условием сохранения нашей безопасности и продолжения прогресса. 🔎 Новость @linuxkalii

🖥 В PySpark параметризованные запросы позволяют повторно использовать одну и ту же структуру запроса с разными входными данными, не переписывая SQL. Кроме того, они защищают от атак SQL-инъекций, поскольку рассматривают входные данные как параметры, а не как исполняемый код. #ApacheSpark

⚠️ Как Data Scientists дойти до уровня Middle+? Совершенствовать мастерство ML в сообществе единомышленников! Пройдите тест и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Advanced» от OTUS. 🧑‍💻 В программе продвинутые ML-алгоритмы, RL, графы, временные ряды, рекомендательные системы, а также работа в production: настройка окружения, оптимизация кода, построение end-to-end пайплайнов и внедрение решений ⚠️ Вебинары в формате Live coding, где преподаватель с «чистого листа» показывает решение актуальных задач ML. 🔥  Ответьте на 20 вопросов, получите велкам-скидку и доступ к 2 предстоящим открытым урокам: ✔️ Ранжирование каталога товаров ✔️ Рекомендательные системы на основе матричных разложений  ➡️ https://otus.pw/LnXM/?erid=LjN8KR8y2 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 DBChaos Проведите стресс-тестирование своей базе данных с помощью заранее заданных запросов. Библиотека поможет найти медленные и неэффективные запросы, которые мешают работе. go install github.com/adaptive-scale/dbchaos@v0.4.1 ▪Github @sqlhub

🖥 10 моих SQL best practice https://habr.com/ru/articles/784670/ @sqlhub

🖥 SQL дорожная карта 2024 года Читать @sqlhub

🖥 Complete-Advanced-SQL-Series Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL. Более 100 упражнений и примеров по SQL. ▪Github @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — 100 вопросов для подготовки к собесу Data Science — Немного про OR в SQL запросах — Вот так я изучаю ML — Версионная миграция структуры базы данных через PHP атрибуты — Миграции в YDB с помощью «goose» — Использование Postgres-триггеров для исторических таблиц — Введение в SQL & СУБД на примере доступа к данным через Python — PostgreSQL в «Тензоре» — публикации за год (#4) — Version up test for Aurora MySQL 2 EOL with SQL test tool — ORDER BY x LIMIT y Gotcha — Summary of results — Finding the best SQL query for the task. — How Modern SQL Databases Are Changing Web Development - #4 Into the AI Era — Mastering SQL Transactions: The Power of COMMIT and ROLLBACK in Database Management — Reading Postgres Execution Plans doesn't have to be so complicated — SQL vs NoSQL Databases: Which is Better? — Unlock Complex Time Series Analysis in SQL with Range Queries — The Syntax of Discreteness - Using SQL as an Example — Десять самых ярких ИИ-работ от NVIDIA Research за 2023 год Посмотреть: 🌐 100 вопросов с собеседований Data Science — часть 1 (⏱ 36:48) 🌐 💡Топ задача #Python: Бинарный поиск #python #программирование #код #yotube #питон #собеседование (⏱ 00:41) 🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг (⏱ 00:40) 🌐 💡 Задача: Ряд клавиатуры #Python #yotube #код #алгоритмы #программирование #собеседование #кодинг (⏱ 01:00) Хорошего дня! @sqlhub

🦆 Загрузка набора данных на сервер базы данных перед загрузкой его в pandas датафрейм обычно требуется для работы pandas. duckdb устраняет этот шаг, позволяя выполнять эффективные SQL-операции непосредственно над pandas DataFrame. @sqlhub

⚡️ 100 вопросов с собеседований Data Science Habr: https://habr.com/ru/articles/783766/ Видео: https://www.youtube.com/watch?v=6Pk4OgdNxXQ @pythonl

🖥 Реальный вопрос c собеседования Microsoft SQL: "Какой клиент Azure из базы покупателей, приоьретает хотя бы 1 продукт Azure из каждой категории продуктов?" ❕ Подсказки: - Объединить таблицы с помощью LEFT JOIN - Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT. Доп задание: напишие код с использованием Pandas для решения задачи. Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer Пишите свое решение в комментариях👇 @sqlhub

🖥 csvs-to-sqlite Чтобы преобразовать файлы CSV в базу данных SQLite для эффективной работы с данными и их хранения, попробуйте csvs-to-sqlite. https://github.com/simonw/csvs-to-sqlite @sqlhub