Data Science. SQL hub

📌 SQL: Медианные суммы заказов Необходимо рассчитать медианное значение суммы заказов в разрезе года и месяца. Медиана должна быть рассчитана в 2 вариантах: ▪интерполированная медиана: в качестве медианы берется сумма, которая делит все заказы ровно в 50% пропорции, даже если фактически такого заказа на было. ▪действительная медиана: в качестве медианы берется реальная сумма заказа. Если заказов четное число, то берется ближайшая сумма заказа, меньшая интерполированной медианы. Пример: Дано: 1; 2 Интерполированная медиана: 1.5 Действительная медиана: 1 Важно: Одним заказом считаем строки из таблицы Orders в которых полностью совпадает поле ord_datetime. Сортировка Результат отсортируйте по возрастанию года-месяца. Столбцы в результате ▪dt - год и месяц ▪interpolated_median - интерполированная медиана ▪real_median - действительная медиана Важно: Обратите внимание, что название столбцов в вашем ответе должно в точности совпадать с условием. Дополнительные условия ▪Столбец dt должен быть представлен в виде строки в формате YYYY-MM ▪Столбцы с медианами должны иметь тип numeric Пишите свое решение в комментариях👇 @sqlhub

30 SQL-запросов, объяснённых через их эквиваленты Pandas В мире, где с 1974 года доминирует SQL, в 2008 году появился Pandas, предлагающий привлекательные функции, такие как встроенная визуализация и гибкая обработка данных. Он быстро стал популярным инструментом для исследования данных, затмив собой SQL. Но не обманывайте себя, SQL по-прежнему держит свои позиции. Это второй по востребованности и третий по скорости роста язык для Data science (см. здесь ). Таким образом, в то время как Pandas привлекает всеобщее внимание, SQL остаётся жизненно важным навыком для любого специалиста по данным. Давайте узнаем, как легко выучить SQL, если вы уже знаете Pandas. Читать @sqlhub

🖥 Pandas AI — это библиотека Python, которая использует генеративные модели ИИ для расширения возможностей панд. Он был создан в дополнение к библиотеке pandas, широко используемому инструменту для анализа и обработки данных. В редакторе кода задаете любой запрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным. Установка: pip install pandasai Например, вы можете попросить PandasAI найти все строки в DataFrame, где значение столбца больше 5, и он вернет DataFrame, содержащий только эти строки: import pandas as pd from pandasai import PandasAI df = pd.DataFrame({ "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"], "gdp": [19294482071552, 2891615567872, 2411255037952, 3435817336832, 1745433788416, 1181205135360, 1607402389504, 1490967855104, 4380756541440, 14631844184064], "happiness_index": [6.94, 7.16, 6.66, 7.07, 6.38, 6.4, 7.23, 7.22, 5.87, 5.12] }) # Instantiate a LLM from pandasai.llm.openai import OpenAI llm = OpenAI(api_token="YOUR_API_TOKEN") pandas_ai = PandasAI(llm) pandas_ai(df, prompt='Which are the 5 happiest countries?') Вывод: 6 Canada 7 Australia 1 United Kingdom 3 Germany 0 United States Name: country, dtype: object Конечно, вы также можете попросить PandasAI выполнить более сложные запросы. Например, вы можете попросить PandasAI найти сумму ВВП двух самых несчастливых стран: pandas_ai(df, prompt='What is the sum of the GDPs of the 2 unhappiest countries?') Вывод: 19012600725504 Вы также можете попросить PandasAI нарисовать график: pandas_ai( df, "Plot the histogram of countries showing for each the gdp, using different colors for each bar", ) Вот еще один пример использования библиотеки Pandas AI в Google Colab. ▪ Github @sqlhub

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!

🔥 Краткий обзор 25 баз данных, которые актуальны в 2023 году. Сейчас я познакомлю вас с 25 актуальными базами данных. От классических фаворитов до передовых новичков, приготовьтесь к дикой поездке по стране баз данных! 1. MySQL – The Classic CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; MySQL – это надежный дедушка баз данных – он существует с самой зари времен и каким-то образом продолжает становиться все лучше. Благодаря высокой производительности и совместимости почти со всеми языками программирования. 2. MongoDB – NoSQL Hipster Kid // Connect to MongoDB and insert a document const { MongoClient } = require("mongodb"); const uri = "mongodb://localhost:27017"; const client = new MongoClient(uri); await client.connect(); const db = client.db("mydb"); await db.collection("users").insertOne({ name: "John Rush" }); MongoDB - это крутая NoSQL база, которую я часто использую в своих проектах. 3. PostgreSQL – The Sophisticated One CREATE TABLE users (id SERIAL PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; PostgreSQL, возможно, представляет собой идеальное сочетание производительности, функциональности и элегантности. 4. Oracle – The Enterprise Behemoth CREATE TABLE users (id NUMBER GENERATED BY DEFAULT ON NULL AS IDENTITY PRIMARY KEY, name VARCHAR2(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; Oracle похож на популярного школьника, который получает одни пятерки, но при этом играет в каждой спортивной команде – он все делает хорошо! 5. Cassandra – Distributed Dynamo from cassandra.cluster import Cluster cluster = Cluster(["127.0.0.1"]) session = cluster.connect() session.execute(""" CREATE KEYSPACE mykeyspace WITH replication={'class':'SimpleStrategy', 'replication_factor':1} """) session.set_keyspace("mykeyspace") session.execute(""" CREATE TABLE users ( id UUID PRIMARY KEY, name text ) """) Cassandra – это королева пчел распределенных баз данных – она обладает высокой масштабируемостью и отказоустойчивостью. 6. Redis – The Speedster import redis r = redis.Redis(host="localhost", port=6379) r.set("name", "John Rush") print(r.get("name")) Redis – это тот единственный друг, который может бегать быстрее Усэйна Болта, жонглируя горящими бензопилами. Это хранилище данных in-memory отличается молниеносной скоростью и идеально подходит для кэширования или приложений реального времени. 7. MariaDB – MySQL’s Open-Source Sibling CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255)); INSERT INTO users (name) VALUES ('John Rush'); SELECT * FROM users; MariaDB имеет много общего с MySQL, но при этом делает упор на открытый исходный код и ориентированность на сообщество. Это как выбор между Pepsi и Coke – они обе утоляют жажду, просто зависит от того, какой вкус вы предпочитаете! ▪ Читать дальше @sqlhub

🧑‍🏫 9 лучших курсов и сертификаций по Spark. Apache Spark — фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. 1. NoSQL, Big Data, and Spark Foundations Specialization Время прохождения – 4 месяца (если тратить 3 часа в неделю) Кому стоит записаться? Для новичков. 2. Distributed Computing with Spark SQL Время прохождения – 13 часов Кто должен записаться на курс? Тем, кто уже имеет представление о SQL. 3. Apache Spark (TM) SQL for Data Analysts Время прохождения – 13 часов Кому стоит записаться на курс? Тем, кто уже знаком с SQL. 4.Meta Spark Creator AR Certification Prep Specialization Время прохождения – 3 месяца Кому стоит записаться? Тем, кто является новичком. 5. Data Analysis Using Pyspark Время выполнения – 1,5 часа Кому стоит записаться на курс? Тем, кто уже знает программирование на Python. 6. Scalable Machine Learning on Big Data using Apache Spark Время прохождения – 6 часов Кому стоит записаться? Тем, кто уже владеет Python, машинным обучением и базовыми знаниями SQL. 7. Big Data Analysis with Scala and Spark Время прохождения – 27 часов Кому стоит записаться? Тем, у кого есть предыдущие знания программирования на любом языке. 8. Data Engineering with MS Azure Synapse Apache Spark Pools Время прохождения – 7 часов Кому стоит записаться на курс? Тем, кто уже знает Python или SQL. 9. Building Machine Learning Pipelines in PySpark MLlib Время выполнения – 1,5 часа Кому стоит записаться? Тем, кто знает Python и основы машинного обучения. @sqlhub

🔥 Подборка каналов для Дата сайентиста 🖥 Machine learning ai_ml – машинное обучение, ии , нейросети. datasc - Data science в телеграм! @bigdatai - Big Data @machinelearning_ru – гайды по машинному обучению @machinelearning_interview – подготовка к собеседованию мл. @datascienceiot – бесплатные книги ds @ArtificialIntelligencedl – ИИ @machinee_learning – чат о машинном обучении @datascienceml_jobs - вакансии ds, ml @Machinelearning_Jobs - чат с вакансиями #️⃣ c# c++ C# - погружение в C# @csharp_cplus чат С++ - обучающий канал по C++. @csharp_1001_notes - инструменты C# 🖥 SQL базы данных @sqlhub - Повышение эффективности кода с грамотным использованием бд. @chat_sql - чат изучения бд. 👣 Golang @Golang_google - восхитительный язык от Google, мощный и перспективный. @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @golangtests - интересные тесты и задачи GO @golangl - чат изучающих Go @GolangJobsit - отборные вакансии и работа GO @golang_jobsgo - чат для ищущих работу. @golang_books - полезные книги Golang @golang_speak - обсуждение языка Go @golangnewss - новости go 🖥 Linux linux - kali linux ос для хакинга linux chat - чат linux для обучения и помощи. @linux_read - бесплатные книги linux 🖥 Python @pythonl - главный канал самого популярного языка программирования. @pro_python_code – учим python с ментором. @python_job_interview – подготовка к Python собеседованию. @python_testit - проверочные тесты на python @pythonlbooks - современные книги Python @python_djangojobs - работа для Python программистов @python_django_work - чат обсуждения вакансий 🖥 Javascript / front @react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов. @javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS @Js Tests - каверзные тесты JS @hashdev - погружение в web разработку. @javascriptjobjs - отборные вакансии и работа FrontEnd. @jsspeak - чат поиска FrontEnd работы. 🖥 Java @javatg - выучить Java с senior разработчиком на практике @javachats - чат для ответов на вопросы по Java @java_library - библиотека книг Java @android_its - Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 👷‍♂️ IT работа https://t.me/addlist/_zyy_jQ_QUsyM2Vi -ит каналы по яп с вакансиями 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп @rust_chats - чат rust 📓 Книги https://t.me/addlist/HwywK4fErd8wYzQy - актуальные книги по всем яп ⭐️ Нейронные сети @vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы. @aigen - сети для генерации картинок. видео, музыки и многого другого. @neural – погружение в нейросети. 📢 English for coders @english_forprogrammers - Английский для программистов 🖥 Devops Devops - канал для DevOps специалистов.

📌Подключаем SQLAlchemy к существующей базой данных SQL Server в Python Создание ORM-модели SQLAlchemy из существующей базы данных SQL Server. 📖Библиотеки * SQLAlchemy * pyodbc Вы можете установить эти библиотеки с помощью команды pip в терминале. pip install sqlalchemy pip install pyodbc Давайте писать! Во-первых, нам нужно создать базовый класс для нашей модели. Создайте файл с именем base.py и добавьте в него следующий код: from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() Теперь нам нужно сопоставить существующую таблицу с нашим классом. В данном случае мы сопоставим таблицу с двумя колонками с нашей моделью. Таблица представляет собой базу клиентов с полями кода и именем. Для этого мы создадим файл customer.py и добавим в него следующий код: import sqlalchemy as sa from base import Base # Reference to the previously created class class Customer(Base): __tablename__ = 'customer' # Name of the table in the database customerid = sa.Column('customerid',sa.String(20), primary_key=True) customername = sa.Column('customername',sa.String(20)) После того как мы создали базовый класс и класс отображения таблиц, пришло время создать модель. Для этого мы создадим отдельный файл dbmodel.py и импортируем класс таблиц клиентов, который мы только что создали, чтобы выполнять в нем запросы. from sqlalchemy import create_engine, select from sqlalchemy.orm import sessionmaker from customer import Customer # Customer map class class dbmodel(object): db_config = '' engine = object def __init__(self, conn_string) -> None: self.engine = create_engine(conn_string) # Function to get the name of a customer by id def get_customer_name_by_id(self, customer_id): Session = sessionmaker(bind=self.engine, future=True) session = Session() result = customer_id try: customer_row = session.execute( select( Customer ).where( Customer.customerid == customer_id ) ).scalar_one_or_none() if customer_row is not None: result = customer_row.customername return result except Exception as ex: print(ex.args) Обратите внимание, что в коде мы передаем строку подключения в качестве параметра. Эта строка подключения немного отличается от той, что нужна для SQLite, и мы определим ее в файле run.py, где мы соберем все вместе и запустим тест. Добавим в файл следующий код: import sys import dbmodel as db def main(argv): user = 'youruser' password = 'yourpassword' server = 'yourhost' dbname = 'yourdbname' # SQL Server connection string connString = 'mssql+pyodbc://{0}:{1}@{2}/{3}?driver=SQL Server'.format(user, password, server, dbname) accountToGet = 'xxx' dbSQL = db.dbmodel(connString) customer_name = dbSQL.get_customer_name_by_id(accountToGet) print(customer_name) if __name__ == '__main__': main(sys.argv[1:]) @sqlhub

Город засыпает, просыпаются рекрутеры и делают выбор: кто попадет в команду разработки внутренних продуктов. Мы в МТС любим играть в мафию и проводить One day offer. И подумали, почему бы не совместить эти две активности и заодно найти аналитиков разных профилей. Наша команда развивает сервисы в рамках экосистемы HR Tech. Например, разработка системы управления эффективностью или создание корпоративного портала для сотрудников. У нас амбициозные планы — стать первым цифровым HR с комплексным подходом к разработке и поддержке внутренних продуктов. Но для этого нам нужны настоящие профи. Готовы участвовать и проверить — вы Дон SQL или мирный аналитик? Кликайте по ссылке и начните игру. Да, нужно успеть до 19 июня

🖥 Улучшаем производительность SQLite SQLite – это легковесная и удобная в использовании система управления базами данных. Но приложения, использующие SQLite, могут столкнуться с проблемами производительности, которые могут негативно отразиться на работе всего приложения. Благодаря новому гайду от Google, разработчики получат ценные рекомендации по оптимизации работы с SQLite. Новейшие техники и советы помогут избежать возможных проблем с производительностью и ускорят работу приложения. Хотя эти рекомендации сконцентрированы на Android-приложениях и примеры кода даны на Kotlin и Java, техники оптимизации производительности могут быть полезны для любого разработчика, работающего с SQLite. 📌 Читать @sqlhub

Как устроены нейронные сети и как применять их в продуктовой аналитике Разберёмся в прямом эфире: 14 июня в 19:00 (по Москве) Вебинар проведёт Анатолий Карпов — автор тех самых бесплатных курсов на stepik, основатель школы karpovꓸcourses и по совместительству ведущий аналитик с опытом работы в Mail.Ru, VK и JetBrains. Ждём вас на трансляции! Регистрируйтесь, чтобы не пропустить

💫 Как вместо id подставить значение sql Чтобы вместо значения id вставить другое значение в SQL, вы можете использовать оператор UPDATE для обновления данных в таблице. Допустим, у вас есть таблица my_table со столбцами id, name и age. Чтобы обновить значение name для строки с определенным значением id, используйте следующий запрос: UPDATE my_table SET name = 'New Name' WHERE id = 1; В этом запросе my_table - это название вашей таблицы, name - это название столбца, значение которого нужно обновить, New Name - это новое значение, которое вы хотите установить, а id = 1 - это условие, которое определяет, какая строка должна быть обновлена. Вместо 1 вы можете использовать любое значение, которое соответствует условию. Также вы можете использовать оператор UPDATE для обновления нескольких столбцов в одной строке. Например, чтобы обновить значения столбцов name и age для строки с определенным значением id, используйте следующий запрос: UPDATE my_table SET name = 'New Name', age = 30 WHERE id = 1; В результате выполнения этого запроса значения столбцов name и age будут обновлены для строки с id равным 1. @sqlhub

💫 SQLite для работы Рассказываю, почему SQLite отлично подойдет вам в повседневной работе. И неважно, разработчик вы, аналитик, тестировщик, админ или продакт-менеджер. Для затравки несколько известных фактов: ▪SQLite — самая распространенная СУБД в мире, включена во все популярные ОС. ▪Работает без сервера. ▪Для разработчиков — встраивается прямо в приложение. ▪Для всех остальных — удобная консоль (REPL) одним файлом (sqlite3.exe на Windows, sqlite3 в Linux / macOS). 📌 Читать @sqlhub

Умение анализировать данные и извлекать из них пользу для бизнеса — востребованный навык во многих компаниях. Освоить SQL и другие инструменты дата-анализа и стать ключевым специалистом бизнеса со средней зарплатой от 130 000 рублей и выше поможет программа дополнительного профобразования «Профессия аналитика данных» от школы аналитики Changellenge >> Education! Преимущества курса: — Будете учиться у действующих сотрудников Google, СитиМобила, VK, СИБУРа и других компаний на живых практических занятиях. — Решите 13 бизнес-задач в роли аналитика данных и получите обратную связь от куратора курса и сотрудника Google Федора Лисицына. — Освоите работу с данными в Excel, SQL, Python и BI-системах. Изучите маркетинговые и продуктовые показатели и unit-экономику. — Попадете в закрытое бизнес-сообщество из 1300+ наших выпускников и преподавателей, где получите доступ к инсайдерским вакансиям или даже личную рекомендацию в желаемую компанию. — Сможете пропустить этапы отбора в компании-партнеры — Ozon, Kept (ex-KPMG), ДРТ (ex-Deloitte). — Получите диплом установленного образца о профпереподготовке и сможете вернуть 13% от стоимости курса в качестве налогового вычета. Старт курса — 30 июня. Оставьте заявку до 12 июня и получите дополнительную скидку в 10 000 руб. (то есть до 41% скидки на сайте плюс 10 000 рублей) по промокоду SQLHUB по этой ссылке: https://u.to/fZK3Hw

🦆 DuckDb: эффективная OLAP-база данных DuckDB набирает популярность, поскольку столбцово-векторный механизм этой базы данных позволяет выполнять аналитические типы запросов. Это аналитическая или OLAP-версия SQLite, широко распространенной встроенной СУБД. Хотя DuckDB  —  это СУБД, ее установка проще по сравнению с Microsoft SQL Server и Postgres. Кроме того, для выполнения запроса не требуется никаких внешних зависимостей. Выполнить SQL-запрос можно с помощью DuckDb CLI. Если вы предпочитаете интерфейс SQL, DuckDb может стать для вас лучшей альтернативой анализу данных непосредственно в CSV или Parquet-файлах. Продолжим с примерами кода и одновременно покажем, насколько просто работать с SQL в DuckDb. В DuckDb есть функция read_csv_auto для вывода CSV-файла и загрузки этих данных в память. Во время выполнения было обнаружено, что нужно изменить SAMPLE_SIZE=-1, чтобы пропустить выборку, так как некоторые поля в наборе данных не были выведены правильно, а выборка по умолчанию составляет 1000 строк. import duckdb from repeat_helper import repeat_executor con = duckdb.connect(database=':memory:') con.execute("""CREATE TABLE parking_violations AS SELECT "Summons Number", "Vehicle Make", "Issue Date" FROM read_csv_auto('/Users/chengzhizhao/projects/pandas_alternatives/Parking_Violations_Issued_-_Fiscal_Year_2017.csv', delim=',', SAMPLE_SIZE=-1);""") con.execute("""SELECT COUNT(1) FROM parking_violations""") print(con.fetchall()) # ## Фильтрация по марке автомобиля (для BMW) @repeat_executor(times=5) def test_filter(): con.execute(""" SELECT * FROM parking_violations WHERE "Vehicle Make" = 'BMW' """) return con.fetchall() # # ## Группировка по марке автомобиля и подсчет @repeat_executor(times=5) def test_groupby(): con.execute(""" SELECT COUNT("Summons Number") FROM parking_violations GROUP BY "Vehicle Make" """) return con.fetchall() # # # ## SELF join @repeat_executor(times=5) def test_self_join(): con.execute(""" SELECT a."Summons Number" FROM parking_violations a INNER JOIN parking_violations b on a."Summons Number" = b."Summons Number" """) return con.fetchall() # ## оконная функция @repeat_executor(times=5) def test_window_function(): con.execute(""" SELECT *, ROW_NUMBER() OVER (PARTITION BY "Vehicle Make" ORDER BY "Issue Date") FROM parking_violations """) return con.fetchall() test_filter() # Время медианы - 0.410 с test_groupby() # # Время медианы - 0.122 с test_self_join() # # Время медианы - 3.364 с test_window_function() # # Время медианы - 6.466 с Тест фильтрации показал достижение паритета, а в остальных трех тестах производительность намного выше по сравнению с Pandas. Чтобы не писать на Python, можно использовать DuckDb CLI с SQL-интерфейсом в командной строке или TAD. https://duckdb.org/ @sqlhub

Специально для тех, кто всё пропустил, — напоминаем, что осталось не так много времени до конца приёма заявок в Академию Аналитиков Авито! Онлайн-программа для аналитиков данных и DS-инженеров стартует в сентябре, но успеть податься нужно до 13 июня. На курсе с каждым студентом работает команда профессионалов — куратор, экспертные преподаватели и ментор из числа действующих опытных аналитиков или DS-инженеров Авито. Курс будет особенно интересен студентам, но ждём всех желающих научиться чему-то новому или прокачать свои навыки. Потребуются знания мат. статистики, теории вероятностей и умением программировать на любом языке. 🤳 За подробностями ныряем по ссылке — изучаем программу и заполняем заявку. Реклама. ООО «Авито Тех». LdtCK3uav

🖥 Полезные инструменты для защиты от SQL и NoSQL инъекций 1.SuIP.biz Обнаружение уязвимости для SQL-инъекций в режиме онлайн с помощью sup.biz и поддержка баз данных MySQL, Oracle, PostgreSQL, Microsoft SQL, IBM DB2, Firebird, Sybase. SQLMap поможет протестировать сервис на все 6 методов инъекции. 2.Тест на уязвимость SQL-инъекции онлайн c Hacker Target Еще один онлайн-инструмент Hacker Target на основе SQLMap для поиска уязвимости bind & error против GET-запроса HTTP. 3. Netsparker Netsparker готов просканировать уровень веб-безопасности предприятий: он делает даже больше, чем просто тест на уязвимость SQL. Человек также может интегрировать приложения для автоматизации веб-безопасности. Пользователь может проверить индекс уязвимости сайта, который прошел сканирование от Netsparker. 4. Vega Vega – это сканер безопасности с открытым исходным кодом, который может быть установлен на Linux, OS X и Windows. Vega написан на Java, он имеет графический интерфейс. Не только SQLi: Vega можно использовать для тестирования на многие другие типы уязвимостей, такие как: Инъекция XML/Shell/URL; Directory listing; Remote file includes; XSS. Vega выглядит многообещающим бесплатным сканером безопасности сети. 5. SQLMap SQLMap – это один из популярных инструментов тестирования с открытым исходным кодом на выполнение SQL-инъекций в системе управления реляционными базами данных. Sqlmap проводит перечисление пользователей, паролей, хэшей, баз данных и поддерживает полный дамп таблиц базы данных. Если пользователь использует Kali Linux, то он может применить SQLMap, не устанавливая его дополнительно. 6.SQL Injection Scanner Онлайн сканер для проведения пентестинга, который использует OWASP ZAP. Есть две версии – упрощенная (бесплатная) и полная (нужно зарегистрироваться). 7.Appspider Appspider, разработанный Rapid7, — это динамическое решение для тестирования безопасности приложений на обход защиты и более чем 95 типов атак. Уникальная функция Appspider под названием «vulnerability validator» позволяет разработчику воспроизвести уязвимость в режиме реального времени. Это очень удобно, когда администратор исправил уязвимость и хочет повторно протестировать ресурс, чтобы точно убедиться, что риска для системы больше нет. 8. Acunetix Acunetix – это готовый к работе сканер уязвимостей веб-приложений, которому доверяют более 4000 компаний по всему миру. Не только сканирование SQLi: инструмент способен найти более 6000 других уязвимостей. Каждая находка классифицируется, и показываются потенциальные корректировки системы безопасности: поэтому пользователь всегда знает, что нужно сделать, чтобы исправить ситуацию к лучшему. Кроме того, человек может интегрироваться с системой CI/CD и SDLC, поэтому каждый риск безопасности идентифицируется и фиксируется до того, как приложение будет развернуто. 9. Wapiti Wapiti – это сканер уязвимостей на основе Рython. Он поддерживает большое количество инструментов для обнаружения следующих атак: Sql и XPath; CRLS и XSS; Shellshock; File disclosure; Server-side request forgery; Command execution. Он поддерживает конечную точку HTTP/HTTPS, несколько типов аутентификации, такие как Basic, Digest, NTLM и Kerberos. У пользователя есть возможность создавать отчеты о сканировании в формате HTML, XML, JSON и TXT. 10. Scant3r Scant3r – это «легкий сканер», основанный на Python. Он ищет возможность проведения атак XSS, SQLi, RCE, SSTI в заголовках и параметрах URL-адресов. @sqlhub

Как переписать и оптимизировать ваши SQL-запросы к Pandas на пяти простых примерах Аналитики данных, инженеры и учёные одинаково знакомы с SQL. Язык запросов по-прежнему широко используется для работы с реляционными базами данных любого типа. Однако, в настоящее время, всё больше и больше, особенно для аналитиков данных, растут технические требования, и ожидается, что люди, по крайней мере, знают основы языка программирования. При работе с данными Python и Pandas являются обычным дополнением к списку требований в описании вакансий. Хотя Pandas может быть новым для людей, знакомых с SQL, концепции выбора, фильтрации и агрегирования данных в SQL легко переносятся в Pandas. Давайте рассмотрим в этой статье некоторые распространённые SQL-запросы и способы их написания и оптимизации в Pandas. Читать @sqlhub