Data Science. SQL hub

⚡️Маст-хэв список для программистов, каналы с последними книжными новинками, библиотеками, разбором кода и актуальной информацией, связанной с вашим языком программирования. Лучший способ получать свежие обновлении и следить за трендами в разработке. Машинное обучение: t.me/ai_machinelearning_big_data Python: t.me/pythonl C#: t.me/csharp_ci C/C++/ t.me/cpluspluc Data Science: t.me/data_analysis_ml Devops: t.me/devOPSitsec Go: t.me/Golang_google Базы данных: t.me/sqlhub Rust: t.me/rust_code Javascript: t.me/javascriptv React: t.me/react_tg PHP: t.me/phpshka Android: t.me/android_its Мобильная разработка: t.me/mobdevelop Linux: t.me/+A8jY79rcyKJlYWY6 Big Data: t.me/bigdatai Хакинг: t.me/linuxkalii Тестирование: https://t.me/+F9jPLmMFqq1kNTMy Java: t.me/javatg 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка машинное обучение: https://t.me/addlist/_FjtIq8qMhU0NTYy 📕 Бесплатные Книги для программистов: https://t.me/addlist/YZ0EI8Ya4OJjYzEy 🎞 YouTube канал: https://www.youtube.com/@uproger 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers

🤓 Набор обучающих материалов по базам данных 1. Статьи. 2. Блоги. 3. Курсы. 4. Выступления. 5. Книги. Дает возможность углубленно изучить работу с базами данных. 👇 📌 GitHub @Sqlhub

🖥 [Тестовое Тинькофф] Звонки по дням Дано Дана следующая структура таблиц: Задание Напишите запрос, который посчитает количество звонков, сделанных между 2020-10-01 и сегодняшним днем. Полученная таблица должна состоять из двух столбцов: date и cnt_calls. В столбце date должен находиться день вызова (без времени), а в столбце "cnt_calls" должно отображаться количество звонков, совершенных в этот день. Столбцы в результате date cnt_calls Примечание: для корректной работы вашего запроса обязательно указывайте схему таблиц - tinkoff. Например, FROM tinkoff.employees. Пишите свое решение в комментариях👇 @sqlhub

Станьте аналитиком в Академии Data Science Научим находить инсайты в данных и поможем построить карьеру финансового аналитика. По окончанию программы вы получите магистерский диплом по направлению «Математика и компьютерные науки». Оставьте заявку до 10 августа.

🗂Оптимизация работы с большим объемом данных при помощи партиционирования в SQL Оптимизация работы с данными позволяет нам снизить временные затраты, улучшить производительность и повысить доступность нашего приложения. Партиционирование в SQL • Это техника, которая позволяет разбить таблицу на несколько физических или логических разделов. Каждая такая разделенная часть называется партицией. Партиционирование применяется с целью улучшения производительности и эффективности работы с базой данных. Как работает партиционирование в SQL • В SQL партиционирование может быть реализовано при помощи различных механизмов. В основе всех этих механизмов лежит принцип разделения таблицы на физические или логические единицы хранения данных. Разделение может основываться на различных критериях, таких как диапазон значений столбца, хеш-значение, список значений и т. д. Существует два основных варианта партиционирования в SQL — горизонтальное и вертикальное. • Шаги по реализации партиционирования @sqlhub

⚡️Маст-хэв список программистов, каналы с последними книжными новинками, библиотеками, разбором кода и актуальной информацией, связанной с вашим языком программирования. Лучший способ получать свежие обновлении и следить за трендами в разработке. Python: t.me/pythonl C#: t.me/csharp_ci C/C++/ t.me/cpluspluc Машинное обучение: t.me/ai_machinelearning_big_data Data Science: t.me/data_analysis_ml Devops: t.me/devOPSitsec Go: t.me/Golang_google Базы данных: t.me/sqlhub Rust: t.me/rust_code Javascript: t.me/javascriptv React: t.me/react_tg PHP: t.me/phpshka Android: t.me/android_its Мобильная разработка: t.me/mobdevelop Linux: t.me/+A8jY79rcyKJlYWY6 Big Data: t.me/bigdatai Хакинг: t.me/linuxkalii 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy 🎞 YouTube канал: https://www.youtube.com/@uproger 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers

QueryFlow - это веб-приложение, которое безопасно отображает время выполнения запросов пользователя к базе данных. И так же, позволяет разработчикам устанавливать пороги производительности на основе имеющихся данных.

🗂Оптимизация работы с большим объемом данных при помощи партиционирования в SQL Оптимизация работы с данными позволяет нам снизить временные затраты, улучшить производительность и повысить доступность нашего приложения. Партиционирование в SQL • Это техника, которая позволяет разбить таблицу на несколько физических или логических разделов. Каждая такая разделенная часть называется партицией. Партиционирование применяется с целью улучшения производительности и эффективности работы с базой данных. Как работает партиционирование в SQL • В SQL партиционирование может быть реализовано при помощи различных механизмов. В основе всех этих механизмов лежит принцип разделения таблицы на физические или логические единицы хранения данных. Разделение может основываться на различных критериях, таких как диапазон значений столбца, хеш-значение, список значений и т. д. Существует два основных варианта партиционирования в SQL — горизонтальное и вертикальное. • Шаги по реализации партиционирования @sqlhub

🐱 Переход на PgCat — прокси-сервер Postgres следующего поколения PgCat  — это open source прокси-сервер Postgresql, в развитии которого мы участвуем и который используем на продакшене. Функционал PgCat для кластеров Postgresql: пул соединений, балансировка нагрузки, отработка отказа реплики. • В Instacart мы применяем Postgresql почти для всех задач баз данных: эффективным кешированием, индексированием, оптимизацией запросов и вертикальным масштабированием экземпляров выжимаем из одного экземпляра Postgres немало производительности. • Все это отличные стратегии, но с ними далеко не уедешь. Не ограничиваясь одним экземпляром за счет добавления реплик чтения или горизонтального сегментирования БД, мы в обоих случаях увеличиваем сложность. Почему PgCat? Разбираем подробно

🤖12 сервисов искусственного интеллекта, для написания кода. Mutable AI Альтернатива Copilot, которая предлагает бесплатную версию со сокращенным функционалом, а стоимость ее платной подписки варьируется от $10 до $25 в месяц. Эта альтернатива также предлагает следующие возможности: автодополнение кода, управление с помощью промптов, рефакторинг кода и автоматическую документацию. SpellBox Это AI-помощник для программистов, который можно установить как настольное приложение (для Windows и macOS), так и как плагин для VS Code. Он способен генерировать код в ответ на запросы, объяснять принципы работы программы и сохранять фрагменты кода в закладках. StarCoder Это AI-ассистент, который может создавать код на 80 языках, обученный на данных из GitHub. Эта модель похожа на GitHub Copilot, но с открытым исходным кодом и, по мнению разработчиков, она лучше других моделей. Blackbox AI BlackboxAI поддерживает более 20 языков программирования, включая Python, Java, C, C++, C#, JavaScript, SQL, PHP, Go, TypeScript, Kotlin, MATLAB, R, Swift, Rust, Ruby, Dart и Scala. Ghostwriter Chat Разработчики Replit создали не имеющую себе равных онлайн-IDE, которая основана на искусственном интеллекте. Эта инновационная система способна написать код в соответствии с контекстом проекта и не только дополняет код, написанный программистом, но и помогает отслеживать ошибки. CodeSquire.ai Это ИИ-ассистент, который помогает дата-сайентистам, инженерам и аналитикам. Он способен генерировать код в ответ на вопросы, создавать функции различной сложности, преобразовывать вводимые команды в SQL-запросы и детально объяснять, как работает каждый блок кода. Toolbuilder Toolbuilder позволяет быстро создавать ИИ-приложения и чат-боты, которые хранятся и запускаются на сайте. Вы можете поделиться ссылками на приложения с друзьями, а для выбора подходящего инструмента есть каталог готовых приложений, например, инструменты для поиска персонализированных подарков, анализа SEO показателей, рекомендации коктейлей и описания товаров. Еще один популярный инструмент - генератор постов для блога. Также вы можете использовать Toolbuilder для описания сюжета фильма с помощью эмодзи и иконок. Safurai Это бесплатный инструмент на основе искусственного интеллекта, который можно использовать как плагин для VS Code. Для того чтобы воспользоваться ее возможностями, достаточно выделить фрагмент кода: Safurai объяснит, как он работает, предложит советы по оптимизации и рефакторингу, напишет необходимые тесты и документацию. Будучи обучаемым на коде проекта, он запомнит все заданные вопросы. Text2SQL Text2SQL - данный искусственный интеллект создает запросы SQL, регулярные выражения, дизайны баз данных и формулы для Excel и Google Sheets. Присутствует бесплатный тариф, в то время как цены платной подписки варьируются от $2.49 до $4.99 в месяц. Code Snippets AI Приложение, использующее технологию GPT-4 для генерации кода. По вопросу о необходимости данного инструмента, разработчики отвечают, что это более экономичный вариант по сравнению с оригинальным ChatGPT Plus, подписка на который стоит $24 в месяц, в то время как подписка на Code Snippets AI обойдется в $10 в месяц. CodiumAI CodiumAI - программа для тестирования, использующая TestGPT-1 и GPT-3.5 & 4 для интеллектуального создания тестов и обработки кода, выявления ошибок и багов. В настоящее время этот инструмент работает с кодом Python, JavaScript и TypeScript. Благодаря подключению к VS Code и другим IDE от JetBrains, использование CodiumAI бесплатно. Metabob Metabob исправляет ошибки и выявляет уязвимости в коде, а также интегрируется с такими платформами, как VS Code, GitHub, BitBucket и GitLab. Эта программа берет под контроль все самые популярные языки программирования, включая Python, Javascript, Typescript, C++, С и Java, и предоставляет своевременные рекомендации по улучшению кода. B процессе работы Metabob автоматически производит рефакторинг кода разработчиков и искусственный разум. @data_analysis_ml

🔥В чем сила языка R и почему он так необходим SQL разработчикам? Этот язык является специализированным и создавался под конкретные задачи, связанные со сбором и анализом данных. Добавьте R в свой арсенал и перейдите на новый профессиональный уровень! 31.07 в 20.00 (мск) приглашаем на открытый урок “Экосистема R для анализа данных” курса “Язык R для анализа данных” в OTUS 📌На вебинаре: - рассмотрим основные возможности RStudio для анализа данных: работа с таблицами, построение графиков; - покажем, как пользоваться Jupyter для создания документов; - познакомимся с Visual Studio Code (VS Code). 👉Регистрация для участия https://otus.pw/qzeD/ Не упустите возможность получить новые знания и протестировать формат обучения. Курс доступен рассрочку. Нативная интеграция. Информация о продукте www.otus.ru

🦊 Kali Linux для продвинутого тестирования на проникновение. Sqlmap. Наиболее распространенной и используемой уязвимостью на веб-сайтах является SQL-инъекция. • Одним из самых полезных и мощных инструментов для оценки уязвимостей SQL-инъекций является sqlmap. Инструмент написан на Python, который автоматизирует разведку и эксплуатацию Firebird, Microsoft SQL, MySQL (теперь называется MariaDB, разработанный сообществом и коммерчески поддерживаемый форк MySQL), Базы данных Oracle, PostgreSQL, Sybase и SAP MaxDB. Мы продемонстрируем атаку SQL-инъекцией на базу данных Mutillidae. 1) Определить веб-сервер, внутреннюю систему управления базами данных и доступные базы данных. 2) Получите доступ к веб-сайту Mutillidae и просмотрите веб-страницы, чтобы определить те, которые принимают пользовательский ввод (например, форма входа пользователя, которая принимает имя пользователя и пароль от удаленного пользователя); эти страницы могут быть уязвимы для SQL-инъекций. 3) Затем откройте Kali и из терминала введите следующее (используя соответствующий целевой IP-адрес): root@kali:~# sqlmap -u 'http://targetip/mutillidae/index.php?page=user- info.php&username=admin&password=&user-info-php-submitbutton= sqlmap вернет данные, как показано на *рисунке 1. • Наиболее вероятной базой данных для хранения данных приложения, является БД Mutillidae; поэтому мы проверим все таблицы этой базы данных, используя следующую команду: root@kali:~# sqlmap -u "http://yourip/mutillidae/index.php?page=user-info.php&username=&password=&user-info-php-submit-button=View+Account+Details" -D mutillidae --tables Данные, возвращаемые при выполнении этой команды, показаны на *рисунке 2. 📌Читать далее @linuxkalii

📂Оптимизация данных в MS SQL Одним из методов для оптимизации обработки, хранения и администрирования данных в базе данных и кубах MS SQL — это процесс создании партицирования данных. Partitioning (партицирование или по-другому секционирование) — это разбиение таблицы на несколько частей, а эти части на одну или несколько файловых групп. • Партицирование необходимо для целей ускорения доступа чтения или изменения данных и администрирования. Т.к. выровненный индекс по таблице будет содержаться в каждой условно своей секции, то при чтении или изменении данных будет обращение к конкретной секции и конкретному индексу в этой секции. • Со стороны администрирования для процесса переноса (например архивирования) данных в другую таблицу без физического перемещения данных, а перемещения только логической секций, подлежащих этой операции, выполнение этого действия происходит мгновенно, что экономит время и ресурсы машины. Для этого необходимо подготовить таблицу «архив» — копию по структуре с таблицей источника, она может быть не партицированна. Пример кода для переноса в таблицу: ALTER TABLE DB.schema.table_sourse SWITCH PARTITION 1 TO DB.schema.table_arch; Но если мы хотим перемещать в партицированную таблицу, то таблица приемник должна использовать ту же функцию и схему партицирования, или схему и функцию повторяющую нужные нам диапазоны секционирования. Так же таблица должна содержать CONSTRAINT (ограничение), которое накладывается по полю секционирования. Продолжение

➡️ Использование составных триггеров (compound triggers) Oracle ▪️Примеры таких триггеров в основном связаны с логированием изменений таблицы, я решила рассмотреть пример из двух таблиц, которые изменяют друг друга. Дано: две таблицы orders и orders_detail. CREATE TABLE TMP.orders ( ID NUMBER, -- № заказа DATE_DOC DATE, -- дата заказа AMOUNT NUMBER, -- сумма заказа DISCOUNT NUMBER -- скидка от 0 до 100% ); CREATE TABLE TMP.orders_detail ( ID NUMBER, ID_ORDER NUMBER, -- № заказа ID_GOODS NUMBER, -- идентификатор товара PRICE NUMBER, -- цена товара QTY NUMBER, -- количество SUM_ORDER NUMBER -- стоимость заказа ); Перед нами стоят задачи: 1) при обновлении поля orders.discount пересчитать orders_detail.sum_order, а также обновить поле orders.amount по всему заказу; 2) при изменении orders_detail.price и(или) orders_detail.qty пересчитать orders_detail.sum_order, а также обновить поле orders.amount по всему заказу; 3) orders_detail.sum_order считается по формуле: orders_detail.sum_order = orders_detail.price * orders_detail.qty * (1- orders.discount/100). При таких задачах возникает ошибка мутирования таблиц ORA-04091: table is mutating. Эта ошибка встречается тогда, когда триггер уровня строк пытается вы­полнить чтение или запись в таблицу, для которой сработал триггер. • Например, нам нужно пересчитать поле orders_detail.sum_order, а для этого нам нужно прочитать поле orders.discount(которое изменилось). • Начиная с Oracle Database 11g можно использовать compound(составные) триггеры. Они представляют собой четыре различных триггера, объединенных в один. Вот пример синтаксиса такого триггера. ⤵️ Продолжение @sqlhub

💪 Пройди тест по MS SQL и проверь свои знания. Ответишь — пройдешь на углубленный курс "MS SQL Server разработчик" от OTUS по специальной цене + получишь запись мастер-класса от преподавателя курса🎁 . ⚠️ Освойте востребованные компетенции, чтобы уже через полгода вырасти с мидла до сеньора!  📌 ПРОЙТИ ТЕСТ: https://otus.pw/uoet/

📌 Возможности SQLite, которые вы могли пропустить 🔵Частичные индексы (Partial Indexes) При построении индекса можно указать условие попадания строки в индекс, к примеру, одна из колонок не пустая, а другая равна заданному значению. create index idx_partial on tab1(a, b) where a is not null and b = 5; select * from tab1 where a is not null and b = 5; --> search table tab1 using index 🔵Индексы на выражение (Indexes On Expressions) Если в запросах к таблице часто используется выражение, то можно построить индекс по нему. Однако следует иметь в виду, что пока оптимизатор не очень гибок и перестановка столбцов в выражении приведет к отказу от использования индекса. create index idx_expression on tab1(a + b); select * from tab1 where a + b > 10; --> search table tab1 using index ... select * from tab1 where b + a > 10; --> scan table 🔵Вычисляемые колонки (Generated Columns) Если данные столбца представляют собой результат вычисления выражения по другим столбцам, то можно создать виртуальный столбец. Есть два вида: VIRTUAL (вычисляется каждый раз при чтении таблицы и не занимает места) и STORED (вычисляется при записи данных в таблицу и место занимает). Разумеется записывать данные в такие столбцы напрямую нельзя. create table tab1 ( a integer primary key, b int, c text, d int generated always as (a * abs(b)) virtual, e text generated always as (substr(c, b, b + 1)) stored ); 🔵 R-Tree индекс Индекс предназначен для быстрого поиска в диапазоне значений/вложенности объектов, т.е. задачи типичной для гео-систем, когда объекты-прямоугольники заданы своей позицией и размером и требуется найти все объекты, которые пересекаются с текущим. Данный индекс реализован в виде виртуальной таблицы (см. ниже) и это индекс только по своей сути. Для поддержки R-Tree индекса требуется собрать SQLite с флагом SQLITE_ENABLE_RTREE (по умолчанию не установлен). create virtual table idx_rtree using rtree ( id, -- ключ minx, maxx, -- мин и макc x координаты miny, maxy, -- мин и макc y координаты data -- дополнительные данные ); insert into idx_rtree values (1, -80.7749, -80.7747, 35.3776, 35.3778); insert into idx_rtree values (2, -81.0, -79.6, 35.0, 36.2); select id from idx_rtree where minx >= -81.08 and maxx <= -80.58 and miny >= 35.00 and maxy <= 35.44; Остальные возможности можно тут @sqlhub

Кто такой ML-инженер и чем отличается от дата-сайентиста? Чтобы узнать и глубже погрузиться в тему машинного обучения (ML), приходите на бесплатный онлайн-практикум 25 и 26 июля в 19:00 мск. На практикуме вы: — познакомитесь с профессиями в сфере ML: Data Engineer, Data Scientist, Machine Learning Engineer; — изучите циклы работы с большими данными — от сбора до итогового решения в бизнесе; — построите и обучите ML-модели на Python. Если хотите попробовать себя в новой сфере, записывайтесь на практикум: https://go.skillfactory.ru/ZfobsQ Реклама, ООО "Скилфэктори", ИНН: 9702009530 erid: Kra23s6PY

📊 VisiData v2.11 VisiDatahttps://github.com/saulpw/visidata является многофункциональным инструментом для обработки и просмотра табличных данных. Этот интерактивный и эффективный инструмент предоставляет возможность работать с большими объемами данных. VisiData работает с CSV файлами, электронными таблицами Excel, базами данных SQL и многими другими источниками данных. pip3 install visidata ▪Github ▪Проект @sqlhub

В двух командах Авито открылись новые вакансии дата-инженеров. Если давно мониторите классные позиции, то самое время действовать. ➡️ Data Engineer в команду Usage ➡️ Data Engineer в команду Core analytics • Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией; • Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы; • Прозрачная система премий; • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность работать удалённо и в комфортном офисе в Москве или Петербурге. Откликайтесь по ссылкам и делитесь с теми, кому может быть интересно.

Кто такой ML-инженер и чем отличается от дата-сайентиста? Чтобы узнать и глубже погрузиться в тему машинного обучения (ML), приходите на бесплатный онлайн-практикум 25 и 26 июля в 19:00 мск. На практикуме вы: — познакомитесь с профессиями в сфере ML: Data Engineer, Data Scientist, Machine Learning Engineer; — изучите циклы работы с большими данными — от сбора до итогового решения в бизнесе; — построите и обучите ML-модели на Python. Если хотите попробовать себя в новой сфере, записывайтесь на практикум: https://go.skillfactory.ru/ZfobsQ Реклама, ООО "Скилфэктори", ИНН: 9702009530 erid: Kra23s6PY