Data Science. SQL hub

❗Какую базу данных выбрать? 👉 Узнаете на бесплатном открытом уроке «Лучшая база данных? Сравнение ClickHouse с популярными БД» от OTUS 🔹 Выделите области задач, для которых Clickhouse подходит, а где его можно не использовать 🔹 Разберете его плюсы и минусы по сравнению с другими популярными решениями на основе конкретных требований Вебинар будет полезен инженерам, аналитикам данных, DevOps-специалистам и тимлидам. Занятие пройдёт 14 ноября в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД».  ➡️ РЕГИСТРАЦИЯ https://otus.pw/3rcf/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KaeEM

🖥 Почему PostgreSQL признан самым лбимой бд по результатам опроса разработчиков Stackoverflow? На диаграмме показано множество вариантов использования PostgreSQL - одной базы данных, которая включает в себя почти все функции необходимых разработчикам. 🔹OLTP (Online Transaction Processing) Мы можем использовать PostgreSQL для CRUD-операций (Create-Read-Update-Delete). 🔹OLAP (Online Analytical Processing) Мы можем использовать PostgreSQL для аналитической обработки. PostgreSQL основан на архитектуре 𝐇𝐓𝐀𝐏 (Hybrid transactional/analytical processing), поэтому он может хорошо работать как с OLTP, так и с OLAP. 🔹FDW (Foreign Data Wrapper) FDW - это расширение, доступное в PostgreSQL, которое позволяет нам обращаться к таблице или схеме одной базы данных из другой. 🔹Streaming PipelineDB - это расширение PostgreSQL для высокопроизводительной агрегации временных рядов, предназначенное для работы с отчетами и аналитическими приложениями в реальном времени. 🔹Geospatial PostGIS - это расширитель базы данных для объектно-реляционной базы данных PostgreSQL. Он добавляет поддержку географических объектов, позволяя выполнять запросы на определение местоположения в SQL. 🔹Временные ряды Timescale расширяет PostgreSQL для работы с временными рядами и аналитикой. Например, разработчики могут объединять непрерывные потоки финансовых и тиковых данных с другими бизнес-данными для создания новых приложений и получения уникальных знаний. 🔹Распределенные таблицы CitusData масштабирует Postgres за счет распределения данных и запросов. Какая база данных вам нравится больше всего? @sqlhub

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

Чтобы без особых усилий создавать поддельные данные для тестирования в #Python, используйте Faker. @sqlhub

❗️Как развиваться разработчику и администратору баз данных?  👉 Наращивать объем знаний и навыков. Приглашаем на открытый урок «Синхронный VS Асинхронный PostgreSQL» в рамках курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS 🔹 Рассмотрим архитектуру синхронного коммита, синхронные и асинхронные реплики 🔹Разберем особенности 5 уровней синхронности 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты.  👉 РЕГИСТРАЦИЯ https://otus.pw/Asnh/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KZdnZ

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Как жесткую программную систему превратить в гибкую или Двадцать лет спустя — Многомерный анализ данных: исследование многомерных кубов и SQL OLAP-запросов — SQL-инъекция: разбор уязвимости на примере — Иерархическая база данных (продолжение) — Как расширить компетенции аналитиков при работе с Big Data — Иерархическая база данных — XGBoost – один из наиболее эффективных алгоритмов прогнозирования временных рядов. — PostgreSQL Antipatterns: ходим по JSON-граблям — SQLx: raw SQL в Rust — Explorando el Mundo de los Archivos de Recurso en C# con Visual Studio — Easily Generate Mock Data with PostgreSQL — Why 0 is better than NULL sometimes — Monolithic vs. Distributed SQL — 🚛 Deploy Database Schema Migrations with Bytebase — Comparing Types of Databases: A Real-World Benchmark Analysis — [SQL Performance Killers] Individual inserts vs. Bulk inserts — SQL Server - Types of System Databases and Tables — Postgres. How to check the top queries that use temporary files? — PostgreSQL. How to list the most IOPs-intensive queries? Посмотреть: 🌐 STL C++ стандартная библиотека (⏱ 00:57) 🌐 deque разбор в С++ (⏱ 00:58) 🌐 Последовательные контейнеры c++ List (⏱ 00:47) 🌐 Совет Python разработчикам - реши задачу Chain sum с реального собеседования. (⏱ 14:23) 🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28) 🌐 🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. #python (⏱ 00:20) 🌐 The Only Database Abstraction You Need | Prime Reacts Хорошего дня! @sqlhub

Где набраться опыта в аналитике данных, структурировать знания и узнать, как с рабочими задачами справляются профессионалы? Получите опыт, сопоставимый с работой в крупной компании — пройдите 6 недель интенсивной практики на «Симуляторе аналитика». Здесь вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением. Наставники курса - Анатолий Карпов и другие ведущие аналитики. Они точно знают, как эффективно решать рабочие задачи, и готовы поделиться опытом с вами. Обучение начинается уже 13 ноября, а сейчас как раз можно вписаться по самой приятной цене [Узнать подробнее и записаться на курс]

Выполнение побитовых операций над числами из Oracle Database 21c с помощью: BIT_AND_AGG BIT_XOR_AGG BIT_OR_AGG ✔ Преобразование десятичных чисел в двоичные (5 = 101, 6 = 110 и т. д.). ✔ Сравнение значений в каждой битовой позиции ✔ Преобразование результатов обратно в десятичный вид @sqlhub

Уже в эту субботу 11 ноября в Лектории «Газпрома» в рамках выставки "Россия" выступят ИТ-эксперты Газпромбанка: В 16:00 — Андрей Анисимов с темой «Мотивация и развитие молодых DS-специалистов и аналитиков». Узнаем, какие навыки помогают Data Science специалистам добиваться успеха и как грамотно мотивировать сотрудников. В 18:00 — Максим Морев с темой «Джуниор в ИТ — первые сложности на первой работе». Разберем 4 принципа, которые помогут начинающему ИТ-специалисту подняться по карьерной лестнице. Встречаемся в павильоне F «Газпром». Регистрируйтесь по ссылке — https://vk.cc/csf0qP Реклама Банк ГПБ (АО), ИНН: 7744001497

🐘 Индексирование - важный процесс в PostgreSQL. Он включает в себя создание структур данных, оптимизированных для эффективного поиска и извлечения данных из таблиц. В этом руководстве показывается на примерах некоторые продвинутые стратегии индексирования в Postgres. 🖥 Читать @sqlhub

❗️Как легко получить Spark кластер на 10 узлов? Современные облачные инфраструктуры позволяют сделать это всего за несколько шагов. ▶️ 9 ноября в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «Big Data в облаках». На открытом уроке: 🔹Рассмотрим как создать в Yandex Cloud Spark кластер. 🔹 Что лучше использовать в качестве хранилища: HDFS или S3. 🔹 Как можно экономить за счет динамического выделения ресурсов. ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 👉 РЕГИСТРАЦИЯ https://otus.pw/LMDh/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLS4y

⚡️ Впечатляющая монолитная архитектура Stack Overflow Компания Stack Overflow, поддерживает тенденцию развития микросервисов их сервис обрабатывает 1,3 млрд. просмотров страниц в месяц на своих 200 сайтах, используя удивительно эффективную монолитную архитектуру с минимальной инфраструктурой. Веб-серверы: - Используется всего 9 локальных веб-серверов IIS. - Каждый сервер имеет 64 ГБ оперативной памяти и работает на высокооптимизированном коде .NET - Обработка 450 пиковых запросов в секунду на каждом сервере при использовании всего 12% процессорной мощности - Код минимизирует потребление памяти и настроен на ограничения сбора мусора Серверы SQL: - Организованы в 2 отказоустойчивых кластера по 2 сервера в каждом - Первый кластер: 1,5 ТБ оперативной памяти на сервер - Второй кластер: 768 ГБ оперативной памяти на сервер - Около трети массива данных Q&A находится в памяти. - Каждый кластер обрабатывает более 10 000 пиковых запросов в секунду при ~15% CPU Redis: - Один основной сервер с репликой на 256 ГБ. - Обработка 60000 пиковых операций в секунду при 2% CPU Stack Overflow эффективно масштабирует монолитное приложение. 📌 Архитектура наглядно 📌 Подкаст об архитектуре Stack Overflow @sqlhub

🤩 Data scientist может всё! Ну практически. Специалистов по работе с данными много: администраторы баз данных, data-инженеры, аналитики данных. И, конечно, data scientist. 👻 Зарплаты в области растут: junior-специалист может получать от 50 000₽, senior — от 300 000₽ и больше. 👾 Data scientist требуются в бизнесе, науке, медицине, транспорте — везде, где необходимо анализировать большие объемны данных и строить выигрышные гипотезы. 🧑‍💻 Специалисты могут минимизировать затраты ресурсов по рутинным задачам и предложить автоматическое решение. И всему этому вы сможете научиться на курсе Data Scientist от Слёрм. Его разработали два Senior Data Scientist: — Иван Аникин, Team Lead Yandex.Edadeal; — Владимир Бугаевский, Team Lead СберМаркет. Они будут преподавать на потоке, который стартует 13 ноября! Иван и Владимир будут отвечать на вопросы студентов в чате и на онлайн-встречах, смотреть учебные проекты и давать по ним обратную связь — вы сможете положить итоговый проект в ваше портфолио. Узнать больше о программе курса и записаться на поток вы можете на сайте по ссылке. Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqutoRZR

🖥 TRUNCATE мгновенно удаляет все строки в таблице Одновременно удалите строки из дочерних таблиц с помощью функции TRUNCATE TABLE ... CASCADE Для этого внешние ключи должны быть ON DELETE CASCADE #SQLAlchemy @sqlhub

Приглашаем на бесплатный мини-курс, где вы на практике научитесь получать и обрабатывать данные с помощью SQL. Освоите и полюбите язык, который пригодится программисту, продакт-менеджеру, BI-аналитику, data-инженеру или специалисту по Data Science. Зарегистрируйтесь на мини-курс и получите 5 полезных статей по SQL и Excel: https://epic.st/0Ua_Sy Вас ждут: — море полезной теории; — практические работы для закрепления навыков; — бонусы: скидка 10 000 рублей на любой курс Skillbox, бессрочный доступ к материалам, полезные чек-листы и год бесплатного изучения английского языка; — персональная карьерная консультация. Что будем делать: — Писать запросы на языке SQL. — Проводить аналитику для бизнеса. — Разрабатывать автоматизированную отчётность в Excel. — Обрабатывать данные в Power Query. — Визуализировать показатели в Excel: будете создавать красивые графики, диаграммы и отчёты. — Применять инструменты Excel для анализа данных. Спикер — Мкртич Пудеян, специалист по анализу данных в «Газпромбанке». Сертифицированный SQL-разработчик от Microsoft, 8 лет работал специалистом по хранилищам данных в Tele2. Оставьте заявку и получите доступ к мини-курсу прямо сейчас! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

SuperDuperDB для использования в AI-проектах Предлагает специализированные функции, включающие: ✔️ деплой ИИ-API; ✔️ утилиту для тренировки моделей; ✔️ Feature Store - это «магазин» фичей, интерфейс между данными и моделями ML; ✔️ полноценную векторную базу данных. Он может быть интегрирован с различными базами данных, такими как mongoDB и PostgreSQL, а также с платформами Amazon S3 и фреймворками машинного обучения, такими как PyTorch, Transformers и scikit-learn. 🐱 GitHub @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Как расширить компетенции аналитиков при работе с Big Data — Иерархическая база данных — PostgreSQL Antipatterns: ходим по JSON-граблям — SQLx: raw SQL в Rust — @DynamicUpdate with column-level locking in YugabyteDB and how to avoid write skew anomalies — MASTERING MYSQL — Foreign Key validation in YugabyteDB when created in NOT VALID — Snowflake SQL Unique Functions — Recommendation Engines with Graph Databases using Apache AGE — My Takeaways from "How Query Engines Work" — Postgres: DB parameters configuration on the level of User / Database — How to prevent database problems from hitting production? — Postgres Order By: the resultset is sorted differently — 1075. Project Employees I Посмотреть: 🌐 Задача с реального Python собеседования middle разработчика. Рекурсивная сумма. (⏱ 13:00) 🌐 Определение диабета при помощи машинного обучения в 60 строк кода! (⏱ 12:54) 🌐 Что такое vector в c++ (⏱ 00:51) 🌐 STL C++ стандартная библиотека (⏱ 00:57) 🌐 deque разбор в С++ (⏱ 00:58) 🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28) Хорошего дня!

Наиболее распространенные операторы Pandas и Sql @sqlhub

🚀 Список лучших Data Science шпаргалок 🔸SQL - https://s3.amazonaws.com/assets.datacamp.com/email/other/SQL+for+Data+Science.pdf 🔸Статистика - https://res.cloudinary.com/dyd911kmh/image/upload/v1662111933/Marketing/Blog/Descriptive_Statistics_Cheat_Sheet.pdf 🔸Теория вероятностей - https://res.cloudinary.com/dyd911kmh/image/upload/v1674822557/Marketing/Blog/Probability_Cheat_Sheet.pdf 🔸Data storytelling - https://res.cloudinary.com/dyd911kmh/image/upload/v1662633286/Marketing/Blog/Data_Storytelling_Cheat_Sheet.pdf 🔸Data Visualization - https://s3.amazonaws.com/assets.datacamp.com/email/other/Data+Visualizations+-+DataCamp.pdf 🔸Machine Learning - https://s3.amazonaws.com/assets.datacamp.com/email/other/ML+Cheat+Sheet_2.pdf 🔸Deep Learning - https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-deep-learning.pdf 🔸Big Data - https://github.com/Ritik2703/Data-Science-Cheat-Notes-/blob/master/Big%20Data/Hadoop-and-mapreduce-cheat-sheet.pdf 🔸NLP - https://cheatography.com/sree017/cheat-sheets/nlp/ 🔸Python - https://res.cloudinary.com/dyd911kmh/image/upload/v1673614153/Marketing/Blog/Python_Cheat_Sheet_for_Beginners.pdf 🔸R Programming - https://res.cloudinary.com/dyd911kmh/image/upload/v1654763044/Marketing/Blog/R_Cheat_Sheet.pdf 🔸Plotly Express - https://res.cloudinary.com/dyd911kmh/image/upload/v1668605954/Marketing/Blog/Plotly_Cheat_Sheet.pdf 🔸Git - https://res.cloudinary.com/dyd911kmh/image/upload/v1656573882/Marketing/Blog/git_cheat_sheet.pdf 🔸Excel - https://res.cloudinary.com/dyd911kmh/image/upload/v1674225421/Marketing/Blog/Excel_Cheat_Sheet.pdf 🔸Tableau - https://s3.amazonaws.com/assets.datacamp.com/email/other/Tableau+Cheat+Sheet.pdf 🔸Power BI - https://s3.amazonaws.com/assets.datacamp.com/email/other/Power+BI_Cheat+Sheet.pdf @sqlhub