Data Science. SQL hub

💻ACID Когда речь идёт о базах данных, может всплыть сочетание «Требования ACID». Давайте освежим в памяти, что же это значит Требования ACID — набор требований, которые обеспечивают сохранность ваших данных. 🔅Atomicity — Атомарность Атомарность гарантирует, что каждая транзакция будет выполнена полностью или не будет выполнена совсем. Не допускаются промежуточные состояния. 🔄Consistency — Согласованность Это свойство вытекает из предыдущего. Благодаря тому, что транзакция не допускает промежуточных результатов, база остается консистентной. Есть такое определение транзакции: «Упорядоченное множество операций, переводящих базу данных из одного согласованного состояния в другое». То есть до выполнения операции и после база остается консистентной (согласованной) ⬇️Isolation — Изолированность Во время выполнения транзакции параллельные транзакции не должны оказывать влияния на её результат. 🔓Durability — Надёжность Если пользователь получил подтверждение от системы, что транзакция выполнена, он может быть уверен, что сделанные им изменения не будут отменены из-за какого-либо сбоя. Обесточилась система, произошел сбой в оборудовании? На выполненную транзакцию это не повлияет. 🔗 Полезная статья на Хабре в тему @sqlhub

⚡️ Dolt — первая в мире база данных SQL с контролем версий. Для достижения этой цели Dolt использует Prolly Tree-хранилище схемы и данных, представленных в виде графа. Таким образом достигается контроль версий базы данных на уровне хранилища. Контроль версий БД в стиле Git предоставляет ряд полезных фичей: — Мгновенный откат к любому предыдущему состоянию — Полный журнал аудита с возможностью запроса, содержащий все данные с момента их создания. — Несколько развивающихся ветвей данных — Возможность объединения ветвей данных — Быстрая синхронизация с удаленными версиями для резервного копирования или децентрализованной совместной работы. — Запрашиваемые различия (т. е. различия) между версиями Механизм хранения Dolt построен на графе коммитов Prolly Trees в стиле Git. Схема таблицы и данные хранятся в Prolly Trees. Корни этих деревьев Prolly вместе с другими метаданными хранятся в графе коммитов, чтобы обеспечить контроль версий в стиле Git. 🔗 Подробнее можно почитать на официальной страничке 🔗Github @sqlhub

✅ Сравнениваем возможности Oracle и PostgreSQL на открытом практическом уроке от OTUS 🔹На вебинаре проведем сравнение между основными используемыми типами данных    🔹 Проведем сравнение между основными используемыми типами объектов  🔹Рассмотрим аналоги некоторых оракловых фич в PG  Вебинар будет полезен для разработчиков Oracle, столкнувшихся с необходимостью миграции на PostgreSQL Встречаемся 4 марта в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». 👉 Регистрация https://otus.pw/ilH8/?erid=LjN8K9Ryf

⚡️ SpeedML - это библиотека Python, целью которой является ускорение процесса разработки конвейера машинного обучения. Она объединяет часто используемые пакеты ML, такие как Pandas, NumPy, Scikit-learn, XGBoost и Matplotlib. SpeedML также предоставляет функциональные возможности для автоматизированного EDA. pip install speedml • Github @sqlhub

🛠 Gephi — один из наиболее функциональных и доступных инструментов для всех, кто изучает социальные сети и графы. Gephi Lite — это его облегчённая веб-версия. Пользователи могут видеть все параметры сети, использовать фильтры, настраивать визуализацию графа, сохранять и экспортировать файлы. 🔗 gephi.org/gephi-lite @sqlhub

#вакансия #vacancy #удаленка #удаленно #СА #системныйаналик Вакансия: Системный аналитик Компания: Riverstart Формат сотрудничества: удалённо или в офисе г. Нижний Новгород Локация: не имеет значения ЗП: от 160К до 200К руб./мес Riverstart — на рынке с 2012 года. Аккредитованы в Минцифры. 19 побед в отраслевых федеральных конкурсах в 2023 году. Делаем высоконагруженные сервисы для веба и мобайла: сайты, порталы, сервисы, CRM, LMS и ERP-системы. Среди наших клиентов Международный аэропорт «Внуково», Правительство Нижегородской области, ХК Торпедо, Газпром и другие компании. Ищем Системного аналитика уровня middle и выше. Требования: - Готовность работать по часовому поясу по МСК. - Опыт работы системным аналитиком от 2,5 лет. - Опыт работы в интеграционных проектах, знание REST/SOAP. - Уверенное владение SQL. - Опыт написания функциональных требований/бизнес-требований/технических спецификаций для разработки. - Знание протоколов и контейнеров данных (XML, XSD, JSON). - Опыт работы с системами коллективной разработки (Jira, Confluence). Задачи: - Сбор и формирование требований к системе и их согласование. - Формирование вариантов возможной технической реализации решения. - Разработка и согласование функциональных и технических спецификаций. - Коммуникации с разработчиками для эффективной реализации задач. Условия: - Готовы рассматривать удобную форму сотрудничества и расчётов. - Дополнительное премирование за вклад в командную работу. - Разнообразные проекты и заказчики. Ждём ваши отклики: @olya_kokovkina

🖥 sqlite-web - это веб-браузер баз данных SQLite, написанный на Python. ▪Работает с существующими базами данных SQLite или может использоваться для создания новых баз данных. ▪Экспорт данных в формате JSON или CSV. ▪Импорт файлов JSON или CSV. $ pip install sqlite-web ▪Github @sqlhub

🎯 Tarantool Column Store — новая гибридная СУБД с поддержкой как колоночного, так и строчного хранения и обработки данных в режиме реального времени. Транзакционные и аналитические системы в одном месте – возможность проводить анализ на актуальных данных Моментальный анализ – все данные доступны в одной СУБД Быстрая обработка данных – можно обрабатывать задачи AI Совместимость – обновление работает с российскими операционными системами Astra Linux, РЕД ОС и «Альт».

🖥 Если вдруг вам понадобилось базу IP2Location перевести из DECIMAL-представления IP-адресов в "родной" для PostgreSQL тип inet, то для IPv4-адресов все будет тривиально:

'0.0.0.0'::inet + ipnum::bigint

А вот для преобразования числа к формату IPv6-адреса придется проявить немного изобретательности: — "математически" разбиваем число на 8 двухбайтовых сегментов по (2 ^ 16) ^ i — каждое значение преобразуем в шестнадцатеричную систему счисления и добиваем лидирующими нулями — склеиваем сегменты через двоеточие и кастуем к inet

array_to_string(ARRAY(
  SELECT
    lpad(to_hex(trunc(
      ipnum % (2::numeric(39,0) ^ ((i + 1) * 16)) / (2::numeric(39,0) ^ (i * 16))
    )::integer), 4, '0')
  FROM
    generate_series(7, 0, -1) i
), ':')::inet

В принципе, после этого мы можем "свернуть" ip_from и ip_to в подсеть, не обращая внимания на исходный формат:

inet_merge(ip_from, ip_to) subnet

А если проиндексируем эти подсети с помощью gist...

CREATE INDEX ON country_inet USING gist(subnet inet_ops);

... то сможем по индексу быстро определять принадлежность произвольного IPv4/IPv6-адреса подсетям с помощью соответствующих операторов примерно таким запросом:

SELECT
  *
FROM
  country_inet
WHERE
  subnet >> '8.8.8.8' AND
  country <> '-'
ORDER BY
  masklen(subnet) DESC
LIMIT 1;

@sqlhub

Авито в поиске аналитиков разного уровня, которые хотят влиять на бизнес и развивать продукт 🔍 Переходите по ссылкам, чтобы узнать больше про каждую вакансию: 1️⃣ Руководитель группы аналитики в Core Analytics 2️⃣ Аналитик данных в команду маркетплейса 3️⃣ Аналитик данных в рекламные аукционы 4️⃣ Аналитик данных в техническую платформу 5️⃣ Старший аналитик данных в команду прайсинга Вас ждут интересные и разнообразные задачи: аналитики в Авито ищут точки роста бизнеса, изучают поведение пользователей, придумывают фреймворки и настраивают дашборды. А ещё: – достойная зарплата, размер которой обсуждается на собеседовании; – прозрачная система премий; – удалённая работа, но есть и классный офис в 2-х минутах от метро «Белорусская»; – ДМС со стоматологией с первого дня; – много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо; – талантливая команда, крутая аналитическая культура и сообщество профессионалов; – личный бюджет на обучение, который можно тратить на книги, курсы и конференции; – масштабные корпоративы, онлайн-вечеринки, командные тимбилдинги. Скорее откликайтесь!

📈 PyGraphistry: Explore Relationships PyGraphistry полезная это библиотека Python с ИИ для визуальных графов, позволяющая извлекать, преобразовывать, анализировать и визуализировать большие графы вместе со сквозными сеансами графического сервера Graphistry. Библиотека создана специально для больших графов. Пользовательский механизм рендеринга WebGL клиента рендерит до 8 миллионов узлов + ребер за раз, а большинство клиентских GPU поддерживают от 100 000 до 2 миллионов элементов. Мощный механизм аналитики графического процессора на стороне сервера поддерживает графы еще большего размера. Graphistry сглаживает графические рабочие процессы в экосистеме PyData, включая датафреймы Pandas/Spark/Dask, графического процессора Nvidia RAPIDS, графы GPU, графовые нейросети DGL/PyTorch и различные коннекторы данных. PyGraphistry — это дружественный и оптимизированный нативный интерфейс PyData для API-интерфейсов REST Graphistry, не зависящих от языка. Можно использовать PyGraphistry с традиционными источниками данных Python, такими как CSV, SQL, Neo4j, Splunk и другими. ▪Github @sqlhub

Почему Data Science стремительно набирает обороты в мире Web3/Блокчейн, а мы об этом ничего не знаем? 🔝@TopSelectionWeb3 приоткрывает завесу над тайнами Data Science и его потенциалом для Web3/Блокчейн 🎙Кто проведет? Тина🦄 - CTO и Product Owner в TopSel, победитель Хакатона Binance 🔥Вот 3 крутые причины, почему вам не стоит пропускать наш эфир: • Узнайте, как Data Science трансформирует мир децентрализованных приложений, NFT, DeFi и всего того, что мы так любим. • Поймете, почему Web3/Блокчейн может стать вашим конкурентным преимуществом на рынке труда. • Получите мега-дозу вдохновения и мотивации для того, чтобы двигаться вперед в карьере в мире Web3/Блокчейна. 🧜‍♂️ Неважно, кто вы – новичок или опытный эксперт в анализе данных, этот эфир станет решающим в вашей карьере. 📆 Сохраните дату: 1 марта в 17:00 мск Ждем вас на эфире! 💕 @TopSelectionWeb3 #эфир #web3 #blockchain #Data #Science

🖥 Огромное количество полезных шпаргалок для разработчиков Отличный сборник шпаргалок, в том числе по SQL, для повышения производительности и быстрого запоминания в процессе работы. ▪Github ▪SQL @sqlhub

⛅ Запуск локального кода в облаке без настройки серверов и кластеров Yandex DataSphere Jobs позволяет запускать любую программу на Python или shell-скрипт в облаке без всяких изменений. Для запуска скрипта не нужно модифицировать исходный код, самостоятельно развёртывать кластер и собирать окружение — это происходит автоматически при запуске скрипта. Преимущества DataSphere Jobs: ⏺ Быстрый запуск вычислений в облаке с доступом ко всем его ресурсам, включая GPU без настройки виртуальных машин и кластеров. ⏺ Безопасность — Yandex Cloud выполняет все требования безопасности информации и работы с персональными данными. После исполнения вычислений DataSphere Jobs удалит весь код и данные. ⏺ Экономия затрат на развёртывание кластеров, их обслуживание и DevOps. 🗣 Подробнее смотрите в видео. Реклама. ООО «Яндекс.Облако» ИНН 7704458262

🖥 Как можно избежать усложнения запроса лишними CASE Тут ниже представлена попытка заNULLить значение, если оно равно чему-то.

, CASE WHEN sdate = '1900-01-01' THEN NULL ELSE sdate END sdate
, CASE WHEN mdate = '1900-01-01' THEN NULL ELSE mdate END mdate

Но ведь в PostgreSQL есть функция nullif, которая делает ровно то же самое. NULLIF(значение1, значение2) Функция NULLIF выдаёт значение NULL, если значение1 равно значение2; в противном случае она возвращает значение1. Это может быть полезно для реализации обратной операции к COALESCE. В частности, для примера, показанного выше: SELECT NULLIF(value, '(none)') ... В данном примере если value равно (none), выдаётся null, а иначе возвращается значение value. То есть в примере выше можно переписать короче и понятнее:

, NULLIF(sdate, '1900-01-01') sdate
, NULLIF(mdate, '1900-01-01') mdate

@sqlhub

🖥 Генераторы данных с открытым исходным кодом! 🟡Mimesis - надежный генератор данных для Python, который может создавать широкий спектр поддельных данных на различных языках. 🟡Spawner - инструмент для создания данных для разнообразных баз данных и искусственного интеллекта. Содержит широкий набор полей, включая возможность пользовательской настройки вручную. 🟡Benerator - генератор текстовых данных для оценки, тестирования и обучения ИИ-моделей. 🟡DataFactory - удобный способ создавать разнообразные наборы тестовых данных для наполнения баз данных и проверки ИИ-моделей. 🟡MockNeat - простой интерфейс для программной генерации данных в форматах json, xml, csv и sql. 🟡Faker - с помощью этого инструмента можно быстро создать фейковые данные для тестов. @sqlhub

Прямо сейчас в три команды Авито ищут дата-сайентистов: 1️⃣ Data Scientist в платформу анализа коммуникаций (Automated Speech Recognition) 2️⃣ Data Scientist в команду антифрода 3️⃣ Data Scientist в команду рекомендаций Если вам хочется улучшать опыт миллионов пользователей, скорее откликайтесь! Вас ждут интересные и сложные задачи на большом масштабе, а ещё: – достойная зарплата (обсуждается индивидуально на собеседовании); – сильная команда, которая всегда готова прийти на помощь; – возможность изучать и пробовать новое, мощное железо для этого; – бюджет на обучение, который можно тратить на курсы или профессиональную литературу; – забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист; – возможность работать удалённо или из классных офисов в четырёх городах России. Переходите по ссылкам и оставляйте отклики.

🔑 Знание регулярных выражений поднимает вас над общей серой массой, так что не бойтесь выделяться) Regex и ~ в SQL помогут вам найти абсолютно всё, вот примеры некоторых особенно полезных регулярок: 🔵типичное имя пользователя — ^[a-z0-9_-]{3,16}$; начало строки (^), потом любая буква (a-z), число (0-9), символ подчёркивания/дефис. Нам нужно от 3 до 16 этих символов ({3,16}), потом конец строки ($) 🔵^[a-z0-9_-]{6,18}$ — типичный пароль, должно быть от 6 до 18 символов 🔵^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$ — типичный email; под это выражение подходит john@doe.com, не подходит john@doe.something (TLD длинный) 🔵^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$ — типичный URL из латинских букв; https://net.tutsplus.com/about подходит под это выражение http://google.com/some/file!.html не подходит под это выражение 🔵^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$ — тег html Вообще, есть очень удобный сайт regex101.com для составления regex, use it @sqlhub

🖥 Panel: The powerful data exploration & web app framework for Python Блокноты Jupyter отлично подходят для изучения данных. Но они не так хороши для визуализации данных. Попробуйте библиотеку с открытым исходным кодом на Python, которая поможет вам создавать информативные дашборды ↓ ▪ Github pip install panel @sqlhub