Data Science. SQL hub

🖥 Проверить, насколько похожи две строки в Oracle Database 23c #SQL с помощью FUZZY_MATCH ( <algorithm>, 'string1', 'string2' ) Поддерживается множество алгоритмов сравнения, включая: ▪Левенштейна ▪Яро-Винклер ▪Биграм ▪Совпадение всего слова ▪Длиннейшая общая подстрока @sqlhub

🔍 Prisma Популярная ORM prisma получила обновления. Prisma - это продвинутая ORM для Node.js и TypeScript | PostgreSQL, MySQL, MariaDB, SQL Server, SQLite, MongoDB и CockroachDB https://github.com/prisma/prisma @sqlhub

Python и базы данных 1. Python+SQL работа с базами данных 2. Python анализ данных с Pandas. PandaSQL 3. Python анализ данных с Pandas. Join, merge, concat в Pandas 4. Python+SQL часть 2, создание таблиц 5. Python+SQL. Операции с записями 6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior #video #python #sql https://youtube.com/watch?v=Q7FtqwF5GDw&list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n

SQL — востребованный язык для разработчиков, аналитиков и тестировщиков. Прокачайте знания SQL и навыки работы с базами данных на бесплатном мини-курсе Skillbox. Зарегистрируйтесь прямо сейчас и получите полезный гайд по профессии: https://epic.st/xkaxv Что будем делать: — Писать запросы на языке SQL. — Проводить аналитику для бизнеса. — Разрабатывать автоматизированную отчётность в Excel. — Обрабатывать данные в Power Query. — Визуализировать показатели в Excel: создавать красивые графики, диаграммы и отчёты. — Применять инструменты Excel для анализа данных. Спикер — Мкртич Пудеян, специалист по анализу данных в «Газпромбанке». Сертифицированный SQL-разработчик от Microsoft. 🎉 Всех участников ждут подарки: персональная карьерная консультация, на которой мы определим ваши сильные стороны и поможем выбрать направление в разработке, 5 полезных статей по SQL и Excel, а также год бесплатного изучения английского языка. Тёплые скидки в холодную погоду! Успейте в декабре получить новую профессию со скидкой до 60% — при покупке второй курс на выбор в подарок. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🔥 Shopify обслуживает более 1 миллиона запросов в секунду во время черной пятницы. Вероятно, вы думаете, что с такими большим количеством запросов могут справиться только какие-то мощные микросервисы. На самом деле все обстоит несколько иначе. Shopify использует 𝗺𝗼𝗱𝘂𝗹𝗮𝗿 𝗺𝗼𝗻𝗼𝗹𝗶𝘁𝗵 𝗮𝗽𝗽𝗿𝗼𝗮𝗰𝗵( модульную монолитную архитектуру), они хранят весь свой код в одной модульной кодовой базе. Монолитная архитектура - самая простая архитектура для понимания и реализации. Поскольку монолитный дизайн прост в построении и позволяет командам быстро работать на начальном этапе разработки, он может помочь продвинуть разработку приложения. Централизация развертывания приложения и поддержки кодовой базы имеет множество преимуществ. Вся функциональность доступна в одной папке; вам нужно будет управлять только одним репозиторием. Кроме того, это означает, что необходимо поддерживать один конвейер тестирования и развертывания, что может сэкономить много времени. Возможность обращаться к различным компонентам, а не полагаться на API веб-сервисов, - однно из самых привлекательных приемуществ монолитной архитектуры по сравнению с несколькими отдельными сервисами. Shopify реализовала одну из версий модульного монолита на 𝗥𝘂𝗯𝘆 𝗼𝗻 𝗥𝗮𝗶𝗹𝘀. Они организуют кодовую базу вокруг реальных концепций (таких как заказы, доставка, инвентаризация и выставление счетов), что облегчает разметку кода и людей, которые его понимают. Каждый компонент представляет собой мини-приложение на Rails (модуль). Каждый компонент претендует на единоличное владение данными, с которыми связан, и определяет прямой, специализированный интерфейс с границами домена, передаваемыми через публичный API. Cтатистики работы Shopify на черной пятнице: 🔹 145 миллиардов запросов (~60 миллионов в минуту) 🔹 99,999+% аптайма 🔹 5 ТБ/мин данных из всей инфраструктуры 🔹 MySQL 5.7 и 8 обрабатывают более 19 миллионов запросов в секунду (QPS) 🔹 22 ГБ/сек журналов и 51,4 ГБ/сек метрических данных 🔹 9 миллионов проходов в секунду данных трассировки 🔹 Их Apache Kafka обслуживал 29 миллионов сообщений в секунду в пиковый момент 🔹 Все работает в облаке Google Cloud @sqlhub

ℹ️База данных и паролиℹ️ Несмотря на удобство, самостоятельное хранение паролей создает значительные риски для безопасности. В идеале мы должны стремиться к тому, чтобы по возможности не заниматься хранением паролей самостоятельно. Некоторые альтернативные подходы включают в себя: ▪️Использование сторонних служб аутентификации (например, OAuth) для обработки входа в систему. ▪️Использование федеративного управления идентификацией и единого входа (SSO) для минимизации использования паролей. НЕЛЬЗЯ: - Хранить пароли в формате обычного текста - Хешировать пароли без разделения ОБЯЗАТЕЛЬНО: - Хешировать пароли перед хранением с помощью криптографических функций. - Следуйте отраслевым стандартам, таким как OWASP, для реализации соления и хэширования. - Правильно проверяйте попытки входа в систему, сравнивая хэши входных паролей и хранимых хэшей по времени.

Первый очный ИТ-митап Сбера в Калининграде! Приглашаем разработчиков и Data people, чтобы поговорить про новейшие разработки банка в области больших языковых моделей и обсудить, зачем нужен GigaChat. Когда: 16 декабря, 11:00 – 17:00 Где: г. Калининград, ул. Гюго 1, отель Holiday Inn, зал ГОФМАН Спикеры и темы: 1. Сысоев Дмитрий — исполнительный директор по исследованию данных — вместе с вами решит NLP-задачку и покажет, кто справится лучше: вы или GigaChat. 2. Ефремов Владислав — Development Team Lead — расскажет о платформе аналитики коммуникаций банка с клиентами Voice360 и покажет кейсы применения GigaChat для аналитики коммуникаций. 3. Марченков Антон — исполнительный директор по исследованию данных в Департаменте данных и рекомендательных систем Сбера — поделится тем, как Сбер использует современные генеративные модели и как это помогает соответствовать ожиданиям рынка. 4. Резвых Алексей — Team Lead Data Scientist — и Кулин Никита — Data Scientist —применят большие языковые модели для автоматического извлечения знаний из диалогов. 5. Дмитрий Бугайченко — управляющий директор в Департаменте данных и рекомендательных систем Сбера — расскажет о том, как искусственный интеллект работает на службе компаний-партнёров Сбера. Помимо новых знаний, вас ждут One Day Solo Hackathon и много призов. Скорее регистрируйтесь по ссылке

ℹ️Масштабирование базы данныхℹ️ Масштабировать чтение базы данных очень просто. Проблемы начинаются, когда вы хотите масштабировать записи! ▪️Почему? Чтобы масштабировать чтение, вы просто реплицируете данные на несколько узлов. Ведущий узел обрабатывает запросы на запись, а последующие - на чтение. Однако масштабирование операций записи - это совсем другое дело. Чтобы масштабировать запись, вы позволяете нескольким узлам обрабатывать запросы на запись. Это более известно как активно-активная настройка. Идея заключается в том, что когда узел получает запрос на запись, он распространяет изменения на другие узлы. Но такая схема может привести к конфликтам. На этом этапе вам необходимо иметь какой-то алгоритм разрешения конфликтов. @sqlhub

Как стать аналитиком данных в Авито? Как вырасти с нуля до senior? Чтобы ответить на эти вопросы школа karpovꓸcourses и Авито, компания с одними из самых высоких требований к сотрудникам на рынке, проведут бесплатный вебинар. На вебинаре вы узнаете: — Как устроена команда аналитики в Авито и какие задачи она решает — Какие навыки необходимы потенциальному кандидату — Какие этапы предстоит пройти при трудоустройстве в компанию А еще вы построите собственный карьерный трек и составите пошаговый план, чтобы получить работу в крупной IT-компании. Вебинар будет полезен как тем, кто только начинает свой путь в аналитике, так и опытным специалистам, которые хотят покорять новые вершины. 🕖Встречаемся уже 6 декабря в 19:00 Регистрируйтесь, чтобы попасть на вебинар

ℹ️HNSWℹ️ Иерархический маленький мир (Hierarchical Navigable Small-World graph, HNSW) — один из самых быстрых алгоритмов приблизительного поиска ближайших соседей. Поисковый индекс в HNSW представляет собой многоуровневую структуру, в которой каждый уровень является графом близости. Каждый узел графов соответствует одному из векторов запросов. Алгоритм индексирования HNSW позволяет эффективно осуществлять поиск ближайших соседей в векторных базах данных. Поиск ближайших соседей в HNSW использует метод увеличения (zooming-in). Он начинается во входной ноде самого верхнего уровня и рекурсивно выполняет жадный обход графов на каждом уровне, пока не достигнет локального минимума на самом дне. Подробности об алгоритме и методике поиска хорошо описаны в научной работе. Важно запомнить, что каждый цикл поиска ближайших соседей состоит из обхода узлов графов с вычислением расстояний между векторами. Ниже мы рассмотрим эти этапы, чтобы использовать данный метод для создания крупномасштабного индекса. Как это работает? ▪️HNSW организует векторы в многослойную графовую структуру. ▪️Узлы в каждом слое поддерживают связи на основе расстояний в векторном пространстве. ▪️Навигация происходит иерархически, начиная с верхнего слоя и спускаясь вниз для уточнения поиска. ▪️Более высокие слои строятся путем подвыборки узлов из нижних слоев. Почему HNSW? ▪️Скорость: иерархическая структура означает, что алгоритм поиска может перемещаться по графу быстрее, чем при плоской структуре. ▪️Масштабируемость: Поскольку кэш-память хранит только верхний слой, а затем добавляет только соседние векторы в дальнейших слоях, это очень эффективно и масштабируемо. ▪️Адаптируемость: HNSW очень надежен и может одновременно работать с импортом и запросами. @sqlhub

Кейсы SQL в финтехе — 2 декабря на бесплатной онлайн-конференции ЮMoneyDay 📍Обсудим: — Сбор информации об использовании отчётов, OLAP-кубов, веб-сервисов и пользовательских баз данных в экосистеме Microsoft SQL Server. — Какую пользу от DG могут получить разработчики и аналитики данных, что для этого делать. Регистрируйтесь, зовите друзей, коллег и всех, кому будет интересно. Ссылку на трансляцию отправим по почте 🙌🏼

🖥 Relational Deep Learning - это новый подход к представлению данных, распределенных по нескольким таблицам, например, в реляционной базе данных (см. статью). RelBench - это бенчмарк, который призван способствовать эффективным, надежным и воспроизводимым исследованиям в этом направлении. Он включает в себя коллекцию реалистичных, масштабных и разнообразных датасетов, структурированных в виде реляционных таблиц. Эта прорывная технология открывает широкие возможности для работы с данными и поднимает новые интересные исследовательские вопросы. ▪Github ▪Проект @sqlhub

Оффер за выходной в Big Data.МегаФон для Data-специалистов! Зарплата от 250 до 450 тысяч рублей в зависимости от грейда, уютный офис или полная удаленка на территории РФ, а также ДМС со стоматологией и страховкой. На этом бонусы не заканчиваются: оплата связи, компенсация фитнеса, обучение за счет компании и многое другое. Вам предстоит работать с масштабными проектами: — разрабатывать аналитические сервисы на базе AI; — анализировать бизнес-процессы и внедрять языковые модели для облегчения рутины в LLM; — тестировать продуктовые и ML-гипотезы. Мегафон — оператор №1 по покрытию сети и скорости мобильного интернета. Оставляйте заявку и меняйте рынок телекома: https://u.to/ih4lIA

Никто: SQL-разработчики: @sqlhub

🔮 Больших данных не нужно бояться — с их помощью можно менять мир Как аналитики превращают массивы информации в пользу для людей и компаний — расскажут специалисты из сферы на бесплатном митапе Нетологии «Аналитика сегодня: как данные помогают прогрессу». Вы познакомитесь с кейсами из бизнеса, узнаете, как аналитики помогают в создании новых лекарств и развитии промышленности, и поймёте, интересно ли вам дальше разбираться в теме. Участники эфира получат пошаговый гайд для входа в сферу и смогут принять участие в розыгрыше курса по Excel. Присоединяйтесь, чтобы аналитика стала для вас понятнее и ближе Реклама ООО Нетология LatgC3AQw

Именно поэтому долговечность - самое важное свойство базы данных. Может случиться много неприятных вещей: отключение электричества, системные сбои или отказ оборудования. ❓Как базы данных гарантируют, что мы не потеряем наши данные?❓ Основная идея заключается в том, чтобы хранить данные в энергонезависимом хранилище, например на диске. Всякий раз, когда пользователь выполняет транзакцию, база данных делает две вещи: ▪️записывает данные в отдельный журнал ▪️производит обновление. Журнал позволяет обрабатывать транзакции во время перезагрузки. Запись в журнал происходит быстро, потому что это двоичный файл только для добавления. Что делать, если база данных распределена? Этот случай более сложный, поскольку серверы базы данных должны координировать свои действия Существует процесс, в котором один из серверов выступает в роли координатора: ▪️он передает сообщение о фиксации всем участникам ▪️ожидает всех подтверждений ▪️сообщает о фиксации или откате @sqlhub

Приглашаем на главное BI-событие декабря — Yandex DataLens Festival! В этом году будет ещё интереснее! Вас ждут 2 недели полезного контента от экспертов: ⭐️ Yandex Cloud. Как построить аналитику в облаке ⭐️ MAXIMUM Education. Как переезд с Power BI расширил число пользователей аналитики ⭐️ Ренессанс Страхование. Как построить систему знаний и обучения BI ⭐️ CARCADE. Как организовать работу 1000 пользователей BI в финсекторе ⭐️ YCLIENTS. Как анализировать работу команды разработки ⭐️ Reveal the Data aka Роман Бунин. Сколько живёт дашборд и как увеличить время его жизни Помимо этого, ведущие разработчики DataLens и YTsaurus поделятся рецептами, как готовить опенсорс, а именно: 🛠 как развернуть у себя 🛠 как кастомизировать UI 🛠 как настроить базовую аутентификацию 🛠 как интегрировать с YTsaurus Будет много нетворкинга — разберём вопросы на Q&A-сессии и пообщаемся вживую на афтерпати. Ну и какой фестиваль без конкурсов и сюрпризов 🎁 Участие бесплатное, нужно только ➡️ зарегистрироваться

🖥 DBA1. Администрирование PostgreSQL 13. Базовый курс 1. Введение 2. Установка и управление сервером 3. Использование psql 4. Конфигурирование 5. Общее устройство PostgreSQL 6. Изоляция и многоверсионность 7. Очистка 8. Буферный кеш и журнал 9. Базы данных и схемы 10. Системный каталог #video #database https://www.youtube.com/watch?v=yevXLP2LA4Q&list=PLaFqU3KCWw6LPcuYVymLcXl3muC45mu3e @sqlhub

⚡️ Совет по работе с базами данных Удаление сотен тысяч строк происходит медленно, влияет на производительность и не освобождает память. Однако удалить старые данные можно очень эффективно, если разбить таблицу на временные диапазоны и удалить один из них. @sqlhub

🐼 Используйте векторные операции #pandas вместо того, чтобы выполнять операции над каждым столбцом по отдельности. Это позволяет использовать оптимизированную реализацию pandas на языке C для повышения производительности, особенно при работе с большими массивами данных. @sqlhub