Data Science. SQL hub
Open in Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
Show more
Network:📈 Analytical overview of Telegram channel Data Science. SQL hub
Channel Data Science. SQL hub (@sqlhub) in the Russian language segment is an active participant. Currently, the community unites 35 984 subscribers, ranking 3 624 in the Technologies & Applications category and 17 751 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 35 984 subscribers.
According to the latest data from 06 September, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 84 over the last 30 days and by -6 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 6.40%. Within the first 24 hours after publication, content typically collects 3.34% reactions from the total number of subscribers.
- Post reach: On average, each post receives 2 301 views. Within the first day, a publication typically gains 1 201 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 9.
- Thematic interests: Content is focused on key topics such as sql, индекс, postgres, index, sqlite.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
Thanks to the high frequency of updates (latest data received on 07 September, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
35 984
Subscribers
-624 hours
+557 days
+8430 days
Posts Archive
35 973
Обведите дату в кружочек: курс «Data-инженер» от Слёрм стартует 15 января
На курсе обширная, но при этом глубокая программа. Эксперты показывают и рассказывают, чем же именно занимается специалист, какие знания и навыки потребуются аналитику данных в профессии data-инженера.
В создании обучения участвовали три действующих data-инженера. Они точно знают, какие знания потребуются на старте карьеры!
Курс проходит в формате потока:
🫖 Каждая тема отрабатывается на практике, а по некоторым заданиям эксперты дадут подробную обратную связь — ревью;
✨ Будут вопросы? Вы сможете задать их в чате студентов и на встречах со спикерами;
💪 В конце курса вы сделаете проект на основе своих данных — или воспользоваться материалами от Слёрм.
Курс подойдет аналитикам данных, администраторам БД, разработчикам и начинающим Data-инженерам.
🍀Вы можете оплатить курс полностью, разбить по частям или провести оплату от работодателя!
Подробная программа и форма для записи на сайте Слёрм ⬅️
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqwiH2Rx
35 973
📁 Shutil: лучший инструмент для управления файлами Python
https://www.youtube.com/watch?v=_q2h9qslPzI
@pythonl
35 973
🖥 СОВЕТ: В SQL, если вы ищите «все строки без определенного значения» вывод не будет включать строки, содержащие
NULL 😳
Мой коллега постоянно работает с базами данных и обнаружил это вчера на собственном горьком опыте.
Некоторым это может показаться неожиданным поведением для движков: #mysql, #postgresql.
Если вы хотите вывести NULL, используйте `val != 'crazy' OR val IS NULL`
@sqlhub35 973
Удобный мини-курс для тех, кто хочет прокачать свои навыки в направлении Python-разработки в новом году. Вы на практике познакомитесь с задачами разработчиков. Научитесь создавать полезные приложения для заработка или решения личных задач. Для 200 первых участников мини-курс доступен бесплатно: https://epic.st/iNYXPE
Кому будет полезен мини-курс:
— тем, кто хочет попасть в IT, но сомневается, что им подойдёт эта сфера;
— тем, кто уже знает основы Python и хочет дополнить базовые знания крутой практикой;
— тем, кто жаждет карьерных перемен и развития в новой профессии.
Спикер — Анастасия Борнева. Руководитель направления по исследованию данных в «Сбере». Опыт в программировании более 9 лет. С 2018 года — эксперт по автоматизации процессов с помощью искусственного интеллекта в «Сбере».
Что будете делать:
— разберёте базовый синтаксис языка;
— создадите бота для Telegram, который умеет переводить голос в текст;
— сделаете бота умнее — «научите» его обрабатывать фотографии;
— узнаете, как парсить сайты — собирать информацию с веб-страниц в удобные таблицы;
— напишете сайт с помощью инструмента Flask.
В финале будет прямой эфир, где вы сможете обсудить практические работы и задать вопросы спикеру.
Все участники получат в подарок полезные материалы с чек-листами, гайдами, скринкастами и другими бонусами.
Откройте новые возможности в новом году!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.
35 973
🔥 Дайджест полезных материалов из мира SQL за неделю
Почитать:
— Поисковик хрущёвок и районов в Москве где их нет
— 8 бесплатных курсов по большим языковым моделям
— Современные варианты баз данных
— Как был создан потоковый SQL-движок
— 15 примеров задач по SQL на собеседовании по вакансии системного аналитика
— Databricks SQL concepts
— [Databases] - Update consistency
— Structured Query Language (SQL) - Series
— A Comprehensive Guide to SQL Query Optimization Techniques
— Maximizing Database Efficiency Mastering Query Optimization in SQL
— The Hallucinated Rows Incident
— How Metis Detects Too Many Open Connections on Postgres
— Postgesql - create a user for a database
— SQL Pro tips : CROSS JOIN UNPIVOT summary for beginners
— Securing Postgresql Database
Посмотреть:
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно.
🌐 Эти фишки сделают твой Python код лучше🔥 (⏱ 18:27)
🌐Выполнение простейших запросов SQL в СУБД Ред База Данных и Firebird!
Хорошего дня!
@sqlhub
35 973
🖥 Проверить, насколько похожи две строки в Oracle Database 23c #SQL с помощью
FUZZY_MATCH ( <algorithm>, 'string1', 'string2' )
Поддерживается множество алгоритмов сравнения, включая:
▪Левенштейна
▪Яро-Винклер
▪Биграм
▪Совпадение всего слова
▪Длиннейшая общая подстрока
@sqlhub35 973
🔍 Prisma
Популярная ORM prisma получила обновления.
Prisma - это продвинутая ORM для
Node.js и TypeScript | PostgreSQL, MySQL, MariaDB, SQL Server, SQLite, MongoDB и CockroachDB
https://github.com/prisma/prisma
@sqlhub35 973
Python и базы данных
1. Python+SQL работа с базами данных
2. Python анализ данных с Pandas. PandaSQL
3. Python анализ данных с Pandas. Join, merge, concat в Pandas
4. Python+SQL часть 2, создание таблиц
5. Python+SQL. Операции с записями
6. Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior
#video #python #sql
https://youtube.com/watch?v=Q7FtqwF5GDw&list=PLysMDSbb9HcxdvtQSkYoO7xaF3SvGUD8n
35 973
SQL — востребованный язык для разработчиков, аналитиков и тестировщиков. Прокачайте знания SQL и навыки работы с базами данных на бесплатном мини-курсе Skillbox.
Зарегистрируйтесь прямо сейчас и получите полезный гайд по профессии: https://epic.st/xkaxv
Что будем делать:
— Писать запросы на языке SQL.
— Проводить аналитику для бизнеса.
— Разрабатывать автоматизированную отчётность в Excel.
— Обрабатывать данные в Power Query.
— Визуализировать показатели в Excel: создавать красивые графики, диаграммы и отчёты.
— Применять инструменты Excel для анализа данных.
Спикер — Мкртич Пудеян, специалист по анализу данных в «Газпромбанке». Сертифицированный SQL-разработчик от Microsoft.
🎉 Всех участников ждут подарки: персональная карьерная консультация, на которой мы определим ваши сильные стороны и поможем выбрать направление в разработке, 5 полезных статей по SQL и Excel, а также год бесплатного изучения английского языка.
Тёплые скидки в холодную погоду! Успейте в декабре получить новую профессию со скидкой до 60% — при покупке второй курс на выбор в подарок.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
35 973
🔥 Shopify обслуживает более 1 миллиона запросов в секунду во время черной пятницы.
Вероятно, вы думаете, что с такими большим количеством запросов могут справиться только какие-то мощные микросервисы. На самом деле все обстоит несколько иначе.
Shopify использует 𝗺𝗼𝗱𝘂𝗹𝗮𝗿 𝗺𝗼𝗻𝗼𝗹𝗶𝘁𝗵 𝗮𝗽𝗽𝗿𝗼𝗮𝗰𝗵( модульную монолитную архитектуру), они хранят весь свой код в одной модульной кодовой базе.
Монолитная архитектура - самая простая архитектура для понимания и реализации.
Поскольку монолитный дизайн прост в построении и позволяет командам быстро работать на начальном этапе разработки, он может помочь продвинуть разработку приложения.
Централизация развертывания приложения и поддержки кодовой базы имеет множество преимуществ.
Вся функциональность доступна в одной папке; вам нужно будет управлять только одним репозиторием. Кроме того, это означает, что необходимо поддерживать один конвейер тестирования и развертывания, что может сэкономить много времени.
Возможность обращаться к различным компонентам, а не полагаться на API веб-сервисов, - однно из самых привлекательных приемуществ монолитной архитектуры по сравнению с несколькими отдельными сервисами.
Shopify реализовала одну из версий модульного монолита на 𝗥𝘂𝗯𝘆 𝗼𝗻 𝗥𝗮𝗶𝗹𝘀. Они организуют кодовую базу вокруг реальных концепций (таких как заказы, доставка, инвентаризация и выставление счетов), что облегчает разметку кода и людей, которые его понимают. Каждый компонент представляет собой мини-приложение на Rails (модуль).
Каждый компонент претендует на единоличное владение данными, с которыми связан, и определяет прямой, специализированный интерфейс с границами домена, передаваемыми через публичный API.
Cтатистики работы Shopify на черной пятнице:
🔹 145 миллиардов запросов (~60 миллионов в минуту)
🔹 99,999+% аптайма
🔹 5 ТБ/мин данных из всей инфраструктуры
🔹 MySQL 5.7 и 8 обрабатывают более 19 миллионов запросов в секунду (QPS)
🔹 22 ГБ/сек журналов и 51,4 ГБ/сек метрических данных
🔹 9 миллионов проходов в секунду данных трассировки
🔹 Их Apache Kafka обслуживал 29 миллионов сообщений в секунду в пиковый момент
🔹 Все работает в облаке Google Cloud
@sqlhub
35 973
ℹ️База данных и паролиℹ️
Несмотря на удобство, самостоятельное хранение паролей создает значительные риски для безопасности.
В идеале мы должны стремиться к тому, чтобы по возможности не заниматься хранением паролей самостоятельно.
Некоторые альтернативные подходы включают в себя:
▪️Использование сторонних служб аутентификации (например, OAuth) для обработки входа в систему.
▪️Использование федеративного управления идентификацией и единого входа (SSO) для минимизации использования паролей.
НЕЛЬЗЯ:
- Хранить пароли в формате обычного текста
- Хешировать пароли без разделения
ОБЯЗАТЕЛЬНО:
- Хешировать пароли перед хранением с помощью криптографических функций.
- Следуйте отраслевым стандартам, таким как OWASP, для реализации соления и хэширования.
- Правильно проверяйте попытки входа в систему, сравнивая хэши входных паролей и хранимых хэшей по времени.
35 973
Первый очный ИТ-митап Сбера в Калининграде!
Приглашаем разработчиков и Data people, чтобы поговорить про новейшие разработки банка в области больших языковых моделей и обсудить, зачем нужен GigaChat.
Когда: 16 декабря, 11:00 – 17:00
Где: г. Калининград, ул. Гюго 1, отель Holiday Inn, зал ГОФМАН
Спикеры и темы:
1. Сысоев Дмитрий — исполнительный директор по исследованию данных — вместе с вами решит NLP-задачку и покажет, кто справится лучше: вы или GigaChat.
2. Ефремов Владислав — Development Team Lead — расскажет о платформе аналитики коммуникаций банка с клиентами Voice360 и покажет кейсы применения GigaChat для аналитики коммуникаций.
3. Марченков Антон — исполнительный директор по исследованию данных в Департаменте данных и рекомендательных систем Сбера — поделится тем, как Сбер использует современные генеративные модели и как это помогает соответствовать ожиданиям рынка.
4. Резвых Алексей — Team Lead Data Scientist — и Кулин Никита — Data Scientist —применят большие языковые модели для автоматического извлечения знаний из диалогов.
5. Дмитрий Бугайченко — управляющий директор в Департаменте данных и рекомендательных систем Сбера — расскажет о том, как искусственный интеллект работает на службе компаний-партнёров Сбера.
Помимо новых знаний, вас ждут One Day Solo Hackathon и много призов. Скорее регистрируйтесь по ссылке
35 973
+1ℹ️Масштабирование базы данныхℹ️
Масштабировать чтение базы данных очень просто. Проблемы начинаются, когда вы хотите масштабировать записи!
▪️Почему?
Чтобы масштабировать чтение, вы просто реплицируете данные на несколько узлов.
Ведущий узел обрабатывает запросы на запись, а последующие - на чтение.
Однако масштабирование операций записи - это совсем другое дело.
Чтобы масштабировать запись, вы позволяете нескольким узлам обрабатывать запросы на запись.
Это более известно как активно-активная настройка.
Идея заключается в том, что когда узел получает запрос на запись, он распространяет изменения на другие узлы.
Но такая схема может привести к конфликтам.
На этом этапе вам необходимо иметь какой-то алгоритм разрешения конфликтов.
@sqlhub
35 973
Как стать аналитиком данных в Авито? Как вырасти с нуля до senior?
Чтобы ответить на эти вопросы школа karpovꓸcourses и Авито, компания с одними из самых высоких требований к сотрудникам на рынке, проведут бесплатный вебинар.
На вебинаре вы узнаете:
— Как устроена команда аналитики в Авито и какие задачи она решает
— Какие навыки необходимы потенциальному кандидату
— Какие этапы предстоит пройти при трудоустройстве в компанию
А еще вы построите собственный карьерный трек и составите пошаговый план, чтобы получить работу в крупной IT-компании.
Вебинар будет полезен как тем, кто только начинает свой путь в аналитике, так и опытным специалистам, которые хотят покорять новые вершины.
🕖Встречаемся уже 6 декабря в 19:00
Регистрируйтесь, чтобы попасть на вебинар
35 973
ℹ️HNSWℹ️
Иерархический маленький мир (Hierarchical Navigable Small-World graph, HNSW) — один из самых быстрых алгоритмов приблизительного поиска ближайших соседей. Поисковый индекс в HNSW представляет собой многоуровневую структуру, в которой каждый уровень является графом близости. Каждый узел графов соответствует одному из векторов запросов.
Алгоритм индексирования HNSW позволяет эффективно осуществлять поиск ближайших соседей в векторных базах данных.
Поиск ближайших соседей в HNSW использует метод увеличения (zooming-in). Он начинается во входной ноде самого верхнего уровня и рекурсивно выполняет жадный обход графов на каждом уровне, пока не достигнет локального минимума на самом дне.
Подробности об алгоритме и методике поиска хорошо описаны в научной работе. Важно запомнить, что каждый цикл поиска ближайших соседей состоит из обхода узлов графов с вычислением расстояний между векторами. Ниже мы рассмотрим эти этапы, чтобы использовать данный метод для создания крупномасштабного индекса.
Как это работает?
▪️HNSW организует векторы в многослойную графовую структуру.
▪️Узлы в каждом слое поддерживают связи на основе расстояний в векторном пространстве.
▪️Навигация происходит иерархически, начиная с верхнего слоя и спускаясь вниз для уточнения поиска.
▪️Более высокие слои строятся путем подвыборки узлов из нижних слоев.
Почему HNSW?
▪️Скорость: иерархическая структура означает, что алгоритм поиска может перемещаться по графу быстрее, чем при плоской структуре.
▪️Масштабируемость: Поскольку кэш-память хранит только верхний слой, а затем добавляет только соседние векторы в дальнейших слоях, это очень эффективно и масштабируемо.
▪️Адаптируемость: HNSW очень надежен и может одновременно работать с импортом и запросами.
@sqlhub
35 973
Кейсы SQL в финтехе — 2 декабря на бесплатной онлайн-конференции ЮMoneyDay
📍Обсудим:
— Сбор информации об использовании отчётов, OLAP-кубов, веб-сервисов и пользовательских баз данных в экосистеме Microsoft SQL Server.
— Какую пользу от DG могут получить разработчики и аналитики данных, что для этого делать.
Регистрируйтесь, зовите друзей, коллег и всех, кому будет интересно. Ссылку на трансляцию отправим по почте 🙌🏼
35 973
🖥 Relational Deep Learning - это новый подход к представлению данных, распределенных по нескольким таблицам, например, в реляционной базе данных (см. статью).
RelBench - это бенчмарк, который призван способствовать эффективным, надежным и воспроизводимым исследованиям в этом направлении.
Он включает в себя коллекцию реалистичных, масштабных и разнообразных датасетов, структурированных в виде реляционных таблиц.
Эта прорывная технология открывает широкие возможности для работы с данными и поднимает новые интересные исследовательские вопросы.
▪Github
▪Проект
@sqlhub
35 973
Оффер за выходной в Big Data.МегаФон для Data-специалистов!
Зарплата от 250 до 450 тысяч рублей в зависимости от грейда, уютный офис или полная удаленка на территории РФ, а также ДМС со стоматологией и страховкой. На этом бонусы не заканчиваются: оплата связи, компенсация фитнеса, обучение за счет компании и многое другое.
Вам предстоит работать с масштабными проектами:
— разрабатывать аналитические сервисы на базе AI;
— анализировать бизнес-процессы и внедрять языковые модели для облегчения рутины в LLM;
— тестировать продуктовые и ML-гипотезы.
Мегафон — оператор №1 по покрытию сети и скорости мобильного интернета. Оставляйте заявку и меняйте рынок телекома: https://u.to/ih4lIA
35 973
🔮 Больших данных не нужно бояться — с их помощью можно менять мир
Как аналитики превращают массивы информации в пользу для людей и компаний
— расскажут специалисты из сферы на бесплатном митапе Нетологии «Аналитика сегодня: как данные помогают прогрессу».
Вы познакомитесь с кейсами из бизнеса, узнаете, как аналитики помогают в создании новых лекарств и развитии промышленности, и поймёте, интересно ли вам дальше разбираться в теме.
Участники эфира получат пошаговый гайд для входа в сферу и смогут принять участие в розыгрыше курса по Excel.
Присоединяйтесь, чтобы аналитика стала для вас понятнее и ближе
Реклама ООО Нетология LatgC3AQw
