Data Science. SQL hub
رفتن به کانال در Telegram
По всем вопросам- @workakkk @itchannels_telegram - 🔥лучшие ит-каналы @ai_machinelearning_big_data - Machine learning @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚 РКН: https://vk.cc/cIi9vo #VRHSZ
نمایش بیشتر
📈 تحلیل کانال تلگرام Data Science. SQL hub
کانال Data Science. SQL hub (@sqlhub) در بخش زبانی روسی بازیگری فعال است. در حال حاضر جامعه شامل 36 048 مشترک است و جایگاه 3 729 را در دسته فناوری و برنامه‌ها و رتبه 17 585 را در منطقه روسيا دارد.
📊 شاخص‌های مخاطب و پویایی
از زمان ایجاد در невідомо، پروژه رشد سریعی داشته و 36 048 مشترک جذب کرده است.
بر اساس آخرین داده‌ها در تاریخ 05 نوامبر, 2026، کانال فعالیت پایداری دارد. در ۳۰ روز گذشته تغییر اعضا برابر 75 و در ۲۴ ساعت گذشته برابر -7 بوده و همچنان دسترسی گسترده‌ای حفظ شده است.
- وضعیت تأیید: تأیید نشده
- نرخ تعامل (ER): میانگین تعامل مخاطب 9.27% است و در ۲۴ ساعت نخست پس از انتشار، محتوا معمولاً 3.91% واکنش نسبت به کل مشترکان کسب می‌کند.
- دسترسی پست‌ها: هر پست به طور میانگین 3 342 بازدید دریافت می‌کند. در اولین روز معمولاً 1 408 بازدید جمع‌آوری می‌شود.
- واکنش‌ها و تعامل: مخاطبان به‌طور فعال حمایت می‌کنند؛ میانگین واکنش به هر پست 8 است.
- علایق موضوعی: محتوا بر موضوعات کلیدی مانند sql, индекс, postgres, index, sqlite تمرکز دارد.
📝 توضیح و سیاست محتوایی
نویسنده این فضا را محل بیان دیدگاه‌های شخصی توصیف می‌کند:
“По всем вопросам- @workakkk
@itchannels_telegram - 🔥лучшие ит-каналы
@ai_machinelearning_big_data - Machine learning
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
РКН: https://vk.cc/cIi9vo
#VRHSZ”
به لطف به‌روزرسانی‌های پرتکرار (آخرین داده در تاریخ 06 نوامبر, 2026)، کانال همواره به‌روز و دارای دسترسی بالاست. تحلیل‌ها نشان می‌دهد مخاطبان به‌طور فعال با محتوا تعامل دارند و آن را به نقطه اثرگذاری مهم در دسته فناوری و برنامه‌ها تبدیل کرده‌اند.
36 048
مشترکین
-724 ساعت
-587 روز
+7530 روز
آرشیو پست ها
36 048
🖥 Finetuning LLaMa + Text-to-SQL
Llama 2 - отличная модель, но она не очень хорошо справляется с преобразованием текста в SQL запросы.
Приходится прибегать к тонкой настройке 💡.
Вышла отличная библиотека для Llama 2 преобразования текста в SQL.
git clone https://github.com/run-llama/modal_finetune_sql.git
▪GIthub
▪Ipynb
@sqlhub36 048
Яндекс Практикум открывает курс по Python для школьников 13-17 лет и приглашает наставников, готовых поделиться своими знаниями с новым IT-поколением.
Формат работы: удалёнка, парт-тайм, можно совмещать с основной работой.
Что нужно будет делать: проводить вебинары, отвечать на вопросы в чатах, давать обратную связь, помогать, поддерживать и мотивировать студентов.
Вознаграждение и бонусы:
• оплата за ведение групп до 30 человек (количество групп можно выбрать самостоятельно)
• бесплатное обучение на интенсиве по коммуникациям и эффективному преподаванию;
• сертификаты о социально-полезной деятельности для портфолио,
• прокачка менторских, лидерских и soft skills, нетворкинг.
Идеальный кандидат: имеет техническое/педагогическое образование (3 курс и старше), опыт работы от полугода (подойдут фриланс, pet-проекты) и желание обучать подростков.
Необходимые навыки: разрабатывать сайты/приложения/нейросети на Python и создавать ботов для Telegram.
Узнать детали и откликнуться на вакансию наставника по Python-разработке.36 048
PeerDB — упрощённое ETL для Postgres
Инструмент помогает реализовать быстрое перемещение данных из и в вашу базу данных Postgres
Он позволяет инженерам данных создавать масштабируемые конвейеры легко и быстро, используя SQL
Сервис предоставляет реальное время CDC (изменение захвата данных) с гарантией свежести данных менее 30 секунд на целевом устройстве
Стоимость: #бесплатно (но есть платные тарифы)
#Postgres #БД
36 048
🔍 ScyllaDB в K8S: как справляться с интенсивными рабочими нагрузками на спотовых экземплярах без простоев
Почему не MongoDB?
Чем плоха Mongo?
• У нее открытый исходный код, поддерживается разделение данных, но совершенно иная архитектура — с единой точкой отказа. При «падении» главного узла, то есть координатора, в БД начинается отработка отказа, во время которого БД недоступна.
• Кроме того, для достижения высокой доступности каждый сегмент Mongo должен запускаться как набор реплик — больше узлов. Кольцевая архитектура Cassandra в этом смысле превосходнее. Драйвер Scylla «знает» о сегментах и добирается до конкретного узла/процессора, ответственного за запрашиваемую строку, делая распределение действительным.
• Но почему так важны отработка отказов без простоев и высокая доступность? На спотовых экземплярах — а это 1/4 стоимости вычислений — часто ежедневно случаются отработки отказов: узлы в k8s постоянно уничтожаются и воссоздаются, что чревато завершением всех запущенных в них подов/процессов, в том числе БД.
Установка Scylla
Сначала запустим локально, используя драйверы и что-нибудь на Cassandra Query Language:
docker run -p 9042:9042 -p 7002:7000 -p 7001:7001 -p 9160:9160 -p 9180:9180 --name scylla --hostname scylla -d scylladb/scylla --smp 1 --developer-mode 1
Этой командой запустится одноузловой кластер Scylla. Так в режиме разработчика Scylla требуется минимум ресурсов в отличие от Cassandra, с которой у Docker Engine много работы.
Применение драйвера Scylla
Вот простой пример на Golang с использованием официального драйвера Scylla:
import "github.com/gocql/gocql"
func Connect(config Config) (*gocql.Session, error) {
cluster := gocql.NewCluster(config.Hosts...)
cluster.Keyspace = config.KeySpace
cluster.CQLVersion = "3.11"
cluster.RetryPolicy = &gocql.ExponentialBackoffRetryPolicy{
NumRetries: 5, Min: time.Millisecond * 5, Max: time.Second * 5}
cluster.ProtoVersion = 3
cluster.PoolConfig.HostSelectionPolicy = gocql.TokenAwareHostPolicy(
gocql.RoundRobinHostPolicy())
cluster.ConnectTimeout = time.Second * 10
cluster.Consistency = gocql.One
if config.Timeout != nil {
cluster.Timeout = *config.Timeout
}
cluster.Authenticator = gocql.PasswordAuthenticator{
Username: config.Username, //'cassandra' по умолчанию
Password: config.Password, //'cassandra' по умолчанию
}
session, err := cluster.CreateSession()
if err != nil {
return nil, err
}
return session, nil
}
Здесь стоит обратить внимание вот на что:
cluster.PoolConfig.HostSelectionPolicy = gocql.TokenAwareHostPolicy(
gocql.RoundRobinHostPolicy())
Драйвером-клиентом TokenAware с помощью ключа раздела пробуется первый сегмент, затем методом циклического перебора — следующий, если первый недоступен. Для этого необходимо подключиться не к порту Cassandra по умолчанию 9042, а к порту Scylla с поддержкой сегментов 19042.
Попробуем простой запрос:
func Ping(session *gocql.Session) error {
var str = new(string)
if err := session.Query("SELECT uuid() FROM system.local;").Scan(str); err != nil {
return err
}
if str == nil || len(*str) == 0 {
return errors.New("failed sanity check")
}
return nil
}
// альтернатива «select 1;» в SQL
Переходим в облако
ПРОДОЛЖЕНИЕ36 048
Repost from PHP Academy
PHP, PDO SQL Injection
SQL Injection минимум который должен знать каждый разработчик код которого работает в production
00:00 Вступление и оглавление
01:06 Определения (теория)
01:45 Чем опасны SQL Injection
03:34 Практический стенд
06:12 Обхода аутедентификации
09:23 Модификации базы данных
11:47 Защита с помощью placeholder
15:49 Защита там где placeholder не применимы
источник
@phpshka
36 048
36 048
В Авито недавно выложили новые вакансии для аналитиков в разные команды.
➡️ Продуктовый аналитик в команду новостроек
➡️ Аналитик данных в команду новостроек
➡️ Старший аналитик продаж — команда Авито Авто
➡️ Аналитик данных в направление инцидент и проблем менеджмент
Как всегда, очень классные условия:
• Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы;
• Прозрачная система премий;
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность работать удалённо или сочетать работу из дома и офиса;
• Красивый комфортный офис в 2 минутах от метро «Белорусская» с панорамным видом на центр города, местами для уединённой работы, двумя спортивными залами, зонами отдыха и гамаками.
Выбирайте понравившееся направление и откликайтесь!
36 048
🔥Большая подборка бесплатных SQL курсов.
▪ Интерактивный тренажер по SQL (— практические задания на создание SQL-запросов. Каждый шаг включает минимальные теоретические аспекты по базам данных или языку SQL, примеры похожих запросов и пояснение к реализации
▪ Марафон данных: первое знакомство с SQL и Python — это симулятор профессии дата-аналитика, который познакомит вас с базами данных и методами работы с ними
▪ Знакомство с SQLite (4.6 из 5) — этот небольшой курс покажет, как использовать SQLite в повседневной работе. Вы научитесь загружать, анализировать и выгружать данные, а также познакомитесь с разными типами данных
▪ Введение в базы данных - курс посвящен структурированному хранению данных, основами SQL, принципами использования баз данных в приложениях, обзор нереляционных способов хранения данных
▪ Погружение в СУБД — курс для тех, кто уже имеет некоторый опыт проектирования баз данных и разработки приложений и хочет расширить свои знания
🌐 Youtube
▪ Реляционные базы данных. SQL (39 видео) — курс покрывает полностью все аспекты реляционных баз данных, начиная от определения и создания баз данных, схем, таблиц и полей этих таблиц (DDL), и заканчивая запросами к этим таблицам (DML)
▪ Основы SQL (18 видео) — объясняют базовые концепции языка: операторы, фильтрация, сортировка, группировка, декомпозиция и т. д.
▪ Уроки по SQL для начинающих (25 видео) — эти уроки помогут быстро разобраться с основами
12 Англоязычных курсов
Платформы: Stepik, Coursera, Udacity, Udemy и Kaggle.
1. Databases and SQL for Data Science with Python
2. SQL for Data Science
3. Introduction to Databases and SQL Querying
4. Intro to Relational Databases
5. Introduction to Structured Query Language (SQL)
6. Advanced Databases and SQL Querying
7. SQL for Data Analysis
8. Oracle SQL – A Complete Introduction
9. Intro to SQL
10. Advanced SQL
11. Oracle SQL Basics
12. Beginners Guide to SQL
@Sqlhub
36 048
36 048
🙅♂️ Не повторяйте эти ошибки при переходе в аналитику!
О том, как построить карьеру в аналитике и что для этого нужно, узнаете на бесплатном вебинаре «Аналитик данных: с нуля до оффера» от Changellenge >> Education.
🧑🏻💼 Приглашенный эксперт — Татьяна Черняк, Data Analyst Team Lead в VK Cloud.
📆 Когда: 16 августа, 19:00 Мск
Подключайтесь к трансляции, чтобы узнать:
🔸 каковы перспективы специалистов на рынке труда;
🔸 какие навыки дата-аналитика must-have для старта карьеры;
🔸 где и как освоить hard skills аналитика данных;
🔸 как получить оффер и каких ошибок избегать при поиске работы.
Стройте карьеру правильно!
🔗 Регистрируйтесь по ссылке:
https://u.to/cVreHw
36 048
⏩ Devops Exercises
Этот репозиторий содержит лучшие вопросы и упражнения по различным техническим темам, связанным с DevOps и SRE.
🟢Здесь вы найдете информацию о Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization, а также о собеседовании на позицию DevOps.
✔️ Если вы заинтересованы в карьере инженера DevOps, изучение этих концепций будет полезным и поможет вам подготовиться к собеседованию.
▪ Github
@sqlhub
36 048
⚡️Сишарповец, апнуться — просто!
Начните на бесплатном вебинаре онлайн-курса «C# ASP.NET Core разработчик» — «ASP.NET: взаимодействие с источниками данных»: регистрация
На бесплатном занятии мы:
— познакомимся с видами баз данных;
— разберем, как работать с реляционными и нереляционными базами данных напрямую и через ORM.
🔥Экспертизой поделится Дмитрий Гурьянов — опытный Тимлид команды разработки CRM-решений на платформе .NET.
— Продолжить обучение после вебинара по спеццене можно на полном курсе, доступном также в рассрочку.
Нативная интеграция. Информация о продукте www.otus.ru
36 048
Распределенный SQL: Альтернатива шардированию баз данных
Шардирование баз данных — это процесс разделения данных на более мелкие части, называемые «шарды». Шардинг обычно используется, когда необходимо масштабировать записи. Распределенный SQL представляет новый способ масштабирования реляционных баз данных с использованием стратегии сегментирования, полностью автоматизированной и прозрачной для приложений. Подробнее ты узнаешь из этой статьи.
🚀 Читать статью
@sqlhub
36 048
Live-интенсив для начинающих аналитиков по SQL и продуктовым метрикам
Завтра в 18:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.
Расчёт продуктовых метрик — первый шаг при принятии решений в любой data-driven компании.
👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса:
* Activation rate
* MAU
* ARPU и ARPPU
* другие метрики
Ведущий интенсива:
◾️ Алексанян Андрон:
- CEO IT Resume & Simulative;
- CTO Бюро анализа данных;
- 7+ опыта в аналитике.
На интенсиве вы узнаете:
📍 Как используют SQL в реальной работе — вы сможете сохранить это в портфолио и показать на собеседовании: работодатель точно оценит 🤘🏻
📍 Профессиональные фишки и лайфхаки SQL: мы копили их годами и хотим рассказать вам 😏
📍 Как писать код на SQL, а также мы расскажем про продуктовые метрики — подробно объясним всё с нуля 😍
Регистрируйтесь по ссылке → https://r.bothelp.io/tg?domain=intensiv_sql_bot&start=c1692000717861-ds&utm_source=telegram&utm_medium=sqlhub
36 048
+1🖥 Postgres, MongoDB и MySQL - три наиболее известные и широко используемые базы данных, причем Postgres является самой популярной.
Redis и Planetscale - лучшие варианты при запуске нового проекта. Более подробная информация и интересные статистические данные приведены в полном тексте отчета.
📌Читать
@sqlhub
36 048
🟡 Дайджест полезных материалов из мира sql за неделю
Почитать:
— Проблемы студентов курсов при работе с реальными данными
— Что такое «хорошо» и что такое «плохо» в NiFi. Часть 3
— pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway
— Список популярных утечек с GitHub: Анализ репозиториев компаний
— Когда SQL решает, и задачки для прокачки
— Генеративный ИИ с базой данных SQL: Персональный чатбот разработчика SQL
— What is SQL?
— YugabyteDB official Dockerfile
— Golang Database Migration With Golang Migrate and Sqlc
— Window Functions: A comprehensive guide to mastery.
— MySQL CheatSheet
— Roadmap to Become a Database Engineer
— Securing Your Graph Database: Best Practices for Apache AGE
— Counters with YugabyteDB
— Stored Procedures: The Secret to Improving Your Database Applications
— Master the Technique of 'Update Only When Changes Occur' in SQL! Boost Your Database Efficiency
Посмотреть:
🌐 SQL Data Analytics Project (PART 2) | Data Analyst Portfolio Project
Хорошего дня!
❤️ Лайк, если полезно
@sqlhub
36 048
🖥 Как удалить сразу все избыточные индексы в каждой базе данных
Избыточные индексы в SQL Server - это явление значительно более общее, чем мне бы хотелось. Я встречал это довольно часто. Это означает, что данное сообщение в блоге все еще будет иметь значительную целевую аудиторию!
Статья Brent Ozar дает исчерпывающую информацию об избыточных/дублирующих индексах, что они означают, почему это плохо, и что нужно с этим делать.
Несколько лет назад Guy Glantser также опубликовал статью об удалении избыточных индексов. Она весьма полезна для нахождения всех избыточных индексов во всех таблицах в заданной базе данных.
Но вот чего не хватает в этих статьях, так это возможности легко генерировать команды Drop/Disable для этих избыточных индексов.
Кроме того, что если имеются "похожие" индексы, которые только "частично" избыточны, и, следовательно, недостаточно просто удалить один из них? Иначе это может негативно сказаться на производительности некоторых запросов.
Есть ли способ учесть все эти проблемы?
Каждый из них? Повсюду? Сразу?
В посте я собираюсь показать вам, как обнаружить, получить подробную информацию и иметь возможность удалить КАЖДЫЙ избыточных индекс ЛЮБОЙ формы и размера:
▪Полностью дублируемые индексы
▪Избыточные индексы на основе ключевых столбцов + включенных столбцов
▪Частично избыточные индексы только на основе ключевых столбцов
▪Все таблицы
▪Все таблицы с минимальным числом строк
▪В конкретной базе данных
▪Во всех доступных базах данных
📌 Читать дальше
📌 Скрипт
📌 Индексы: обнаружение неиспользуемых индексов
@sqlhub
36 048
Действующий дата-инженер или планируете им стать? Хотите повысить квалификацию и перейти на новый карьерный уровень?
Тогда выбирайте курс «Дата-инженер» от Слёрма! Он нацелен на практику, разбор реальных случаев и выполнение практических задач!
А знаете почему еще мы рекомендуем пройти курс «Дата-инженер» в Слёрме?
✔️ Учим не только сбору данных, но и тому, как правильно интерпретировать их.
✔️ Научитесь строить дата-пайплайны и выстраивать эффективную работу дата-архитектуры
✔️ Будете уверенно разбираться в ландшафте инструментов для управления данными
✔️ Опытные спикеры-практики проведут за руку на через весь курс
✔️ На выходе выполните реальный проект на собственных данных
🤑 Дешевле, чем у других
Старт потока 4 сентября! Запишитесь уже сейчас по выгодной цене!
36 048
🖥 Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом
Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel.
В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять в компании новый продукт. Excel используется везде от мелкой розницы до Fortune 500 и CERN.
Пользовательский интерфейс Excel оказался, настолько удачным – ни один из конкурентов так и отошел от привычных таблиц. Для пользователя Excel интерфейс Google Spreadsheet будет привычным и интуитивно понятным. А вот по своим функциональным возможностям Excel до сих пор превосходит большинство конкурентов.
Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере.
📌Читать дальше
@sqlhub
36 048
Каждый работодатель желает знать, чего хотят IT-специалисты. Расскажите о своих карьерных предпочтениях и повлияйте на создание крутых предложений в IT от топовых компаний.
Пройдите опрос, если Вы:
— проживаете в любом городе России;
— работаете в IT.
Расскажите, что важно именно Вам, и заберите гарантированные подарки:
— промокод на сумму до 2500 рублей на уроки английского в Skyeng;
— промокод на 15 000 рублей на самый полный курс по аналитике на рынке «Аналитик PRO» от школы Changellenge >> Education.
Участвуйте в опросе и меняйте индустрию вместе с нами: https://clck.ru/35GgNZ
