Data Science. SQL hub

Курс «Английский для аналитиков» от Яндекс Практикума Для тех, кто хочет говорить с коллегами на английском так же естественно, как на русском. Вы узнаете, как на английском говорить о себе на собеседованиях, общаться с коллегами и закрепите пройденное на практике с иностранцами из IT. С мая — тренироваться в разговорном клубе для аналитиков. Для студентов с уровнем Pre-Intermediate или выше. В основе обучения: - Занятия с личным преподавателем. Объяснит английский на примере рабочих ситуаций, даст упражнения, будет регулярно проверять вас и анализировать прогресс. - Практика с иностранцами из IT. Тренируйте собеседования, стендапы и ревью с теми, кто не говорит по-русски. - Разговорные клубы. Студенты будут созваниваться раз в две недели, практиковать и обсуждать то, что уже прошли. Появятся в мае. 1 апреля курс подорожает. До этого можно купить его по старой цене с доступом к клубам. Запишитесь на бесплатную консультацию. Куратор определит ваш уровень языка и поможет разобраться, подойдёт ли курс.

🖥 Особенности формирования и использования MS SQL функций В SQL используется огромное множество функций. Статья посвящена особенностям их создания и использования. Изучайте материал или освежайте свои знания. Правильное применение алгоритмов их создания и применения поможет стать первоклассным высокооплачиваемым специалистом, востребованным на рынке труда. В MS SQL разрешено использование как функций, предоставляемых самой системой (встроенных), так и созданных пользователями (пользовательских). Рассмотрим подробнее различные категории вышеперечисленных функций. Функции встроенные В SQL встроено огромное множество функций. К ним относятся: - строковые – для работы со строками; - числовые – для работы с числами; - даты – для работы с датами и временем; - расширенные. ▪ Читать @sqlhub

❗️ Хардкорный тест для разработчиков MS SQL Server Вырвитесь из однотипных задач. Освойте продвинутые подходы. Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на углубленном курсе «MS SQL Server Developer» Время прохождения теста ограничено 30 минут ⚡️ Курс создан для разработчиков, которые хотят понять, как устроены БД, научиться писать сложные запросы или заниматься проектированием на SQL профессионально. Протестируйте обучение на открытом уроке: 👨‍💻 Перенос данных между серверами - репликация, мирроринг, очередь, AG - в чем разница и примеры использования, 29 марта в 20:00 — https://otus.pw/Af7F/ 👉 ПРОЙТИ ТЕСТИРОВАНИЕ https://otus.pw/YpQF/

🖥 Задача SQL У вас в базе данных есть две таблицы: TABLE1 и TABLE2. Нужно ответить на один простой вопрос: отработает ли данный запрос или упадет с ошибкой? И объяснить, почему. select id,sum(value) over(partition by i order by y), * from table1 Примечание: все поля существуют в таблице и соответствуют нужному типу данных. Ответ Да, отработает. Классический пример аналитической функции, внутри которой сначала выполняется группировка (partition by), потом выполняется сортировка (order by) и применяется агрегирующая функция. В данном случае все написано правильно. Этот вопрос проверяет у кандидата знание оконных функций. @sqlhub

🖥 Забудьте о SQLite, используйте вместо этого DuckDB — И поблагодарите меня позже DuckDB – это встроенная система управления базами данных SQL OLAP. В этом посте я рассмотрю следующие основные моменты: - Введение в DuckDB: что это такое, почему вы должны его использовать и когда. - Интеграция DuckDB в Python. ▪ Читать дальше ▪Github @sqlhub

​❗️SQL Injection Master - самый полный курс по SQL инъекциям Старт: 10 апреля Продолжительность: 3 месяца 3-месячный онлайн-курс SQL Injection Master позволит вам изучить: ✔️ Базовые навыки работы с SQL; ✔️ Поиск уязвимостей в базах данных; ✔️ Внедрение произвольного SQL-кода в уязвимые приложения. 👍 Курс от Codeby School будет полезен как новичкам в сфере информационной безопасности, так и продвинутым специалистам! Преимущества онлайн-курса SQL Injection Master: ። Уникальность – у данного курса нет аналогов в СНГ и англоязычном пространстве; ። Максимум практики – выполнение заданий на тестовом стенде и проверка ДЗ; ። Обучение в любое время благодаря методичкам и видеоурокам в записи; ። Обратная связь от других учеников и преподавателя в чате и на форуме. 🔥 Имеется промо-доступ на 7 дней! Узнать подробнее о курсе: https://sql-injection.codeby.school/ Реклама. Информация о рекламодателе на сайте https://codeby.school/

StatelessSession: что это такое и как использовать StatelessSession — это командно-ориентированный API для контроля над SQL-запросами в Hibernate. StatelessSession используется для вставки или обновления огромных наборов данных. В этой статье рассматривается, как внедрить экземпляр и методы StatelessSession в приложение: https://struchkov.dev/blog/hibernates-statelesssession/ #hibernate

БД MySQL (сложные запросы, агрегатные функции, оценка производительности) В этом уроке мы поговорим о следующих моментах, касающихся работы с БД MySQL: вы узнаете, как составлять сложные запросы, как использовать агрегатные функции, объединения таблиц и как оценивать производительность запросов. ▪ Читать дальше @sqlhub

Базовый SQL можно освоить за полтора часа — ловите обучающий ролик на YouTube с раскрытием основных тем. Джуну на заметку.

Изучайте основы SQL на бесплатном онлайн-интенсиве Skillbox. Подключайтесь к прямым эфирам с 20 по 22 марта в 19:00 по московскому времени: 👉 https://epic.st/V5Avk. Вы научитесь: ● составлять запросы к базам данных; ● использовать сложные конструкции SQL; ● пользоваться SQLiteStudio. Разобраться в теме поможет профи — специалист по анализу данных, сертифицированный SQL-разработчик от Microsoft Мкртич Пудеян. Он 8 лет работал специалистом по хранилищам данных в Tele2. 3 дня вебинаров по 1,5 часа для полного погружения в тему — такого вы ещё не видели! А востребованность языка достаточно высока. Сегодня специалистов со знанием SQL ищут более 17 000 компаний. 🎁 Всем участникам в конце интенсива подарим электронную книгу издательства МИФ. Участвуйте, задавайте вопросы и получите сертификат на скидку 10 000 рублей на любой курс Skillbox. Записывайтесь!

Руководство для начинающих по MySQL MySQL — одна из наиболее используемых СУБД, т.к. она поддерживается почти всеми ОС и распространяется как свободное программное обеспечение. Поэтому, MySQL популярна среди разработчиков сайтов и веб-приложений. Однако без хорошего гайда достаточно трудно разобраться в этапах создания баз данных. В этом руководстве подробно описывается, как установить MySQL, создать БД и таблицы, а также сделать первые запросы: https://wiki.gentoo.org/wiki/MySQL/Startup_Guide/ru #субд

✅ Проверь себя — пройди тест по NoSQL Вырвись из однотипных задач — освой все основные и популярные NoSQL базы данных. Пройди тест из 20 вопросов и проверь свои знания. Сможешь сдать — пройдёшь на продвинутый курс "NoSQL" от OTUS по специальной цене. 🎫Возможна оплата курса в рассрочку 👉 ПРОЙТИ ТЕСТ Хочешь протестировать учебный процесс заранее? Тогда приходи на открытый урок курса! ➡️СЕГОДНЯ в 20:00 мск открытый урок «Знакомство с InterSystems IRIS». Реклама. Информация о рекламодателе на сайте www.otus.ru

8️⃣ Приемов очистки данных в SQL 1. Выявление и удаление дублирующих записей SELECT DISTINCT column1, column2, ... FROM table_name; В качестве альтернативы можно использовать GROUP BY, чтобы сгруппировать похожие записи вместе, а затем удалить количество записей в каждой группе. SELECT column_name, COUNT(*) FROM table_name GROUP BY column_name HAVING COUNT(*) > 1; 2. Стандартизация текстовых полей UPDATE table_name SET column_name = UPPER(column_name); Вы также можете использовать функцию REPLACE для замены определенных символов или строк в текстовых полях. Например: UPDATE table_name SET column_name = REPLACE(column_name, 'OldString', 'NewString'); 3. Обработка отсутствующих или нулевых значений SELECT column1, column2, ... FROM table_name WHERE column_name IS NULL; Затем вы можете удалить эти записи или заменить отсутствующие значения значением по умолчанию. Например: UPDATE table_name SET column_name = 'DefaultValue' WHERE column_name IS NULL; 4. Удаление кривых символов UPDATE table_name SET column_name = REPLACE(column_name, 'InvalidChar', ''); UPDATE table_name SET column_name = REGEXP_REPLACE(column_name, '[^a-zA-Z0–9 ]', ''); 5. Обработка выбросов Чтобы определить и удалить выбросов, мы можем использовать функции AVG и STDDEV для расчета среднего и стандартного отклонения столбца. SELECT AVG(column_name), STDDEV(column_name) FROM table_name; 6. Корректировка форматов дат Функция STR_TO_DATE может преобразовать строку в формат даты. Синтаксис функции следующий: SELECT STR_TO_DATE(date_string, format_string) FROM table_name; 7. Очистка текстовых данных Функция REPLACE может заменить подстроку в строке. Функция TRIM позволяет удалить из строки ведущие и последующие пробелы. Синтаксис выглядит следующим образом: SELECT UPPER(column_name) FROM table_name; SELECT REPLACE(column_name, 'old_string', 'new_string') FROM table_name; SELECT TRIM(column_name) FROM table_name; 8. Проверка типов данных Важно убедиться, что ваши данные имеют правильный тип данных. Для проверки и преобразования типов данных можно использовать функции CAST или CONVERT. Например: SELECT CAST(column_name AS INT) FROM table_name; SELECT CONVERT(column_name, DATE) FROM table_name; @sqlhub

​Как выучить SQL и подтянуть географию? Census GPT — это инструмент, который позволяет пользователям осуществлять поиск данных о городах, микрорайонах и других географических зонах. На сайте Census GPT пользователи также могут улучшать существующие карты. Результаты данных вы получаете вместе с SQL-запросом. Соответственно, можно учить SQL и автоматически проверять себя на реальных примерах: https://censusgpt.com/ @Chatgpturbobot - chatgpt bot #sql @sqlhub

🖥 Задача.Cамая высокая зарплата в подразделении. В таблице Employee хранятся сведения о сотрудниках компании. В каждой записи этой таблицы содержатся сведения об идентификаторе (Id) сотрудника, о его имени (Name), о зарплате (Salary) и о подразделении компании, где он работает (Department). +----+-------+--------+--------------+ | Id | Name | Salary | DepartmentId | +----+-------+--------+--------------+ | 1 | Joe | 70000 | 1 | | 2 | Jim | 90000 | 1 | | 3 | Henry | 80000 | 2 | | 4 | Sam | 60000 | 2 | | 5 | Max | 90000 | 1 | +----+-------+--------+--------------+ В таблице Department содержатся сведения о подразделениях компании. +----+----------+ | Id | Name | +----+----------+ | 1 | IT | | 2 | Sales | +----+----------+ Напишите SQL-запрос, который находит в каждом из подразделений сотрудников с максимальной заработной платой. Например, для вышеприведённых таблиц подобный запрос должен возвращать результаты, представленные следующей таблицей (при этом порядок строк в таблице значения не имеет): +------------+----------+--------+ | Department | Employee | Salary | +------------+----------+--------+ | IT | Max | 90000 | | IT | Jim | 90000 | | Sales | Henry | 80000 | +------------+----------+--------+ ▍Решение: команда IN Команда IN позволяет задавать в инструкции WHERE условия, соответствующие использованию нескольких команд OR. Например, две следующие конструкции идентичны: WHERE country = ‘Canada’ OR country = ‘USA’ WHERE country IN (‘Canada’, ’USA’). Здесь мы хотим получить таблицу, содержащую название подразделения (Department), имя сотрудника (Employee) и его заработную плату (Salary). Для этого мы формируем таблицу, в которой содержатся сведения об идентификаторе подразделения (DepartmentID) и о максимальной зарплате по этому подразделению. Далее мы объединяем две таблицы по условию, в соответствии с которым записи в результирующую таблицу попадают только в том случае, если DepartmentID и Salary есть в ранее сформированной таблице. SELECT Department.name AS 'Department', Employee.name AS 'Employee', Salary FROM Employee INNER JOIN Department ON Employee.DepartmentId = Department.Id WHERE (DepartmentId , Salary) IN ( SELECT DepartmentId, MAX(Salary) FROM Employee GROUP BY DepartmentId ) @sqlhub

⁉️ «Почему база данных прилегла отдохнуть?» Если вас хоть раз мучил этот вопрос, приглашаем на открытый урок 13 марта в 20:00. На занятии вместе с Алексеем Железным, Data Engineer в Wildberries, мы обсудим вопросы оптимизации производительности. ✅ О чем поговорим: Какие проблемы с производительностью будоражат хранителей DWH. О существующих подходах, ключевых принципах и практики оптимизации. Как легко положить базу данных – конечно же, для того, чтобы так не делать. ⚠️ Урок пройдет в рамках онлайн-курса OTUS «PostgreSQL для администраторов баз данных и разработчиков». Курс можно приобрести в рассрочку. Готовьте вопросы и записывайтесь на вебинар! 👉 ЗАРЕГИСТРИРОВАТЬСЯ https://otus.pw/uLRC/

🖥 Пересаживание учеников Мэри — учительница в средней школе. У неё есть таблица seat, хранящая имена учеников и сведениях об их местах в классе. Значение id в этой таблице постоянно возрастает. Мэри хочет поменять местами соседних учеников. Вот таблица исходного размещения учеников: +---------+---------+ | id | student | +---------+---------+ | 1 | Abbot | | 2 | Doris | | 3 | Emerson | | 4 | Green | | 5 | Jeames | +---------+---------+ Вот что должно получиться после пересаживания соседних учеников: +---------+---------+ | id | student | +---------+---------+ | 1 | Doris | | 2 | Abbot | | 3 | Green | | 4 | Emerson | | 5 | Jeames | +---------+---------+ Напишите запрос, который позволит учительнице решить вышеописанную задачу. Обратите внимание на то, что если количество учеников является нечётным — последнего ученика никуда пересаживать не надо. ▍Решение: использование оператора WHEN SQL-конструкцию CASE WHEN THEN можно рассматривать как оператор if в программировании. В нашем случае первый оператор WHEN используется для проверки того, назначен ли последней строке в таблице нечётный идентификатор. Если это так — строка не подвергается изменениям. Второй оператор WHEN отвечает за добавление 1 к каждому нечётному идентификатору (например — 1, 3, 5 превращается в 2, 4, 6) и за вычитание 1 из каждого чётного идентификатора (2, 4, 6 превращаются в 1, 3, 5). SELECT CASE WHEN((SELECT MAX(id) FROM seat)%2 = 1) AND id = (SELECT MAX(id) FROM seat) THEN id WHEN id%2 = 1 THEN id + 1 ELSE id - 1 END AS id, student FROM seat ORDER BY id @sqlhub

🖥 Тонкости дедубликации с DISTINCT Исключить дубли из выборки можно просто добавив к SQL-запросу ключевое слово DISTINCT. Однако, это простое решение не всегда будет верным. Чтобы гарантировать отсутствие дубликатов в наборе данных, СУБД необходимо сравнить все строки друг с другом, отсеяв повторы. Это требует много ресурсов ЦП и памяти для хранения всех строк, т.к. их нужно сравнивать друг с другом в памяти, даже если на низком уровне идет работа с хэшем. Кроме того, DISTINCT уменьшает параллелизм вычислений, снижая скорость выполнения запроса. DISTINCT удаляет дубликаты, но не разрешает неправильные соединения и фильтры, которые на практике чаще всего и приводят к повторам, например, из-за CROSS JOIN или использования RANK вместо ROW_NUMBER, что приводит к дублированию из-за плохо определенного окна раздела. Подробности с примерами кода смотрите здесь: https://jmarquesdatabeyond.medium.com/sql-like-a-pro-please-stop-using-distinct-31bdb6481256 @sqlhub

🔥 Top it channels ⭐️ Нейронные сети @data_analysis_ml - data science @vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы. @aigen - сети для генерации картинок. видео, музыки и многого другого. @neural – погружение в нейросети. 🖥 SQL базы данных @sqllib - библиотека баз данных @sqlhub - повышение эффективности кода с грамотным использованием бд. @chat_sql - чат изучения бд. 🖥 Machine learning @ai_ml – погружение в нейросети, ai, Chatgpt, midjourney, машинное обучение. @machinelearning_ru – машинное обучении на русском от новичка до профессионала. @machinelearning_interview – подготовка к собеседованию. @datascienceiot – бесплатные книги Machine learning @ArtificialIntelligencedl – канал о искусственном интеллекте @machinee_learning – чат о машинном обучении @datascienceml_jobs - работа ds, ml @Machinelearning_Jobs - чат работы мл 🖥 Python @pythonl - главный канал самого популярного языка программирования. @pro_python_code – учим python с ментором. @python_job_interview – подготовка к Python собеседованию. @python_testit - проверочные тесты на python @pythonlbooks - современные книги Python @python_djangojobs - работа для Python программистов @python_django_work - чат обсуждения вакансий 🖥 Javascript / front @react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов. @javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS @Js Tests - каверзные тесты JS @hashdev - погружение в web разработку. @javascriptjobjs - отборные вакансии и работа FrontEnd. @jsspeak - чат поиска FrontEnd работы. 🖥 Java @javatg - выучить Java с senior разработчиком по профессиональной методике. @javachats - чат для ответов на вопросы по Java @java_library - библиотека книг Java @android_its - Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 👣 Golang @Golang_google - восхитительный язык от Google, мощный и перспективный. @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @golangtests - интересные тесты и задачи GO @golangl - чат изучающих Go @GolangJobsit - отборные вакансии и работа GO @golang_jobsgo - чат для ищущих работу. @golang_books - полезные книги Golang @golang_speak - обсуждение языка Go 🖥 Linux @linux -топ фишки, гайды, уроки по работе  с Linux. @linux chat - чат linux для обучения и помощи. @linux_read - бесплатные книги linux 👷‍♂️ IT работа @hr_itwork -кураторский список актуальных ит-ваканнсии 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп @rust_chats - чат rust #️⃣ c# c++ C# - объединяет лучшие идеи современных языков программирования @csharp_cplus чат С++ - Универсальность. Возможно, этот главный плюс C++. 📓 Книги @programming_books_it - большая библиотека. программиста @datascienceiot -ds книги @pythonlbooks - python библиотека. @golang_books - книги Golang @frontendbooksit - front книги @progersit - ит-шпаргалки @linux_read - Linux books @java_library - Java books 🖥 Github @github_code - лучшие проекты с github @bigdatai - инструменты по работе с данными 🖥 Devops Devops - специалист общего профиля, которому нужны обширные знания в области разработки. 📢 English for coders @english_forprogrammers - Английский для программистов 💡 ChatGpt bot @Chatgpturbobot - бесплатный бот ChatGpt