Базы данных | Access, SQL, Big Data

Как мы сократили потребление ресурсов без потери производительности благодаря exactly-once В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз. Базы данных

🔥Сегодня последний день, когда вы можете записаться на полезные курсы Excel со скидками до 45%! Уже завтра эти предложения исчезнут, а вместе с ними — возможность сэкономить и получить пожизненный доступ к урокам и поддержке. 📌 Вы можете получить: - 45% скидки на комплект из всех курсов академии. Это идеальный выбор, чтобы получить максимум знаний и навыков. - 40% скидки на комплект из трех углубленных курсов. - 35% скидки на курс «От новичка до мастера Excel» — идеальное решение для тех, кто хочет освоить Excel с нуля. - 35% скидки на курс «Продвинутый Excel» — для тех, кто готов вывести свои навыки на новый уровень. 💡 Почему стоит успеть именно сейчас: ▪️Безлимитный доступ: материалы и поддержка остаются с вами навсегда. Начать обучение вы сможете в любое удобное время. Вы сможете возвращаться к урокам, когда это нужно. ▪️Экономия времени: научитесь работать с Excel быстрее и эффективнее. ▪️Поддержка экспертов: кураторы всегда готовы помочь с любыми вопросами. ⏳ Только сегодня, до конца дня у вас есть возможность присоединиться к курсам по самым выгодным условиям. * возможна оплата в рассрочку и Долями Не упустите эту возможность прокачать свои навыки в Excel и уверенно встретить 2025 год! Полный перечень курсов и предложений со скидками вы найдете на странице по ссылке 👈

Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами В этой статье автор расскажет о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и даст подробную пошаговую инструкцию, с которой каждый сможет применить эти наработки в собственной системе. Базы данных

Создавайте и проверяйте задания по программированию на GitVerse На платформе для работы с исходным кодом GitVerse появился SmartClass — бесплатный инструмент для управления заданиями по программированию. С ним можно создавать, хранить и проверять задачи, а также автоматизировать ревью кода с помощью AI-ассистента GigaCode. В общем, все что нужно – теперь под рукой. Пользователи SmartClass получают все преимущества платформы GitVerse, что дает начинающим специалистам возможность освоить профессиональные инструменты разработки. Решение позволяет не только изучать программирование и код, но и погрузиться в детали работы с такими инструментами и практиками, как CI/CD, Git и многими другими. И, конечно, теперь смело можно отдать рутину аналитики заданий вашему верному помощнику – AI-ассистенту! За счет встроенных в платформу AI-расширений и AI-ассистента разработчика GigaCode вы можете за пару минут провести аналитику кода и значительно облегчить процесс проверки работ. Переходите на GitVerse и пробуйте новый инструмент!

Основы SQL В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL. 00:00 Подготовка базы данных 04:36 Выбор данных (SELECT) 08:30 Указание текущей базы данных 09:58 Чувствительность к регистру 12:14 Выбор определенных колонок 15:28 Фильтрация с помощью WHERE 20:59 Фильтрация с И и ИЛИ 26:38 Поиск строки по шаблону 29:18 Свой среди чужих 31:26 NULL когда данные отсутствуют 34:27 Сортировка данных 38:37 Добавление записей 45:36 Обновление данных 52:32 Удаление данных Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY

Зимняя школа по аналитике и Data Science от НИУ ВШЭ Центр непрерывного образования факультета компьютерных наук НИУ ВШЭ открывает регистрацию на зимнюю школу «IT-сеанс: погружение в мир данных». Вас ждут лекции и мастер-классы от спикеров из таких компаний, как: Яндекс, Т-Банк, Купер, Okko, Авито, Билайн, Банк России, Эйч. Приглашаем всех, кто хочет разобраться: 〰️〰️〰️〰️ Зачем переходить в IT: - Зачем бизнесу нужны дата-аналитики и специалисты по Data Science в эпоху ИИ? - Какие тренды ИИ формируют будущее технологий и бизнеса? Как построить карьеру в аналитике и Data Science: - Какие инструменты нужны для старта карьеры в IT? - Можно ли перейти в сферу аналитики с непрофильным образованием? - На что обращают внимание HR-специалисты при отборе? Как Data Science применяется в разных индустриях: - Какие задачи решаются с помощью машинного обучения? - Какие ML-инструменты используются в ритейле, банках и медиа?  Школа подойдет как тем, кто только решил освоить новую профессию, так и начинающим специалистам. Когда: 2 февраля Где: Центр Культур НИУ ВШЭ, г. Москва, Покровский бульвар, 11 Участие бесплатное для всех желающих, требуется регистрация: по ссылке. Реклама: Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Высшая школа экономики». Erid: 2SDnjcfmCFm

ZIP-бомба в формате Apache Parquet Исторически ZIP-бомба представляла собой архивный файл, при распаковке которого можно вызвать зависание операционной системы или рабочего приложения путём заполнения всего свободного места на носителе или оперативной/рабочей памяти. В этом смысле её можно считать разновидностью DoS-атаки. Базы данных

Мало разработать хороший продукт — важно защитить его от кибератак Регуляторы требуют повышения киберустойчивости ПО, так что навыки информационной безопасности — маст хэв для развития карьеры в разработке. Получить их можно на совместном курсе ВШЭ и Нетологии «DevSecOps: практика безопасной разработки» За 5 месяцев вы научитесь: 🛡Понимать принципы безопасной разработки, внедрять подходы SSDLC, DevSecOps. 🛡Моделировать угрозы и оценивать риски. 🛡Применять в работе инструменты безопасности — GitLab CI и ArgoCD. 🛡Разбираться в нормативных требованиях и стандартах: ISO, NIST, OWASP и других. Вы сможете выстраивать защиту от угроз на всех этапах и получите диплом ВШЭ. Для обучения понадобятся базовые знания Linux и Python, на старте вам предложат тест и, при необходимости, выравнивающий модуль. Используйте промокод DEVSECOPSHSE на скидку 10 000 рублей до 27 декабря ➡️ https://netolo.gy/dLQY Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5wxa2C8

Курс Mongo DB для начинающих В этом видеоуроке автор на практике подробно рассматривает СУБД Mongo DB. 00:00 Теория 00:25 Что представляет из себя Mongo DB? 02:10 Создание, удаление, использование баз данных 03:20 Добавление документа в коллекцию 04:00 Поиск документов в коллекции 05:10 Поиск по критериям 07:20 Сортировка 08:50 Обновление документов в коллекции 10:10 Переименование полей документа 10:40 Удаление документа из коллекции 11:10 Множественный запрос 12:32 Типы связей 16:15 Подключение Mongo к Node js Смотреть это видео на youtube: youtu.be/LNvmI8a9jwY

Яндекс продолжает добавлять новую функциональность в СУБД собственной разработки. Компания анонсировала запуск нового компонента системы – YDB DWH. Он поддерживает аналитическую обработку данных. С новым компонентом СУБД Яндекса может работать со сложными аналитическими запросами (OLAP) и способна хранить сотни терабайт данных. Платформа горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке, а МРР-архитектура позволяет быстро выполнять запросы. Помимо YDB DWH, в надстройках системы также есть шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы – YDB Enterprise, он отвечает за обработку транзакций.

Как надёжно стереть секретную информацию из базы данных Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет? Базы данных

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса. Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xkPaJ4

О векторных базах данных простым языком Векторная база данных — это простая база данных, оптимизированная под хранение и поиск векторов, даже таких, которые состоят из сотен и тысяч измерений. Когда вы запрашиваете вектор, вместо поиска точных совпадений, он находит элементы на основе их приближённости к запросу. Базы данных

Как часто нужно освежать математические знания? Если вы работаете в области аналитики или обучаете нейросети — постоянно. Яндекс Образование и факультет компьютерных наук НИУ ВШЭ сделали всем увлеченным ИТ классный подарок на день математика — решили посвятить математике весь декабрь и запустили новый бесплатный хендбук. В каждой главе есть базовая теория и задания для самостоятельного решения и развития математического мышления. Первый раздел посвящен графам, с помощью которых можно описать и упорядочить все вокруг — от подписок в социальных сетях до связей между научными концепциями. В опросе ниже — задачка для разминки.

10 бесплатных утилит ApexSQL для управления базами данных Microsoft SQL Server ApexSQL — это производитель решений для управления и мониторинга баз данных Microsoft SQL Server. В России об этих ребятах знают мало. На главной своего сайта они пишут «Killer tools for SQL Server», звучит угрожающе. В этом материале автор разберет, что же такого убийственного есть в их решениях. Начнём с хайповой части — бесплатных продуктов. После них будет краткая часть о коммерческих продуктах. Базы данных

16 января 2025 стартует новый поток Apache Spark Advanced – 4-недельной хардкор-программы от New Professions Lab для middle и senior дата-инженеров - 8 занятий по 3 часа с преподавателем в зуме - 4 лабы, объединенные в один проект - облачный кластер для выполнения лаб - автоматическая проверка лаб чекерами - малая группа и помощь эксперта - преподаватель: Сергей Гришаев, Architect (Купер/Сбермаркет) - все материалы останутся у вас навсегда 🔥До конца декабря действует промокод SPARK2024, который дает скидку 10% [Узнать подробнее]

Полный курс по базам данных MySQL в phpMyAdmin В этом видеокурсе автор подробно разбирает базы данных на примере системы управления базами данных phpMyAdmin. Вы научитесь создавать базы данных и таблицы со связями, импортировать и экспортировать базы данных и таблицы. Зная всё это вы в любой момент сможете быстро и без особых сложностей изучить другую СУБД, так как отличия будут минимальны. 0:00:00 Введение и основные понятия 0:04:20 Установка сервера и запуск phpMyAdmin 0:12:04 Типы полей в MySQL 0:16:05 Пользователи и привилегии 0:20:49 Основные операции с БД 0:24:56 Таблицы в БД 0:40:01 Записи в таблице 0:49:45 Индекс и первичный ключ 0:53:46 Импорт и экспорт 0:59:30 Связи между таблицами 1:25:30 Теория создания базы данных Фильмы 1:28:55 Практика создания базы данных Фильмы 1:39:24 Сложный SQL запрос для связанных таблиц Смотреть это видео на youtube: youtu.be/oevyoqUK-YY

⚡Теперь официально: в Telegram появился ChatGPT и Midjourney Самую умную модель среди нейронок ChatGPT-4o теперь можно использовать не выходя из мессенджера Используйте, потом сами себе спасибо скажете: @ChatGPT

Решения разработки баз данных В процессе развития проекта приходится сталкиваться с проблемой производительности баз данных, т.к. объём данных растёт, и волей неволей выплывают проблемные участки. В этой статье описаны не очень удачные решения, которые незаметны на ранних стадиях проекта. И решения, которые могут в дальнейшем в разы повысить производительность. Базы данных