Data Science. SQL hub

💻 Релиз новой версии nxs-data-anonymizer 1.9.0 — инструмента анонимизации баз данных Опубликован nxs-data-anonymizer 1.9.0 — инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0. Программа поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Nxs-data-anonymizer можно использовать через неименованные каналы (pipe) в командной строке для перенаправления дампа из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Процесс анонимизации может быть индексирован - через указанные промежутки выводятся данные о прогрессе выполнения операции. Благодаря внешним командам через добавление в значение столбца "type: command" можно задавать значение полей. В зависимости от типа сущностей в настройках безопасности инструмент анонимизирует столбцы для таблиц с правилами, описанными в разделе filters. Если таблица не содержит никаких правил, данные все равно будут в надёжно защищены, так как анонимайзер не включит их в результирующий дамп. 🖥 GitHub @sqlhub

Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра. У каждого студента будет: -личный ментор по траектории обучения; -доступ к карьерному центру с коучами и консультантами; -опыт работы в проектах партнеров уже во время обучения. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2Vtzqv282B4 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

🌟 txtai — универсальная база данных эмбеддингов для семантического поиска, оркестрации LLM и для управления рабочими процессами, связанными с ML — pip install txtai Особенности txtai: — Имеет векторный поиск с SQL, хранение объектов, анализ графов и мультимодальное индексирование — Поддерживает создание эмбеддингов для текста, документов, аудио, изображений и видео — Позволяет создавать конвейеры на основе языковых моделей для выполнения подсказок LLM, ответов на вопросы, маркировки, транскрипции, перевода, резюмирования и т. д. — Можно запускать локально или масштабировать с помощью оркестрации контейнеров 🖥 GitHub 🟡 Доки @sqlhub

E-CUP — масштабное e-com-соревнование для ML-разработчиков! Реши реальную бизнес-задачу, поборись за призовой фонд в 1 200 000 рублей и секретный подарок для прокачки навыков и карьеры! Регистрируйся до 18 августа Приглашаем специалистов по Data Science, ML-инженеров, разработчиков. Решай задачи в стиле команды Ozon Tech — минимум ручных действий, максимум автоматизации. Everything as code! Эксперты хакатона расскажут, как эффективно применять этот подход в своей работе. На выбор — одна из задач, основанных на реальных бизнес-кейсах Ozon Tech: 1️⃣ Создать ML-модель, которая определит, одинаковые ли товары на изображении. 2️⃣ Разработать алгоритм для модерации карточек товаров с признаками нарушений правил площадки. Ключевые этапы: 🔹 1 июля — старт регистрации 🔹 19 августа — публикация задач 🔹 8 сентября — окончание приёма решений 🔹 13 сентября — оглашение победителей Решай задачи в нашем стиле! Не пропусти грандиозное ML-соревнование — присоединяйся к E-CUP

🌟 qsv — анализ и разные манипуляции с CSV-файлами — cargo install qsv --locked --features all_features Иногда для отдельных кейсов достаточно хранить информацию просто в csv вместо базы данных. И в таких случаях для удобной работы можно использовать утилиту qsv. qsv — это программа командной строки для индексирования, нарезки, анализа, фильтрации, сортировки и объединения CSV-файлов. Для всех этих манипуляций предусмотрены простые и удобные команды. 🖥 GitHub @sqlhub

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод АНАЛИТИК-10 даст дополнительную скидку 10% от цены курса. Записаться: https://netolo.gy/dj9u Реклама. ООО "Нетология". Erid 2VSb5z2WZhz

🌟 Lance — колоночная БД для ML- и LLM-приложений — pip install pylance Lance — колоночная БД для ML и LLM, реализованная на Rust. Предназначена для работы с изображениями, видео, 3D-облаками точек, аудио и конечно с табличными данными. Поддерживает любые файловые системы POSIX, а также облачные хранилища, такие как AWS S3 и Google Cloud Storage. Lance совместима с Pandas, DuckDB, Polars, Pyarrow. 🖥 GitHub 🟡 Примеры использования @sqlhub

🔥What’s the Hack? ЭКСПО! Этим летом с 1 по 10 августа прими участие в хакатоне от Экспобанк, реши задачу по созданию системы управления клиентскими базами для компаний-партнеров Экспобанка и получи возможность забрать вознаграждение из призового фонда в 400.000 рублей! Регистрируйся на хакатон до 29 июля включительно: https://экспохак.рф 🌐Хакатон пройдет в формате Онлайн - 9 дней интенсивной работы над проектом, а 10-го августа участники защищают свои решения перед представителями из компаний-партнеров Экспобанка! 🚀Главная цель – создать единый механизм управления клиентскими базами, позволяющий оптимизировать взаимодействие с клиентами и предлагать различные услуги из разных компаний, входящих в число компаний-партнеров Экспобанка. . 👨‍💻К участию приглашаются разработчики, Product менеджеры, IT-специалисты и бизнес-архитекторы. На протяжении всего хакатона Вас ждут регулярные сессии с экспертами, которые помогут скорректировать Ваши идеи в нужно русло! 📌Ключевые события хакатона: 29 июля – Завершение подачи заявок 1 августа – Церемония открытия 2 и 5 августа – Индивидуальные сессии с экспертами 7 августа – Общая встреча с экспертами 10 августа – Финальный питч и Церемония закрытия 🏆Успей зарегистрироваться на хакатон и побороться за призовой фонд в 400.000 рублей! What’s the Hack? ЭКСПО! Подробная информация и регистрация: https://экспохак.рф

🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД. К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно. Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG. И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе. 🟡 Создание Text-to-SQL системы @sqlhub

Как аналитику выгрузить, обработать и проанализировать данные за пару минут? Сделать SQL-запрос к базе данных. Научитесь писать такие запросы за 1,5 месяца — на курсе Яндекс Практикума. После учёбы вы будете пользоваться SQL уверенно: пройдёте от самых простых селектов до работы с оконными функциями. На курсе вас ждут: ◾️ видеоуроки, ◾️ симулятор с реальными рабочими задачами, ◾️ вебинары с экспертами по SQL, ◾️ тренажёр с задачами для практики. На курсе можно будет набить руку, потренироваться, задать вопросы наставнику. Материал идёт от простого к сложному, так что к концу учёбы студенты уже думают на языке SQL-группировок. → Записывайтесь и растите конкурентоспособность

💻Spice — унифицированный интерфейс запросов SQL и портативная среда выполнения для быстрого извлечения данных из любой БД, хранилища данных или озера данных

curl https://install.spiceai.org | /bin/bash
spice init spice_qs
cd spice_qs
spice run

Spice — open-source портативная среда выполнения, предлагающая унифицированный интерфейс SQL для получения данных из любой базы данных и не только. Spice написана на Rust для максимальной производительности. 🖥 GitHub 🟡 Доки @sqlhub

Добрый день, уважаемые абитуриенты! 🔥Это официальный Telegram-канал онлайн-магистратуры "Финансовые технологии и аналитика" от МФТИ х Нетологии В этом канале будем публиковать информацию о содержании программы, о вступительных испытаниях и другую полезную информацию.

Прием документов: до 16 августа Старт обучения: 1 сентября 2024 Срок обучения: 2 года Формат: очная магистратура, онлайн Направление обучения: 38.04.05 «Бизнес-информатика»

Учебный план, Описание программы и подача заявки на официальном сайте Центра “Пуск” МФТИ ❤️ Также вы можете получить персональную консультацию по запросу: ➡️Задать вопрос Елизавете Ждем вас и желаем удачи на экзаменах!

ИИ в аспирантуре с уклоном в практику — молодые ученые будут исследовать и развивать ИИ уже в этому году В ИТМО и НИУ ВШЭ открывается новый формат аспирантуры от Яндекса. Чтобы молодые ученые развивали, исследовали и улучшали ИИ-технологии, им будут давать ежегодные гранты 800 тысяч рублей и задачи реальных сервисов (в первую очередь, облачные технологии и беспилотники). У каждого будет свой научный руководитель из университета и проектный из компании. Наставниками станут лиды из сервисов и будут делиться экспертизой, апробировать результаты исследований в реальных продуктовых командах. Надеемся, что это поможет сокращению разрыва между исследованиями и практикой, а результатом станет ускоренное внедрение научных разработок в реальные продукты. Узнать больше о программе: Яндекс Аспирантура по ИИ #Яндекс #ИИ #Аспирантура #Образование #Наука #Технологии #ИТМО #НИУВШЭ

🖥 Известная компания Postgres Professional выпустила свой обновлённый базовый курс DBA-1 по администрированию свободно распространяемой СУБД PostgreSQL. Курс доступен для самостоятельного изучения на сайте, а также в авторизованных учебных центрах. Основные изменения: - Добавлена информация про версии PostgreSQL 14, 15 и 16. - Заменены четыре темы раздела «Управление доступом», по которым в дальнейшем появится отдельный подробный курс; - Частично изменена структура: изложение стало более логичным и последовательным; - Физическая и логическая репликации теперь рассматриваются в отдельных темах. - Исправлены недочёты в изложении, ошибки в скриптах демонстраций и практических заданий. 📌 Курс @sqlhub

🔥 Вебинар: Проводим ABC-анализ в SQL и строим дашборд в Metabase! Хотите больше практиковаться на хардовых кейсах и задачах? А может быть вам нужен проект в портфолио, благодаря которому вы устроитесь на работу аналитиком? Тогда приходите на бесплатный вебинар, где в прямом эфире мы будем проводить ABC-анализ в SQL и строить дашборд в Metabase 🚀 Здесь не будет банальщины и легких задач, только мясной контент и практика! 📅 Дата: 23 июля (вт) 🕘 Время: 19:00 по Мск 🔗 Ссылка на трансляцию придет в бота, записывайтесь → Что будем делать на вебинаре: ◾️ Напишем и подробно разберем код для проведения многомерного ABC-анализа в SQL ◾️ Поделимся профессиональными лайфхаками по ABC-анализу ◾️ Построим динамический дашборд в Metabase ◾️ Разберем, как правильно делать бизнес-выводы после анализа Можно ли новичкам? — Да! Мы будем детально объяснять каждый шаг. Ждем всех — будет мега-круто 🧡 Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134. Erid:LjN8JtFCx

🖥 Известная компания Postgres Professional выпустила свой обновлённый базовый курс DBA-1 по администрированию свободно распространяемой СУБД PostgreSQL. Курс доступен для самостоятельного изучения на сайте, а также в авторизованных учебных центрах. Основные изменения: - Добавлена информация про версии PostgreSQL 14, 15 и 16. - Заменены четыре темы раздела «Управление доступом», по которым в дальнейшем появится отдельный подробный курс; - Частично изменена структура: изложение стало более логичным и последовательным; - Физическая и логическая репликации теперь рассматриваются в отдельных темах. - Исправлены недочёты в изложении, ошибки в скриптах демонстраций и практических заданий. 📌 Курс @sqlhub

🔥 Rainbow Brackets — плагин для IDE, основанных на IntelliJ IDEA, который раскрашивает любые скобки Поддерживаемые языки: Java, Scala, Clojure, Kotlin, Python, Haskell, Agda, Rust, JavaScript, TypeScript, Erlang, Go, Groovy, Ruby, Elixir, ObjectiveC, PHP, C#, HTML, XML, SQL, Apex language. @sqlhub

🎓 Архив слитых курсов прямо в телеграм! Вот огромная база материалов, которая пополлняется каждый день! >Python (96гб видео) >C# (45гб курсов) >Английский (101гб курсов) >Java (23гб видео) >PHP (43гб видео) >Мобильная разработка (22гб курсов) >Go ( 132гб видео) >Rust (35 гб видео) >SQL (43гб видео) >MySQL (31гб видео) >Другое (234гб видео) ⛓ Крутейший Архив на 20241Гб: Курсов, книг, шпаргалок, стаетй, лекция ресурсы — всё собрано в одном месте: @datacours

💻Bitalostored — высокопроизводительная распределенная система хранения данных, совместимая с протоколом Redis Bitalostored — это недавно опубликованная распределенная система хранения данных, ядро которой основано на bitalosdb, совместимая с протоколом Redis. Bitalostored отличается высокой производительностью 🖥 GitHub 🟡 Доки @sqlhub

🖥 DevToys — open-source набор инструментов для разработчика Если кто вдруг не знает, существует замечательный набор инструментов для разработчика — DevToys. Проект написан на C#, всего в DevToys доступно более 28 утилит, включая конвертер JSON в YAML и обратно, конвертер изображений в Base64, хеш-генераторы MD5, SHA1, SHA256, SHA512, генератор заглушек Lorem Ipsum, валидатор XML, превью разметки Markdown, среду для тестирования регулярных выражений, конвертер изображений, пипетку для выбора цветов, симулятор дальтонизма, инструмент для сжатия изображений и другие. 🖥 GitHub @csharp_ci