Data Science. SQL hub

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Базы данных: t.me/sqlhub Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Базы данных: t.me/sqlhub Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot - 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

🦆 DuckDB vs 🐼 pandas: кто быстрее разберётся с «капризным» CSV? 📊 Сценарий 1. pandas read_csv("flight_data.csv") → весь файл свалился в одну колонку 2. DuckDB SELECT * FROM read_csv('flight_data.csv') → автоматически подхватил разделитель и выдал аккуратные столбцы 💡 Вывод Если работаете с CSV с нестандартным delimiter’ом, попробуйте прочитать его через DuckDB: детектирует разделители сам и экономит ваше время на ручной настройке. @sqlhub

Андрей Рыбинцев стал управляющим директором по ИИ в Авито — позицию ввели на уровне правления в рамках стратегии масштабного внедрения искусственного интеллекта. Под его управлением будет команда из 900 специалистов, несколько департаментов, в том числе новый кластер AI Experience. Среди приоритетов: развитие ассистентов на базе генеративных моделей, масштабирование A-Vibe и A-Vision, агентский ИИ, интеграция технологий ИИ в максимальное количество сервисов платформы. Рыбинцев работает в компании более 10 лет. Под его руководством развивались ключевые технологии: антифрод, автоматическая модерация, индикатор рыночной цены (IMV), собственные генеративные решения. По оценкам компании, GenAI может принести Авито более 21 млрд ₽ допвыручки к 2028 году.

🖥 Продвинутый SQL-трюк: как найти строки, отличающиеся только одним символом Иногда нужно найти пары строк, которые почти совпадают — например, из-за опечатки в одной букве. Такой кейс часто встречается при поиске дублей в именах, email или товарах. С помощью функции levenshtein() из расширения pg_trgm в PostgreSQL, можно находить строки, отличающиеся ровно на 1 символ. Это удобно для очистки данных, поиска дублей и реализации "умного" поиска в интерфейсе.

-- Убедись, что pg_trgm расширение включено
CREATE EXTENSION IF NOT EXISTS pg_trgm;

-- Найдём строки из таблицы users, у которых name отличается на 1 символ
SELECT a.name AS name1, b.name AS name2
FROM users a
JOIN users b ON a.id < b.id
WHERE levenshtein(a.name, b.name) = 1;

-- Пример: найдёт пары вроде ('Anna', 'Anya') или ('John', 'Joan')

📌Больше видео @sqlhub

📊 Argilla — инструмент для создания качественных датасетов под AI. Проект помогает разработчикам и экспертам совместно работать над разметкой данных для NLP, LLM и мультимодальных моделей. Платформа предлагает удобный интерфейс для аннотирования с фильтрами, семантическим поиском и AI-подсказками. Argilla используют в Red Cross и других организациях для задач классификации, RAG и тонкой настройки моделей. 🤖 GitHub

🔥 Nhost — свежий взгляд на backend-разработку с открытым исходным кодом. Этот проект предлагает готовую облачную платформу или возможность самому развернуть альтернативу Firebase, но с GraphQL и PostgreSQL под капотом. Вместо NoSQL — привычный SQL, вместо REST — мощный GraphQL API на базе Hasura, а также встроенные аутентификация, хранилище и serverless-функции. При этом Nhost не привязывает разработчика к конкретному фронтенд-фреймворку. Один и тот же SDK работает с React, Vue, Next.js и даже Flutter. Локальная разработка упрощена благодаря CLI, а для продакшна можно выбрать как managed-решение от создателей, так и развернуть всё на своих серверах через Docker. 🤖 GitHub @sqlhub

🎁 РАЗЫГРЫВАЕМ MacBook Air! Разыгрываем шикарный 13-дюймовый MacBook Air! Отличная рабочая машинка! Условия участия максимально простые: 🔸Подписаться на телеграм-канал: @sqlhub 🔸Подписаться на телеграм-канал: @ai_machinelearning_big_data 🔸Нажать кнопку "Участвовать" ниже. ВСЁ! Вы участник! Бот выберет одного человека, которому мы подарим этот MacBook. Доставка по зоне СДЭК. Итоги подведём 14 августа. Всем удачи! Пусть победит самый приятный человек! ⚠️ Если бот подвис — не беспокойтесь, вас все равно зарегистрирует, просто выполните условия и нажмите «Участвую».

🔑 Oracle выпустила масштабные обновления безопасности для своих ключевых продуктов. В июльском патче устранено 309 уязвимостей разной степени критичности, затрагивающих популярные решения компании. Наибольшую опасность представляли 9 уязвимостей в Java SE, позволяющих удалённое выполнение кода без аутентификации. Серьёзные проблемы обнаружены и в VirtualBox — три критические уязвимости дают возможность скомпрометировать гипервизор из гостевой системы. Обновления уже доступны для всех поддерживаемых версий затронутых продуктов. 🔗 Ссылка - *клик* @sqlhub

🧠 HASH — открытая база данных с элементами ИИ, которая самостоятельно структурирует информацию и проверяет её достоверность. Проект объединяет данные из разных источников в реальном времени, предлагая удобные инструменты для работы с ними даже не-техническим пользователям. HASH имеет автономных агентов, которые автоматически дополняют и очищают данные, а в будущем система превратится в полноценную рабочую среду с AI-интерфейсами. Для старта можно использовать облачную версию или развернуть локально. 🤖 GitHub @sqlhub

😈 Немного токсичности — на пользу? В финальном обзоре от команды AI VK с ICML 2025 — работа, в которой добавление умеренно токсичных текстов в обучающую выборку помогает улучшить ответы LLM, не повышая при этом токсичность. Всё дело в согласованной настройке данных, обучения и инференса (prompting & steering). 💡 Результат — +10% к объёму датасета, рост качества по MMLU и управляемая токсичность за счёт лучшего подавления нежелательных паттернов на инференсе.

🦉 Tonbo — новый игрок в мире embedded-баз данных. В отличие от традиционных key-value хранилищ, использует LSM-дерево поверх Apache Arrow/Parquet, что открывает интересные возможности для аналитических запросов с pushdown-оптимизациями. Проект находится в активной разработке, но уже примечателен type-safe API через derive-макросы и поддержкой транзакций. Интересно наблюдать, как он будет развивать интеграцию с экосистемой Arrow (DataFusion) в будущих версиях. 🤖 GitHub @sqlhub

🚀 *Amazon запускает S3 Vectors — и это может перевернуть рынок векторных БД* На первый взгляд — просто новый сервис. На деле — возможно, главная новость для AI-инфраструктуры в 2024. Когда Amazon представил S3 в 2006, он навсегда изменил подход к хранению данных: больше не нужно думать о дисках — только API и бесконечное масштабирование. S3 Vectors может сделать то же самое с векторными БД. 💡 Почему это важно 1️⃣ Резкое удешевление - $0.06/GB за хранение, $0.004/TB за запросы - В 10–400 раз дешевле, чем популярные векторные хостинги - Подходит для стартапов, особенно с бесплатными AWS-кредитами 2️⃣ Масштабируемость без DevOps - Храни миллиарды векторов - Запросы — за сотни миллисекунд - Без серверов: просто создаёшь *vector bucket* и используешь API 3️⃣ Глубокая интеграция с AWS-экосистемой - Bedrock (RAG-приложения) - OpenSearch (tiered storage) - SageMaker и другие сервисы - Всё подключается "из коробки" 🛠️ Что можно делать - Масштабируемый RAG с низкой ценой - Поиск по смыслу в документах, видео, медизображениях, коду - Долгосрочная память для AI-агентов - Семантический корпоративный поиск 📈 Сообщество уже тестирует: среднее время запроса — ~250 мс. Preview-доступ открыт в регионах US East/West, Frankfurt и Sydney. 🔗 https://aws.amazon.com/blogs/aws/introducing-amazon-s3-vectors-first-cloud-storage-with-native-vector-support-at-scale/ Если пробуете — делитесь результатами. Это может быть началом нового стандарта. @sqlhub

От аналитики до AI — онлайн-магистратура УрФУ Спрогнозировать погоду, диагностировать болезни по снимкам или создать умную рекомендательную систему — для ML-инженеров нет ничего невозможного. Онлайн-магистратура УрФУ и Нетологии «Инженерия машинного обучения» поможет освоить востребованную профессию. За 2 года обучения вы: — Освоите создание ML-моделей и автоматизацию процессов; — Научитесь работать с Big Data, проектировать архитектуру для хранения данных и настраивать ETL-процессы; — Получите практический опыт на реальных проектах, сможете участвовать в Kaggle-соревнованиях и хакатонах; — Пройдёте полный цикл разработки систем ИИ — от математических основ до продакшена; — Получите два диплома: государственного образца от УрФУ и дополнительный от Нетологии. Гибкий онлайн-формат обучения позволит совмещать учёбу с работой, а карьеру строить уже во время магистратуры. 👉 Подробнее о магистратуре - https://netolo.gy/ef2e Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5wX4r9v

Огромная Python-шпаргалка с удобной навигацией! В репозитории собраны шпаргалки (на русском) по Python и не только, разделённые по категориям. Каждая ссылка ведёт к PDF с нужной темой. 🗂 Кроме Python, есть материалы по Git, CORS, Docker, API, SQL, CI/CD, Kubernetes и другим темам разработки. 👉 https://github.com/Dv-nn/Cheat-Sheet-Python #Python #Программирование #Шпаргалки @sqlhub

✅ Как настроить реакцию на изменения в таблицах Postgres? Как передать эти изменения в микросервисы, в Kafka и в другие СУБД, например в Clickhouse? Расскажем на открытом уроке «Событийная интеграция Postgres» посвященный курсу «PostgreSQL для администраторов баз данных и разработчиков» ✅ Научитесь выбирать правильный способ событийной интеграции ✅ Посмотрите, как и что можно реализовать для надежной передачи данных из Postgres во внешние системы 👉Узнаете про опыт других предприятий и протестируйте обучение на открытом уроке https://tglink.io/c54fbe760b67?erid=2W5zFJpxYBz #реклама О рекламодателе

🧠 Как оценивать качество RAG-систем: метрики и MLflow в действии Retrieval-Augmented Generation (RAG) — мощная архитектура, но её тонко настраивать сложно. Ответы могут казаться "разумными", даже если они на самом деле некорректны. Как понять, работает ли ваша система так, как надо? В свежем гайде от CodeCut показано, как системно оценивать качество RAG-моделей, а не надеяться на «на глаз»: 🔹 Метрики качества: - Context Precision / Recall — насколько релевантны и достаточны извлечённые документы - Faithfulness — насколько ответ действительно основан на контексте, а не «галлюцинирует» - Answer Relevance — насколько сам ответ полезен и по теме 🔹 Интеграция с MLflow: Можно логировать не только метрики, но и: - Извлечённые документы - Ответы модели - Ground truth (если есть) - Скриншоты или HTML-рендеринг всей цепочки 🔹 Автоматическая разметка: Используется GPT/Claude для автоматического суждения о faithfulness и relevance — удобно при отсутствии human-annotators. 📌 Вывод: Если вы строите RAG-решения, важно думать не только о качестве retrieval и LLM по отдельности, но и о том, как оценивать весь pipeline. Метрики + MLflow дают структуру, чтобы сравнивать улучшения и принимать обоснованные решения. Полный гайд: codecut.ai — 🔍 стоит заглянуть! #RAG #MLflow #LLM #Evaluation #AIProduct @sqlhub

День открытых дверей онлайн-магистратуры МФТИ “Науки о данных” (Data Science) Здравствуйте! На связи Юлия Соболь, руководитель онлайн-магистратур МФТИ. Если вы задумывались о переходе в Data Science из смежных областей, то наверняка размышляли, как лучше всего построить этот переход. Мы в онлайн-магистратуре МФТИ “Науки о данных”, с одной стороны, помогаем начать свою карьеру в работе с данными (или систематизировать знания, если вы уже работаете в сфере), с другой, помогаем развить продуктовое мышление и запустить свой проект. Это здорово помогает преобразовать карьеру в портфельную, то есть независимую от одного работодателя. Больше 150 студентов наших программ пришли в профессию или получили повышение в текущей сфере, но больше всего мы ценим десятки продуктов на базе ML, которые родились, благодаря командной работе студентов. Такие проекты можно развивать не только автономно, но и “под крылом” высокотехнологических компаний. На эту встречу мы пригласили двух выпускниц нашей программы, Анну Звереву, руководителя направления ML/AI дирекции по ESG в Сбербанке, и Екатерину Чуйко, старшего разработчика в Multilogin. Приглашаю послушать из первых уст об опыте обучения в онлайн-магистратуре, о том, как складывалась карьера девушек, с какими сложностями они столкнулись и как их преодолевали. Также кратко обсудим: 🔹 тренды и перспективы Data Science 🔹 как строится обучение в онлайн-магистратуре 🔹 как студенты стажируются у индустриальных партнеров МФТИ и делают с ними проекты 🔹 и как успешно стартовать в Data Science в 2025 году и зарабатывать от 250 000 руб. в месяц (это мы написали для кликбейта, но об этом, конечно, тоже поговорим) Приходите на День открытых дверей - это будет живой эфир, ждем ваших вопросов! 📍Где: онлайн, МФТИ 🗓 Когда: 17 июля (четверг), 19:00 мск ➡️ Зарегистрироваться ⬅️

🧠 Исследователь OpenAI Ноам Браун заявил: "Все эти модные AI-системы с роутерами, обвязками и агентами смоет масштабом. Будущее — за моделями, которые просто работают хорошо из коробки." Что это значит? ▪ GPT‑5, похоже, не будет использовать роутеры — то есть, не будет выбирать отдельную подмодель под каждый запрос. ▪ Вместо этого — одна большая универсальная модель, способная справляться со всем сразу. Но возникает важный вопрос: Как они собираются держать цену инференса низкой? Без роутера даже на простой вопрос будет отвечать вся огромная модель — это дорого. Если OpenAI реально решила эту задачу, это будет революция: ▪ Без костылей ▪ Без сборок из агентов ▪ Просто умная, быстрая и универсальная модель Следим внимательно. Это может многое изменить.

🛠️ AI + SQL = мгновенный доступ к данным в базе На картинке — простой пример, как с помощью FastMCP и SQLAlchemy можно подключить инструмент к базе данных, который по человеческому запросу выводит список всех таблиц. 📦 Что происходит: 1. Человек пишет: *"Show me all tables in the ecommerce database"* 2. AI вызывает list_tables(), получает список через SQLAlchemy 3. Возвращается JSON и сгенерированный ответ на естественном языке ⚙️ Используемые технологии: - FastMCP — для регистрации инструментов и взаимодействия с агентами - @mcp.tool — декоратор, позволяющий превращать функции в доступные действия для ИИ - inspect() из SQLAlchemy — безопасный способ получить метаданные БД 🧠 Это база для создания умных ботов-помощников, которые умеют работать с реальными базами данных и выдавать ответы, понятные человеку. Интерфейс будущего уже здесь — не SQL-запрос, а обычный вопрос на английском. @sqlhub