Data Science. SQL hub

💻 WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG — curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin WrenAI позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое 🖥 GitHub 🟡 Доки @sqlhub

Какой путь к работе мечты самый короткий? Конечно, One Day Offer от Сбера! 😉 Если ты Data Analyst или Data Engineer, мы ждём тебя 27 июля. Получи возможность пройти fast-интервью, познакомиться с командой и забрать долгожданный оффер всего за один день. Наша команда разрабатывает и внедряет DS-решения в точки касания клиента со Сбером: отделения, мобильное приложение, банкоматную сеть и т.д. Мы работаем с технологиями Python, Spark, SQL, Hadoop, GreenPlum и за год внедряем более 200 моделей. Тебя ждут интересные и разноплановые задачи 👇 ▪️ Обучение всех типов моделей искусственного интеллекта: от классического ML до глубоких нейронных сетей. ▪️ Создание высокотехнологичных сервисов: от систем принятия решений до компьютерного зрения и обработки естественного языка. ▪️ Развитие хранилища на Teradata и DataLake на Hadoop. Отправляй заявку уже сейчас и присоединяйся к команде!💚

💻Timeplus Proton — SQL-движок, быстрая и легкая альтернатива ksqlDB или Apache Flink — curl https://install.timeplus.com/oss | sh Timeplus Proton, это SQL-движок от ClickHouse, который позволяет обрабатывать, маршрутизировать и анализировать потоковые данные из Apache Kafka, Redpanda и других источников, а также отправлять агрегированные данные в другие системы. 🖥 GitHub 🟡 Доки @sqlhub

Автономизация процессов в 2024 году становится новой нормой! Компании с помощью ML и AI оптимизируют бизнес-процессы. Рынок AI-решений стремительно растет, а спрос на специалистов по Data Science и ML бьет рекорды. 📊 Факты и цифры: - Рынок Data Science и ML ежегодно растет на 30%. - Средняя зарплата специалистов в России — 171 000 рублей. - Спрос на специалистов вырос на 50% за последние два года. ТГУ и Skillfactory запустили онлайн-магистратуру "Науки о данных и машинное обучение". Основой программы являются реальные задачи от Билайн, Росбанк, ВКонтакте. 🎓 Преимущества обучения: - Обучение с нуля: достаточно любого диплома высшего образования. - Онлайн-формат: студенческие льготы и диплом очной формы ТГУ. Стоимость обучения первый год — от 270 рублей в месяц! - Эксперты индустрии: преподаватели из ТГУ и IT-практики - Гибкость: выберите формат выпускной работы — диссертация или бизнес-задача. 🌟 Присоединяйтесь сейчас! Оставляйте заявку и получите подготовительный курс бесплатно. Записаться тут: https://go.skillfactory.ru/YAfO5Q Реклама. ООО «Скилфэктори» erid: LjN8Jtyu5

💻Практический гайд по созданию за неделю своего LSM-движка для key-value хранилища Здесь по шагам описывается реализация простого механизма хранения key-value пар; сам LSM-движок можно собрать за неделю + допилить разные фичи ещё за пару недель 🖥 GitHub 🟡 Гайд @sqlhub

🔍 Нужны советы от опытного DS-специалиста? Авито запускает программу менторства, доступную для каждого, кто стремится к развитию и росту. Своим опытом и знаниями готова поделиться Таня Языкова, Middle DS Engineer. Она поможет с основами ML и NLP, расскажет о коммерческой разработке, подготовит к собеседованиям на разные уровни и проведёт код-ревью. Это только один из множества менторов Авито! 💚 Если нужно разобраться: • В основах ML и NLP • В ошибках, которые допускаете на собеседованиях • В проблемах координации работы команды и взаимодействии с заказчиками Найдите своего ментора из команды Авито здесь: Getmentor. Есть разные форматы работы: платные встречи или сессии за взнос на благотворительность 💚

💻 HugeGraph — open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс). Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа. Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

🖥 GitHub 🟡 Доки @sqlhub

💻EventStoreDB — open-source БД, в основе которой событийно-ориентированный подход Благодаря событийно-ориентированному подходу EventStoreDB позволяет извлекать больше пользы из данных, видеть больше связей и закономерностей EventStoreDB позволяет создавать кластеры в AWS, Azure и GCP и безопасно подключать их к собственным облачным ресурсам. Быстрый старт с Docker: docker run --name esdb-single-node -it -p 2113:2113 -p 1113:1113 eventstore/eventstore:latest --insecure --run-projections=All --enable-atom-pub-over-http 🖥 GitHub 🟡 Доки @sqlhub

💻rbatis — набор инструментов SQL и компилируемая ORM-библиотека на Rust rbatis — это высокопроизводительный инструментарий SQL и компилируемая ORM-библиотека. Асинхронный, чистый SQL-крейт Rust, поддерживающий динамический SQL с компиляцией. 🖥 GitHub 🟡 Доки @sqlhub

5 причин, по которым ВСК, Альфа Капитал, УРАЛХИМ и Инвитро выбирают Loginom для анализа данных 🔽 Loginom – платформа, позволяющая бизнес-экспертам самостоятельно, без программирования, выполнять все работы по интеграции, очистке и подготовке данных. Она приходит на помощь, когда аналитики используют несколько источников информации: файлы, БД, web-сервисы, 1С и т. д. 🕯Интуитивный интерфейс: легко создавайте сложные процессы ETL благодаря графическому конструктору и интуитивно понятному пользовательскому интерфейсу в стиле low-code. 💥Мощная трансформация данных: независимо от сложности задачи, Loginom предлагает широкий спектр инструментов для эффективной обработки информации — связывание, очистка и предобработка данных, трансформация, обогащение данных и загрузка результатов в приемники. 🔗Безопасность: данные защищены благодаря возможностям контроля доступа и шифрования. 💯Эффективность: не теряйте время на рутинные процессы обработки данных — доверьте это дело Loginom и сосредоточьтесь на анализе результатов и более интересных стратегических задачах. 📊Гибкость и масштабируемость: масштабируйте решения в соответствии с потребностями, независимо от того, работаете ли вы с небольшими данными или огромными массивами информации. Если вы ищете современный и удобный ETL-инструмент, то Loginom — ваш идеальный выбор! Узнать подробнее о продукте можно по ссылке 🔥

💻SeaQuery — динамический конструктор запросов для MySQL, Postgres и SQLite — cargo add sea-query SeaQuery — это конструктор запросов, который поможет создавать динамические SQL-запросы в Rust. При помощи SeaQuery можно строить выражения, запросы и схемы как абстрактные синтаксические деревья, используя удобный API. 🖥 GitHub 🟡 Доки @sqlhub

⚛️ Исследователи из MIT разработали новый инструмент на основе генеративного ИИ, предназначенный для анализа сложных табличных данных в базах данных Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных. Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности. В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных. 📌 Источник #базыданных #mit @ai_machinelearning_big_data

💻 RedTiger — мультитул с массой функций для пентеста и взлома Позволяет проводить реализовывать разные атаки, типо SQL-инъекций, извлекать информацию по email и т.д. Исключительно в этичных целях 🖥 GitHub @sqlhub

⚠️ Как создать собственный тип данных с помощью PostgreSQL? Расскажем на открытом уроке «Пользовательские типы данных в PostgreSQL» в рамках практического курса «PostgreSQL для администраторов баз данных и разработчиков» от OTUS 🔹На открытом уроке рассмотрим как можно создать пользовательский тип и как с ним работать. 🔹Разберем несколько примеров детально "до винтика" 🦾  PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты. Тестируйте занятие на бесплатном уроке и начните обучение уже 30 июля.  👉  Регистрация и подробности https://otus.pw/AXCX/?erid=LjN8K5hUu

💻GraphJin — новый вид ORM — npm i graphjin GraphJin позволяет создавать NodeJS / Go API за 5 минут, а не за несколько недель. Достаточно использовать простой запрос GraphQL для определения API, а GraphJin автоматически преобразует его в SQL. GraphJin поддерживает Postgres, MySQL, Yugabyte, AWS Aurora/RDS и Google Cloud SQL 🖥 GitHub 🟡 Доки @sqlhub

💻 Vanna — точная генерация SQL-запросов с помощью LLM и RAG Vanna — это open-source фреймворк Python для генерации SQL с использованием RAG 🖥 GitHub 🟡 Доки @sqlhub

Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра. У каждого студента будет: - личный ментор по траектории обучения; - доступ к карьерному центру с коучами и консультантами; - опыт работы в проектах партнеров уже во время обучения. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2VtzquuMb1A Реклама, АНО ВО «Центральный университет», ИНН 7743418023

💻Piccolo — быстрый, удобный ORM и конструктор запросов, который поддерживает asyncio

pip install piccolo
piccolo playground run

Piccolo — это быстрый, простой в освоении ORM и конструктор запросов. Особенности Piccolo: — поддержка sync и async — встроенная платформа для тестирования запросов — отлично интегрируется с iPython и VSCode 🖥 GitHub 🟡 Доки @sqlhub

💻EdgeDB — open-source БД с декларативной схемой, встроенной системой миграции и языком запросов нового поколения — curl https://sh.edgedb.com --proto '=https' -sSf1 | sh EdgeDB — это БД, поддерживающая сложные иерархические запросы; EdgeDB собрала в себе лучшее реляционных БД, графовых БД и ORM. 🖥 GitHub 🟡 Доки @sqlhub