Data Life UA

привіт народ Пишу свій опенсорсний легкий тул для мувінгу даних з прод-баз у двх. Rust binary 20MB Для кого цей продукт: - малі тіми, котрим треба мувнути дані з проду, котрому вже боляче і треба переносити дані в двх або паркет але немає тої людини хто буде писати отой самий страшний скрипт на бащі або пітоні щоб його потім ще підтримувать. - дата-інженерам, котрі шукають опенсорс-альтернативи, котрі не з'їдять всю RAM та не покладуть прод-базу або репліку. - Ті, хто замість того, щоб вичитати тільки дельту, мають читати повну таблицю, бо created_at не тригернувся. сорси: - mysql - mssql - postrges таргети: - паркет - csv - s3, azure blob, gcs Читаю короткими запитами і не тримаю довгих сесій — це те, що поки що ніхто з таких самих муверів, як (ingestr, dlt, sling, duckdb, clickhouse, odbc2parquet), не робить. із коробки є: - всі типи окрім (географії, енамс, айпі) в duckdb, clickhouse, snowflake, bigquery, clickhouse завантажуються нативно (є затик на стороні бігвеї та сноуфлека з жейсонами, але їх автолоадери не можуть це зробити з коробки) - читання з пк - читання кейсетів - ретраї - вся метаінфо пишеться в робочій директорії в локальний sqllite, з коробки можна писати також у постгрю - валідація як типів між читанням та записом, так і мд суми між текушею на воркері та тією, що вважається на боці сторожа - автотюн паралельних ранів - читання з бінлог файлів щоб уникнути повного перечитування сорсу якщо не апдейтуються updated_at поля - мінімальне та налаштоване споживання рами на воркері (меморі баджет) https://github.com/panchenkoai/rivet ось тут відтворювані бенчмарки https://github.com/panchenkoai/rivet/blob/main/docs/bench/reports/REPORT_steelman.md мій лінкедін https://www.linkedin.com/in/andrii-panchenko/ найбільша спільнота датаінженерів в Украіні https://t.me/+rHOPbDneSOszMDAy