Python Hints

#Quick@pyHints حالا که همه دارند از قابلیت Lazy import توی پایتون ۳.۱۵ میگن گفتم یادآوری کنم: اگر پروژه تست نداشته باشه و توی توسعه‌ی یک فیچر یا بخش اون ماژول که Lazy import داره صدا زده نشه و به import نیازی نباشه، ارورهای اون بخش رو نمی‌بینیدا اینم یک دلیل خوب دیگه که باید تست بنویسید.

تقریباً ۳ هفته‌اس دارم این پروژه رو میزنم با Rust, Tauri v2 و هرچی دوستان بیشتری تست می‌کنند ایده‌های جالبتری بهش اضافه می‌شه. فعلاً فقط نسخه لینوکس رو داریم و روی ورژن v0.2.0 هستیم (شاید بعداً ویندوز و مک هم اضافه شد) اگر دوست داشتید تست کنید توی کانال https://t.me/per3onnel فایل‌های باینتری برای دبیان، ردهت و آرچ وجود داره پینوشت: بعد از انتشار v1.0.0 بصورت open source منتشر خواهد شد

تم دیفالت Kanagawa هست و ۷ تم معروف دیگر ترمینال هم بصورت پیشفرض وجود داره (تم‌هایی که اضافه می‌کنید بین ورژن‌ها آپدیت نمی‌مونه؛ اگر فکر می‌کنید لازم هست که این مورد رو هم اضافه کنم که توی دیتابیس ذخیره بشه)

Kanagawa (default) Argonaut Tokyo Night Catppuccin Mocha Nord Gruvbox Dark One Dark Night Owl

git commit --allow-empty -m "from: develop" لطفا دستور بالا رو یاد بگیرید البته بخش commit message رو خودتون باید تغییر بدید و بعد از یادگیری خواهشا استفاده کنید. برای یک کار موقت وارد شدم؛ فکر کنم بالای ۷۰ تا برنچ دارند (مدیر فنی خدافظی کرده و سنیورهارو هم اخراج شدند.) حالا ۷۰ تا برنچ هست که هرکدوم یک سری فیچر رو اضافه کردند؛ هیچکدوم مرج نشده و پروژه از روی یکی از برنچ‌ها دپلوی شده باقی برنچ‌ها هم هرکدوم یکی از فیچرهای پروژه رو داره که لازم بوده و ... و البته که git log —graph و ... وجود داره ولی انقدر بهم ریخته و کثیف شده که خوندن اونم دردسر داره. اضافه کردن یک کامیت خالی که فقط بگه برنچ parent چیزی که توسعه داده میشه کی هست باعث میشه بعدا خودتون هم راحت باشید و خواهشا وقتی چیزی رو merge می‌کنید حتما برنچ رو پاک کنید. اگر فکر می‌کنید حذف نکردن برنچ بعدا کمک شما خواهد کرد شما مشکل مهارتی git دارید و معلوم هست git رو درست یاد نگرفتید. با سنیورها تماس گرفته شده هرکسی چندتا برنچ رو یادش هست و کمک کرد ولی خب خیلی برنچ‌ها نامشخص هست.

می‌دونستید کل ارائه رو می‌تونید به comic book تبدیل کنید ؟ هر مدلی که Image generation داشته باشه (مثال بالا Gemini Notebook هست) برای کسایی که حافظه تصویری قویتری دارند این روش خیلی جواب هست. پینوشت: سورس دیتای تصویر بخشی از ارائه خودم هست؛ قراره ۱۲-۱۶ ساعت آموزش Axum بدم. بطوریکه از روز بعدش بکند پروژه جدید رو روی Axum شروع به کد زدن کنند و از اونجایی که از درست کردن powerpoint نفرت دارم؛ به ذهنم رسید این کار رو بکنم (چون ۹۰٪ کد هست) برای مواقعی که کد نیست و باید توضیح بدم این بهترین گزینه هست بنظرم.

ملت skill issue های خودشون رو میندازند گردن پایتون.

At its peak, Python helped us serve more than 20 million requests every second.

تیم مهندسی openai یک مقاله داده در مورد یک لایبراری برای دسترسی ساده‌تر به دیتابیس که با پایتون روز اول نوشته شده بوده و بعد به سرویس پایتون تبدیل شده و نشون داده با طراحی درست سیستم تا ۲۰ میلیون درخواست رو داشتند باهاش هندل می‌کردند. البته توی این مقاله راجب تصمیم برای سوییچ کردن به Rust صحبت شده ولی کل مقاله رو اگر بخونید از ابتدا درمورد مزایای استفاده از پایتون برای اینکار هست؛ پیشنهاد می‌کننم حتما این مقاله رو بخونید (پارت دوم هم داره که scale اش رو می‌گه) علاوه بر اون برای دوستان علاقمند پیشنهاد می‌کنم حتما مقاله مربوط به Postgres رو هم بخونید بخصوص اگر توی تیمی هستید که از روز اول Shard کردن رو دوس داره. How we adapted our application storage platform, Habitat, in Python to manage unprecedented growth. (Part 1) Scaling PostgreSQL to power 800 million ChatGPT users

@pyhints انقدر محبوب و معروف شده که پیشنهاد اسپانسر و تبلیغات دلاری براش داره میاد؛ توی تمام این سال‌ها هیچکدوم از کانال‌ها تبلیغات نداشته و ترجیح میدم این روند رو ادامه بدم. اما باید از تمام دوستانی که این مدت همراه کانال بودند و مطالب رو به اشتراک گذاشتند هم تشکر کنم. بابت همراهی شما با تمام کانال‌ها و تمام این سال‌ها ممنونم @pyhints @pytens @pyrust @per3onnel

داشتم دنبال یک ویدئو می‌گشتم که ببینم کسی ماژول‌های مهم رو برای پایتون توضیح داده ؟ یک بخشی از داکیومنت رو خوندم و فهمیدم ماژول چیزی هست که دنبالشم و توی این سرچ متوجه شدم ۳ سال قبل با این ابزار آشنا شدم؛ یا اون موقع بدردم نمیخورده یا پروژه‌هام همه رو اسکریپت بوده و کار میکرده یا ایراداتی داشته که نتونستم استفاده کنم. خواستم این نکته رو هم اضافه کنم که : هرچیزی به زمانش و به وقت نیاز بهش خوبه؛ چیزی که امروز خیلی راجبش هیجان دادم و خوشم اومد از پیدا کردنش ۳ سال قبل (کل ویدئو رو دیده بودم) هیجان زدم نکرده شاید به این فکر کردم که خودم با اسکریپت دارم همینکارو می‌کنم دیگه باقیشم که .env و پایتون انجام میده امروز نیاز و نگاهم عوض شده اگر جونیور هستید و توی تیم می‌خواید ابزار جدیدی رو پیشنهاد بدید یادتون باشه باید نشون بدید :‌ ۱- این ابزار جایگزین روش قبلی هست ۲- جایگزین کردن ابزار قدیم چقدر هزینه داره (یادگیری نیروهای دیگه هم در نظر بگیرید)‌ ۳- مزیت‌هاش چیه که بازم بر میگرده به یکی از مهمترین چیزایی که قبلا گفتم حتما یاد بگیرید یعنی نوشتن ADR اونم صادقانه هم مزایا و هم معایب

این دقیقا یکی از اون جاهایی هست که گفتم نیروی جونیور توی تیم لازم هست. مسئله این هست که من اسکریپت‌هام و راه‌اندازی کانتینر dev برای ابزارها و کانفیگشون با اسکریپت و ... رو شاید ۱-۲ ماه بعد از یادگیری داکر (اوایل معروف شدن) شروع کردم همین امروز هم اگر تنبلی باعثش نبود عمرا همچین چیزی رو سرچ نمیکردم. حتی اگر احمق بودن بیش از حد LLM ها نبود هم اینکار رو نمی‌کردم؛‌فیچر‌هایی که خواستم تست کنم جدید بود و البته چون نمی‌دونستم رفتار درست ابزارها روی فیچرهای جدید چی‌ هست و چطوری عمل می‌کنه اعتمادی به LLM برای نوشتن این اسکریپت نداشتم دلیلش هم واضح هست : از کجا بفهمم خطا توی کدم هست؛ یا توی اسکریپت LLM یا حتی اون فیچر رو اشتباه درک کردم یا اشتباه استفاده کردم و ... این باعث شد سرچ کنم و testcontainers رو پیدا کنم؛ من همیشه محیط تست و توسعه‌ام یکی هست همه چیزش. روی پروداکشن هم سرور dev, stage و prod همیشه یکسان کانفیگ میشه حتی تا سطح دسترسی و جزئیاتی مثل firewall , ... فقط تفاوت این میشه که مثلا prod با ۱۰ تا سرور میاد بالا dev با ۱ سرور و stage با ۳ تا سرور اگر جنبه distribute بودن چیزی باشه که برامون مهم هست تست شدنش. خلاصه اینا معمولا دانشی هست که یک جونیور خوب به تیم اضافه می‌کنه؛ توی جلسات هفتگی یا حتی ماهانه راهکارهای جدید و به روز شده رو جونیورها معمولا به تیم اضافه می‌کردند وگرنه من و مثل من که ۱۰ سال هست یک راهکار رو دنبال می‌کنیم و همیشه جواب داده چرا باید دنبال راه دیگه‌ای بگردیم ؟ جونیورهای تیم رو نگه دارید؛ چونیور درست و خوب تیم رو آپدیت نگه میداره.

من همیشه دیتابیس تست و ... رو براش اسکریپت می‌نویسم (دستی) بعد توی کدهام از اون موارد استفاده می‌کنم کار تمیزی هست ولی زمانبر الان همینطوری یک سرچ زدم آنلاین ببینم روش دیگری هست ؟ پروژه‌ای که دستم هست خیلی ساده‌اس و فقط می‌خواستم چندتا فیچر جدید رو هم تست کنم اینکه یک سری اسکریپت دقیق بنویسم و کانفیگ کنم بنظرم زیاد بود testcontainer رو پیدا کردم که بنظر میاد دقیقا برای همچین وقتایی هست گفتم معرفی کنم برای دوستان دیگری که مثل من شاید نیازشون باشه و راجب این پروژه چیزی نشنیده باشند.

اینم برای دوستان دانشجو یا علاقمندای به Data Structure & Algorithm این سایت با انیمیشن بهتون نحوه کار هر اگوریتم رو نشون میده (برای دانشگاه سنگاپور هست) و برای هر کدوم :‌ ۱- کوئیز داره (نمره نداره یک سری سوال رندم برای درک میزان یادگیری هست) ۲- یک بخش پرینت داره که خلاصه‌ی کامل رو بهتون میده مثل یک cheat sheet که توی چند مورد که من خوندم خیلی خوب و درست نوشته شده. خلاصه این رو روزی ۱ بار بهش سر بزنید.

داشتم داستان ۲ هفته troubleshoot کردنم برای یک شرکت رو می‌نوشتم و اینکه ۷ نفر قبل من رفته بودند و راهکاری پیدا نشده بود. حتی بهشون جابجایی استک پایتون رو هم پیشنهاد داده بودند. و حتی اینکه خرید سرور تا ۳ برابر قویتر هم کمکی نکرده بود. که سیستمم خاموش شد (نوسان برق) خلاصه‌اش رو بگم، تیبل refresh token رو براش بکگراند جاب بنویسید تمیز کنه. که اگر یکی refresh token رو اشتباهی گذاشت روی 1 ساعت و ۵ میلیون یوزر داشتید توی چندین ساعت تیبل بزرگ نشه، شما اون باگ رو توی ۳ ساعت بعدش حل می‌کنید ولی ماها بعد حجم اون تیبل چندین برابر میشه و سرچ کردن توش تمام کوئری‌ها رو کند می‌کنه و می‌شه چیزی که نباید بشه و خفت می‌شید. تقریباً داشتم از پیدا کردن راهکار ناامید می‌شدم که مشکل رو پیدا کردم. پینوشت: ۱- دسترسی گرفتن به سرور پروداکشن سخت بود، شاید تنبلی شایدم هرچیز دیگری نفرات قبلی اینکار رو نکرده بودند. ۲- من بعد از اطمینان از کد و البته تست لود و پروفایل روی سرور dev مطمئن شدم باید روی پروداکشن دنبالش بگردم ۳- حتی فکرشم نمی‌کردم مشکل از refresh باشه چون کد تغییری نکرده بود (۱ سال این بخش کدها دست نخورده بود، گیت‌لاگ) و البته آخرین تغییر فایل .env روی سرور هم برای ۷ ماه قبل بود ولی مشکل ۲ ماه پیش شروع شده بود. ۴- اگر سوال پیش اومد چرا refresh رو توی دیتابیس داریم در مورد jti, family id توی jwt بخونید.

بنظرم ویدئوهای کنفرانس امسال خیلی کم داره دیده میشه PyData Youtube

یک آپشن روی sqlalchemy برای relationship هست که شخصا خیلی دوسش دارم؛ باعث میشه به کوئری که سمت دیتابیس میفرستم فکر کنم بجای اینکه ساده‌ترین راه رو انتخاب کنم. هرجا هم که نیاز دارم دولوپر‌ها به کوئری‌هاشون دقت کنند حتما ازش استفاده می‌کنند. lazy = "raise" الان داشتم خروجی پروفایلینگ یک پروژه رو نگاه میکردم؛‌ توی RandRng گفتم راجبش. دیدم خیلی کوئری‌های دیتابیس زمان بر هست؛ ی سرچ توی مدل‌های دیتابیس زدم و همه‌ی relationship هارو بهش؛ lazy = "raise" اضافه کردم؛‌ تا دلتون بخواد ارور میگیریم حالا ولی باعث میشه همه به کوئری‌هاشون فکر کنند. گفتم اینجا هم بذارم شاید بدرد کسی خورد.

این ترکیب به راحتی می‌تونه خیلی از پروژه‌ها رو از Postgres به Sqlite منتقل کنه؛ Sqlite + Litestream توی خیلی پروژه‌ها برای خودم پیش اومده که یک دیتابیس نیاز داشتم؛ شاید ۵-۱۰ تا جدول ولی اینکه فقط روی یک سرور نباشه هم برام مهم بوده که خب سرویس‌های کلاد رو استفاده می‌کردم. همزمان هم Latency میرفت بالا هم کلی هزینه پرفورمنس واسه سربارهایی کار کردن با Postgres میدادم درحالی که به ۹۰٪ اون ویژگی‌ها نیازی نداشتم. الان داشتم دنبال یک راهکار برای یک پروژه دیگه میگشتم و واقعا دلم نمی‌خواد Latency و Throughput ام بخاطر استفاده از Postgres کم بشه و بعد بشینم اپتیمایز کنم. بخصوص اینکه این دیتابیس هیچ دیتای حساسی نداره و فقط همین که دیتاها از بین نره برام مهم هست. به چندتا راهکار رسیدم که بنظرم این ترکیب برای کار من برنده هست بخصوص اینکه RustFS رو همین الان داریم : Turso + Litestream + Rustfs بعد از پروژه یادم باشه نتایجش رو هم میذارم.

اینو یادداشت کرده بودم که بذارم: تقریبا ۱.۵ سال پیش یک پروژه‌ای روی یک پروژه‌ای کار می‌کردم (فکر کنم گفتم جزو معدود پروژه‌هایی بود که از اول توی پروژه بودم) امشب با مدیرعامل شرکت و صاحب پروژه صحبت می‌کردم (شاید پروژه دوم) می‌گفت علاوه بر دولوپر‌های بعدی ادمین دیتابیس هر چندوقت یکبار که روی دیتابیس کار می‌کنه ی دمش گرم هم به ما می‌گه. من استاندارد‌های زیادی رو رعایت کردم روی اون پروژه ولی این ۵ خط بنظر میاد خیلی بچه‌هایی که روی دیتابیس کار می‌کنند رو راضی نگه‌داشته

class Base(AsyncAttrs, DeclarativeBase):
    metadata = sa.MetaData(
        naming_convention={
            "ix": "ix_%(column_0_label)s",
            "uq": "uq_%(table_name)s_%(column_0_name)s",
            "ck": "ck_%(table_name)s_%(column_0_name)s",
            "fk": "fk_%(table_name)s_%(column_0_name)s_%(referred_table_name)s",
            "pk": "pk_%(table_name)s",
        }
    )

من همیشه اینکار رو برای خودم می‌کنم که توی همه پروژه‌هام یک استاندارد رعایت شده باشه و راحت بتونم دیباگ کنم و بخونم؛ خلاصه برای راحتی خودم هست. این حرفا رو که امشب شنیدم گفتم بذارم شما هم توی پروژه‌هاتون رعایت کنید. امیدوارم مفید باشه

Background jobs رو توی دو مرحله پیاده‌سازی کن مرحله اول رو با خود Fastapi پیاده سازی کن ببرش زیر لود تست بعد ببین چه اتفاقی میوفته ADR-0015 رو نمیدونم چی هست ولی اینکه بدونی تا چه زمانی از خود Fastapi میتونی استفاده کنی خیلی مهمه بعدش برو روی Dramatiq —————— Auth رو با Argon2 هم چک کن (خیلی واجب نیست فقط برای اینکه بهش آشنا باشی)‌ ———————— برای متریک prometheus_client استاندارد اصلی هست ———————— چندتا چیز دیگه که بهتره اضافه کنی : ۱- لاگ رو وقتی با structlog زدی بعدش باید قابل خوندن و تحلیل هم باشه اما لزوما این کار رو روی سروری که اپ لانچ هست ممکنه انجام ندی : پس یک چیزی برای جمع کردن لاگ همه اپ‌ها لازم میشه (توی پروداکشن معمولا)‌ یک نسخه خیلی خوب و سبک و عالی : https://vector.dev/ هست ۲- نمایش همه این‌ها؛ خیلی وقتا لاگ - تریس - متریک جمع می‌کنیم ولی تا وقتی آنالیزش نکنیم نمی‌دونیم درست هست یا نه https://grafana.com/ گرافانا برای این وقتا خیلی خوبه (البته نیازی نیست ساخت داشبورد و ... توش رو یاد بگیری اون کار تیم‌های دیگه‌اس) ولی همین که ببینی دیتات توی این داشبورد چطوری نشون داده میشه نکته خوبی هست پینوشت: اگر از نظرت مشکلی نداره plan رو بذارم تو کانال به اسم خودت. بعنوان نمونه اگر کسی خواست انجام بده

یادآوری : https://t.me/pyHints/423