Python Hints

#Quick از پایتون درست استفاده کنید. با Senior بالا سرتون هم کل‌کل نکنید. ما جونیور بودیم، کدمون رو جلو سنیور دراز نمی‌کردیم دوستانی که تجربه دارند، شما با جونیوری که ۲۴ ساعته کل کل می‌کنه و به حرف گوش نمی‌ده چیکار می‌کنید ؟ اخراج 🤔

توی این کد یکی از مواردی که چندین بار ازم پرسیده شده این بخش کد هست : چیزی که پر واضح هست اینه که به متن‌هایی که توی ترمینال print می‌شه رنگ میده (می‌دونم کلی پکیج آماده هست ولی خب استفاده از اون‌ها جنبه آموزش رو از بین می‌برد) بطور کلی برای در اختیار گرفتن اتفاقاتی که توی ترمینال میوفته از کدهای ANSI escape می‌تونیم استفاده کنیم. نه تنها برای رنگ، بلکه برای جابجایی cursor، تغییر متن داخل ترمینال و پیاده‌سازی حالتی مثل scroll و ... استفاده میشه \033[ نشان دهنده این هست که ما می‌خوایم ازین کد‌ها استفاده کنیم و اصطلاحاً بهش control sequence introducer گفته می‌شه. اگر اسکریپت نویسی با پایتون رو بیشتر از Jupyter notebook, ... انجام میدید، بهتره با این موارد آشنا باشید شاید vim بعدی رو شما نوشتید.

نمی‌تونم مثال پروژه رو بدون اینکه کل شرایط رو بگم توضیح بدم اما سعی میکنم اونقدر توضیحاتم مفید باشه که اگر بهش برخوردید سریع متوجه بشید. داستان ازین قرار هست که همه‌ی ما؛ وقتی می‌خوایم تعداد cpu core رو توی کدهای پایتون بدست بیاریم از os.cpu_count استفاده می‌کنیم (همینجا بگم که توی همین تحقیقات متوجه شدم این مورد تعداد hyper thread رو بر می‌گردونه) os.cpu_count تعداد کل core یا بهتر بگم hyper thread های در اختیار سیستم‌عامل رو برمی‌گردونه؛ اما شرایطی رو فرض کنید که شما حق استفاده از کل core های سیستم رو ندارید؛ تعداد pool ایی که برای multiprocess در نظر می‌گیرید بهم میریزه و سیستم توی زمان peak به فنا میره درحالی که روی سرور تست مطمئن بودید این تعداد یوزر رو باید جواب بده. ما تقریبا شرایطی مشابه بالا داشتیم و همین باعث می‌شد نتونیم باگ رو پیدا کنیم (سیستم توسعه و تست تمام core ها در اختیار python هست) اما روی سرور اصلی اینطور نبوده : استفاده از pid = os.getpid() len(os.sched_getaffinity(pid)) راه حلی بود که مشکل مارو حل کرد. os.sched_getaffinity تعداد core هایی که یک پروسس خاص می‌تونه در اختیار داشته باشه رو برمی‌گردونه. برای بررسی بیشتر به داکیومنت CPython, لینک زیر مراجعه کنید stackoverflow @PyHints پ.ن : 99.9% شرایط از همون os.cpu_count استفاده خواهید کرد اما خب ما اینجا راجب مباحث ساده و عادی صحبت نمی‌کنیم 😁😎.

این ۶ خط کد (البته نه همه‌اش و فقط خط ۶ام) توی ی پروژه خیلی بزرگ ۲ هفته‌اس که مارو درگیر کرده بود و امروز وسط یک کار دیگر به راه حل رسیدم. اینو جدی میگم که هیچکس؛ نتونسته بود مشکل رو پیدا کنه (حتی گروه مشاورین) @PyHints ادامه پست بعدی:

چندتا از دوستان پیام دادند که چرا از لینکدین پست می‌ذارید و ... همرو همینجا بذارید (خلاصه که میگن بین پلتفرم‌های مختلف جابجا نکنید مارو) پست لینکدین جنبه دستاوردی داره پست‌های کانال جنبه آموزشی داره برای همین از هم جدا شون می‌کنم، توی پست بالا هم اگر دقت کنید و متن رو بخونید، یکسری مواردی رو گفتم که شما بعنوان برنامه‌نویس پایتون می‌تونید کد بزنید و تست کنید. مطمئن باشید توی مسیر انجام اون موارد بسیار بسیار مطلب مهم یاد خواهید گرفت، و به همین دلیل هم لینک از لینکدین قرار دادم.

lineprofiler, memory profiler, scalene (all in one gpu include) بماند برای روزهای بعدی (روی هرکدوم از موارد که دوست داشتید reaction بزنید ممنون)

توی دستور بالا : -m: برای استفاده از یک ماژول خاص استفاده می‌شه -s: ترتیب نمایش هست که گفتیم بر اساس cumulative time باشه همیشه هم همین رو استفاده خواهید کرد -o: برای اینکه خروجی رو توی یک فایل بریزه و توی ترمینال نمایش نده (اول در تاریخ ثبت می‌کنیم بعد ی بار هم بدون این option برای راحتی خودمون اجرا می‌کنیم) تفسیر خروجیش هم خیلی ساده‌تر از اون چیزی هست که فکر می‌کنید فقط چندتا نکته داره : ncalls: تعداد فراخوانی اون خط از کد (ستون آخر کمی جلوتر توضیح میدم دقیق) وقتی دوتا عدد هست مثل خط اول خروجی توی عکس قبلی 3/1: عدد کوچیکتر تعداد فراخوانی غیر بازگشتی یا primitive هست و عدد بزرگتر تعداد کل فراخوانی به هر شکلی که بوده (بازگشتی و غیر بازگشتی و ...) یعنی بصورت کلی اون builtin method توی مثال قبل ۳ بار فراخوانی شده. tottime: مجموع زمان مورد نیاز جهت اجرای اون تایع؛ به غیر از زمان اجرای توابعی که داخل این تابع فراخوانی شده‌اند. percall: زمان اجرای مورد نیاز برای هربار اجرای اون خط یا اون تابع معمولا حدودی برابر هست با : tottime / ncalls cumtime: مهمترین ستون همینه و اون مرتب سازی که توی دستور انجام دادیم (منظورم s cumulative- هست) بر اساس همین ستون بود. مجموع زمان مورد نیاز از لحظه فراخونی اون خط یا تابع تا خروج از اون خط یا تابع + زمان مورد نیاز برای اجرای توایعی که داخل این تابع یا خط فراخوانی شدند + زمان اجرا بصورت recursive , ... خلاصه همه چیز اینجاس و از همه ستون‌ها هم دقیق‌تر هست filename:lineno(function) اینم که بسیار واضح هست از سمت چپ به راست : اسم اسکریپت : شماره خطی که اون کد اجرا شده (اسم تابع) اسم تابع برای شرایطی مهم هست که داخل تابع اصلی توابع دیگری هم فراخوانی بشه توی خروجی بالا مواردی مثل builtin.exec (از توابع مورد علاقه من هست اصن ی وضعی) و برخی موارد دیگر برای import random هست @PyHints همینجا بگم که تصویر قبلی خروجی کامل cProfile نیست و بنده این خروجی رو بریدم تا خواناتر باشه

قبل از اینکه خروجی cProfile رو تفسیر کنم می‌خوام مهمترین نکته توی زندگیتون موقع استفاده از ابزارهای profiling رو بگم. همیشه و تحت همه شرایط؛ خروجی Profiling رو ذخیره کنید اونم ۲ بار : ۱- قبل از اینکه کدی رو تغییر بدید (همیشه هم به اسمی ذخیره کنید که یادتون بمونه + تاریخ) ۲- بعد از اینکه تغییرات رو اعمال کردید (اسم تغییرات + تاریخ یا git commit) شاید شما ندونید برای چی ذخیره می‌کنیم ولی ی روزی نجاتتون میده. برای گرفتن خروجی بالا توی ترمینال این دستور رو اجرا می‌کنیم با توجه به این نکته که اسکریپت مثال (توی عکس قبلی رو به اسم example.py ذخیره کردیم) python -m cProfile -s cumulative example.py و درصورتی که بخوایم خروجی رو ذخیره کنیم که برای آنالیزش از snakeviz, pstats استفاده بشه و مهمتر از همه داکیومنتش کرده باشیم می‌تونیم از دستور python -m cProfile -s cumulative -o compare_bubble_vs_builtin_sort_$(date +'%Y_%m_%dT%H_%M_%S').prof example.py استفاده کنیم؛ حتما پسوند رو .prof بذارید که راحت شناسایی بشه.

یادگرفتیم که اگر برای کد کوچیک تو زمان توسعه کد به شک افتادیم timeit سریعترین و بی‌دردسرترین ابزار هست. اما دنیا همیشه انقدر قشنگ نیست و خیلی وقتا ما ی دولوپری هستیم که قراره shit code های دیگران رو جم و جور کنید (هرکسی ی اندازه اینکارو می‌کنه) برای اینکار ابزار بهتری وجود داره به اسم cProfile همین‌جا بگم که از ماژول profile استفاده نکنید (این ابزار متعلقات پایتونی داره و زمان رو دقیق نمی‌ده) مگر اینکه درحال توسعه یک پروفایلر جدید هستید. من جزو اون دسته از افرادی هستم که ترجیح میدم cProfile رو داخل کدهام وارد نکنم و بجاش از کامند استفاده کنم تا مجبور نشم اسکریپت‌هام رو تغییر بدم و ... (اگر شما import cProfile رو میخواید داکیومنتش رو بخونید؛ خیلی ساده‌اس نگران نباشید) کجا استفاده کنیم ؟ وقتی می‌خواید ببینید توی اسکریپت کلا چه خبره یا شک دارید آیا همین اسکریپت هست که تبدیل به bottleneck شده یا نه

profiling یکی از مهمترین و جذاب‌ترین مباحث هست که یک توسعه دهنده باید باهاش آشنا باشه (توی رزومه هم خیلی مهمه اونجایی که شما می‌گید من ۲۰٪ کدهای قبلی رو اپتیمایز کردم؛ شاید تو خیلی از شرکتهای ایران کیلویی باشه ولی شرکت‌های درست و حسابی باید گزارش profiling رو ارائه بدید) ساده ترین قدم توی پروفایلینگ استفاده از پکیج timeit هست؛ توی دیتاساینس هم یکی از BuiltIn Magic های بسیار مهم IPython هست. کجا بدرد می‌خوره؟ وقتی شما بین استفاده از دوتا روش مشکل دارید (ولی این ۲ تا کد معمولا بین ۱-۱۰ خط هست) ۲ تا پارامتر مهم داره؛ ۱- کدی هست که میخواید سرعت اجراش رو تست کنید. ۲- تعداد تکرار یا اجرای اون کد هست (مثال بالا ۱۰۰) و چون زمانی که بر میگردونه با تعداد تکرار هست مقدارش رو تقسیم بر تعداد تکرار می‌کنیم تا میانگین زمان اجرای ۱ بار اون کد بدست بیاد (بر حسب ثانیه) نکته :هیچوقت تعداد تکرار رو ۱ نذارید تا عدد دقیق‌تری بدست بیارید. @PyHints خروجی کد بالا بین خط ۲۱ تا ۲۴.

#موقت #یادآوری 😁 حتماً باید تا آخر وقت امروز یک پست درمورد : Profiling بنویسم : timeit, cProfile, line_profiler, memory_profiler و خب پکیج مورد علاقه خودم Scalene

نحوه استفاده از هوش مصنوعی؛ چندتا از بچه ها بعد از ارائه پیام دادند که یک آموزش از اینکه چطوری با AI الگوریتم و … رو یاد بگیریم بذارید گفتم این نمونه رو بذارم. برعکس این هم هست؛ زمانی که شما یک الگوریتم رو میشناسید ولی مثال برنامه نویسی ازش ندیدید؛ کافیه بگید براتون مثال بزنه یا چندتا چالش ازون مبحث براتون مطرح کنه تا کد بزنید. خلاصه که بهونه نیارید؛ پیشنهاد ویژه میکنم از نسخه bing استفاده کنید حتما چون هم بهتون پیشنهاد و نمونه prompt میده و هم رفرنس نمایش میده که مطمئن تر از خود chatGPT حتما هم رو حالت more precise بذاریدش

توی یکی از ارائه‌های این هفته به کارآموزها گفتم بهونه نیارید، منتور خوب نداشتم، پروژه خوب دستم نیوفتاد و ... بهونه هست حتی زمان ما هم به نوعی بهونه بود، بودنش خوب بود ولی وقتی نبود هم می‌شد پیشرفت کرد فقط کند می‌شدیم من کلاً نداشتم منتور و ... Self taught کامل هستم (خطا هم داشتم ولی خب) الان که بهونه ۱۰۰٪ هست، با توجه به وجود chatGpt, ... چراکه bing داره GPT 4 رو به رایگان بهتون دسترسی می‌ده : https://t.me/pytens/1278 چطوری می‌شه ازین ابزار برای یادگیری و تقویت برنامه‌نویسی استفاده کرد ؟! پست بعدی ...

این جمله خیلی خیلی درسته و هرکسی هم توی این جایگاه نیست که بتونه درست قضاوت کنه راجب نیاز به یک تکنولوژی صرف اینکه گوگل؛ فیسبوک و … دارند ازش استفاده می کنند دلیل خوبی نیست که شما هم ازش استفاده کنید و اگر دلیلتون فقط همین هست احتمال بسیار زیاد توی این مسیر اشتباهات زیادی داشتید.

اینو همه‌ی سرمایه‌گذارهای پروژه و کد توی ایران حتما باید ببینند : برای دولوپر‌های عزیز هم قبل از اینکه جوگیر بشید و بگید میخوام شرکت بزنم این رو ببینید (این بررسی فقط از جنبه‌های توسعه نرم‌افزار هست باقیش هیج) https://www.youtube.com/watch?v=Dl-BdxNRUqs

#موقت کامنت‌های پست‌هارو فراموش نکنید دوستان به نکات جذاب و ریزی اشاره می‌کنند 👌

بعد از این پست، چندتا دوره آموزش Async programming برام فرستادید، بعضی موارد حتی از طرف افراد معروفی هست که متأسفانه وقتی ۱-۲ مورد رو نگاه کردم متوجه شدم کلاه‌برداری‌ هست من بهترین منبع رو توی کانال گذاشتم : کتابی که بالاتر هست. اما برای اینکه متوجه بشید دوره درست هست یا خیر؛ به زبان ساده : ما بطور کلی ۲ نوع مشکل می‌تونیم داشته باشیم که کدهامون سرعت اجرا کندی داشته باشند : ۱- CPU bound ۲- I/O bound مورد اول : وقتایی هست که شما پردازش خیلی زیادی داری، کد معطل خوندن دیتا از هارد، یاد دانلود دیتا و ... نیست و فقط و فقط خود پردازش کردن داده‌ها هست که داره زمان زیادی میگیره، به فرض اینکه کد بخوبی زده شده و تا حد خوبی اپتیمایز شده برای این نوع مسائل باید برید سراغ کتابخانه: multiprocessing مورد دوم : غیر از بچه‌های Data science, data engineering اکثر مواقع شما مشکلی که دارید روی این بخش هست، همونطور که می‌دونید پردازش CPU بسیار سریعتر از بخش‌های I/O : Input / Output هست، یعنی شما توی کسری از ثانیه محاسبات رو روی ۱ هسته از CPU های لپ‌تاپ یا سیستمتون انجام میدید ولی خوندن دیتا از هارد، رم یا حتی وقتی دارید Crawler می‌نویسید دانلود اون صفحه توسط پکیج requests هست که خیلی زمانبر هست نه پیدا کردن چندتا تگ توی html اون صفحه؛ هرچیزی غیر از CPU بمحض درگیر شدن کدهارو I/O bound می‌کنه، ولی خب به نسبت پردازش بهش نگاه می‌کنیم اگر از پردازش وقت بیشتری بگیره کدهای شما I/O Blocking هستند اگر از پردازش وقت کمتری بگیره کدهای شما CPU Blocking برای همین خیلی وقتا Multiprocessing, Multithreading توی پایتون، بهبود سرعتی که نمی‌ده هیچ اجرا رو کندتر هم می‌کنه (این چیزی هست که زیاد می‌شنوم و می‌فهمم طرفم حتی مفاهیم ساده علوم کامپیوتر رو هم نمی‌دونه و خودش رو برنامه‌نویس می‌دونه) برای تسک‌های I/O blocking باید از asyncio استفاده کنید، اما صرف نوشتن async, await هیچ اتفاقی نمیوفته (اینو میلیاردها بار توی کدهای fastApi می‌بینید) await اصلا از خود کلمه‌اش مشخص هست (من همیشه اینطوری درس میدادم) A wait ی ذره صبر کنیم تا جواب این خط کد بیاد بعد ادامه میدیم، و همینجوری کیلویی استفاده کردنش هیچ کمکی نمی‌کنه از طرف دیگه کتابخونه‌ای که توی پروژه Async استفاده میشه هم مهم هست، مثلاً برای ارسال درخواست روی web دیگه نمی‌تونید از requests استفاده کنید باید اون کتابخونه هم async رو پشتیبانی کنه مثلاً بعنوان جایگزین HttpX, aiohttp با این مطلب می‌تونید خیلی وقتا متوجه بشید ی دوره آموزش asyncio کلاهبرداری هست یا واقعی (چون خیلی از آدمهای بسیار معروف توی دنیای پایتون رو دیدم، که asyncio رو اشتباه تدریس می‌کنند.) ولی بازم منبع اصلی کتابی هست که آخر پیام‌های پین شده گذاشتم برای Async

حالا ی بحثی که پیش میاد این هست که چقدر باید سورس کد خوند و تا کجا ؟ اینکه هر پکیجی که دستمون میاد رو بریم سورس کدش رو بخونیم که عملاً واقعی نیست، کاش سرعت خوندن انقدر زیاد بود یا زمان زیادی داشتیم که خب اینطوری نیست و همین شاید زندگی رو ارزشمند کرده 🤔 ولی شخصاً مطالب و فیچرهای خیلی مهم پایتون رو حتماً سورس کداش رو میخونم (قرار نیست خط به خط دیباگ کنید) باقی پکیج‌ها هم فقط مواردی که می‌دونم ازون روزی که یاد میگیرم به بعد قرار هست توی تموم پروژه‌هام ازش استفاده کنم و پول در بیارم پکیج‌هایی که قراره فقط ۶ ماه باهاش کار کنم یا در حد ۱ پروژه هست رو هیچوقت اینکارو نمی‌کنم مگر اینکه مجبور بشم یا شرکت بخواد داخلش تغییرات ایجاد کنه.

خیلی وقتا بهم میگن، اشتباه می‌کنی و وقتت رو الکی تلف می‌کنی که بجای خوندن فقط آموزش و یادگیری میری سورس کد رو میخونی ؛ هیچ‌وقت این موضوع رو جواب نمیدم و همیشه می‌گم حق با شماست، ولی به این آدما باید گفت : خیلی باید رشد کنی، تا بفهمی چرا حتماً باید بعضی سورس کدها رو خوند. حداقلش : کمک واضح به System design, Optimization هست. مثلاً می‌دونستید Coroutine توی پایتون 3.5 کلا ۳۵۰ خط کد بوده، و پیاده سازیش با generator های پایتون بود ؟ برای همین می‌تونستیم خیلی راحت بهش فیچر اضافه کنیم (کاری که توی پروژه انجام دادیم) تصویر مربوط به سورس کد coroutine روی python3.5