RandRng

دوستان گفتند چرا این کار رو روی سرورهای شرکت انجام نمی‌دی ؟ خلاصه‌اش؛ چون اگر روی مدل‌های میلیاردی جواب بده می‌خوام منتشرش کنم (مقاله و ... منظورم نیست) تکنیک رو بذارم که هرکسی دوست داشت برای خودش راه‌اندازی کنه شرکت‌های بیش از حد greedy هستند روی این موارد؛ به محض اینکه بفهمند مدل بزرگتر رو با سخت‌افزار کمتر بدون Quantize, ... می‌تونند دپلوی کنند دیگه نمیذارند همچین چیزی پیش بره من سابقه این موضوع رو داشتم. وقتی هم که از سرور شرکت استفاده کنم؛ تبدیل میشه به تحقیقات کار و دست و پام رو می‌بنده

نتایجش رو اونور گذاشتم https://t.me/pytens/1938

ولی خروجی رو ببینید : خروجی مدل با تکینیک من ۱۳۵ مگ مدل اصلی ۲۶۹ مگ کارت گرافیک می‌خواند. کار من ۶۷.۸۸ میلیون پارامتر داره مدل اصلی ۱۳۴.۵۲ میلیون پارامتر همزمان سرعت تولید توکن مدل هم مقداری بیشتر شده. Validation رو بعد از 25000 استپ می‌تونم اجرا بذارم که مفایسه انجام بشه اما توی خروجی سمپل‌های مختلف درحال حاضر کاری که کردم دقیقا پترن‌هایی که توی مقاله‌ی مدل‌ اصلی ارائه شده رو داره من این تکنیک رو تا الان تونستن از 1M پارامتر تا 135M پارامتر تست کنم؛ تقریبا توی همه شرایط خروجیش نزدیک به مدل ۲ برابر سایز خودش بوده. اگر بتونم به A100 دسترسی بگیرم خیلی دوس دارم اینکار رو بتونم برای مدل‌های بالای 7B پارامتر انجام بدم اگر توی پارامتر بالا هم جواب بده مدل 3.5B پارامتری می‌تونه به اندازه 7B پارامتر خروجی خوبی داشته باشه راستی مدل اصلی یک تکنیک دیگه هم بعد از ترین مدل زده بودند (برای بهبود بیشتر نتایج) که من دسترسی به دیتای اون داشتم و نه توی کد این رو اضافه کردم.

دیشب با یکی از دوستان صحبت میکردم بهش یک ایده‌ای رو داده بودم که به تز دکتری ‌اش اضافه کنه روی LLMها ولی چون فرصتش کم بود اینکار رو نکرده بود؛ بخصوص اینکه مطمئن هم نبود شدنی باشه. دیشب بهم گفت که یکی دیگه از بچه‌های آزمایشگاه به اون ایده رسیده (البته بهبود داده ایده رو) و خیلی نتابج خوبی هم داره بهش میده. شاید ۱۰۰۰ بار گفت حیف تو که کار دانشگاهی و تحقیقاتی نمی‌کنی؛ تقریبا حالم رو گرفت. امروز ۳-۴ صبح وسط کار بودم یک ایده‌ای به ذهنم زد و گفتم بیخیالش برای تست این بازم چندتا A100 لازم دارم. یاد حرفای شب قبل اون رفیقم افتادم و گفتم بذار حداقل روی یک مدل کوچیک تست کنم؛ اگر جواب داد بعد غصه‌ی نداشتن کلاستر A100 برای تست روی مدل‌های چند ده میلیارد پارامتری رو میخورم. تا ۸ صبح طول کشید که یک مدل مناسب با متد مناسب و دیتاست در درسترس پیدا کنم که بتونم با تکنیک خودم مقایسه کنم. بعد به تسک‌های کاریم رسیدم و عصری گذاشتم ترین شدن؛ هنوز به اندازه مدل اصلی ترین نشده و خیلی جا داره من روی 3090 دارم ترین می‌کنم مدلی که باهاش دارم مقایسه می‌کنم روش خودم رو روی ۸ تا A100 ترین شده ادامه پست بعدی

تستش رو گرفتم بعد رفتم برای دوستانی که سوال داشتند از چه سرویس‌ها و تمپلیت‌هایی پشتیبانی می‌کنه یک سری داخل تصویر هست ولی بطور کلی

360+ one-click services to your own server.

توی نسخه جدید Docker swarm و ... رو هم پشتیبانی می‌کنه؛ خیلی از باگ‌هایی که توی اینترنت گفته میشه رفع شده فقط باید درست و دقیق پیاده‌سازی کنید. LLM خیلی بخش‌ها رو اشتباه خروجی میده مطمئن بشید بر اساس داکیومنت داره بهتون کامند میده اگر کسی نیاز به کمک داشت توی پیاده‌سازی بگه تا جایی که بتونم کمک میدم.

تا داریم #موقت پست میزنیم. راجب خواب من پرسیدید قبلتر جواب سوال چطوری میرسی رو داده بودم ولی خب : خواب من هیچ قانونی نداره؛ ۹۹.۹٪ مواقع باید شدیدا خسته بشم تا بخوابم وگرنه ۱۰۰۰ تا چیز توی مغزم میگذره ۸ ساعت خواب ۴ ساعت خواب هر ۲ تاش حرف مفته بنظرم من به اندازه‌ای می‌خوابم که خستگیم در بیاد. الان چند شب هست که با ۳ ساعت ردیف میشم و کفایت می‌کنه.

#موقت اگر قبل از ۶ تموم بشه کانفیگ و تمیز کردن Coolify جایزه‌اش میرم پیپ بکشم و قدم بزنم. البته وضعیت فعلی بد نیست. فقط می‌خوام مطمئن بشم روی لوکال حتما https بزنه مستقیم هم نیست چون دیدم توی Docker cache, registry, pypi مجموعا ۱۲۰ گیگ دیتا دارم که لازمه فعلا با این وضعیت اینترنت. وقتی اپ‌ها رو دیپلوی اتومات میزنم هم باید یک لینک موقت با دامنه uuid.home.arpa بهم بده

#موقت اگر یک سیستم قدیمی یا رزپبری پای سری جدید یا .. دارید که استفاده خاصی ازش نمی‌کنید شدیدا پیشنهاد می‌کنم این رو نصب و راه‌اندازی کنید؛ برای من هم خیلی زمان ذخیره کرده هم دیگه نیازی به کلاد ندارم موقع توسعه (هرچند هزینه‌اش رو شرکت میداد ولی خب)‌ شدیدا پیشنهاد می‌کنم. شخصا دارم روی نسخه Manual اش با یک سری کاستومایزیشن کار می‌کنم برای نصب دائمی که از docker registry, docker cache , pypi cache خودم استفاده کنه ولی توی همین تست اولیه با اسکریپت اتومات خودش هم خیلی خوب بود واقعا چقدر وقت تلف کردم قبل از این.

اول این رو بگم که من ایده‌ها رو در لحظه میدم؛ چیزی که تسک کاریم نباشه و روش تحقیق نکرده باشم رو دیگه وارد جزئیاتش نمیشم و این رو به مخاطب می‌سپارم. مثلا توی ایده بالا من یاد Aurdino افتادم یکباره که بگم لزوما نیازی به گوشی نداره این کار. دوستان زیادی پیام دادند که ESP32 (نرید پیام بدید مدل ارزونترش هست و ...)‌ هم این هد برای سیمکارت و پیامک داره یک سری از دوستان گفتند PCB اختصاصی براش میشه زد که تعداد زیادی سیمکارت همزمان بخوره یک سری دوستان گفتند اگ

توی دنیای LLM اگر برنامه‌نویسی رو بلد باشی محدودیت برات معنی نداره یکی از دوستان رفته سرویس پیامک بگیره صفته می‌خواد؛ احراز هویت رسمی می‌خواد و ... کلی چیز دیگه. یوزر بیس خیلی بزرگی هم نداره (شاید در روز ۳۰۰ تا پیامک قرار باشه بفرسته) بهش گفتم ی سیمکارت بخر یک کد بزن روی Android با اون پیامک بفرستی. دیشب ساعت ۱۱ اینا بهش این رو گفتم الان پیامک برام اومده: این پیامک خودکار ارسال شده؛ اگر پیام به دستت رسید یعنی ایده کار کرده. خرجش چی بود ؟ ۱- خرید سیمکارت ۲- وصل کردن گوشی آندروید قدیمی (بدون باطری) به آداپتور برق ۳- خرید بسته‌های پیامکی ارائه شده برای سیمکارت تازه حساب کرده هزینه‌اش خیلی خیلی کمترم شده نسبت به شرکت‌های خدمات پیامک. راهکارشم اینه؛ یک App می‌نویسی برای آندروید که به SMS دسترسی داشته باشه و یک سرور براش میسازی روی پورت خاص که JSON دریافت کنه و متن کلید message رو برای کاربر از طریق SMS بفرسته. اگر یک مقدار برنامه‌نویسی آندروید و بکند بلد باشید می‌تونید امنیتش رو هم درست کنید (token بگیره و ...) و بدید LLM ها براتون کدش رو بزنند. بعد طرف می‌گفت نه شما برای خدمات پیامک باید یک سرور بخری که فقط ما دسترسی داشته باشیم و ... بیا برو بابا دلقک تکنولوژی که استفاده میکرد مال ۱۰ سال پیش بود واسه همین اینترنت و ... بهش نمیدن که هک نشه. گفتم راهکار رو حالا که جواب داده اینجا هم بذارم؛ هرکسی دوس داشت استفاده کنه (برای اینکه اسپم و ... نشید) با این خط تبلیغات نرید فقط برای یوزرها و پیگیری و تایید تراکنش و ... استفاده کنید.

Configs روی این repo برای کانفیگ توی پوشه homeinfra من کانفیگ‌های مربوط به کش سرور پایتون و داکر رو گذاشتم. یک readme هم نوشتم که به اندازه کافی جزئیات داره؛ فقط ip هارو به لوکال خودتون تغییر بدید. این چیزی هست که خودم دارم استفاده می‌کنم ولی برای من کلی سرویس دیگه هم وجود داره به هرحال همین کار رو در میاره برای استفاده شخصی و ... نیازی به نکسوز و هاربر و ... نیست چون ابزارهای سنگینی هستند و برای پروداکشن ساخنه شده نه استفاده شخصی.

اونایی که تو یک فرودگاه توی برزیل Rtx 5090 هارو غیب کردند، فروش ندارند ؟ ۵۰۰,۰۰۰ دلار 5090 پیچیده به بازی.

چند نفر پرسیدند چطوری کش پایتون و داکر رو راه بندازیم ؟ من حتماً اینارو داکیومنت شده دارم توی کانفیگ‌هام شاید خیلی جزئیات نداشته باشه ولی با LLM می‌تونید بسازید، به دوستان هم گفتم اگر یادآوری کنند غروب یا شب روی گیت‌هاب میذارم. این کش‌ها فقط برای pypi, docker-hub جواب میده (چیزی که من نیاز داشتم)

اینترنت فوق‌العاده قوی‌ای داریم Docker image رو خودم ساختم که کمترین دانلود رو بخواد. کش پایتون و کش داکر لوکال هم دارم با این‌حال همین الان تازه دانلود و بیلد تموم شد برنامه‌نویس جماعت تو دنیا داره با هوش مصنوعی می‌جنگه برای زنده موندن ما تو ایران علاوه بر همه چیز با هوش مصنوعی هم می‌جنگیم.

اگر چندتا سخت‌افزار متفاوت دارید برای توسعه هوش مصنوعی قبلا هم گفتم به هیچ وجه سعی نکنید بصورت همزمان استفاده کنید. سریع‌ترین GPU شما به اندازه کندترین GPU قدرت و سرعت خودش رو کم می‌کنه. بهترین کار این هست که روی کانتینترهای جدا با قابلیت GPU بیارید بالا و به هر کانتینر دسترسی به ۱ دونه از GPU هارو بدید.

فقر اینطوری میاد. کسایی که من رو می‌شناسند می‌دونند پول واسه من اصلا مهم نیست؛ واقعا هیچ اهمیتی برام نداره. من خیلی اینطوری هستم که موقع بستن قرارداد جدید سر مبلغ بحث می‌کنم یا توی یک سری شرایط خاص و دلیلش اصلا این نیست که اون ۵-۱۰ میلیون برام مهم هست نه دلیلش اینه که فکر می‌کنم طرف داره احساس زرنگی می‌کنه یا اینکه به عمد و از روی قصد و قرض می‌خواد دستمزد کمتری نسبت به چیزی که حقم هست بهم بده وگرنه من از چندجا هنوز دستمزد ۱.۵ سال پیشم رو نگرفتم (البته مطمئنم که پرداخت می‌کنند) اینارو گفتم که بگم؛ من هرموقع کسی بهم می‌گفت لپتاپم سوخت / با ماشین تصادف کردم یا گوشیم شکست یا ... می‌گفتم فدا سرت پدرم بهم یاد داد:

ماشین واسه زدنه (هرچند من خودم تصادف نداشتم)

و خودم یاد گرفتم وسیله واسه خراب شدن تجهیزات الکترونیکی واسه سوختن خلاصه دلم واسه هیچ چیز نمی‌سوخت خیلی سال من روی گوشیم قاب نمی‌انداختم رو صفحش هم محافظ نمیذاشتم (گوشی‌های قدیمیم همه شاهد این ماجرا هستن) هرکسی بهم می‌گفت که قاب بنداز یا ... میگفتم:

تو ویترین که نمی‌خوام بذارم؛ طراح و مهندس پاره شدن که اندازه این چند میلیمتر کمتر بشه قاب بندازم که نه خوشگلیش معلومه نه نبوغ طراحیش. خراب شد عوضش می‌کنم.

دیشب یک پستی روی @pytens گذاشتم که بنا به دلایلی دارم یک مدل با معماری LLM ولی خیلی خیلی کوچیک (با چندتا تریک از خودم ترین می‌کنم) مدل روی ۲ میلیون پارامتر بعد از ۳۰۰۰ استپ جواب خوبی روی کولب داد گفتم بذارمش روی سیستم خودم کار کنه که دیدم GPU 3090 رو نمی‌شناسه (قبلا بخاطر کثیفی و داغ شدن این اتفاق افتاده بود) امروز نشستم به تمیز کردن؛ تموم شد وصل کردم دیدن اون یکی گرافیک شناسایی می‌شه ولی 3090 رو نمی‌بینه؛ تا ثانیه آخری که داشتم سخت‌افزار رو Trouble shoot میکردم (آخر درست شد) تمام فکر و ذهنم این بود که واقعا الان نباید این خراب بشه. الان بدترین موقع هست برای خرید؛ تازه اگر بشه بخری. از ۱ ساعت پیش که مشکلم حل شده؛ همش این تو مغزم هست که تو ازین سیستم خیلی وقت هست که استفاده خاصی نداری اونوقت یک GPU انقدر برات مهم بود که نگران خراب شدنش بودی ؟ نگرانیم ازین نبود که نمی‌تونم کار کنم یا پول در بیارم. نگرانیم ازین بود که دیگه پولی که در میارم به اندازه خرجی که می‌کنم نخواهد بود و این همون فقر هست.

وقتی صحبت از دانلود ویدئو توی یوتیوب میشه هیچ ابزاری بهتر از yt-dlp پیدا نخواهید کرد توی این موضوع شکی نیست. اما دوتا مشکل هست: ۱- اگر فنی نباشید یا کم حوصله کانفیگ کردن کوکی و دور زدن تحریم (proxy, vpn , ...) با این سرعت اینترنت کار ساده‌ای نیست. ۲- اکثر vpn های موجود بعد از چندتا دانلود افت سرعت شدید می‌خورند و عملا ytdlp حوصله سر بر میشه. روی Floorp یا Firefox نسخه اصلی (dev, nightly, esr, ... نباشه) بعد از فعال کردن Firefox VPN که اتفاقا سرعت فوق‌العاده بالایی هم داره و همه تحریم‌ها رو هم راحت دور میزنه این Addons رو نصب کنید Youtube Download as MP4 توی صفحه یوتیوب ویدئویی می‌خواید دانلود کنید روی Addons کلیک کنید یک پنل کنار مرورگر باز میشه کیفیت رو انتخاب کنید و ... سرعت پردازش و پیدا کردن لینک‌هاش فوق‌العاده عالی و سریع هنست. سرعت دانلود هم که با FireFox VPN عالیه (۵۰ گیگ رایگان ماهانه) ازین دلقک بازی ربات‌های تلگرامی هم نداره: ۱- ۵۰ تا کانال اسپانسری عضو شو ۲- بالای ۲ ساعت نفرست ۳- محدودیت روزانه داری ۴- آخرم معلوم نیست از چه Encoder ایی استفاده می‌کنند که قابلیت seek نداره ویدئو اینم برای اونایی که گفتند کار با yt-dlp سخت هست؛ هیچ ترکیبی ساده‌تر از اینی که گفتم وجود نداره دیگه

مدیرعامل شرکت آنتروپیک Dario Amodei دوباره با وقاحت تمام برای چند دهمین بار گفت :

شغل مهندسی نرم‌افزار ۶ ماه تا ۱ سال دیگه از بین خواهد رفت.

جاکش از رو هم نمیره

https://t.me/pytens/1934 اینور بخونید.