دستاوردهای یادگیری عمیق(InTec)

ولی خروجی رو ببینید : خروجی مدل با تکینیک من ۱۳۵ مگ مدل اصلی ۲۶۹ مگ کارت گرافیک می‌خواند. کار من ۶۷.۸۸ میلیون پارامتر داره مدل اصلی ۱۳۴.۵۲ میلیون پارامتر همزمان سرعت تولید توکن مدل هم مقداری بیشتر شده. Validation رو بعد از 25000 استپ می‌تونم اجرا بذارم که مفایسه انجام بشه اما توی خروجی سمپل‌های مختلف درحال حاضر کاری که کردم دقیقا پترن‌هایی که توی مقاله‌ی مدل‌ اصلی ارائه شده رو داره من این تکنیک رو تا الان تونستن از 1M پارامتر تا 135M پارامتر تست کنم؛ تقریبا توی همه شرایط خروجیش نزدیک به مدل ۲ برابر سایز خودش بوده. اگر بتونم به A100 دسترسی بگیرم خیلی دوس دارم اینکار رو بتونم برای مدل‌های بالای 7B پارامتر انجام بدم اگر توی پارامتر بالا هم جواب بده مدل 3.5B پارامتری می‌تونه به اندازه 7B پارامتر خروجی خوبی داشته باشه راستی مدل اصلی یک تکنیک دیگه هم بعد از ترین مدل زده بودند (برای بهبود بیشتر نتایج) که من دسترسی به دیتای اون نداشتم و نه توی کد این رو اضافه کردم.