Dataphile

حالا بذارید من بگم تصورم از طراحی و توسعه LLM چیه. هر موقع اومدی یه معماری متفاوت از چیز هایی که الان هست ارائه دادی یا اومدی تو «معماری شبکه» یه مدل اپن سورس بهینه سازی انجام دادی و مدل رو بهبود قابل توجه دادی، اون موقع میتونی چنین ادعایی کنی. بهبود هم باید قابل توجه باشه. به عنوان کسی که ارشد خونده و با کسکلک بازی های مقاله دادن و ... آشنایی داره، اینکه بیای یه آشغالی رو به یه زباله بچسبونی و یه بهبود چسکی بدی ولی برینی تو دقت یا برعکس رو بهش نمیگن بهبود قابل توجه. تعارف نداریم. عموم مقاله های آکادمیک (از جمله مقاله های خودم) از همین جنسه. اگر مقاله من علم رو جلو برده بود که الان تو آرشیو ها خاک نمیخورد. یه کسشری رو سر هم کردم یه بهبودی دادم شده مقاله و پایان نامه. اون fine tune کردن هم هنره ها. یعنی همینم میتونن برینن توش. آماده سازی و تمیز کردن دیتا کار مهمیه. اما نهایتا اومدی وزن های مدل رو آپدیت کردی. بازم تاکید کنم. من fine tune کردن رو تو سرش نزدم ها. کار بدی که نیست. حتی میتونی با افتخار هم اعلامش کنی. هیچ مشکلی نداره. اما نباید بیای بگی LLM ساختم!