YUV.AI - בינה מלאכותית בעברית

והנה SpaceX של מאסק, הבעלים של xAI, שרכשה גם את Cursor לאחרונה - מכריזה על מודל גרוק 4.5 העוצמתי, מודל שאומן במיוחד למשימות פיתוח אג׳נטיות! זה מצטרף לכלי של גרוק ששוחרר לאחרונה בשם Grok Build, שזה כמו קלוד קוד לטרמינל - אבל של גרוק. אני לא יכול לחכות לנסות אותו - והאמת שאני גם מחכה למודל קוד המקור הפתוח שהם ישחררו לזה בנוסף בעתיד. https://x.com/spacexai/status/2074915721684086811?s=46&t=ntqg6EvTkrQ0ESa81IKf6A

האם מצאנו את הפיתרון ל״משעמם לי״ של הילדים? קלוד יכול לבנות לו״ז לילדים בחופש הגדול - עם אטרקציות בתשלום או ללא עלות, לפי תחומי עניין וגילאי הילדים - ואפילו למצוא דילים לפי סוג האשראי. מוזמנות ומוזמנים לצפות בפינת ה-AI השבועית בחדשות 12 🤩 תודה לעופר ואופיר הגדולים!! @Ofer_Hadad @ofirshweky ❤️

‏אנת׳רופיק מרחיבה את השימוש בפאבל 5 עד 12.7 לכל המנויים המשלמים (היה אמור להיסגר היום) - ובנוסף מאפשרת פי 20 שימוש למנויי מקס על חשבונם. ‏תרגום לעברית: הם מבינים שאנשים לא מרוצים משיטת התמחור שלהם, מספירת הטוקנים, מחוסר השקיפות, אז מקדימים תרופה למכה כי יותר מדי קמו עליהם למימוש הטבת ה-20x צריך להגיש בקשה פה: https://x.com/claudedevs/status/2074570404035993780?s=46&t=ntqg6EvTkrQ0ESa81IKf6A

בניתי כלי שמנתח את הטוקנים שמתבזבזים בסשנים של קלוד קוד. זה מטורף לראות כמה הפרומפט שלנו הוא כלום ביחס למה שאנחנו באמת משלמים עליו. מוזמנים לנסות: https://github.com/hoodini/tokana

למי שמעדיפים לקרוא בלינקדין: https://www.linkedin.com/posts/yuval-avidani-87081474_%D7%9E%D7%9B%D7%99%D7%A8%D7%99%D7%9D-%D7%90%D7%AA-%D7%94%D7%AA%D7%97%D7%95%D7%A9%D7%94-%D7%94%D7%96%D7%95-%D7%A9%D7%9B%D7%95%D7%9C%D7%9D-%D7%9E%D7%A6%D7%9C%D7%99%D7%97%D7%99%D7%9D-%D7%91%D7%A1%D7%95%D7%A9%D7%99%D7%90%D7%9C-share-7479967012744769536-bICM/?utm_source=social_share_send&utm_medium=ios_app&rcm=ACoAAA_IUNQBv1nBtAXW8okhlIl4mhR78WelGB4&utm_campaign=copy_link או טוויטר: https://x.com/yuvalav/status/2074202153539788887?s=46&t=ntqg6EvTkrQ0ESa81IKf6A

‏מכירים את התחושה הזו שכולם מצליחים בסושיאל - ורק אתם לא? כדאי לכם לקרוא את הפוסט שכתבתי, אם הצלחתי לחזק אחד/ת, זכיתי >>> https://www.facebook.com/share/p/1EdaArXPrG/?mibextid=wwXIfr

כמה אנחנו משלמים ל-AI כדי תשובה למילה הבודדת: ״שלום״? מסתבר שהעלות לכך נעה בין 2 ל-10 טוקנים במידה ומדברים עם AI בצ'אט ״רגיל״, אבל אם שולחים את המילה ״שלום״ לקלוד קוד, נאלץ להיפרד מ-43,483 טוקנים! פי 4800! זאת ועוד, כאשר אנחנו מדברים עם מודל בעברית, אנחנו משלמים פי 1.4-4 יותר מאשר אם היינו מדברים באנגלית! וגם - כאשר אנחנו שולחים קלט קצר אבל מפעילים מצב חשיבה, אנחנו מבזבזים לעצמנו שוב פעם את הטוקנים. לשווא. למה? מוזמנים לקרוא את כל הפירוט במאמר החדש שעלה באתר החדש שלי: https://news.yuv.ai/post/token-cost-of-shalom-experiment

המוח שלנו מחרטט אותנו ואנחנו מאמינים לו. הוא מעצב את החיים שלנו - למרות שהוא ״רק״ פרשן. המוח מפענח את המידע שנכנס אליו מהקולטנים. מידע עובר דרך רשת נוירונים מסועפת - שהיא עצמה ״תמונת מצב״ של כל מה שחווינו בעבר, ולא בהכרח מעידה על העתיד. גם ה-AI מפענח את המידע שהפרומפט בהתאם לתוצאה שמתקבלת מרשת הנוירונים שלו שהיא סט מספרים שנלמדו במהלך אימון על מידע מסוים. אז גם המוח וגם ה-AI הם פרשנים - ולא מציגים אמת אבסולוטית כפי שהיא. הביטו בתמונה. איזה חלק גדול יותר? כולם אותו גודל. אז למה זה נראה שלא? כי המוח שלנו עצלן ומנסה לחסוך ״טוקנים״ או עיבוד מיותר. למה הוא לא מראה לנו את האמת - שהכל אותו הדבר? כי הוא יצטרך לחשב כל רגע. וזה לא יעיל. והוא עצלן. אז הוא מעדיף להעריך את המציאות מאשר לשקף לנו אותה באמת כפי שהיא. כמה אנחנו סומכים על מה שהמוח שלנו אומר לנו ביום ביום? כנראה כמעט 100 מ-100. למרות שאנחנו מבינים שהוא מפרש. המציאות בחוץ היא לא מה שאנחנו חושבים שהיא. אנחנו חיים את המציאות בהתאם לפרשנות של המוח שלנו, והוא מפרש לפי החוויות שחווינו שגרמו לו לפרש דברים בצורה מסוימת. מי שעברה חרם בילדות - תפרש כל סיטואציה חברתית כאיום ממשי, ככל הנראה. מי שלא נכוותה מעולם - לא תפרש כל סיטואציה חברתית כאיום ממשי. כי אצלה לא הייתה כזו טראומה. אולי להיפך. אז מה נכון? סיטואציה חברתית היא איום או לא? זה נתון לפרשנות לפי החוויות שלנו. והחוויות שלנו מנהלות את החיים שלנו למרות שיכול להיות שאנחנו טועים בגדול. וחיים את הפרשנות של עצמנו. אם נדמה לנו ששונאים אותנו, שמדברים עלינו, כי יש לנו אינטואיציה וכדומה, זה הכל פרשנות שלנו שגם נובעת מתכונות אופי ונפש כמו חוסר ביטחון וכדומה, אבל לא בטוח שזו המציאות. לפעמים אם שואלים - מגלים שטעינו. וזה תמיד כך. שוב ושוב. כי המוח שלנו, הגאון הזה, מחרטט אותנו. ועדיין אנחנו הולכים שבי אחריו. אולי בגלל זה רבי נחמן מברסלב כתב שצריך תמיד ״לזרוק את השכל״ ולא ללכת אחר חשבונות של עצמנו, ולהסתכל על הדברים באמונה בהשם ולא בחשבונות שלנו. מה שבטוח הוא שבחיים לא הרגשתי שאני חי במטריקס כמו בתקופה הזו שכבר יש Brain on Chip במעבדות, תאי מוח אנושיים משולבים רשתות בינה מלאכותית. או כמו ששאל מורפיוס את ניאו: What is real?

פעם ראשונה שהדפסתי בתלת מימד מודל שיצרתי עם AI מתמונה אמיתית שצילמתי. מה למדתי מזה? רגע לפני בשביל הקונטקסט: זה מרקוס האריה הלבן המושלם מהמדבריום בבאר שבע. צילמתי אותו והעליתי ל-Meshy AI @MeshyAI ויצרתי מודל תלת מימדי שיצא מהמם - אבל רק דיגיטלית, כי כדי להפוך אותו למוצר בעולם האמיתי צריך יותר מזה. היה פער בין התוצר המהמם של משי לבין מה שאפשר להדפיס באמת - בגלל הטקסטורות, הפרטים, הגוונים המשתלבים שמצריכים דיוק מטורף. היה ממש כיף להתנסות בתהליך הזה, למדתי שעדיף לייצא קובץ obj ולצבוע אותו ידנית דרך BambuLab Studio @BambulabGlobal מאשר לנסות להתאים צבעים דרך משי. זה פשוט לא עובד טוב רוב הזמן במקרים שצריך ממש דיוק. בקיצור, AI לא מספיק כדי לקבל תוצר פיזי מושלם (לפחות כרגע), אבל אין ספק שהוא מקצר כל כך הרבה. רק לדמיין שהיה צריך לפסל את זה - ולא תודה 🤣 שבוע טוב לכולם 🙏❤️

אני המום לגמרי שהצלחתי לפתח אתר חדשות AI שלם תוך פחות מ-48 שעות!! כ-100 כתבות איכותיות שמשלבות למידה אינטראקטיבית, בדיקת עובדות, ציון ואימות מקורות עליהן הכתבה מתבססת, שילוב של אנימציות, גרפים עם נתונים מספריים עובדתיים, קאברים בסגנון שלי, חיבור למודלים של AI, דשבורד מנהלים שלם עם כל אפשרות שאפשר לחשוב עליה, לרבות אנליטיקות מתקדמות וחיבור לגוגל ולפייסבוק ול-SEO של LLMs ומה לא. יצרתי מערכת ניהול תוכן על מלא, חיבור לדאטה בייס, עוזר AI שמשיב על שאלות שקשורות לדאטה של האתר (זמין רק למנהל כי זה ניתוח דאטה ולא צ׳אט בוט של האתר), יצירת קאברים לסושיאל במידות מותאמות אישית, ניהול משתמשים והרשאות, התחברות והרשמה דרך Gmail, יצירת כתבות ואוטומציות של תוכן ותזמונים - והכל בפרודקשן!! שתבינו, אין לי זמן לנשום אז החלטתי לקחת את הידע שלי לקצה במרתון פסיכי שבו קלוד עבד בערך 7 שעות במצטבר. אני רק הנחיתי והוא רץ. לא מאמינים? היכנסו לאתר החדש שלי. תראו בעיניים. והכל מותאם למובייל ומונגש ועם הצהרת פרטיות וכל מה שצריך. הדבר היחיד שצריך לדעת הוא שכל הכתבות נכתבו על ידי קלוד - לפי ההנחיות והמקורות שלי. זה לא שהוא המציא על דעת עצמו. כל כתבה וכתבה וכל מדריך ומדריך - הכל לפי ההנחיה שלי, במדויק, עם אימות מקורות ובדיקת עובדות. אני צריך לעבור על התכנים ולערוך הכל שיהיה 100% מלוטש בסגנון שלי. מה שאתם תראו עכשיו זה נטו מה שקלוד כתב לפי הדיוק שלי, וחפרתי לו את הנשמה תאמינו לי. ובינינו, אם גם ככה משתמשים ב-AI ליצירת תוכן - למה לא להיעזר בו אם התוכן מונגש טוב ומדויק ובסגנון שאנחנו אוהבים? במקרה שלי זה ממש הסגנון שלי, בהתאם לכמה סקילים שלי. אז נכון, לא מלוטש, ואני אעבור ואדייק הכל, וכל פוסט שיעלה מעתה והלאה יהיה רק אחרי שאעבור עליו ואכתוב בעצמי, אבל כדי לעלות לאוויר מהר הסתפקתי בזה. תעיינו במדריכים, בפוסטים, הכל על למה כועסים על קלוד ועל פאבל 5, על הסיבות לזינוק המטאורי של המניה של AMD מול NVIDIA, על מדריכים מאפס למתחילים גמורים בעולם ה-AI, על המחשות של בעיית גודל חלון ההקשר, על FLOPs ועל הרצת מודלים באופן מקומי ועל AgentCore של AWS שאגב קלוד גילה לי שיש להם כלי חדש שהוא סוכן שמנהל אפילו את התשלומים! לא ידעתי את זה וזה כבר זמין שם! וקלוד עלה על זה לפניי! ואני AWS GenAI Star 🤣 ועוד המון נושאים סופר מעניינים ושווים. סקרנים מספיק? בואו! זה בחינם: https://news.yuv.ai/phoenix ועדכנו מה חשבתם. שבת שלום ❤️

הדפסתי בתלת מימד שלט לעבודה עם קלוד - והוא נראה כמו קלוד 🤣 צריך כפתורים מכאניים כדי שיהיו לנו ״קליקבלים״ ואז לחבר אותם לכניסות GPIO של כרטיס אלקטרוני כמו ESP32 (ובמקרה הזה בגרסת S3 Supermini). ברגע שזה קורה - קלוד יכול לעזור לנו להגדיר מה שצריך ולהתאים את הכפתורים לפעולות שנרצה, כמו פה ב-VSCode ללחצן ה״send״ וכו׳. איך אומרים במדבריום? עידן חדש של חוויה 🤣

מה אנת'רופיק מסתירה מאיתנו בקשר לצריכת הטוקנים והכסף שלנו? הרגע טענתי קרדיטים בעלות של 50$ שנגמרו תוך דקות ספורות - מבלי שיש לי יכולת לדעת על מה הלך הכסף, איזה מודל? כמה טוקנים? לאנת'רופיק פתרונים. עשיתי עכשיו ניסוי. אמנם אני משתמש בקלוד במנוי של 100$ בחודש אבל ניסיתי את פאבל 5 והוא הגיע ללימיט תוך כמה דקות. נותרו לי 2 אפשרויות בשלב הזה: לשדרג למנוי של 200 דולר - או לרכוש קרדיטים בסכום שאני רוצה. כיוון שב-7.7 פאבל 5 יהיה זמין דרך api או דרך רכישת קרדיטים - החלטתי לרכוש קרדיטים ושילמתי 50$ ונתתי לקלוד משימה. השתמשתי בקלוד קוד דרך vscode ובחרתי את fable 5. תוך דקות ספורות כל הכסף נבלע וקלוד עצר עוד לפני שסיים שליש מהמשימה. זה הרגיז אותי אבל חשבתי שאולי זה הגיוני אם הוא צרך טוקנים בעלות כוללת של הקרדיטים שרכשתי, 50$. רק שפה הכל מתחיל להתפתל בדרך מאוד לא נעימה. ניסיתי להשתמש בפקודת /usage אבל קיבלתי מטריקה של ״ניצלת 100+% מתקציב הקרדיטים שלך״ בלי לפרט על מה לאחר מכן ניסיתי את פקודת /context כדי לראות כמה טוקנים צרכתי. הופיע לי שצרכתי כ-123,000 טוקנים. אבל לא כתוב איזה טוקנים אלה. נזכיר שלכל טוקן יש תמחור שונה. טוקן של קלט מתומחר אחרת מטוקן של פלט ואחרת מטוקן של שמירת מטמון (cache). אז איזה סוג של טוקנים? אין לי מושג. נניח שנלך לפי החישוב של ה-api, קלוד פאבל 5 עולה 10$ למיליון טוקנים בקלט, ו-50$ למיליון טוקנים בפלט. אבל יש לי רק 123 אלף טוקנים, אז איך זה סיים 50$? איך שלא מסובבים את זה - זה פשוט לא מסתדר. Doesn't add up כמו שאומרים באנגלית. מיואש, ניסיתי להתחבר לפלטפורמה של אנת'רופיק - אבל אין שם שום פירוט על צריכת הקרדיטים. יש שם מידע על קריאות api, אבל שום פירוט על צריכת הקרדיטים שרכשתי. בשלב הזה חיפשתי עוד ועוד דרכים. מצאתי כלי בשם ccusage שאמור לעזור לנו, אבל גם הוא לא הצליח. הוא הראה לי שצרכתי 1.9 מיליון טוקנים של קלט ועוד כ-600 אלף של פלט (שזה שונה ממה שקלוד מראה לי ב-vscode, ששם זה 123 אלף טוקנים בלבד, מבלי חלוקה, כפי שציינתי). אגב, גם הצריכה הזו של ccusage בעייתית כי היא מציגה סך טוקנים עבור כל המודלים שלכאורה השתמשתי בהם. במקרה הזה מוצג לי פאבל 5, אופוס 4.8, אופוס 4.7 והייקו 4.5 (לא זוכר מתי השתמשתי בו לאחרונה). בקיצור, לא הגיוני. אז אי אפשר להבין על מה הלך הכסף באמצעות פקודת /usage ולא באמצעות פקודת /context ולא באמצעות הפלטפורמה (הקונסול) של אנת'רופיק ולא באמצעות הכלי ccusage ולא דרך קלוד דסקטופ ולא דרך claude ai. נראה שהלוגיקה של אנת'רופיק היא: המודלים היקרים שלנו מאוד יקרים. אנחנו הולכים לחתוך את השימוש בפאבל 5 ולאפשר למשתמשים לעבוד איתו רק 50% מהזמן במסגרת המנוי המשלם שלהם, ואילו מי שירצה להמשיך - יצטרך לרכוש קרדיטים. וגם אם הוא ירכוש - הכסף יתבזבז מהר מאוד גם מבלי לסיים משימות - ואפילו לא תהיה שקיפות על מה הלך הכסף. זה בדיוק סוג המקרים שארגונים יכולים לאכול את הכובע כי הם עובדים מלכתחילה בתצורה של קרדיטים או קריאות api. ואם אין לארגון את הדאטה - הוא מאבד את הדבר שהכי יקר לו. מהמקום הזה אני מאוד מבין למה הרבה יותר הגיוני לעבוד עם המודלים האלה דרך ספקיות הענן כמו aws bedrock למשל, מאשר לעבוד ישירות עם קלוד. דרך אמזון יהיו לנו מטריקות - ודרך קלוד? איך היו אומרים בבית הספר שלי: לך תאכל את הכובע. אמת מקצועית באה לידי ביטוי לא רק כשמהללים חברות - אלא בעיקר כשעוצרים ומרימים דגל כשמשהו לא בסדר. ומשהו פה פשוט לא בסדר.

פאבל 5 חזר... ומאתמול אני מרגיש שמבזבזים לי את המנוי במהירות מטורפת - ואני על Max ב-100$ בחודש... בקשות נופלות, אני מנסה שוב, זה חוזר על עצמו - עד שאני מגיע ל-50% שימוש שבועי בלי שקיבלתי תוצר אמיתי להתגאות בו. כן, אני מכיר את הטענות הרשמיות: "מודל כבד יותר", "inference יקר יותר", "FLOPs גבוהים יותר". אבל בואו נדבר רגע בגלוי: למה משלמים לפי טוקנים ב-API, אבל במנוי החודשי (גם ב-100$ Max) אין שום שיקוף כמה טוקנים/הודעות באמת מקבלים?רק אומרים "נדיב", "נדיב מאוד", "פי 20 יותר נדיב". זה לא שקוף. זה מרגיש כמו משחק. מי מחליט איך הטקסט שלי נשבר לטוקנים?הטוקנייזר של המודל. ומודלים חדשים (כולל Fable 5) מייצרים יותר טוקנים לאותו טקסט. אין לי אפשרות לבחור טוקנייזר אחר כדי לחסוך. למה? יש מטמון (cache) במהלך השיחות - משלמים עליו. אבל איך אני אמור לדעת אם זה מוצדק? ב-API רואים בדיוק את ההפרדה בין cache read ל-cache write. ב-claude ai וב-Claude Code? שום דבר. עלום לחלוטין. ולגבי איכות - Fable 5 עולה פי 2 מאופוס 4.8 ב-API ($10/$50 לעומת $5/$25). בסדר, הוא חזק יותר. אבל במה בדיוק? לפי SWE-bench Verified שמודד איכות ביצועים פתרון בעיות קוד - הוא מגיע ל-95% לעומת 88.6% של Opus 4.8. זה פער גדול יותר במשימות הקשות. השאלה היא: כמה מהפער הזה באמת רלוונטי לעבודה היומיומית שלי? ואיך אני אמור לדעת את זה בלי לשרוף את המנוי? מה נחשבת משימה קשה לסונט? ומה לאופוס? ומה לפאבל 5? הכעס הזה דווקא עשה לי טוב - מאתמול אני צולל לעומק ומכין פוסט מפורט עם חישובים, גרפים והשוואות אמיתיות בין API למנויים, בין Claude ל-GLM, ואיך באמת אפשר לחסוך (או לא). חשוב לי לציין שאני מאוד אוהב את מה שאנת'רופיק עושים לכל אורך הדרך. זו חברה שעד כה מתנהלת באופן מעורר השראה. אפשר להאשים אותם בחזירות - אבל זכותם. במקום להאשים - אני מנסה לקחת אחריות על שימוש ה-AI שלי ולהבין מה הולך כאן. ורק אם אוכיח שיש עוול - נציף אותו. מי עוד מרגיש את זה עם Fable 5 / Opus על תוכניות Max? מה דעתכם - שקיפות כזו היא חלק מהמודל העסקי, או שזה פשוט לא הוגן?

כשאנת'רופיק מפרסמים עכשיו שפאבל-5 חזר מה שאני רואה זה את מדפסת הכסף שלהם. איזו הצלחה מסחררת עבורם: אנשים מסתערים ומסיימים את הטוקנים שלהם כל כך מהר - וההתמכרות גורמת לאנשים לשדרג מ-20 ל-100 או מ-100 ל-200 וכו'. להמחשה, נתתי לגיטהאב קופיילוט משימה עם פאבל-5, תוך שעה הוא סיים את המגבלה החודשית שאני מקבל מגיטהאב. שבדרך כלל מספיקה לי לעבודה השוטפת שלי. אני לא יודע גם אם זה רק ספין תקשורתי כי בפועל אנת'רופיק אומרים שיהיו הרבה חסימות וניתוב אוטומטי לאופוס 4.8, אז זה בעצם להתשמש ב-4.8 אבל לחשוב שזה 5, ואולי לשלם יותר טוקנים על הניתוב הראשוני. גאונים, בזה אין ספק.

‏זה פסיכי ממש, קלוד קוד מפתח לי אתר חדש עם כל העדכונים הכי מעניינים על טכנולוגיה ו-AI, ובמסגרת הוספת איזור צור קשר ושליחת טופס - הוא החליט בזכות פקודת /goal להשתמש ב resend api והגדיל לעשות ושלח פנייה בעצמו דרך האתר וגם וידא שהמייל התקבל! ‏פתאום אני מקבל מייל כזה, שכחתי בכלל שקלוד עובד על זה!

רוצים דילים שמותאמים אישית לסוג האשראי שלכם ולהעדפות המשפחתיות שלכם? זה בשבילכם. הפעם מדברים על סקילים בקלוד וזה מרגש!! מי היה מאמין שנצליח להביא לחדשות 12 את קלוד עם סקילים!! 😍