צוף בר אור

https://x.com/aidaxbaradari/status/2100223250789970186 איי גדול. בתוך מבול אפליקציות הtranscribe-take notes הם יוצאים עם ״שבש״ לכולן כדי שAI לא יוכל להאזין לשיחות שלכם. גדול.

סיגנלים טובים על הjev הזה

מה שמחזק את זה הוא שיש פה בעצם שלושה סוגים של Premitives שהמודל יכול לתת. זה מסדר יפה עם זה שנותנים תבנית פרדיקציה שהמודל יודע להשלים.

זוכרים את BERT המיתולוגי? היה מתאמן בזה שהיה חוזה את הטוקנים שבין לבין, לא חוזה את הטוקן הבא ברצף, על בסיס קונטקסט של טקסט חופשי. הקונספט פה יכול להיות דומה. הסכמה יכולה להיות טוקנים שנקבעים מראש ולא ניתנתים לשינוי, והמודל רק ממלא את החסר.

אגב, הימור קטן על הארכיטקטורה

מה מעניין? קודם כל, מדובר על ארכיטקטורה ואלגוריתמיקה חדשה. הבחור הוא Ex OpenAI שעבד על ChatGPT בגלגוליו הראשונים, ועובד על זה שנתיים. זה זול ברמות של כמעט חינם, והוא טוען לאינטיליגנציה ברמות של GPT 5.6-Terra. הזול זה החלק המשמעותי, כי זה יכול להיות רכיב ממש טוב לסוכנים בסקייל. הבעיה? מרגיש לי שרוב מי שירצה לאמץ טכנולוגיה כזו: 1. הוא בעל IP שלא ירצה להוציא אותו החוצה, וירצה מודל כזה בלי לשתף דאטה 2. ירצה אפשרות לאמן את המודל הזה על דאטה שלו כדי לשפר תהליכי החלטה

למה זה טוב? כשבונים אייג׳נטים, המון פעמים בתוך האייג׳נט יש המון המון בעיות כאלה. משהו בתהליך הפנימי צריך פשוט להחליט החלטה. ואז אנחנו מתחננים לLLM ״בבקשה בבקשה תחזיר סכמת JSON מסודרת עם השדות האלה והאלה״ ומתפללים שזה מה שיקרה, ומוסיפים הגנות אם זה לא קורה. זה בעצם מודל שמיועד בדיוק לזה. שזה די מגניב.

טוב, זה מאד מאד פשוט, לא צריך לחפור. זה לא LLM. זה ״מודל החלטות״. מזינים לו סכמה, נניח: ״זוז שמאלה״ - כן\לא ״זוז ימינה״ - כן\לא עוצמה - בין 0 ל1 ואז ה״קונטקסט״ שלו הוא כמו LLM - טקסט, תמונה וכו.

הרשת גועשת עם אחלה יציאה מStealth של מודל בשם Jev שהוא.. לא באמת LLM. תכף אכתוב על זה כמה דברים, זה די מגניב https://x.com/CompleteSkeptic/status/2099925682726002904

https://x.com/DavidRBellamy/status/2099187370407112758 מעניין ביותר

משהו מאד מוזר קורה עם כל הרעש הזה של ״צריך להאט את פיתוח הAI״. * זה מתחיל בציוץ של Jacob Coxon, ש״התפטר מאנת׳רופיק וחקר גם בOpenAI. מדובר על חשבון עם פוסט אחד בלבד. הפוסט הזה. הפוסט נכתב בתיאום עם הוולסריט ג׳ורנל - הסיפור עלה שם ממש בסמוך, ואפילו קצת לפני הציוץ. עד כאן היה אפשר להגיד - אוקי, זה קצת מוזר, מאיפה יש לבחור הזה ככה גישה לאחד העיתונים הכי חשובים בעולם? טוב, אפשר להגיד שזה סיפור ״חם״ ולקבל את זה איכשהו. אבל התמונה מסובכת יותר. הציוץ הופך לויראלי בצורה קיצונית ומקבל אמפליפיקציה מפולטיקאים דמוקרטיים אנטי-AI, וכל קהילת הAI doom. מעט אחרי הפרסום, לא פחות מראש צוות הAlignment של Anthropic עשה לו repost. זאת כבר פצצת אטום. למה פצצת אטום? לא כי נאמר משהו חדש או כי יש עניין בתוכן הפוסט. אותו ראש צוות, שעדיין עובד באנת׳רופיק כותב: ״ג׳ייקוב צודק! אנחנו אכן מאמינים שAI יכול להרוג את כל האנושות! באופן אישי אני חושב שזה בהסתברות של מעל 10% בעשור הקרוב [...]״. זה כבר הזיה. מדובר על עובד אמיתי של אנת׳רופיק. למי שפספס, אנת׳רופיק הגישה S-1 ביוני - חסוי, עוד לא פתוח לציבור. הם לא נמצאים עכשיו בשום quiet period רשמי בו אסור להם ״לעשות רעש״ לקראת ההנפקה למיטב הבנתי, אבל יש פה באמת תחום אפור. בזמן שהSEC לומדים את הfilings שלהם (כי השלב הבא הוא לעשות אותו רשמי ולא חסוי) בכיר אשכרה מאשר שיש risk בחברה של השמדת האנושות (לתפישתם, כמובן). OpenAI אגב במצב דומה (גם S-1 חסוי). זה לא בהכרח violation של quiet period, אבל זו אמירה ציבורית יוצאת דופן מאוד לחברה שנמצאת בתהליך IPO ועלולה בהמשך להצטרך להסביר למשקיעים כיצד הסיכון הזה מתורגם לסיכון רגולטורי עכשיו חשוב להבין, כשמדברים עrisk בהנפקה של חברות מדברים בדרך כלל על סיכונים לחברה עצמה. נגיד, התחרות עם OpenAI, העבודה שהם תלויים בשבבים של אנווידיה, סיכונים במובן של ״מה מסכן את החברה וצריך לעניין את המשקיע״. לא ״החברה מביאה סכנה קיומית לאנושות״. ונמשיך. כל זה מגיע שבוע אחרי שהמדען הראשי של Open AI מפרסם חיבור בשם An Alien Mind, בו הוא קורא, תראו מופתעים, להאט את קצב הפיתוח של הAI. וכדור השלג ממשיך. אתול דאריו (מנכ״ל אנת׳רופיק) מפרסם שהוא קורא להאט את קצב הפיתוח, סאם אלטמן (מנכ״ל OpenAI) מרטווט הסכמה, דמיס הסאביס (גוגל) אותו דבר, ואילון מאסק פשוט כותב Dario is right. שלשום סאם אלטמן מתראיין לFourtune ואומר שהם ״לא רצים לIPO בגלל כל מה שקשוור לבטיחות״. קצת titnfoil hat, אבל אני פשוט רואה פה קמפיין, ויש כמה אפשרויות למה בדיוק קורה כאן. האפשרות הצינית - כולם מבינים שהגענו לסוג של מצוי ביכולות, כולם מכוונים לIPO ורוצים שהשוק יתמחר עבודה איטית יותר. הציפיה לקפיצה אקספוננציאלית ביכולות כל שלושה חודשים הופכת ללא ריאלית. נחזור לזה. האפשרות הרצינית יותר היא כמובן שהם רואים משהו חדש, ומנסים לארגן את התעשייה. אני פה רק לשאול שאלה. באוקטובר 2025, לפני שנה , ישבו סאם וג׳ייקוב (המדען הראשי) בLIVE ואמרו: ספטמבר 2026 יהיה לנו Automated AI research intern. היי, מה החודש עכשיו? ספטמבר, והם די אומרים שיש להם כזה. בסרטון, התחזית למחקר AI אוטומטי לחלוטין היא 2028. ועכשיו נדבר על הפיל שבחדר: אופן סורס. נתחיל במה שמבלבל את כולם: זה לא באמת אופן סורס. האחראים על המודלים האלה הן חברות ענק, עם המון משאבים, שפשוט מחליטות לפרסם את משקולות המודלים לציבור. לא מדובר על אוסף של מתכנתים אלטרואיסטים שיושבים בבית לייצר ערך לרווחת הציבור. ועוד דבר: אופן סורס לא באמת באמת נגיש. כמובן שקיימים מודלים קטנים ודי harmless שאפשר להריץ לוקאלית או בחומרה שכלכלי לשכור, אבל אני פה להזכיר שKimi K3 הוא מודל של 2.8T פרמטרים. כדי להרים מודל כזה ״לוקאלי״ תצטרכו מכונה כמו p6-b300.48xlarge בAWS שתעלה לכם 80 אלף דולר לחודש, או 113 דולר לשעה. אז בואו נקרא לילד בשמו: מודלים סיניים. זה לא סוד שהם נוגסים לחברות האמריקאיות בעקבים. זה החלק המוזר: זה סבבה להגיד שצריך להאט, אבל הסינים לא יאטו. אז מה הטעם? לייצר פער לחברות האמריקאיות שיעבדו לאט יותר כדי שהסייבר-מאסטר הסיני יעשה בלאגן בארצות הברית? אני מודה שאני מאד, מאד מבולבל. על פניו סאם, דאריו, אילון ודמיס (או מי שאחראי מטעם גוגל) יכולים רגע לשבת לבירה ולהחליט להוריד את הקצב? למה צריך את כל ההצגה הזו? כדי ליצור תו תקן רגולטורי שימנע מחברות אמריקאיות להשתמש במודלים סיניים לקראת הIPO? האם באמת מישהו בחברות האלה ״יאט״ את המחקר ומה, יקצה עוד משאבים לalignement? או שאולי הכל תרגיל כדי לייצר איזשהו מודל שיורד את הliability של המעבדות האמריקאיות אם משהו נורא יקרה בזמן האימון (לאור תקרית האגינגפייס ודומיה). מוזמנים לדון. אין לי פה טייק יותר חכם מה1000 שרצים עכשיו בטוויטר. אגב. זוכרים שב3 לספטמבר כל המודלים היו למטה לאיזה חצי שעה? מה קרה שם? עד כאן.

מרגיש שאני מקבל ולידציה לתחושות

דיווחים שהweekly usage בקודקס נפל ל0% למלא יווזרים. אני חושב שחוויתי את זה גם, אחד המנויים ירד לי מ6% ל0% ולאא הבנתי למה. אני מריח ריסט בקרוב

https://x.com/tsoofbaror/status/2097741053474328736 וקצת בפירוט יותר

האירוע נגמר, חזרתי לsol. אסטרה מחסל טוקנים ואני באמת לא מתרשם שהוא עובד לי טוב יותר. אני לא צריך מודל חכם מידי - אני צריך מודל יסודי. ומרגיש לי שאסטרה חכם יותר אבל יסודי פחות. היה כיף.

ולגבי סערת ה״חוקר מאנת׳רופיק וOpenAI אומר שהעולם יחרב״. תרשו לי להיות אופטימי: האנושות שרדה מירוץ חימוש פיזי בפצצות אטום. הדבר הזה שאפשר להפיל מהשמיים ולמחוק עיר. האנושות תתאים את עצמה גם לעידן האינטיליגנציה בקופסה, גם אם יהיו נזקים בדרך. מודל של עשרות טריליוני פרמטרים צריך כור אטומי של חשמל. מקסימום מורידים לו את השאלטר אם הוא מתנהג לא יפה.

מילה על פתרון ״בעית המילניום״ שOpenAI פתרו. לא נכנס לדרמה של האם הם גנבו רעיונות מחוקרים אנושיים וכל זה, בואו נניח שהם באמת פתרו אותה ב100% והפתרון נכון (מה שעוד לא אומת), אבל נניח. זה מתכתב בדיוק עם כל מה שנכתב פה בערוץ. מדובר על בעיה מאד קשה, שיש לה וידוא דטרמיניסטי. הוידוא הוא בעזרת שפה שנקראת LEAN, שהיא שפה כמו שפת תכנות לכתיבת הוכחות במתמטיקה. נתנו ל10,000 סוכנים של מודל סופר חזק (פנימי שלהם) לעבוד על זה, כותבים הוכחה, בודקים נכונות בLEAN במילישניות או שניות, ומתקדמים. קלאסי אופי הבעיות שדיברנו כאן: אפשרות להמון ניסוי וטעיה, וידוא דטרמיניסטי וזול (לא צריך לעשות ניסוי קליני בקופים לבדוק את התרופה, אפשר פשוט ללחוץ check ולקבל מיד תשובה). עכשיו מתמטיקאים ישבו ויבדוק את ההוכחה הזו, שהיא איזה 120 עמודים. זה עוד נקודה, זה שכל ההוכחה עצמה עוברת לא אומר שהיא נכונה - צריך לוודא שכל ההנחות שם רלוונטיות ושלא היה שם איזה קיצור דרך מפתיע בעמוד 78 בשורה 90 שהופך את הכל ללא רלוונטי. בשבועות הקרובים מתמטיקאים יעברו על זה ונגלה. קיצר, זה מגניב מאד ומראה איך פוטנציאל אדיר יש למודלי שפה בפתרון בעיות מהסוג הזה (דטרמיניזם בדיקה, מהירות בדיקה). רק לא להתבלבל בזה שאנחנו נמתחים לאותו כיוון - לא לצדדים.