צוף בר אור
Відкрити в Telegram
ברוכים הבאים לערוץ הטלגרם שלי! צוף, 30, לקראת סיום תואר שני בדאטה סאיינס וקודח מקצועי בטוויטר: https://twitter.com/tsoofbaror אעדכן פה בכל פעם שאעלה משהו משמעותי לטוויטר, או כל דבר מעניין אחר. בתאכלס, יותר מעניין כאן מבטוויטר שלי.
Показати більше3 275
Підписники
Немає даних24 години
-67 днів
+8730 день
Архів дописів
3 275
רק 1400 דולר וסריקת תלת מימד של השיניים (ולגור בארה״ב) מפרידים בינכם לבין המכשיר הזה, שהוא סוג של פלטה שיושבת בפה ומאפשרת שליטה במקלדת ודיבור אפילו בלחישה לקלוד קוד שלכם.
תקנו? :)
https://x.com/augmentaltech/status/2079961051383410784?s=46
3 275
גם כאן, יש לנו את המקרה הזה של:
בעיה דטרמיניסטית, יש מרחב חיפוש סופי שבו מסתתר הפתרון.
בינארית - מספיק פשוט למצוא דוגמה נגדית אחת.
ואותו ״חיפוש על-אנושי במרחב האפשרויות״ שמודל שפה יכול לעשות.
אגב, זה לא שרק במציאת-דוגמה-נגדית מודלי שפה יכולים להצטיין.
יש שפה מתמטית בשם LEAN. בגדול, היא הופכת הוכחה מתמטית שכתובה בטקסט ארוך ומתפלפל לסוג של ״אלגוריתם״ עם כללים ברורים שמחשב יכול לאמת אם ההוכחה שגויה או נכונה.
מה שאומר שברגע שמודל יכול לכתוב הוכחה בLEAN (לא דוגמה נגדית, ממש הוכחה למשהו) אפשר לבדוק את הנכונות שלה בקלות - ולתת לו פידבק.
אין שום דבר מעורפל, היעד ברור ובר בדיקה.
בכל פעם שאתם נתקלים בטענה שAI הולך להשתלט על X, זה מה שצריך לחפש. אם אין את זה, מדובר בקשקוש.
השנים הקרובות במתמטיקה יהיו מאד מעניינות.
3 275
סתם דוגמא, אם אני אומר ש״כל הפילים אדומים״, מספיק למצוא פיל אחד לא אדום כדי להפריך את הטענה. לוגיקה פסיכומטרית כזו. אז כזה בדיוק.
3 275
למי מכם שלא שוחה במתמטיקה, יש השערות מסוג ״בכל המקרים שX, אז Y״. בהרבה מקרים להוכיח מאד קשה, אבל להפריך כאילו ״קל״, כל מה שצריך הוא למצוא דוגמה אחת, מקרה אחד, בו יש X ואין Y - והפרכנו את הטענה.
וזה בדיוק מה שfable 5 עשה.
3 275
לפי יומים עובד אנת׳רופיק העלה פוסט בטוויטר של ״היי, בזמן הגמר של המונדיאל נתתי לfable לנסות להפריך משהו והוא הצליח״. המשהו הזה הוא השערה מ1884 שעד לפני יומים-שלושה לא נפתרה.
3 275
עוד דבר שקרה השבוע - שמעתם הפריך את הjacobian conjecture?
מה שמעניין, זה שזה בעצם מתחבר בדיוק למה שנכתב פה למעלה על סייבר.
הנה הסבר
3 275
רואה המון דיווחים על זה שOpenAI מתכננים להקים ״מרכז״ בישראל.
זה לא מו״פ או משהו כזה. יותר חטיבה עסקית לעבודה מול סטארטאפים, Customer Success.
הדיווח המקורי מגיע מכלכליסט אם הבנתי נכון:
https://www.calcalist.co.il/calcalistech/article/bjkonpo4me
אבל אין למיטב ידיעתי עוד אישור רשמי של OpenAI.
3 275
קודם כל, תקרית PR נפלאה.
סיפור הסייבר הוא סיפור ענק. העובדה שאפשר להריץ את המודלים האלה בגרסה הכי קשוחה שלהם בלי מגבלות, ואשכרה לבקש מהם לתקוף בגדול צריכה לגרום לכל המחוקקים בעולם לא לישון בלילה.
סייבר הוא משחק של המון שכל - אבל גם המון זמן ומשאבי בדיקה, שעם מודלי שפה מתקדמים כאלה עולים כלום ביחס לצבא של תוקפים אנושיים.
צבא, אנרגיה, תשתיות תחבורה, בתי חולים, משרדים ממשלתיים - אפשר כנראה להפיל הכל ולפרוץ הכל.
אני רוצה רגע להדגיש משהו.
הרבה רואים אותי בתור הסקפטי. זה שכותב הרבה שצריך לא ליפול להייפ, שזה לא כזה משוגע, וכו, וכו.
זה נכון. בהרבה תחומים.
סייבר הוא תחום שלא נופל תחת הקטגוריה הסקפטית שלי, מסיבה מאד פשוטה:
1. הוא דטרמיניסטי
2. הוא בינארי
נסביר.
דטרמיניזם - התוצאה של התקפת סייבר היא משהו שניתן לשחזר ולא תלוי, במרבית המקרים, בשום אלמנט אקראי או אנושי. מדובר על פעולה חיפוש, במרחב חיפוש עצום, של משהו. כלומר, יש מספר בר-מניה של דברים שאפשר לנסות, ויכול להיות שאחד מהם יעבוד. בר-מניה לא אומר ריאלי לניסיון כל אחד מהם. מה שכן, אם נהיה ממש ציניים ונגיד - ״מודלי שפה? סתם מכונות לזיהוי דפוסים בטקסט!״. ובכן, מה היא פרצת סייבר אם לא דפוס וניסיון למצוא דברים דומים או קרובים רעיונית מפריצת סייבר ידועה למערכת X במערכת Y. בקיצור, מדובר על משימות שכאילו נתפרו למה שמודל שפה יודע לעשות.
בינאריות - או שהצלחתי, או שלא. מה זה מזכיר? בדיוק את האימון שמודלי שפה עוברים. זה לא ״מזכיר״, זה בדיוק האימון עם הפרסים בסוף. קח משימת סייבר. יש קריטריון הצלחה סופר ברור. הצלחת? יופי. לא הצלחת? לא יופי.
מהסיבה הזו אני מרגיש נכון לכתוב משהו בסגנון של ״המחוקקים צריכים לא לישון בלילה״. כי סין. כי צפון קוריאה. כי מי יודע מתי אחד המודלים הגדולים ידלוף מהמעבדות של OpenAI אוו אנת׳רופיק. ידלוף או יגנב.
וכאן, באמת השמיים הם לא הגבול. יש מספר בלתי נגמר של תוכנות ומערכות שאפשר לאמן עליהן מודלי שפה.
זה, איך אומרים אנשי גיאו פוליטיקה, מגה-אירוע בעיני.
3 275
https://openai.com/index/hugging-face-model-evaluation-security-incident/
זה סיפור די משוגע, כמובן, עם אינטרס גדול לספר אותו כדי לתת רמז לכמה גם המודלים של OpenAI הם מפלצות סייבר בדיוק כמו פייבל 5.
בקצרה, במהלך בדיקות של GPT 5.6-Sol ו״מודל חדש ואפילו חזק יותר״, כולם עם פחות מגבלות סייבר* לטובת הבחינה, קרה אירוע.
*הכוונה, שהם פחות מאומנים להיות ״מסרבים״ לבקשות שיכולות לכלול פריצות, שבירת אבטחה וכו.
בקיצור, הם מנסים לבדוק את ״היכולות המקסימליות שלהם״, ולכן הריצו אותם בלי מסווגים שמסתכלים על מה שהם עושים ומנסים לתפוס אותם על חם, מסווגים שקיימים בגרסאות שאנחנו מקבלים. כדי לעשות את זה, הם משתמשים בסביבה ״מבודדת מאד״ שיש לה גישת רשת אך ורק להתקנת כל מיני חבילות קוד אם המוד רוצה.
המודל, כדי להצליח במשימה שניתנה לו, הצליח לפרוץ החוצה את הסביבה החסומה שלו, לפרוץ לHuggingFace ולהשיג את התשובות ישירות מהשרת של HuggingFace. המודלים אשכרה מצאו Zero Day (כלומר, פרצת אבטחה שאף אחד לא ידע עליה) במנגנון הזה שמאפשר רק התקנה של חבילות והשיגו גישה לרשת.
אחרי שהשיגו את הגישה, המודלים חשבו בעצמם על זה שהפתרונות כנראה יהיו בHuggingFace, ולכן פשוט מצאו דרך לפרוץ לHuuggingFace עם Zero Day נוסף, ואני מצטט:
In one example, the model chained together multiple attack vectors, including using stolen credentials and zero-day vulnerabilities to find a remote code execution path on the Hugging Face servers.
וכמובן שOpenAI כותבים על מה הם עושים מעכשיו וובלה בלה בלה...
3 275
היי. זהו. סיימתי עם הprivate time והגיע הזמן לחזור לתפעל את הערוץ, דברים קורים בלי הפסקה. מאז שיצאתי להפסקה קצרה - מודלים חדשים של GPT, פייבל 5 הולך, חוזר, ואז מאיים ללכת ובסוף לא הולך, קימי חדש טורף את הקלפים (וכרגיל, לא באמת), Thinking Machines של מירה מוראטי עם מודל open source אמריקאי גדול, חיבור של דמיס הסביס (גוגל דיפמיינד, ג׳מיני) על רגולציה בAI וכמובן שLoop Engineering is dead ועכשיו אתם לא בעניין אם אתם לא עושים.. Graph Engineering?
בקיצור, חוזרים לשגרה ולעניינים.
קצב ההתקדמות והחדשות בAI דומה לפוליטיקה יותר מאשר למדע וטכנולוגיה. זה הזיה. ליטרלי כל יומים משהו חדש.
בקיצור, היי שוב, נתעדכן השבוע בכל מיני דברים מעניינים
3 275
היי חברים, יודע שנעלמתי - המון דברים בחיים (כולם טובים).
נחזור בקרוב, קרו הרבה דברים שאפשר לקשקש עליהם
3 275
לזה לא ציפיתי.
הפרוייקט הוא מכונת סריקת גוף, כזו של רפואה, שמתחרה בCT וMRI. מבוססת אולטרה סאונד, שבריר עלות, שבריר זמן.
מידג׳רני חברת הביוטק??
מה??
3 275
כלומר, הם עשו מיזוג מוזר בין שני המודלים, אימנו אותו עוד קצת, והעלו את המודל הממוזג הלא מאומן?
מאד מבלבל
מאד מוזר
למה אתם מתעסקים בזה
3 275
חברת הIT של ריו (שוב, ?!), אחרי שזה נחשף, פרסמה תוספת:
The model is built via a merge of https://huggingface.co/nex-agi/Nex-N2-Pro and https://huggingface.co/Qwen/Qwen3.5-397B-A17B, proceeded by On-Policy Distillation from a stronger model. We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model. We are sorry for the confusion and apologize profusely.
3 275
ועכשיו מגיע החלק המעניין.
חברה בשם Nex, שיצרה את המודל Nex-N2-Pro שהוא בעצם אימון המשך בכלל של אחד ממודלי Qwen של עליבאבא, מצאה את הדבר הבא:
Rio-3.5-Open-397B ≈ 0.6 x Nex-N2_pro + 0.4 x Qwen
ליטרלי עשו איזה ממוצע בין המשקולות של המודלים, קוון המקורי וקוון שקיבל עוד אימון ועכשיו נקרא Nex.
וואט. דה. הל.
3 275
ואז התחילו להצטבר ראיות. בתוך הקוד, ״מכריחים״ להגיד את המודל שהוא Rio 3.5 Open.
מתי עושים דברים כאלה? כשהוא לא
