חברה שלחה לי אתמול בלילה סרטון טיקטוק בצירוף המילה "מטורף". פתחתי וצפיתי.
אינפלואנסרית AI הסבירה שעידן הנדסת הפרומפטים נגמרה. אין יותר צורך לחשוב איך לנסח פרומפט טוב – כעת המילה החמה היא loop. היא הדגימה איך היא כותבת לופ שנותן ל-AI לכתוב תסריט, לבדוק את עצמו, לתקן, לעבור לתסריט הבא, לבדוק שוב ושוב – עד שבסוף מתקבלים חמישה תסריטים מוכנים להפקה.
עניתי לחברה שלי ש- סורי, אבל לא השתכנעתי. כי מי בדיוק אמור לצפות בחמשת התסריטים האלה? קלודים? ChatGPT-ים? רובוטים? או שבכל זאת בני אדם? כי אם אין בתהליך בן אדם שבודק, שמאשר, שמתלהב (או לא מתלהב), שמבין אם משהו עובד או לא, מה בעצם ייצא בסוף? תוצר שמדבר עם קלודים אחרים? אז סבבה, שהמכונות ידברו עם מכונות אחרות ומכונות אחרות ימחאו להן כפיים. לא נראה לי.
כי פתאום יש תחושה שכל העולם הפך למומחה AI. חצי מיליון מומחים, כולם Number One, כולם יודעים בדיוק מה נגמר ומה כבר לא צריך. ובכל זאת, יש ערך לאנשים שכבר בנו מוצרים, כתבו, נכשלו, הצליחו, מכירים משתמשים אמיתיים ויודעים להפעיל חשיבה ביקורתית. לא כל דבר הוא טריק חדש שמבטל את כל מה שהיה לפניו.
הבוקר צץ לי בפיד הראיון המקורי (פייסבוק הרי מקשיב לנו…). זה היה בוריס צ'רני, היוצר של Claude Code באנתרופיק. וכן, הוא אמר דברים חדים. הוא הסביר שהנדסת פרומפטים, כפי שרבים תופסים אותה היום, הרבה פחות חשובה ממה שהייתה לפני שנה. הטעות הכי נפוצה של מהנדסים ותיקים היא לנסות להכתיב למודל כל צעד וצעד, במקום לתת לו מטרה ומנגנון שמאפשר לו לבדוק את עצמו.
ואז הוא הדגים – הוא נתן לקלוד גישה למכונה וירטואלית של מק וביקש ממנו לשכתב את אפליקציית הדסקטופ של קלוד משפת תכנות אחת לאחרת. קלוד הריץ את הגרסה הישנה, צילם מסך, השווה אותה לגרסה החדשה פיקסל מול פיקסל, תיקן את עצמו, המשיך, בדק שוב – ולא עצר עד שסיים. תוך כדי הוא אפילו פתח לעצמו ערוץ Slack ותיעד שם את ההתקדמות בצילומי מסך, בלי שאף אחד ביקש ממנו. וזה באמת Wow.
אבל בעיניי, משם בדיוק מתחילה אי ההבנה. כי קוד אפשר לבדוק. מסך אפשר להשוות למסך אחר. בדיקות עוברות או נכשלות. יש דרך לדעת אם זה עובד.
תוכן שמיועד לבני אדם הוא סיפור אחר לגמרי.
אין בדיקה אוטומטית לשאלה אם פוסט ריגש מישהו ואין אלגוריתם שקובע אם דוגמה הייתה טובה או אם רעיון ישנה למישהו את הדרך שבה הוא חושב. אלה לא דברים שאפשר להשוות פיקסל מול פיקסל.
לכן, לפחות כרגע, אני לא מוציאה את עצמי מהלולאה. כשאני כותבת אפיון, אני לא נותנת ל-AI לרוץ עד הסוף ואז חוזרת לראות מה יצא. קודם אני מבקשת ממנו לקרוא אפיונים קודמים שלי, להבין איך המערכת עובדת, להבין איך אני חושבת, ואז אנחנו עובדים ביחד. אני בודקת כל שלב, מתקנת, מכוונת, מוסיפה הקשר. אני ה-Human in the Loop.
אבל יש מקום אחד שבו זה פשוט לא נכון: בפיתוח. בפיתוח אני לא יודעת לבדוק כלום. זו קופסה שחורה עבורי ואין לי מושג מה קורה מתחת למכסה המנוע. אני מגיבה לתוצאה – עובד, לא עובד – וממשיכה הלאה. סביר מאוד שאם מומחה קוד אמיתי יסתכל על מה שיצא לי משם, הוא ישאל אותי מה זה הבלגן הזה. וכנראה יצדק.
וזה העניין. בתחומים שאני מבינה בהם, אני יודעת לזהות מתי משהו נכון ומתי הוא לא (אבל בוא התשוגה תמיד נשמע נכון. בקוד אני לא יודעת. שם אני לא Human in the Loop – אני Human בקצה של הלופ, מסתכלת על התוצאה ומקווה לטוב.
כי Human in the Loop זו לא הצהרה. זו תלות ישירה בשאלה אם יש לך את הידע לשפוט.
אז כשמישהי מצהירה שהלופ פותר הכול, שווה לשאול לא רק אם המודל בדק את עצמו – אלא מי בדק את הבדיקה.
והקטע הכי משעשע מבחינתי היה דווקא בסוף הראיון. שאלו את בוריס איך מגיעים להיות מהמשתמשים הכי טובים בעולם. הוא ענה שכדאי להפסיק להקשיב לאינפלואנסרים בטיקטוק ובטוויטר, כי כולם מחפשים את הטריק החדש האחד, והוא פשוט לא קיים. כלומר, האיש שהאינפלואנסרית ציטטה אמר, באותו ראיון עצמו, להפסיק לצפות בסרטונים כאלה. 🙂
הנדסת הפרומפטים לא מתה. היא פשוט החליפה הגדרת תפקיד – מלנסח את המשפט המושלם, ללדעת מתי משהו נכון ומתי הוא רק נשמע נכון. וזה תפקיד שאפשר למלא רק במקומות שבהם את באמת יודעת.