מודל של 120B זול יותר ממודל של 27B? איך בדיוק?
יש אמונה נפוצה שאני שומע כמעט בכל שיחה על הרצת מודלים לוקאליים: ברגע שקנית את המכונה, הטוקנים בחינם. קנית מק, התקנת מודל, וזהו, החשמל בטל בשישים, רעש רקע בחשבון.
הבוקר נתקלתי בכתבה ב-Towards Data Science שבודקת בדיוק את זה, ואני חייב לשתף אתכם, כי אחד הממצאים בה ממש לא אינטואיטיבי. Justin Stewart לקח Mac Studio עם שבב M3 Ultra ו-96GB זיכרון מאוחד, הריץ עליו חמישה מודלים מקומיים, ומדד בפועל כמה חשמל כל אחד מהם צורך. לא הערכה, לא סימולציה אלא מדידה מכוילת מול מד חשמל אמיתי בשקע.
בואו נראה מה יצא לו:
למה שווה להתייחס למספרים האלה ברצינות
זה החלק שגרם לי לעצור ולקרוא עד הסוף. אפשר פשוט לקרוא את מוני ההספק שהשבב של אפל מדווח, אותם מונים שמזינים את לשונית האנרגיה ב-Activity Monitor. הבעיה היא שמונים פנימיים נוטים לסטות, ולקורא אין שום דרך לדעת אם להאמין להם.
סטיוארט פתר את זה יפה: הוא חיבר את המחשב לשקע חכם שמודד אנרגיה בפועל, וכייל מולו את המונים הפנימיים. כל מספר בכתבה מגיע עם מרווח שגיאה אמיתית, בערך בין 2.6% ל-4.5%. הוא גם גרע את הצריכה של המכונה במנוחה, כך שמה שנמדד הוא העלות השולית של הבקשה עצמה, ולא של מחשב שסתם דולק.
אני נוטה להיות ביקורתי כלפי מדידות ביתיות, אבל המתודולוגיה כאן מסודרת בצורה נאותה מספיק בשביל לגזור ממנה מסקנות. זה בדיוק מה שהופך את ההפתעה שמיד נגיע אליה למשהו ששווה להתייחס אליו.
התוצאות
שימו לב שהן מסודרות לפי עלות, לא לפי גודל מודל
תעריף החשמל בניסוי היה 0.31 דולר לקוט"ש, והעלות מחושבת לכל מיליון טוקני פלט:
| מודל | פרמטרים | סוג | תפוקה (tok/s) | עלות למיליון טוקנים |
|---|---|---|---|---|
| Qwen3.5-4B | 4B | dense | 133.8 | $0.063 |
| Qwen3.6-35B-A3B | 35B | MoE | 76.0 | $0.087 |
| Qwen3-Coder-Next | ~80B | MoE | 65.0 | $0.103 |
| gpt-oss-120b | 120B | MoE | 74.0 | $0.109 |
| Qwen3.6-27B | 27B | dense | 21.5 | $0.554 |
עצרו רגע על השורה האחרונה, כי כאן נמצא הסיפור.
המודל היקר ביותר בטבלה, פי חמישה עד תשעה מהאחרים, הוא דווקא ה-27B הצפוף. כל מודל גדול ממנו יצא זול יותר. מודל ה-120B מריץ טוקן בכחמישית מהמחיר של מודל שהוא רבע מהגודל שלו, ובדרך אגב גם עושה את זה מהר יותר.
כלומר, אם הייתם בוחרים מודל לפי ההיגיון הטבעי; "27 מיליארד פרמטרים זה פחות מ-120 מיליארד, אז זה בטח יעלה לי פחות" - הייתם נוחתים בדיוק על האופציה היקרה ביותר!
אז מה בעצם קורה כאן
הנוסחה פשוטה, ושווה לזכור אותה: עלות לטוקן = ואטים חלקי טוקנים לשנייה.
שני משתנים בלבד, והמודל הצפוף מפסיד בשניהם. הוא מושך את ההספק הגבוה ביותר בטבלה (כ-138 ואט) ומייצר את מספר הטוקנים הנמוך ביותר לשנייה.
ההסבר, ואני חושב שזה החלק הכי יפה בכתבה, נמצא ברוחב הפס של הזיכרון ולא בכוח החישוב. כדי לייצר טוקן בודד, המכונה חייבת לקרוא מהזיכרון את כל המשקלים הפעילים. מודל dense בן 27B ב-8 ביט מפעיל את כל הפרמטרים בכל טוקן, כלומר הוא שואב כ-28 ג'יגה-בייט של משקלים בכל צעד. העובדה הזאת מהווה את תנועת הנתונים הגדולה ביותר בטבלה, וזה בדיוק מה שהופך אותו גם לאיטי וגם לרעב לחשמל.
מודל MoE שובר את הקשר הזה. ב-gpt-oss-120b כל 120 מיליארד הפרמטרים יושבים בזיכרון, אבל נתב פנימי מפעיל רק כחמישה מיליארד פרמטרים לכל טוקן. פחות בייטים בתנועה, יותר מהירות (74 טוקנים לשנייה), פחות הספק (94 ואט). קוונטיזציה אגרסיבית יותר של מודלי ה-MoE מגדילה את הפער עוד קצת.
אם יש משפט אחד שהייתי רוצה שתיקחו מהפוסט הזה, זה זה: אתם משלמים על בייטים שזורמים בזיכרון, לא על פרמטרים ששוכבים בו. מספר הפרמטרים קובע את העלות רק כשהמודל מפעיל את כולם.
והאם זה תופס גם בעומס אמיתי?
זו הייתה השאלה הראשונה שעלתה לי, וטוב שגם סטיוארט שאל אותה. כל המספרים בטבלה נמדדו בתנאי מעבדה: המחשב מייצר טוקנים ברצף, בלי הפסקה ובלי זמן מת.
לכן, בעבודה יומיומית זה נראה אחרת לגמרי - בקשה קצרה פה, המתנה למשתמש שם וכל טוקן יוצא יקר יותר.
אז הוא בדק גם את זה, על כ-6,300 בקשות אמיתיות שהצטברו אצלו לאורך חודש. הפער לא נסגר, הוא רק גדל: המודל הצפוף עלה לו שם בערך פי עשרה יותר ממודלי ה-MoE.
שלוש הסתייגויות שחשוב שתכירו
- מדובר בעלות החשמל בלבד - המחשב עצמו לא נכנס לחשבון, והוא ההוצאה האמיתית כאן. אם תחלקו את מחיר המק על פני כמה אלפי בקשות, תקבלו סכום שמגמד לחלוטין עשירית סנט של חשמל. המדידה הזו מראה לכם כמה עולה טוקן אחרי שכבר שילמתם על החומרה, לא כמה עולה לכם העסק כולו.
- הזיכרון המאוחד מאפשר המון, אבל גם מגביל - מודל MoE חייב להחזיק בזיכרון את כל הקורפוסים שלו, גם אם הוא מפעיל רק שניים מהם בכל טוקן. מודל ה-120B תופס כ-59GB של זכרון ראם, ואחרי מערכת ההפעלה וזיכרון ההקשר כבר אין הרבה מרווח במכונה של 96GB. ועוד פרט שהופתעתי ממנו: עצם החזקת מודל גדול בזיכרון עולה כ-21 ואט קבועים, גם כשהוא לא מייצר כלום.
- ההשוואה לענן קצת פחות מחמיאה משנדמה - נכון, עשירית סנט מול כמה דולרים למיליון טוקנים נשמע כמו הכרעה מוחצת. אבל בענן אתם משלמים גם על החומרה, זו שכאן כבר קניתם מכיסכם, ומקבלים מודלים גדולים בהרבה. אז המסקנה היא לא "מקומי זול פי עשרה", אלא משהו מדויק יותר: ברגע שהמכונה כבר אצלכם, כל טוקן נוסף עולה מעט מאוד, ובחירת המודל היא זו שקובעת אם זה "מעט" או "פי עשרה מזה".
מה אני לוקח מזה, ומציע גם לכם
- להפסיק לבחור מודל לפי גודל. למדוד throughput על החומרה שלכם ולבחור לפיו.
- להסתכל על MoE ברצינות אם יש מספיק זיכרון להחזיק אותו. הפיזיקה עובדת לטובתכם.
- מודל שרץ לכם ברקע ולא עובד — עדיף לכבות אותו. מודל שיושב בזיכרון "ליתר ביטחון" עולה לכם בחשמל ובמשאבים.
- לעבור את סף האיכות קודם. עלות היא שובר שוויון בין מודלים שמסוגלים לעשות את העבודה, לא תחליף לבדיקה אם הם בכלל מסוגלים.
ודבר אחרון, אולי החשוב מכולם: כל המספרים כאן נמדדו על מחשב אחד, בתעריף חשמל אחד ובעומס עבודה אחד. אצלכם השלושה האלה שונים.
הכלי שבו נעשתה המדידה, TokenWatt, זמין כקוד פתוח ומתחבר לשרת שאתם כבר מריצים, כך שמי שרוצה יכול לחזור על הבדיקה על החומרה שלו. וזו בעיניי הגישה הנכונה: לא לאמץ נתונים של מישהו אחר, אלא ללמוד ממנו מה כדאי לבדוק בסביבה שלכם.
📎 הכתבה המקורית: How Much Does a Local LLM Actually Cost to Run? מאת Justin Stewart, ב-Towards Data Science. שווה קריאה מלאה.
ומה אתכם, מריצים מודלים מקומית? בחרתם לפי גודל או לפי מהירות? מסקרן אותי לשמוע איזה מודל החזיק אצלכם בפועל, ולא רק בבנצ'מרק.
מוזמנים לכתוב לי למייל dolev@ravid.email או בעמוד הלינקדאין שלי.