עלות הפעלת AI במוצר תלויה בנפח (כמות טקסט/בקשות), בסוג המודל (גדול = יקר יותר) ובתדירות. רוב הספקים גובים לפי token – קלט + פלט. דמו עם כמה עשרות בקשות ביום זול; פרודקשן עם אלפי מסמכים בחודש דורש תכנון תקציב.
FinOps: למדוד שימוש, להגדיר alerts, לבחור מודל מתאים למשימה (לא תמיד צריך את המודל הכי גדול), ולשקול cache או pre-processing שמצמצם קריאות. כדאי גם fallback – אם המודל לא בטוח, לא שולחים שוב ושוב את אותה הבקשה.
רוצים להבין עלות ושליטה בתקציב? קראו על אינטגרציה של AI למערכות ועל אוטומציה עם AI.