Token Cut لنظام الإنتاجية بالذكاء الاصطناعي

خفض تكاليف رموز LLM باستخدام توجيه نموذج Jev

Token Cut هو منصة توجيه نموذج الذكاء الاصطناعي الذكي مصممة لمساعدة المطورين على تقليل تكاليف LLM والذكاء الاصطناعي التوليدي دون التضحية بجودة تطبيقاتهم.

بدلاً من إرسال كل طلب إلى نفس النموذج المكلف، يقوم Token Cut بتحليل كل مهمة ويوجهها تلقائيًا إلى النموذج الأقل تكلفة القادر على التعامل معها بشكل جيد.

في جوهر Token Cut يوجد Jev، نموذج قرار خفيف الوزن يقوم بتقييم الطلبات الواردة ويحدد مقدار القدرة النموذجية التي تحتاجها فعليًا. يمكن توجيه مهمة بسيطة مثل السؤال، الترجمة، التصنيف، أو استخراج البيانات إلى نموذج غير مكلف، بينما يمكن أن تستخدم المهام الأكثر تطلبًا مثل البرمجة، والتفكير المعقد، نماذج أكثر قدرة تلقائيًا.

الفكرة بسيطة: لا تستخدم النموذج الأقوى لكل طلب - استخدم النموذج المناسب لكل مهمة.

يقوم Token Cut بتقييم عوامل متعددة عند اتخاذ قرارات التوجيه، بما في ذلك نوع المهمة، قدرة النموذج، الوضعية، متطلبات السياق، التسعير، الميزانية، وثقة التوجيه.

كما أنه يعمل عبر عدة مزودي ذكاء اصطناعي ومنصات نماذج، بما في ذلك OpenRouter، و Replicate، وغيرهما. هذا يمنح المطورين الوصول إلى مجموعة أكبر بكثير من النماذج دون الحاجة إلى مقارنة المزودين يدويًا، أو الحفاظ على منطق توجيه معقد، أو تحديث كود التطبيق باستمرار مع ظهور نماذج وأسعار جديدة.

مع Token Cut، يمكن للمطورين استخدام واجهة برمجة تطبيقات واحدة بينما تتولى طبقة التوجيه اختيار النموذج في الخلفية.

على عكس أدوات مراقبة تكاليف LLM التقليدية التي تخبرك بمقدار المال الذي أنفقته بالفعل، يركز Token Cut على تحسين التكاليف قبل حدوث طلب واجهة برمجة التطبيقات. إذا كان يمكن لنموذج أرخص إكمال مهمة بشكل موثوق، فلا يوجد سبب كبير لإرسال نفس الطلب إلى نموذج يكلف 10 أضعاف، 20 ضعفًا، أو حتى أكثر.

تم بناء Token Cut حول عدة قدرات أساسية:

• تصنيف المهام الذكي المدعوم من Jev• اختيار النموذج التلقائي والتوجيه القائم على التكلفة• دعم نماذج النصوص، الصور، الفيديو، والصوت• توجيه متعدد المزودين عبر منصات الذكاء الاصطناعي الرئيسية• تقييم القدرة النموذجية، والسياق، والميزانية، والتسعير• واجهة برمجة تطبيقات واحدة للوصول والتوجيه عبر نماذج مختلفة• تقدير التكلفة وتحليل التوفير• التصعيد التلقائي إلى نماذج أقوى عندما تتطلب المهام المزيد من القدرة

الهدف ليس ببساطة استخدام أرخص نماذج الذكاء الاصطناعي. بل هو القضاء على الإنفاق غير الضروري مع الحفاظ على مستوى الجودة الذي تتطلبه كل مهمة.

يحول Token Cut اختيار النموذج من شيء يجب على المطورين إدارته باستمرار إلى قرار بنية تحتية يمكن أن يحدث تلقائيًا.

تعلم المزيد في