← كل الأعمالOPEN SOURCE / SYSTEMS TOOLING

CIRI — Can I Run It?

أي نماذج LLM مفتوحة يستطيع هذا الجهاز تشغيلها وبأي سرعة؟ تجيب CIRI باكتشاف العتاد وحساب ذاكرة صادق وتقديرات واعية بالاختبارات.

GO · BUBBLE TEA · GHW · EMBEDDED DATA

5,348إدخالاً في كتالوج النماذج

149ملفاً لتعريف GPU

3طبقات للتنبؤ

MITرخصة مفتوحة المصدر

THE PROBLEM

توافق النماذج لا يجب أن يكون تخميناً.

تعرض صفحات النماذج المعلمات والتكميم، لكن المستخدم يظل بحاجة لترجمتها إلى ضغط VRAM وتسرب الذاكرة وسرعة الرموز على عتاده المحدد.

تجمع CIRI اكتشاف العتاد وكتالوج النماذج وبيانات الاختبار وسلسلة تنبؤ شفافة في واجهة طرفية متعددة المنصات.

SYSTEM ARCHITECTURE

هوية PCI أولاً ثم أدوات المزود ثم مطابقة ضبابية مطبّعة مع حمل مستوى الثقة في النتيجة.

يستخدم التوافق الأكبر بين VRAM في الكتالوج وحجم الأوزان المحسوب ويضيف هامش 10٪ ويعالج ذاكرة Apple الموحدة منفصلة.

تفضل تقديرات السرعة اختباراً مطابقاً ثم تحجيم عائلة المعمارية ثم تخميناً واضحاً للعرض والحوسبة.

OPEN SOURCE

CIRI مرخصة بـMIT وبياناتها مضمنة في الملف التنفيذي، لذلك يعمل المسار الأساسي بلا خدمة مستضافة.

go install github.com/cezaryt5/ciri/cmd/ciri@v1.0.0