الذكاء الاصطناعي التوليدي على خوادمك أنت: كم من ذاكرة GPU يحتاج نموذج لغوي خاص

لتشغيل نموذج ذكاء اصطناعي توليدي (GenAI) على خوادمك أنت، اجمع أمرين: أوزان النموذج، والذاكرة التي تشغلها الطلبات التي يجيب عنها في اللحظة نفسها. وبالدقة المعتادة البالغة 16 بت، تحتاج الأوزان إلى نحو 2 GB من ذاكرة GPU لكل مليار معامل، فيحتاج نموذج من 32.8 مليار معامل إلى نحو 66 GB قبل أن يجيب أحدًا. ثم يضيف كل طلب ذاكرة بنسبة طوله، وهذا الجزء هو الذي يحدد عدد الطلبات التي يستطيع الخادم معالجتها في وقت واحد.

ما الذي يشغل ذاكرة GPU حين يعمل نموذج لغوي؟

يعمل النموذج اللغوي عادةً على وحدات GPU، وهي معالجات صُمّمت لنوع الحسابات التي تجريها النماذج، ويجب أن يبقى النموذج في ذاكرة وحدات GPU نفسها طوال عمله. وتحتوي هذه الذاكرة على:

• الأوزان، وهي الأرقام التي تعلّمها النموذج في التدريب، تُحمَّل مرة واحدة وتبقى هناك
• ذاكرة KV المؤقتة، وهي ذاكرة العمل التي يحتفظ بها النموذج لكل طلب يجيب عنه
• مساحة عمل لبرنامج تقديم النموذج

تصبح الأوزان ثابتة بمجرد أن تختار نموذجًا ودقة. أما ذاكرة KV المؤقتة فتكبر مع عدد الطلبات التي يُجاب عنها في الوقت نفسه ومع أطوالها. ويمكن حساب الاثنين قبل أن تشتري أي شيء.

كم من الذاكرة تشغل أوزان النموذج؟

يُقاس حجم النموذج بعدد معاملاته، والدقة هي عدد البتات المستخدمة لتخزين كل معامل. ويلاحظ دليل Hugging Face لتشغيل النماذج بكفاءة، الذي جرى الاطلاع عليه في 27 أكتوبر 2026، أن «كل النماذج تقريبًا تُدرَّب اليوم بصيغة bfloat16»، وهي صيغة من 16 بت يشغل فيها المعامل 2 بايت. وقاعدته التقريبية: «تحميل أوزان نموذج من X مليار معامل يتطلب تقريبًا 2 * X GB من VRAM بدقة bfloat16/float16»، وVRAM هي ذاكرة وحدة GPU.

ومثال الدليل نفسه هو Llama 2 70B، بنحو 140 GB للأوزان وحدها. أما Qwen3-32B، وهو نموذج مفتوح الأوزان صدر بترخيص Apache 2.0، فيضم 32.8 مليار معامل بحسب بطاقة النموذج، فتشغل أوزانه نحو 66 GB. ومعنى «مفتوح الأوزان» أن صانعه ينشر ملفات النموذج ليشغّلها أي أحد.

التكميم يخزّن الأوزان بعدد أقل من البتات. فبـ 8 بت يشغل المعامل بايتًا واحدًا، وبـ 4 بت نصف بايت، فيحتاج النموذج نفسه إلى نحو 33 GB أو إلى ما يزيد قليلًا على 16 GB. وينشر فريق Qwen نسخة بـ 8 بت هي Qwen3-32B-FP8.

يقول دليل Hugging Face إن الأوزان «يمكن تكميمها إلى 8 بت أو 4 بت من دون خسارة كبيرة في الأداء». ويحذّر أيضًا من أن التكميم إلى 4 بت «قد يؤدي في الممارسة كثيرًا إلى نتائج مختلفة» عن 8 بت أو 16 بت، ويضيف: «الأمر متروك للمستخدم ليجرّب». فمرّر أسئلة الاختبار الخاصة بك على أي نسخة مضغوطة قبل أن تعتمد عليها.

كم من الذاكرة يضيف كل طلب؟

بينما يكتب النموذج إجابة، يحتفظ بقيم لكل token قرأه وكتبه حتى الآن، حتى لا يضطر إلى حسابها من جديد مع كل كلمة جديدة. والـ token جزء من كلمة. وهذه القيم المحفوظة هي ذاكرة KV المؤقتة، اختصارًا لـ key-value cache. وفي منشور عام 2023 لصانعي vLLM، وهو برنامج مفتوح المصدر لتقديم النماذج، يُذكر أن هذه الذاكرة «تشغل ما يصل إلى 1.7 GB لتسلسل واحد في LLaMA-13B».

يمكنك حساب الحجم لنموذجك أنت من إعداداته المنشورة. فلكل token تحفظ الذاكرة المؤقتة مجموعتين من الأرقام، المفاتيح والقيم، لكل طبقة. ويضم Qwen3-32B أربعًا وستين طبقة، ويحتفظ في ذاكرته المؤقتة بثمانية رؤوس انتباه في كل منها 128 رقمًا، بحسب بطاقة النموذج وملف إعداداته. وبواقع 2 بايت للرقم، يكون الناتج 2 × 64 × 8 × 128 × 2 بايت، أي نحو 262 KB لكل token.

ولذلك فإن طلبًا من 8,000 token، مثل سؤال طويل مع مقاطع عُثر عليها في مستنداتك إضافة إلى الإجابة، يشغل نحو 2.1 GB إلى أن تكتمل الإجابة. أما السياق الأصلي الكامل للنموذج، البالغ 32,768 token، فيشغل نحو 8.6 GB.

احسب الطلبات التي يُجاب عنها في اللحظة نفسها، لا الأشخاص الذين لديهم صلاحية الوصول. فالموظفون الذين يستخدمون مساعدًا يقضون معظم وقتهم في قراءة الإجابات وكتابة الأسئلة، بينما يستطيع نظام يعالج تراكمًا من المستندات أن يُبقي كل وحدة GPU مشغولة طوال الليل.

كم وحدة GPU يعني ذلك؟

تأتي وحدات GPU لمراكز البيانات بكمية ثابتة من الذاكرة. وتذكر صفحات مواصفات Nvidia، التي جرى الاطلاع عليها في اليوم نفسه، 80 GB لوحدة H100 في نسختها SXM و94 GB في نسختها NVL، و141 GB لوحدة H200، و48 GB لوحدة L40S.

يترك برنامج تقديم النموذج جزءًا من كل وحدة GPU فارغًا. وتصف وثائق vLLM الإعداد الخاص بذلك بأنه «نسبة ذاكرة GPU التي يستخدمها منفّذ النموذج»، وتذكر 0.92 قيمةً افتراضية في نسختها الحالية. وعلى وحدة H100 NVL واحدة بسعة 94 GB، يعني هذا نحو 86 GB. وتشغل أوزان Qwen3-32B بـ 16 بت نحو 66 GB منها. ويبقى نحو 21 GB لذاكرة KV المؤقتة ولبقية ذاكرة عمل البرنامج، وهذا يتسع لأقل من عشرة طلبات من 8,000 token في اللحظة نفسها.

ومع الأوزان بـ 8 بت يبقى نحو 54 GB، وهذا يكفي لنحو 25 طلبًا من هذا النوع. أما على وحدة H100 بسعة 80 GB، فتترك الأوزان بـ 16 بت نحو 8 GB، أي مكانًا لأقل من أربعة طلبات.

حين لا تتسع الأوزان على وحدة GPU واحدة، يُقسَّم النموذج على عدة وحدات GPU في الخادم نفسه. وتقول وثائق vLLM: «إذا كان النموذج أكبر من أن يتسع على وحدة GPU واحدة لكنه يتسع على عقدة واحدة فيها عدة وحدات GPU، فاستخدم توازي الموترات»، وهو اسمها لهذا التقسيم. ونموذج من 70 مليار معامل بدقة 16 بت لا يتسع على وحدة GPU واحدة بسعة 94 GB، وعلى وحدتين منها يبقى نحو 33 GB للطلبات.

تخبرك هذه الأرقام هل يتسع النموذج أم لا. أما سرعة إجابته فتتوقف على وحدات GPU وطول الإجابات والحمل، ولا يكشف ذلك إلا اختبار على طلباتك أنت.

هل نستأجر وحدات GPU في السحابة أم نشتري خوادم؟

الاستئجار أولًا طريقة أرخص لمعرفة ما تحتاجه. وتعطي قائمة أسعار Microsoft العامة لـ Azure، التي جرى الاطلاع عليها في اليوم نفسه، هذه الأسعار للدفع حسب الاستخدام لأجهزة Linux الافتراضية في منطقة East US:

• وحدة H100 NVL واحدة بسعة 94 GB (Standard_NC40ads_H100_v5): 6.98 دولار في الساعة، أي نحو 5,100 دولار لشهر من 730 ساعة
• وحدتا H100 NVL بسعة 94 GB لكل منهما (Standard_NC80adis_H100_v5): 13.96 دولار في الساعة، أي نحو 10,200 دولار في الشهر
• ثماني وحدات H100 بسعة 80 GB لكل منها (Standard_ND96isr_H100_v5): 98.32 دولار في الساعة، أي نحو 71,800 دولار في الشهر

هذه أسعار القائمة للدفع بالساعة، أما السعة المحجوزة فتُباع بشروط أخرى. والأسعار تتغير، فاطلب عروض أسعار من أكثر من مزوّد للإعداد الذي تقودك إليه اختباراتك.

تكون الخوادم الخاصة منطقية حين يكون الحمل مستقرًا وتعرف أي نموذج ستشغّل، أو حين تفرض قواعدك أن يبقى العتاد داخل مبناك. وعندئذ تشمل الكلفة الأشخاص الذين يُبقون هذه الخوادم تعمل، وهو ما تتناوله المقالة عن تشغيل نظام LLM من دون فريق تعلّم آلي.

كيف نحدد حجم النظام لاستخدامنا نحن؟

• اختبر نموذجًا أو نموذجين مرشحين على أسئلة حقيقية من عملك، واحتفظ بالنموذج الذي تنجح إجاباته
• قدّر عدد الطلبات التي سيجيب عنها النظام في الوقت نفسه في ساعة ذروته، وطول الطلب المعتاد، محتسبًا السؤال وأي مقاطع يُعثر عليها في مستنداتك والإجابة
• احسب الذاكرة اللازمة للأوزان ولذاكرة KV المؤقتة كما سبق، واترك هامشًا
• استأجر وحدات GPU لبضعة أيام وأجرِ اختبار حمل بمطالباتك أنت عند تلك الذروة
• اشترِ السعة أو احجزها بعد انتهاء الاختبار

يتضمن vLLM أمرًا لهذا النوع من الاختبارات هو vllm bench serve. ويمكنه أن يُخرج المئينات لـ «ttft» و«tpot»، أي الزمن حتى أول token والزمن لكل token ناتج. وقرّر قبل الاختبار كم سينتظر موظفوك أولى كلمات الإجابة، واحكم على النتائج من ساعة الذروة.

من يستطيع إعداد ذلك؟

يستطيع فريق البنية التحتية لديك تشغيل خوادم GPU إن كان يتولى خوادم خاصة به أصلًا، ويمكن لمورّد العتاد أو السحابة أن يساعد في الأجهزة نفسها. أما ربط النموذج بمستنداتك وبتسجيل الدخول والصلاحيات، واختبار إجاباته، فهو عمل من يبني النظام حول النموذج.

ينبغي للشركة أو الفريق الذي توظّفه أن يُطلعك على الحساب: أي نموذج وأي دقة، وكم من الذاكرة يذهب إلى الأوزان وكم إلى ذاكرة KV المؤقتة، وأي حمل استخدمه الاختبار وماذا قاس. واطلب هذه الأرقام قبل أن توافق على ميزانية للعتاد.

أين موقع amBrain من ذلك؟

مشروع النماذج اللغوية الوحيد الذي تصفه amBrain علنًا هو التالي: «أوصلنا تكاملًا مع LLM إلى الإنتاج داخل محيط FinTech لدى أحد العملاء: استخراج إشعارات غير مهيكلة من الوسطاء ومنصات التداول وتطبيعها — إجراءات الشركات، وتغييرات الأدوات المالية والهامش — إلى سجلات مهيكلة يستهلكها نظام التداول».

هذه المقالة ليست دراسة حالة، ولا تصف أي عمل لعميل. ولا يقول السطر المقتبس أي نموذج يستخدم ذلك النظام، ولا على أي عتاد يعمل، ولا أين. والأرقام أعلاه حسابات من مواصفات وقوائم أسعار منشورة، لا قياسات من ذلك المشروع ولا من أي عمل آخر لـ amBrain.

الشركات والنماذج والمنتجات المذكورة هنا مستشهَد بها من صفحاتها المنشورة، ولا تدّعي المقالة أي علاقة بين amBrain وأي منها. ولا تذكر المقالة أسعارًا أو جداول زمنية أو شروطًا لـ amBrain.

تبني amBrain البرمجيات منذ عام 2019. وتعمل بثلاث صيغ: تسليم كامل، أو فريق مخصّص، أو مهندسون مدمجون في فريقك. أما في الملكية فسطرها هو: «يحتفظ العميل بالملكية الكاملة للمنتج وللكود، باستثناء مكوّناتنا القابلة لإعادة الاستخدام». وإن كانت amBrain في قائمتك المختصرة، فاطلب منها الحساب نفسه الذي تطلبه من أي شركة أخرى.