اجرای مدل زبانی بزرگ (LLM) روی کامپیوتر خانگی دیگر فقط کار دیتاسنترها نیست، اما اینکه چه مقدار رم و VRAM لازم دارید به اندازه‌ی مدل و نوع کوانتیزه‌سازی بستگی دارد.
قاعده سرانگشتی حافظه
حافظه‌ی مورد نیاز تقریباً برابر تعداد پارامترها ضرب در اندازه‌ی هر وزن است. مدل ۷ میلیارد پارامتری با دقت ۴ بیتی حدود ۴ تا ۵ گیگابایت، و مدل ۷۰ میلیاردی با همین دقت حدود ۴۰ گیگابایت حافظه می‌خواهد. علاوه بر آن، حافظه‌ی نهان توکن‌ها (KV cache) با طولانی‌تر شدن متن چند گیگابایت دیگر اضافه می‌کند.
سخت‌افزار پیشنهادی
برای مدل‌های ۷ تا ۸ میلیارد پارامتری، ۱۶ گیگابایت رم یا کارت گرافیک ۸ گیگابایتی کافی است. مدل‌های ۱۳ تا ۳۰ میلیاردی به ۲۴ تا ۳۲ گیگابایت نیاز دارند و مدل‌های ۷۰ میلیاردی به حافظه‌ی یکپارچه‌ی ۶۴ تا ۱۲۸ گیگابایتی یا چند کارت گرافیک.
حافظه‌ی یکپارچه چرا مهم است؟
در سیستم‌هایی مانند مک‌های اپل، AMD Ryzen AI Max و NVIDIA DGX Spark، CPU و GPU حافظه‌ی مشترک دارند؛ بنابراین مدل‌های بزرگ‌تر از VRAM یک کارت گرافیک معمولی هم اجرا می‌شوند. البته پهنای‌باند حافظه روی سرعت تولید توکن اثر مستقیم دارد.
ابزارهای ساده برای شروع
Ollama و LM Studio و llama.cpp رایج‌ترین ابزارهای اجرای محلی هستند. با دانلود یک مدل کوانتیزه‌شده‌ی GGUF می‌توانید در چند دقیقه اولین گفتگو را شروع کنید.
جمع‌بندی
گرانی رم باعث شده انتخاب مدل مناسب اهمیت بیشتری پیدا کند؛ قبل از خرید سخت‌افزار، با مدل‌های کوچک‌تر و کوانتیزه شروع کنید.
منابع: مستندات llama.cpp، Ollama
منبع تصویر شاخص: Wikimedia Commons (Benlisquare – CC BY-SA 4.0) — تصویر آرشیوی/مرتبط با موضوع
