هوش مصنوعی
اجرای مدل زبانی روی کامپیوتر خانگی؛ رم و کارت گرافیک لازم
اجرای مدل زبانی بزرگ (LLM) روی کامپیوتر خانگی دیگر فقط کار دیتاسنترها نیست، اما اینکه چه مقدار رم و VRAM لازم دارید به اندازه‌ی مدل و نوع کوانتیزه‌سازی بستگی دارد. قاعده سرانگشتی حافظه حافظه‌ی مورد نیاز تقریباً برابر تعداد پارامترها ضرب در اندازه‌ی هر وزن است. مدل ۷ میلیارد پارامتری با دقت ۴ بیتی حد