برچسب VRAM

همه اخبار و مقالات مرتبط با VRAM در control30

۲ خبر

ماژول‌های حافظه رم؛ تصویر آرشیوی
هوش مصنوعی

حافظه یکپارچه چیست؟ چرا برای اجرای مدل‌های هوش مصنوعی مهم است

حافظه‌ی یکپارچه (Unified Memory) یعنی CPU و GPU از یک مخزن حافظه‌ی مشترک استفاده می‌کنند. همین ویژگی باعث شده سیستم‌هایی مانند NVIDIA DGX Spark با ۱۲۸ گیگابایت حافظه، برای اجرای مدل‌های بزرگ هوش مصنوعی جذاب باشند. تفاوت با VRAM جداگانه در سیستم‌های معمولی مدل باید در VRAM کارت گرافیک جا شود که معمول

کارت گرافیک رایانه برای اجرای مدل‌های هوش مصنوعی
هوش مصنوعی

اجرای مدل زبانی روی کامپیوتر خانگی؛ رم و کارت گرافیک لازم

اجرای مدل زبانی بزرگ (LLM) روی کامپیوتر خانگی دیگر فقط کار دیتاسنترها نیست، اما اینکه چه مقدار رم و VRAM لازم دارید به اندازه‌ی مدل و نوع کوانتیزه‌سازی بستگی دارد. قاعده سرانگشتی حافظه حافظه‌ی مورد نیاز تقریباً برابر تعداد پارامترها ضرب در اندازه‌ی هر وزن است. مدل ۷ میلیارد پارامتری با دقت ۴ بیتی حد