برچسب Ollama

همه اخبار و مقالات مرتبط با Ollama در control30

۲ خبر

لپ‌تاپ و کد؛ تصویر آرشیوی
نرم‌افزار

آموزش Ollama و LM Studio؛ اجرای مدل زبانی روی ویندوز و لینوکس

Ollama و LM Studio دو ابزار محبوب برای اجرای مدل‌های زبانی روی رایانه‌ی خودتان هستند؛ بدون ارسال داده به سرویس ابری. Ollama؛ خط فرمان ساده Ollama را نصب کنید و با یک دستور مدل را اجرا کنید، مثلاً ollama run llama3. مدل‌ها به‌صورت خودکار دانلود و مدیریت می‌شوند و API محلی هم در اختیار شماست. LM Studi

کارت گرافیک رایانه برای اجرای مدل‌های هوش مصنوعی
هوش مصنوعی

اجرای مدل زبانی روی کامپیوتر خانگی؛ رم و کارت گرافیک لازم

اجرای مدل زبانی بزرگ (LLM) روی کامپیوتر خانگی دیگر فقط کار دیتاسنترها نیست، اما اینکه چه مقدار رم و VRAM لازم دارید به اندازه‌ی مدل و نوع کوانتیزه‌سازی بستگی دارد. قاعده سرانگشتی حافظه حافظه‌ی مورد نیاز تقریباً برابر تعداد پارامترها ضرب در اندازه‌ی هر وزن است. مدل ۷ میلیارد پارامتری با دقت ۴ بیتی حد