Ollama و LM Studio دو ابزار محبوب برای اجرای مدل‌های زبانی روی رایانه‌ی خودتان هستند؛ بدون ارسال داده به سرویس ابری.
Ollama؛ خط فرمان ساده
Ollama را نصب کنید و با یک دستور مدل را اجرا کنید، مثلاً ollama run llama3. مدل‌ها به‌صورت خودکار دانلود و مدیریت می‌شوند و API محلی هم در اختیار شماست.
LM Studio؛ رابط گرافیکی
LM Studio امکان جست‌وجو و دانلود مدل‌های GGUF، چت و راه‌اندازی سرور محلی را از طریق رابط گرافیکی فراهم می‌کند و برای شروع کار ساده‌تر است.
نکته‌های سرعت
مدل کوانتیزه انتخاب کنید، از GPU استفاده کنید و اندازه‌ی مدل را با حافظه‌ی دستگاه متناسب نگه دارید.
جمع‌بندی
برای شروع، مدل کوچک ۷ تا ۸ میلیارد پارامتری را امتحان کنید و در صورت نیاز ارتقا دهید.
منابع: مستندات Ollama، LM Studio
منبع تصویر شاخص: Wikimedia Commons (Kristoferb at English Wikipedia – CC BY-SA 4.0) — تصویر آرشیوی/مرتبط با موضوع
