عامل‌های هوش مصنوعی مانند Hermes به فایل‌ها، پیام‌رسان‌ها و ابزارها دسترسی دارند؛ به همین دلیل امنیت عامل‌های هوش مصنوعی اهمیت ویژه‌ای دارد.
۱. Prompt Injection
متن‌های مخرب داخل صفحات وب یا ایمیل‌ها می‌توانند عامل را به انجام کارهای ناخواسته وادار کنند. محتوای خارجی را همیشه «داده» بدانید نه «دستور».
۲. دسترسی بیش از حد
اصل کمترین دسترسی را رعایت کنید و فقط ابزارهای لازم را فعال کنید.
۳. نشت اطلاعات
کلیدهای API و داده‌های حساس را داخل پرامپت نگذارید و از متغیرهای محیطی و Vault استفاده کنید.
۴ تا ۶. اجرای کد، زنجیره تأمین و لاگ
اجرای کد را در Sandbox انجام دهید، افزونه‌های ناشناس نصب نکنید و تمام اقدامات عامل را ثبت و بازبینی کنید.
جمع‌بندی
عامل‌های متن‌باز قدرتمندند، اما بدون محدودیت و نظارت می‌توانند ریسک‌زا باشند.
منابع: OWASP، The Next Web
منبع تصویر شاخص: Wikimedia Commons (Victorgrigas – CC BY-SA 3.0) — تصویر آرشیوی/مرتبط با موضوع
