شاید دیده باشید یک چت‌بات منبعی ساختگی یا عددی نادرست را با لحن مطمئن ارائه کند. به این پدیده هالوسینیشن می‌گویند.
چرا رخ می‌دهد؟
مدل زبانی برای تولید متن «محتمل» ساخته شده، نه لزوماً «درست». وقتی اطلاعات کافی ندارد یا سؤال مبهم است، همچنان تلاش می‌کند پاسخی روان بسازد.
چطور احتمال آن را کم کنیم؟
- سؤال را دقیق و با زمینهٔ کافی بپرسید.
- از مدل بخواهید اگر مطمئن نیست بگوید و منبع بدهد.
- ارقام، نقل‌قول و لینک‌ها را همیشه مستقل بررسی کنید.
- از ابزارهایی استفاده کنید که پاسخ را به اسناد واقعی متصل می‌کنند (مثل RAG).
هوش مصنوعی ابزار قدرتمندی برای پیش‌نویس و ایده است؛ اما مسئولیت صحت نهایی با خود کاربر است.
