با یک لپ‌تاپ قدیمی هم می‌توان بسیاری از کارهای هوش مصنوعی را انجام داد؛ حتی اگر دستگاه کارت گرافیک قدرتمندی نداشته باشد. تبدیل فایل‌های صوتی به متن، خلاصه‌سازی اسناد، مرتب‌سازی عکس‌ها و ساخت کتاب صوتی از جمله کارهایی هستند که می‌توان با ابزارهای هوش مصنوعی محلی انجام داد. کافی است سخت‌افزار مناسبی داشته باشید و برای پردازش‌های سنگین‌تر، زمان بیشتری در نظر بگیرید.

اجرای هوش مصنوعی به‌صورت محلی چند مزیت مهم دارد: فایل‌های شخصی لازم نیست برای پردازش به سرویس‌های ابری فرستاده شوند، هزینه استفاده از API کاهش پیدا می‌کند و محدودیت‌های تعداد درخواست سرویس‌های آنلاین نیز مطرح نخواهد بود. البته سرعت اجرا به پردازنده، مقدار RAM، نوع مدل و حجم اطلاعات بستگی دارد.

اجرای مدل‌های زبانی بزرگ به‌صورت محلی فقط به تعداد پارامترهای مدل بستگی ندارد. مقدار VRAM، اندازه پنجره متنی، نوع کوانتایز و میزان لایه‌هایی که روی کارت گرافیک اجرا می‌شوند، همگی روی سرعت و کاربردپذیری مدل تأثیر دارند. به همین دلیل ممکن است مدلی روی کاغذ «قابل اجرا» باشد اما در عمل به‌قدری کند شود که استفاده از آن آزاردهنده باشد.

برای کارت‌هایی با ۸ گیگابایت VRAM، اجرای یک مدل بزرگ‌تر همیشه بهترین راه‌حل نیست. یک روش کاربردی این است که به‌جای تلاش برای اجرای مدل ۸B یا بزرگ‌تر، دو مدل کوچک‌تر را با وظایف متفاوت اجرا کنیم. در llama.cpp می‌توان چند سرور را با پورت‌های متفاوت اجرا کرد و هرکدام را در یک تب مرورگر باز نگه داشت. خود llama.cpp نیز در نسخه‌های جدید امکان اجرای چند مدل از طریق حالت Router را فراهم کرده است.

بسیاری تصور می‌کنند اجرای مدل‌های زبانی بزرگ یا LLM به کارت گرافیک قدرتمند نیاز دارد. این تصور برای مدل‌های بزرگ تا حدی درست است، اما دنیای هوش مصنوعی محلی به مدل‌های حجیم محدود نمی‌شود. مدل‌های کوچک و کم‌مصرفی وجود دارند که می‌توانند روی لپ‌تاپ‌های معمولی بسیاری از کارهای کاربردی را انجام دهند.

اگر لپ‌تاپ یا کامپیوتر قدیمی نسبتاً جدیدی با حداقل ۸ گیگابایت رم دارید، می‌توانید از مدل‌های سبک برای پروژه‌هایی مانند جست‌وجوی هوشمند در اسناد، تولید توضیح برای تصاویر، خلاصه‌سازی متن و پردازش اطلاعات استفاده کنید. در چنین پروژه‌هایی حتی اگر سرعت تولید به چند توکن در ثانیه محدود شود، لزوماً مشکل بزرگی ایجاد نمی‌کند؛ زیرا بسیاری از این کارها به صورت دسته‌ای و در پس‌زمینه انجام می‌شوند.