LLM

اجرای دو مدل هوش مصنوعی محلی با llama.cpp روی کارت گرافیک ۸ گیگابایتی

اجرای مدل‌های زبانی بزرگ به‌صورت محلی فقط به تعداد پارامترهای مدل بستگی ندارد. مقدار VRAM، اندازه پنجره متنی، نوع کوانتایز و میزان لایه‌هایی که روی کارت گرافیک اجرا می‌شوند، همگی روی سرعت و کاربردپذیری مدل تأثیر دارند. به همین دلیل ممکن است مدلی روی کاغذ «قابل اجرا» باشد اما در عمل به‌قدری کند شود که استفاده از آن آزاردهنده باشد.

برای کارت‌هایی با ۸ گیگابایت VRAM، اجرای یک مدل بزرگ‌تر همیشه بهترین راه‌حل نیست. یک روش کاربردی این است که به‌جای تلاش برای اجرای مدل ۸B یا بزرگ‌تر، دو مدل کوچک‌تر را با وظایف متفاوت اجرا کنیم. در llama.cpp می‌توان چند سرور را با پورت‌های متفاوت اجرا کرد و هرکدام را در یک تب مرورگر باز نگه داشت. خود llama.cpp نیز در نسخه‌های جدید امکان اجرای چند مدل از طریق حالت Router را فراهم کرده است.

معرفی نرم‌افزار با قابلیت چت هوش مصنوعی بدون اتصال به اینترنت: Ollama

امروز مدل‌های هوش مصنوعی رایگان در اختیار عموم قرار گرفته و می‌توانید این مدل‌ها را دانلود کنید و برای کارهای مختلف از جمله کسب اطلاعات و جستجو، ترجمه، ویرایش یا ساخت عکس و ویدیو و آهنگسازی و غیره از آن استفاده کنید. بعضی از مدل‌ها حجم کمی دارد و امکانات و توانمندی‌ها محدودتر است و برخی دیگر، حجیم است و قابلیت‌های جالبی دارد. برای اجرای یک مدل زبانی بزرگ محلی یا Local LLM بهینه نیازی به یک سرور حرفه‌ای یا کامپیوتر گران‌قیمت و یا سیستم گیمینگ قدرتمند ندارید، شاید یک سیستم معمولی و ارزان نظیر یک لپ‌تاپ میان‌رده کافی باشد.

صرف‌نظر از لازمه‌های سخت‌افزاری، چیزی که بیش از همه مرا شگفت‌زده کرده، ساده و در دسترس شدن فرایند دانلود و نصب نرم‌افزار و مدل هوش مصنوعی است. تجربه‌ی من نشان می‌دهد که دیگر خبری از راه‌اندازی سرور، ایجاد محیط توسعه یا تبدیل رایانه به یک ایستگاه کاری پیچیده برای هوش مصنوعی نیست . تنها کافی بود یک برنامه نصب کنم، مدل موردنظر را انتخاب کنم و از یک مدل زبانی محلی برای انجام کارهای روزمره استفاده کنم. همین موضوع باعث شد نگاه من به هوش مصنوعی محلی کاملاً تغییر کند. اگر یک رایانه نسبتاً مناسب دارید و نصب نرم‌افزارهای معمول دسکتاپ برایتان کار دشواری نیست، دیگر لازم نیست از دور فقط به هوش مصنوعی محلی نگاه کنید؛ اکنون می‌توانید واقعاً از آن استفاده کنید.

نرم‌افزار معروف Ollama به راحتی نصب می‌شود و کار کردن با آن ساده‌تر از چیزی است که فکر می‌کنید. نیازی به وارد کردن دستورات پیچیده یا طی کردن مراحل پیچیده نصب و کانفیگ وجود ندارد. بنابراین این نرم‌افزار جایگزین خوبی برای ChatGPT و ربات‌های هوش مصنوعی امروزی است و می‌توانید بدون متصل شدن به اینترنت و با حفظ حریم خصوصی و امنیت، از آن در سیستم خودتان استفاده کنید.

آخرین دیدگاه‌ها
۲۰۰ دیدگاه و پاسخ آخر
لایسنس اورجینال ویندوز 11 بازی اندروید مود شده خرید سرور مجازی شاتل خانه هوشمند قیمت سرور استوک