اجرای هوش مصنوعی روی آیفون بدون اینترنت دیگر محدود به برنامه‌های آزمایشی و مدل‌های بسیار ضعیف نیست. با پیشرفت مدل‌های زبانی کوچک، اکنون می‌توان بسیاری از کارها مانند خلاصه کردن متن، اصلاح نوشته‌ها، پاسخ به پرسش‌ها و حتی بررسی بعضی اسناد را مستقیماً روی گوشی انجام داد؛ بدون اینکه لازم باشد اطلاعات برای پردازش به سرورهای ابری ارسال شوند.

مهم‌ترین مزیت روی آیفون را بررسی می‌کنیم و توضیح می‌دهیم چگونه مدل مناسبی برای حافظه و قدرت پردازشی گوشی انتخاب کنید.

با یک لپ‌تاپ قدیمی هم می‌توان بسیاری از کارهای هوش مصنوعی را انجام داد؛ حتی اگر دستگاه کارت گرافیک قدرتمندی نداشته باشد. تبدیل فایل‌های صوتی به متن، خلاصه‌سازی اسناد، مرتب‌سازی عکس‌ها و ساخت کتاب صوتی از جمله کارهایی هستند که می‌توان با ابزارهای هوش مصنوعی محلی انجام داد. کافی است سخت‌افزار مناسبی داشته باشید و برای پردازش‌های سنگین‌تر، زمان بیشتری در نظر بگیرید.

اجرای هوش مصنوعی به‌صورت محلی چند مزیت مهم دارد: فایل‌های شخصی لازم نیست برای پردازش به سرویس‌های ابری فرستاده شوند، هزینه استفاده از API کاهش پیدا می‌کند و محدودیت‌های تعداد درخواست سرویس‌های آنلاین نیز مطرح نخواهد بود. البته سرعت اجرا به پردازنده، مقدار RAM، نوع مدل و حجم اطلاعات بستگی دارد.

تبدیل فایل صوتی جلسه، مصاحبه، کلاس یا یادداشت صوتی به متن دیگر الزاماً به سرویس‌های آنلاین نیاز ندارد. با استفاده از Whisper می‌توان فرایند تبدیل صدا به متن را روی خود کامپیوتر انجام داد و فایل صوتی را برای پردازش به یک سرویس ابری ارسال نکرد. این روش به‌خصوص برای فایل‌هایی که حاوی اطلاعات کاری، شخصی یا محرمانه هستند، کاربردی است.

Whisper یک مدل تشخیص گفتار از OpenAI است که از زبان‌های مختلف پشتیبانی می‌کند و علاوه بر تبدیل گفتار به متن، امکان ترجمه گفتار به انگلیسی را نیز دارد. نسخه‌های مختلف این مدل از مدل بسیار سبک Tiny تا مدل‌های بزرگ‌تر عرضه شده‌اند و انتخاب مدل مستقیماً روی سرعت، مصرف حافظه و کیفیت خروجی تأثیر می‌گذارد.

اجرای مدل‌های زبانی بزرگ به‌صورت محلی فقط به تعداد پارامترهای مدل بستگی ندارد. مقدار VRAM، اندازه پنجره متنی، نوع کوانتایز و میزان لایه‌هایی که روی کارت گرافیک اجرا می‌شوند، همگی روی سرعت و کاربردپذیری مدل تأثیر دارند. به همین دلیل ممکن است مدلی روی کاغذ «قابل اجرا» باشد اما در عمل به‌قدری کند شود که استفاده از آن آزاردهنده باشد.

برای کارت‌هایی با ۸ گیگابایت VRAM، اجرای یک مدل بزرگ‌تر همیشه بهترین راه‌حل نیست. یک روش کاربردی این است که به‌جای تلاش برای اجرای مدل ۸B یا بزرگ‌تر، دو مدل کوچک‌تر را با وظایف متفاوت اجرا کنیم. در llama.cpp می‌توان چند سرور را با پورت‌های متفاوت اجرا کرد و هرکدام را در یک تب مرورگر باز نگه داشت. خود llama.cpp نیز در نسخه‌های جدید امکان اجرای چند مدل از طریق حالت Router را فراهم کرده است.

بسیاری تصور می‌کنند اجرای مدل‌های زبانی بزرگ یا LLM به کارت گرافیک قدرتمند نیاز دارد. این تصور برای مدل‌های بزرگ تا حدی درست است، اما دنیای هوش مصنوعی محلی به مدل‌های حجیم محدود نمی‌شود. مدل‌های کوچک و کم‌مصرفی وجود دارند که می‌توانند روی لپ‌تاپ‌های معمولی بسیاری از کارهای کاربردی را انجام دهند.

اگر لپ‌تاپ یا کامپیوتر قدیمی نسبتاً جدیدی با حداقل ۸ گیگابایت رم دارید، می‌توانید از مدل‌های سبک برای پروژه‌هایی مانند جست‌وجوی هوشمند در اسناد، تولید توضیح برای تصاویر، خلاصه‌سازی متن و پردازش اطلاعات استفاده کنید. در چنین پروژه‌هایی حتی اگر سرعت تولید به چند توکن در ثانیه محدود شود، لزوماً مشکل بزرگی ایجاد نمی‌کند؛ زیرا بسیاری از این کارها به صورت دسته‌ای و در پس‌زمینه انجام می‌شوند.

برای مدت زیادی استفاده از دستیارهای هوش مصنوعی با یک مشکل آزاردهنده همراه بود. این ابزارها می‌توانستند بخش زیادی از کارها را انجام دهند، اما همچنان لازم بود کاربر دائماً بین محیط کاری اصلی و چت‌بات جابه‌جا شود.

به عنوان مثال، برای نوشتن پاسخ یک ایمیل معمولاً باید متن ایمیل را در ChatGPT یا Claude کپی کرد، توضیح داد که چه پاسخی موردنظر است، متن تولیدشده را اصلاح کرد و در نهایت آن را دوباره در Gmail قرار داد. هوش مصنوعی بخش اصلی کار را انجام می‌داد، اما همچنان یک واسطه میان هوش مصنوعی و ابزارهای کاری وجود داشت.

محصولاتی مانند Claude Cowork تا حد زیادی این مشکل را کاهش داده‌اند. با این حال، Rowboat رویکرد متفاوتی دارد و یک ویژگی مهم را به این مفهوم اضافه می‌کند: حافظه دائمی از محیط کاری کاربر.

Rowboat یک ابزار هوش مصنوعی متن‌باز است که می‌تواند ایمیل‌ها و جلسات و تقویم و یادداشت‌ها و پروژه‌ها و اطلاعات کاری را در یک محیط یکپارچه گردآوری کند و از این اطلاعات برای ایجاد زمینه‌ای پایدار در تعاملات بعدی بهره ببرد. در ادامه‌ی این مقاله از سیاره‌ی آی‌تی به ویژگی‌ها و توانمندی‌های Rowboat می‌پردازیم.