اجرای هوش مصنوعی روی آیفون بدون اینترنت دیگر محدود به برنامه‌های آزمایشی و مدل‌های بسیار ضعیف نیست. با پیشرفت مدل‌های زبانی کوچک، اکنون می‌توان بسیاری از کارها مانند خلاصه کردن متن، اصلاح نوشته‌ها، پاسخ به پرسش‌ها و حتی بررسی بعضی اسناد را مستقیماً روی گوشی انجام داد؛ بدون اینکه لازم باشد اطلاعات برای پردازش به سرورهای ابری ارسال شوند.

مهم‌ترین مزیت روی آیفون را بررسی می‌کنیم و توضیح می‌دهیم چگونه مدل مناسبی برای حافظه و قدرت پردازشی گوشی انتخاب کنید.

با یک لپ‌تاپ قدیمی هم می‌توان بسیاری از کارهای هوش مصنوعی را انجام داد؛ حتی اگر دستگاه کارت گرافیک قدرتمندی نداشته باشد. تبدیل فایل‌های صوتی به متن، خلاصه‌سازی اسناد، مرتب‌سازی عکس‌ها و ساخت کتاب صوتی از جمله کارهایی هستند که می‌توان با ابزارهای هوش مصنوعی محلی انجام داد. کافی است سخت‌افزار مناسبی داشته باشید و برای پردازش‌های سنگین‌تر، زمان بیشتری در نظر بگیرید.

اجرای هوش مصنوعی به‌صورت محلی چند مزیت مهم دارد: فایل‌های شخصی لازم نیست برای پردازش به سرویس‌های ابری فرستاده شوند، هزینه استفاده از API کاهش پیدا می‌کند و محدودیت‌های تعداد درخواست سرویس‌های آنلاین نیز مطرح نخواهد بود. البته سرعت اجرا به پردازنده، مقدار RAM، نوع مدل و حجم اطلاعات بستگی دارد.

تبدیل فایل صوتی جلسه، مصاحبه، کلاس یا یادداشت صوتی به متن دیگر الزاماً به سرویس‌های آنلاین نیاز ندارد. با استفاده از Whisper می‌توان فرایند تبدیل صدا به متن را روی خود کامپیوتر انجام داد و فایل صوتی را برای پردازش به یک سرویس ابری ارسال نکرد. این روش به‌خصوص برای فایل‌هایی که حاوی اطلاعات کاری، شخصی یا محرمانه هستند، کاربردی است.

Whisper یک مدل تشخیص گفتار از OpenAI است که از زبان‌های مختلف پشتیبانی می‌کند و علاوه بر تبدیل گفتار به متن، امکان ترجمه گفتار به انگلیسی را نیز دارد. نسخه‌های مختلف این مدل از مدل بسیار سبک Tiny تا مدل‌های بزرگ‌تر عرضه شده‌اند و انتخاب مدل مستقیماً روی سرعت، مصرف حافظه و کیفیت خروجی تأثیر می‌گذارد.

بسیاری تصور می‌کنند اجرای مدل‌های زبانی بزرگ یا LLM به کارت گرافیک قدرتمند نیاز دارد. این تصور برای مدل‌های بزرگ تا حدی درست است، اما دنیای هوش مصنوعی محلی به مدل‌های حجیم محدود نمی‌شود. مدل‌های کوچک و کم‌مصرفی وجود دارند که می‌توانند روی لپ‌تاپ‌های معمولی بسیاری از کارهای کاربردی را انجام دهند.

اگر لپ‌تاپ یا کامپیوتر قدیمی نسبتاً جدیدی با حداقل ۸ گیگابایت رم دارید، می‌توانید از مدل‌های سبک برای پروژه‌هایی مانند جست‌وجوی هوشمند در اسناد، تولید توضیح برای تصاویر، خلاصه‌سازی متن و پردازش اطلاعات استفاده کنید. در چنین پروژه‌هایی حتی اگر سرعت تولید به چند توکن در ثانیه محدود شود، لزوماً مشکل بزرگی ایجاد نمی‌کند؛ زیرا بسیاری از این کارها به صورت دسته‌ای و در پس‌زمینه انجام می‌شوند.