تبدیل فایل صوتی جلسه، مصاحبه، کلاس یا یادداشت صوتی به متن دیگر الزاماً به سرویسهای آنلاین نیاز ندارد. با استفاده از Whisper میتوان فرایند تبدیل صدا به متن را روی خود کامپیوتر انجام داد و فایل صوتی را برای پردازش به یک سرویس ابری ارسال نکرد. این روش بهخصوص برای فایلهایی که حاوی اطلاعات کاری، شخصی یا محرمانه هستند، کاربردی است.
Whisper یک مدل تشخیص گفتار از OpenAI است که از زبانهای مختلف پشتیبانی میکند و علاوه بر تبدیل گفتار به متن، امکان ترجمه گفتار به انگلیسی را نیز دارد. نسخههای مختلف این مدل از مدل بسیار سبک Tiny تا مدلهای بزرگتر عرضه شدهاند و انتخاب مدل مستقیماً روی سرعت، مصرف حافظه و کیفیت خروجی تأثیر میگذارد.
چرا تبدیل صدا به متن با Whisper به صورت آفلاین مهم است؟
وقتی فایل صوتی را به یک سرویس آنلاین میفرستید، فایل برای پردازش از کامپیوتر شما خارج میشود. در مقابل، اجرای محلی Whisper امکان پردازش فایل روی خود دستگاه را فراهم میکند. پس از دانلود مدل و آمادهسازی نرمافزار، برای تبدیل فایلهای صوتی موجود روی کامپیوتر نیازی به ارسال آنها به سرورهای ابری ندارید.
این موضوع برای جلسات کاری، مصاحبهها، فایلهای صوتی مشتریان، اطلاعات داخلی شرکت و سایر فایلهای محرمانه اهمیت بیشتری دارد. البته آفلاین بودن Whisper به تنهایی امنیت کامپیوتر را تضمین نمیکند و اگر سیستم یا نرمافزارهای مورد استفاده آلوده باشند، اطلاعات همچنان ممکن است در معرض خطر قرار بگیرند.
یکی از مزیتهای دیگر اجرای محلی این است که پس از دریافت مدل، برای هر فایل جدید نیاز به حساب کاربری یا کلید API ندارید. این موضوع برای کسانی که مرتباً فایلهای صوتی طولانی پردازش میکنند نیز میتواند هزینه و محدودیت سرویسهای آنلاین را کاهش دهد.
Whisper چیست و کدام مدل برای تبدیل صدا به متن مناسب است؟
Whisper یک سیستم تشخیص خودکار گفتار است که توسط OpenAI توسعه داده شده و برای تبدیل گفتار به متن و ترجمه گفتار طراحی شده است. مدلهای آن در اندازههای مختلف ارائه شدهاند؛ مدلهای کوچکتر حافظه و توان پردازشی کمتری نیاز دارند و مدلهای بزرگتر معمولاً کیفیت بالاتری ارائه میکنند.
مدلهای Whisper در اندازههای مختلفی مانند Tiny و Base و Small و Medium و Large ارائه میشوند و نسخه Turbo نیز برای اجرای سریعتر در دسترس است. نکته مهم این است که مدل Turbo برای ترجمه گفتار به انگلیسی آموزش داده نشده است. اگر هدف شما ترجمه گفتار غیرانگلیسی به انگلیسی باشد، بهتر است از مدلهای چندزبانه مانند Medium یا Large استفاده کنید.
برای یک کامپیوتر معمولی، مدلهای کوچکتر میتوانند نقطه شروع مناسبی باشند. اگر کیفیت متن اهمیت بیشتری دارد و سختافزار قدرتمندی در اختیار دارید، میتوانید سراغ مدلهای بزرگتر بروید. در عمل بهتر است ابتدا یک فایل کوتاه را با چند مدل آزمایش کنید و سرعت و کیفیت خروجی را با نیاز خود مقایسه کنید.
اجرای Whisper با whisper.cpp روی کامپیوتر
یکی از روشهای کاربردی برای اجرای Whisper به صورت محلی، استفاده از whisper.cpp است. این پروژه پیادهسازی Whisper با زبان C و C++ محسوب میشود و برای سیستمهای مختلف از جمله ویندوز، مکاواس، لینوکس و حتی برخی دستگاههای موبایل بهینه شده است. whisper.cpp از پردازش CPU پشتیبانی میکند و برای سختافزارهای مختلف، از جمله Apple Silicon و کارتهای گرافیک NVIDIA نیز بهینهسازیهایی دارد.
یکی از مزیتهای whisper.cpp این است که برای اجرای مدل به یک محیط سنگین پایتون نیاز ندارید. مدلهای تبدیلشده به قالب GGML را میتوان دریافت کرد و سپس فایل صوتی را مستقیماً با ابزار خط فرمان پردازش کرد. پروژه رسمی نیز نمونهای برای اجرای فایل صوتی با whisper-cli ارائه کرده است.
برای فایلهایی که فرمت آنها مستقیماً توسط ابزار مورد استفاده پشتیبانی نمیشود، میتوان از FFmpeg برای تبدیل صدا استفاده کرد. whisper.cpp در برخی حالتها امکان استفاده از FFmpeg برای پشتیبانی از فرمتهای صوتی بیشتر را نیز فراهم میکند.
تبدیل فایل صوتی به متن با Whisper چه خروجیهایی دارد؟
Whisper میتواند علاوه بر متن ساده، خروجیهایی شامل زمانبندی جملهها نیز ایجاد کند. این قابلیت برای ساخت زیرنویس و ویرایش ویدیو کاربرد زیادی دارد.
فرمتهایی مانند TXT برای متن ساده و SRT یا VTT برای زیرنویس مناسب هستند. فایلهای دارای زمانبندی به شما اجازه میدهند متن تولیدشده را با زمان دقیق پخش صوت یا ویدیو هماهنگ کنید.
اگر هدف فقط خواندن متن جلسه باشد، خروجی TXT سادهتر است. برای ویدیوهایی که قرار است زیرنویس شوند، SRT یا VTT کاربرد بیشتری دارد. whisper.cpp نیز نمونههایی برای تولید خروجیهای زمانبندیشده ارائه میکند.
سرعت تبدیل فایل صوتی با Whisper چقدر است؟
سرعت Whisper عدد ثابتی نیست و به مدل انتخابشده، پردازنده، کارت گرافیک، طول فایل و تنظیمات اجرا بستگی دارد. مدلهای کوچکتر معمولاً سریعتر هستند و مدلهای بزرگتر برای رسیدن به کیفیت بالاتر به منابع بیشتری نیاز دارند.
روی کامپیوترهای جدید، بهخصوص دستگاههایی که از Apple Silicon یا شتابدهندههای مناسب استفاده میکنند، اجرای محلی میتواند بسیار سریع باشد. whisper.cpp نیز برای Apple Silicon بهینهسازی شده و از قابلیتهایی مانند Metal و Accelerate استفاده میکند.
بنابراین برای یک فایل دو ساعته نمیتوان بدون آزمایش، زمان مشخصی اعلام کرد. اگر سرعت برای شما اهمیت زیادی دارد، بهتر است ابتدا مدلهای کوچکتر یا نسخه Turbo را آزمایش کنید. اگر دقت مهمتر است، مدل بزرگتر میتواند انتخاب مناسبتری باشد؛ البته هزینه آن مصرف بیشتر منابع و زمان پردازش بالاتر است.
آیا Whisper برای فارسی هم مناسب است؟
Whisper چندزبانه است و میتواند زبان گفتار را تشخیص دهد. بنابراین برای فایلهای فارسی نیز قابل استفاده است. با این حال، کیفیت خروجی فارسی به مدل انتخابشده، کیفیت ضبط، وضوح گفتار، نویز محیط و نوع صحبت کردن افراد بستگی دارد.
برای جلسههایی که چند نفر صحبت میکنند، صدای واضح و نزدیک به میکروفون معمولاً نتیجه بهتری ایجاد میکند. صدای پسزمینه، صحبت همزمان چند نفر و نامهای خاص میتوانند باعث افزایش خطا شوند.
اگر فایل شما فارسی است، بهتر است ابتدا بخشی کوتاه از آن را با مدل مورد نظر آزمایش کنید. در صورتی که نام افراد، اصطلاحات تخصصی یا کلمات انگلیسی زیادی در فایل وجود داشته باشد، بررسی دستی متن نهایی همچنان ضروری است.
Whisper چه زمانی انتخاب مناسبی است؟
Whisper زمانی ارزش بیشتری دارد که حریم خصوصی، پردازش آفلاین و کنترل روی فایلها برای شما اهمیت داشته باشد. بعد از دانلود مدل، فایل صوتی میتواند روی کامپیوتر پردازش شود و نتیجه نیز همانجا ذخیره شود.
در مقابل، اگر به بالاترین کیفیت ممکن در تشخیص نامها، علامتگذاری ویرایشی یا قابلیتهای پیشرفته مدیریت جلسات نیاز دارید، سرویسهای آنلاین ممکن است امکانات بیشتری ارائه کنند. اجرای محلی الزاماً به معنی دقیقتر بودن Whisper در تمام شرایط نیست؛ مزیت اصلی آن کنترل بیشتر روی فرایند و دادهها است.
در نتیجه، برای کاربری که میخواهد فایلهای صوتی جلسات، مصاحبهها یا فایلهای شخصی را بدون ارسال به سرویس ابری به متن تبدیل کند، Whisper همراه با whisper.cpp یک راهکار قابل استفاده است. این روش روی ویندوز، مکاواس و لینوکس قابل اجرا است و با انتخاب مدل مناسب میتوان میان سرعت، مصرف منابع و کیفیت متن تعادل ایجاد کرد.
سیارهی آیتی