برای دانلود سایت اینترنتی برنامه‌ها و روش‌های مختلفی وجود دارد ولیکن وبمسترها روش‌هایی برای مقابله با ربات‌هایی که می‌خواهند تمام صفحات سایت را دانلود کنند، در نظر می‌گیرند. در نتیجه گاهی دسترسی به فایل های یک سایت محدودیت دارد و نمی‌توان دانلود کامل سایت را به راحتی انجام داد.
اگر کاربر ویندوز هستید، در صورت فعال کردن WSL یا به عبارت دیگر زیرسیستم ویندوز برای لینوکس می‌توانید از دستور معروف wget استفاده کنید. کاربران لینوکس نیز می‌توانند این دستور را در ترمینال لینوکس اجرا کنند و صفحات سایت موردنظر را دانلود کنند.
در ادامه به نحوه کار با دستور wget در لینوکس و البته ویندوز می‌پردازیم. با ما باشید.
اگر به دنبال نرم افزار دانلود سایت به صورت کامل هستید، دقت کنید که برنامه‌های مختلفی برای این کار طراحی شده و هر یک نقاط قوت و ضعف خاصی دارد. دانلود WebCopy برای عموم کاربران مفید است و برنامه‌ای معروف و محبوب در این زمینه است. اما برنامه‌های دیگری نیز وجود دارد. به عنوان مثال اگر مقصود شما این باشد که فقط عکس‌های یک سایت را دانلود کنید، می‌توانید از برنامه‌ی مدیریت دانلود IDM در ویندوز استفاده کنید. در کنار دانلود کامل سایت با idm، امکان مشخص کردن پسوند فایل‌هایی که دانلود می‌شود نیز وجود دارد.
بعضی از کاربران وب نیازی به دانلود تمام صفحات سایت ندارند بلکه فقط یک یا چند صفحه را به صورت PDF برای پرینت کردن یا امور دیگر، نیاز دارند. برای دانلود صفحه وب به صورت pdf نیز روش‌ها و برنامه‌های مختلفی وجود دارد. به عنوان مثال در ویندوز می‌توانید صفحه موردنظر را باز کنید و کلید میانبر Ctrl + P را فشار دهید تا پنجره‌ی پرینت کردن ظاهر شود. سپس یکی از پرینترهایی که فایل PDF ایجاد می‌کند را انتخاب کنید و تنظیمات پرینت را بررسی کنید. در نهایت صفحه وب را به صورت پی‌دی‌اف پرینت کنید.
نحوه استفاده از wget برای دانلود سایت اینترنتی
همان‌طور که اشاره کردیم برای کار با دستور wget در ویندوز به فعال کردن WSL نیاز دارید. به علاوه پس از فعال کردن WSL می‌بایستی لینوکس اوبونتو را نصب کنید که ابزار wget به صورت پیش‌فرض روی آن نصب شده است.
در مورد سایر توزیعات لینوکس، ممکن است wget به صورت پیش‌فرض نصب نشده باشد. به عنوان مثال در Fedora نصب شده اما در توزیعاتی که مبتنی بر Arch Linux است، این ابزار نصب نشده است. در لپ تاپ و کامپیوترهای اپل نیز wget از طریق MacPorts در دسترس است.
قبل از اینکه سایتی را به کمک wget دانلود کنید، بهتر است راهنمای استفاده از دستور و آپشن‌های آن را بررسی کنید. برای این کار می‌توانید فرمان زیر را در ترمینال لینوکس اجرا کنید:
wget --help
طبعاً اگر خروجی دستور فوق این باشد که چنین دستور و ابزاری پیدا نشد! به این معنی است که wget نصب نشده است و لازم است ابتدا آن را نصب کنید.
برای دانلود کردن کامل تمام صفحات یک سایت، دقت کنید که فضای خالی هارددیسک یا SSD کم نباشد و سپس دستور زیر را اجرا کنید، البته فراموش نکنید که نام سایت را تغییر دهید:
wget -mpEk https://example.com
نکته‌ی جالب در مورد فرمان فوق این است که نه فقط صفحه‌ی موردنظر بلکه تمام لینک‌های موجود در آن صفحه را اسکن کرده و یکی‌یکی باز می‌کند و فایل‌ها را ذخیره می‌کند و در ادامه اسکن کردن لینک‌های صفحات داخلی و دانلود کردن صفحات انجام می‌شود. البته لینک خارجی یا به عبارت دیگر لینک به صفحات سایر سایت‌ها اسکن و باز نمی‌شود. بنابراین اگر سایتی دارای تعداد زیادی صفحه‌ی داخلی باشد، پس از اجرا کردن دستور wget به شکل فوق، لازم است که مدت زیادی صبر کنید تا تمام صفحات دانلود شود. البته اگر برنامه دیگری به عنوان نرم افزار دانلود سایت به صورت کامل استفاده کنید هم دانلود کامل صفحات سایت‌ها طولانی خواهد بود.
شاید در مورد آپشن‌های دستور wget که در فرمان فوق به کار رفته کنجکاو هستید، منظورمان mpEk است. معنی هر یک از آپشن‌های به کار رفته به صورت زیر است:
- -m برای کپی کردن سایت با حفظ برچسب زمانی فایل‌ها و صفحات و بی‌نهایت کردن عمق صفحات داخلی به کار می‌رود.
- -p برای دانلود تمام فایل‌های موجود در صفحه شامل عکس و ویدیو و فایل‌های CSS یا استایل و جاوااسکریپت کاربرد دارد.
- E برای تنظیم کردن پسوند فایل‌ها مطابق با آنچه از سرور دریافت شده، کاربرد دارد.
- -k لینک‌های موجود در صفحات ذخیره شده را تغییر داده و به صفحاتی که دانلود شده و روی دیسک ذخیره شده، ارجاع می‌دهد تا مرور کردن صفحات سایت در زمانی که به اینترنت دسترسی ندارید، ساده شود.
اما از کجا بفهمیم که دانلود کامل یک سایت با فرمان wget تکمیل شده است؟
علامت تکمیل شدن فرآیند، ظاهر شدن عبارتی شبیه به نمونه‌ی زیر است:
$ wget -mpEk https://example.com
فرمان wget آپشن‌های متنوع دیگری نیز دارد که برای اطلاع از آن می‌توانید راهنمای دستور wget را به دقت مطالعه کنید.
دانلود کامل یک صفحه سایت
دانلود کامل سایت کاربرد زیادی ندارد و در واقع بیشتر اوقات نیاز کاربران دانلود صفحه وب به صورت pdf یا فایل HTML معمولی است. برای این مواقع می‌توانید از دکمه‌ی Save مرورگر اینترنت استفاده کنید و نیازی به بهترین نرم افزار دانلود کامل سایت نیست. اما در عین حال می‌توانید از دستور wget استفاده کنید. دقت کنید که آپشن‌های p و k را پس از دستور وارد کنید. به نمونه‌ی زیر توجه کنید:
wget -pk https://example.com
دسترسی به فایل های یک سایت پس از دانلود با wget
اگر از WSL و زیرسیستم ویندوز برای لینوکس استفاده کرده باشید، فایل‌های مربوط به لینوکس در مسیر خاصی ذخیره می‌شود. می‌توانید مرورگر فایل را اجرا کنید و در ستون کناری به دنبال گزینه‌ی مربوط به WSL بگردید.
مسیر دقیق فایل‌های دانلود شده توسط ابزار wget بسته به توزیعی از لینوکس که نصب کرده‌اید، متفاوت است. به عنوان مثال اگر اوبونتو 22.04 را نصب کرده‌اید و نام کاربری شما USER است، به مسیر زیر مراجعه کنید:
\\wsl.localhost\Ubuntu-22.04\home\USER
در این آدرس فولدری که به سایت موردنظر مربوط است را پیدا خواهید کرد. البته حین اجرا کردن دستور wget نیز می‌توانید محل ذخیره شدن فایل‌ها را تغییر بدهید.
بهترین نرم افزار دانلود کامل سایت کدام است؟
انتخاب کردن بهترین برنامه برای دانلود کامل یک سایت نیاز به بررسی نوع استفاده و نیازهای کاربر دارد. اگر در حال جستجو کردن و تحقیق هستید و عبارت‌هایی نظیر دانلود کامل یک سایت+اندروید یا دانلود کامل یک سایت+آیفون را جستجو می‌کنید، با حوصله برنامه‌های مختلف را تست کنید و نگاهی به موارد زیر نیز داشته باشید:
- cURL که ابزار و دستوری قدرتمند و رایگان برای دانلود کامل سایت در لینوکس است.
- HTTrack نام یک برنامه ویندوزی برای دانلود کامل سایت است.
- Cyotek WebCopy دانلود WebCopy که نام کامل آن Cyotek WebCopy است هم برای دانلود کامل سایت اینترنتی توصیه می‌شود چرا که تنظیمات زیادی دارد و حتی می‌توانید نوع فایل‌هایی که دانلود می‌شود را محدود کنید.
- اگر برنامه‌نویس هستید و می‌خواهید اسکریپت یا برنامه‌ای تهیه کنید که کار آن دانلود کردن صفحات سایت‌ها باشد، دقت کنید که Scrapy و BeautifulSoup نام دو کتابخانه پایتون برای دانلود کامل سایت است.
- SiteSucker نیز برنامه‌ای برای کاربران macOS است. این برنامه در اپ استور اپل منتشر شده و با وجود رابط کاربری گرافیکی، یکی از برنامه‌های خوب در عرصه‌ی دانلود کامل سایت است.
- Webscrapbook نام افزونه‌ای است که برای گوگل کروم و همین‌طور موزیلا فایرفاکس منتشر شده و کار آن دانلود کردن کامل سایت برای مطالعه در مجالی دیگر است. به کمک این افزونه می‌توانید صفحات سایت‌ها را ویرایش کنید و همین‌طور علامت‌گذاری کنید.
- برنامه Offline Explorer نیز یک ابزار پولی برای دانلود کامل سایت است که شاید بهتر از اغلب نرم‌افزارهای دیگر باشد ولیکن دقت کنید که رایگان نیست.
اینکه wget را به عنوان بهترین نرم افزار دانلود کامل سایت انتخاب کنید یا خیر، بستگی به نیازها و نوع کاربری دارد. بعضی از کاربران لینوکس با توجه به سادگی و در دسترس بودن این ابزار، همواره از آن استفاده می‌کنند و سراغ سایر برنامه‌ها نمی‌روند. ولیکن برای دانلود سایت اینترنتی برنامه‌های متنوع دیگری نیز وجود دارد.
شما برای دانلود کامل سایت از چه روش یا برنامه‌ی خاصی استفاده می‌کنید؟
howtogeekسیاره‌ی آی‌تی