حذف صفحات ایندکس‌شده از گوگل و حل مشکل کاهش بازدید سایت

یکی از راه‌های افزایش ترافیک و بازدید سایت این است که از روش‌های مختلف کاری کنید که گوگل سریع‌تر سایت را اندیس‌گذاری یا Index کند. اما متأسفانه اگر محتوا و سئوی سایتی خوب نباشد یا به دلایلی گوگل پنالتی برای آن در نظر بگیرد، صفحات ایندکس شده، از ایندکس خارج می‌شوند.

حل مشکل Deindex شدن صفحات سایت برای افزایش بازدیدکنندگان و بازگشت به شرایط سابق ضروری است و برای این کار باید به علت اصلی خروج از اندیس‌گذاری توجه کنیم. در ادامه به موضوع اندیس‌گذاری مطالب سایت‌ها و راه حل‌هایی برای مشکل deindex شدن برخی مطالب، اشاره خواهیم کرد. با سیاره‌ی آی‌تی همراه شوید تا SEO و ترافیک سایت خود را بهینه کنید.

بله، همان طور که گوگل مرتباً به سایت شما سر می‌زند و در واقع ربات‌های گوگل تمام صفحات و لینک‌ها را Crawl‌ می‌کنند تا اندیس‌گذاری تکمیل و آپدیت شود، ممکن است عکس این موضوع هم اتفاق بیافتد! به این ترتیب مطالب شما در نتایج جست‌وجو نمایش داده نمی‌شود و ناگهان متوجه می‌شوید که ترافیک ورودی از موتورهای جست‌وجو یا اصطلاحاً ترافیک ارگانیک سایت، کم شده است!

این موضوع برای سایت‌های شرکتی و شخصی مهم نیست و همین‌طور سایتی که ورودی‌های آن مستقیم یا از طریق لینک‌ها در سایت‌های دیگر هستند، چندان موضوع مهمی محسوب نمی‌شود اما برای سایتی که مبتنی بر محتواست و درآمدزایی آن بر اساس بازاریابی محتواست، ترافیک ارگانیک بسیار مهم است.

چگونه تعداد صفحات ایندکس‌شده سایت را مشاهده و بررسی کنیم؟

سه روش ساده برای این کار وجود دارد. روش اول که ساده‌تر است، سرچ کردن عنوان مطالب یا برخی کلیدواژه‌های مهم و پراستفاده است. بنابراین اگر ترافیک ارگانیک سایت شما کم شده، نیم‌نگاهی به کیوردها داشته باشید و چند جمله یا عبارت پرکاربرد را سرچ کنید و در صورتی که مطلب را پیدا نمی‌کنید، دقیقاً عنوان صفحه را سرچ کنید. بررسی کنید که مطالب شما در صفحات موجود هستند یا خیر.

روش دیگر برای بررسی صفحات ایندکس شده، این است که عبارت زیر را سرچ کنید و به جای it-planet.ir، نام سایت خود را قرار دهید:

به این ترتیب لیستی از صفحات ایندکس‌شده مشاهده خواهید کرد و البته تعدادشان نیز ذکر می‌شود.

اگر از ابزارهای وب‌مستری گوگل استفاده می‌کنید هم تعداد ایندکس‌‌ها از مسیر Google Index و Index Status می‌توانید تعداد ایندکس‌ها را مشاهده کنید.

به علاوه اگر روی Advanced کلیک کنید و تیک Removed را بزنید، تعداد صفحات ایندکس‌شده، صفحات مسدود شده توسط فایل robots.txt و متاهای هد سایت و همین‌طور صفحات حذف شده از ایندکس گوگل را به صورت نمودار مشاهده خواهید کرد. به تصویر زیر توجه کنید:

چرا گوگل ایندکس‌های سایت را حذف می‌کند؟

گوگل همواره در حال بررسی کردن محتوای سایت‌ها و بهینه کردن الگوریتم‌های هوشمندانه موتور سرچ است. بنابراین دو علت اصلی برای حذف شدن برخی صفحات از گوگل وجود دارد:

• گوگل جریمه برای سایت شما در نظر گرفته است.
• اشتباهی در کدها و برنامه‌نویسی سایت شما رخ داده و موجب حذف شدن برخی مطالب از ایندکس‌های گوگل شده است.

اگر گوگل سایت شما را دارای محتوای ضعیف، تکراری، کپی‌شده و بی‌فایده تشخیص دهد و یا ویروس و بدافزاری در آن شناسایی کند و همین‌طور اگر از اسکریپت‌های ماینینگ و موارد مشابه استفاده کنید، جریمه‌ای برای سایت شما در نظر گرفته می‌شود. جالب است بدانید که روش کهن سئو کردن سایت با استفاده‌ی بی‌رویه از کلمات کلیدی و جملات پرسرچ هم می‌تواند جریمه به دنبال داشته باشد! بهتر است به دنبال فریب دادن گوگل نباشید و روی محتوای باکیفیت تمرکز کنید.

برخی موارد مثل محتوای تکراری در صفحات مختلف هم می‌تواند به جریمه شدن بیانجامد اما دقت کنید که وجود جملات و تیترهای تکراری در بخش‌ها و صفحات مختلف یک سایت، طبیعی است و لازم نیست تمام موارد در تمام صفحات، متفاوت باشد. هوش مصنوعی موتور سرچ می‌تواند این موارد را از موارد واقعاً تکراری و اسپم تمیز دهد.

اگر از ابزارهای وب‌مسترز گوگل استفاده می‌کنید، کافی است روی Search Traffic کلیک کنید و سپس گزینه‌ی جرایم دستی یا Manual Actions را انتخاب کنید. اگر جریمه‌ای در کار نباشد، طبعاً پیام No manual webspam actions found را در سمت راست مشاهده می‌کنید که به معنی عدم وجود اسپم و موارد دیگر در سایت شماست. در غیر اینصورت نوتفیکیشن و توضیحاتی دریافت خواهید کرد.

برای اطلاعات بیشتر در مورد دستورالعمل‌های گوگل در مورد کیفیت سایت‌ها، به این آدرس مراجعه کنید.

علت دوم که به کدنویسی و محتوای صفحه بر‌می‌گردد، در حالت عادی اتفاق نمی‌افتد. معمولاً با تغییراتی در قالب سایت، تعویض قالب سایت‌ها، SEO کردن غیر اصولی، نصب کردن افزونه‌های خاصی که در بخش‌هایی از سایت تغییر ایجاد می‌کنند و به خصوص افزونه‌هایی که در Head و متاها تغییر اعمال می‌کنند، ممکن است اشتباهی رخ بدهد و صفحات سایت از ایندکس گوگل خارج شوند. در حقیقت سایت شما از گوگل درخواست کرده که صفحاتی را از ایندکس خارج کند و گوگل کم و بیش به این درخواست، پاسخ مثبت می‌دهد.

در ادامه به چند علت اصلی که معمولاً موجب deindex شدن صفحاتی از سایت‌ها و افت شدید ترافیک ارگانیک می‌شود، اشاره کرده و راهکاری برای حل کردن مشکلات ارایه می‌کنیم.

بک‌لینک‌ها و لینک‌های متعدد و غیرطبیعی

اگر بک‌لینک‌های سایت شما ضعیف یا غیرطبیعی باشد، ممکن است ایندکس‌های سایت شما در گوگل کاهش پیدا کند.

همان‌طور که می‌بینید تمام موارد فوق همان راه‌حل‌های میانبری هستند که متخصصین سئو چند سال پیش ارایه می‌کردند. این روش‌ها اکنون نه تنها مفید نیست بلکه هوش مصنوعی گوگل را به عکس‌العمل مخالف وادار می‌کند.

مراحل ثبت درخواست حذف بک‌لینک‌های مضر در گوگل وبمسترز

اگر جریمه‌ای برای سایت شما به دلیل بک‌لینک‌ها و لینک‌های غیرطبیعی در نظر گرفته شده، ابتدا به سایت Google Webmasters سری بزنید و در بخش Search Traffic روی Link to Your Site کلیک کنید. در سمت راست و در بخش Who links the most روی More کلیک کنید تا لیست کامل بک‌لینک‌های شناسایی شده را ببینید.

اگر برخی لینک‌ها ساختگی و بی‌مورد است، می‌توانید به مدیر سایت مربوطه ایمیل و پیام بفرستید و حذف کردن لینک‌ها را درخواست کنید.

در نهایت یک فایل متنی ساده با Notepad ویندوز ایجاد کنید و آدرس صفحات دارای بک‌لینک را در آن کپی و پیست کنید. بین هر لینک و لینک بعدی می‌بایست یک ویرگول انگلیسی قرار دهید. به علاوه نباید از https و https و www استفاده کنید و فقط باید اسم سایت‌ها را ذکر کنید. قبل از اسم هر سایت، عبارت domain: را قرار دهید.

به یک مثال ساده توجه کنید: فرض کنید سایت‌های it-planet.ir و intotech.ir بک‌لینک ساختگی و مضر به سایت شما داده‌اند. پس از درخواست از مدیر این سایت‌ها برای حذف لینک، نوت‌پد ویندوز را باز کنید و عبارت زیر را تایپ کنید:

و فایل را با نام working.csv ذخیره کنید.

اکنون به سایت گوگل وب‌مسترز مراجعه کنید و پس از انتخاب سایت خود از منوی کرکره‌ای، روی DISAVOW LINKS‌ کلیک کنید. در صفحه‌ی بعدی مجدداً روی Disavow Links کلیک کنید تا حذف بک‌لینک‌ها تأیید شود. اکنون می‌توانید روی Choose file کلیک کنید و آدرس فایلی که تهیه کرده‌اید را بدهید تا بک‌لینک‌ها حذف شود.

محتوای کپی، ضعیف، تکراری و محتوای ماشینی

گوگل قوانین خاص خود را برای بررسی و چک کردن محتوای سایت‌‌ها دارد. هر محتوایی اصلی و اورجینال تلقی نمی‌شود و برای بهبود رتبه سایت و افزایش ترافیک، مفید نیست. اگر در مطالب مختلف سایتی، محتوای تکراری و کپی‌شده از دیگر صفحات وجود داشته باشد، اگر سایتی محتوای موجود در سایت‌های دیگر را به صورت دستی یا ماشینی جمع‌آوری و کپی کند و همین‌طور اگر سایتی محتوای ضعیف و کوتاهی تهیه کند، گوگل ممکن است صفحات آن را از ایندکس خارج کند و کنار بگذارد.

حتی املای اشتباه کلمات و اشکالات گرامری هم روی رتبه‌ی سایت شما اثر منفی می‌گذارد و ترافیک ارگانیک سایت شما را کاهش می‌دهد.

راه حل این مشکلات، صرف هزینه و زمان برای شناسایی صفحات مشکل‌ساز است. ممکن است این صفحات را پیشاپیش بشناسید و نخواهید آنها را تصحیح و بهینه کنید. در این صورت می‌توانید به راحتی صفحات را حذف کنید! ممکن است با حذف کردن این صفحات، ترافیک ارگانیکی که به سایر صفحات سایت شما جاری می‌شود، چند برابر افزایش پیدا کند.

اگر مطالب در بخش‌های مختلف سایت شما پخش شده، می‌توانید از برخی سرویس‌ها مثل Deep Crawl و Screaming Frog برای شناسایی آنها استفاده کنید و صفحاتی با محتوای ضعیف و مضر را به سرعت پیدا کرده و حذف کنید.

پنهان‌کاری یا Cloaking

منظور از Cloak کردن این است که سایت شما به موتورهای جست‌وجو یک نوع محتوا را نشان بدهد و به کاربران عادی نیز محتوای دیگری را نشان بدهد.

شاید Cloaking در سایت شما الزامی باشد و به عنوان مثال محتوا را به کاربرانی که هزینه پرداخت کرده‌اند و موتورهای جست‌وجو نمایش دهد و در مقابل به عموم کاربران، خلاصه‌ای از محتوا ارایه کند. اگر سایت شما چنین ساختاری دارد، از JSON-LD برای ارایه کردن محتوای مخفی به موتورهای جست‌وجو استفاده کنید. دستورالعمل مربوطه در وب‌سایت توسعه‌دهندگان گوگل موجود است.

یکی دیگر از موارد Cloak که عمدی نیست، هک شدن سایت است. ممکن است هکرها سایت شما را هک کرده باشند تا بازدیدکنندگان را به سایت‌های دیگری هدایت کند! در این مواقع می‌توانید از بسته‌های اسکن و بررسی امنیت سایت استفاده کنید که توسط متخصصی حوزه‌ی امنیت ارایه می‌شود. البته افزونه‌ها و نرم‌افزارهایی برای اسکن کردن کدهای سایت نیز موجود است که شاید مشکل را به سادگی حل کنند.

نشانه‌گذاری ساختار یا Structured Markup اشتباه و تکراری

همان‌طور که محتوای تکراری برای سایت‌ها مضر است، نشانه‌گذاری ساختاری غیراصولی نیز ممکن است مشکلات جدی ایجاد کند. برای نشانه‌گذاری صحیح می‌توانید از قالب‌های آماده که ساختار خوبی دارند استفاده کنید و یا برنامه‌نویسی قالب خود را به افراد حرفه‌ای بسپارید.

همان‌طور که در مقاله‌ی دیگری اشاره کردیم، برای چک کردن Structured Data صفحات سایت‌ها، می‌توان از سرویس Structured Data Testing Tool گوگل استفاده کنید.

در این سرویس علاوه بر چک کردن خطاهای نشانه‌گذاری ساختاری، می‌توانید بخش‌هایی از صفحه را انتخاب کرده و آن را به عنوان تیتر، خلاصه‌ی محتوا، نویسنده، تاریخ انتشار و موارد دیگر نشانه‌گذاری کنید و در نهایت فایل HTML صفحه با نشانه‌های اضافه‌شده را دریافت کنید. قالب‌نویسان و برنامه‌نویسان سایت می‌توانند از این فایل HTML‌ برای طراحی و بهینه‌سازی ساختار سایت استفاده کنند که روی سئو موثر است.

چگونه خطاهای Structured Data صفحات سایت را برای بهینه کردن سئو بررسی و اصلاح کنیم؟

برنامه‌نویسی اشتباه سایت و خطاهای Head

در نرم‌افزار مدیریت محتوای WordPress به راحتی با تیک زدن در یک گزینه‌ی ساده، متایی برای noindex نکردن صفحات سایت در Head صفحه اضافه می‌شود! در صورت نیاز و در مراحل توسعه و طراحی سایت، تیک این گزینه را بزنید اما در سایتی که فعالیت تولید محتوا و صفحات محصولات و خدمات و غیره را آغاز کرده، نباید این گزینه دارای تیک باشد.

افزونه‌هایی نیز برای این کار وجود دارد و در قالب‌نویسی نیز می‌توان این متا را در هد اضافه کرد. اگر در سورس صفحه‌ی سایت خویش و در بخش Head، متای robots با محتوای noindex موجود باشد، احتمال اینکه گوگل آن صفحه را ایندکس نکند بسیار زیاد است.

ممکن است تاکنون چنین متایی در هد سایت شما موجود نبوده و به اشتباه با تیک زدن در یک گزینه یا تغییر کوچکی در تنظیمات، آن را اضافه کرده باشید. در این صورت ممکن است گوگل سریعاً صفحه را از ایندکس خارج کند!

علاوه بر هد صفحات، به فایل robots.txt سایت خود نیز دقت کنید و بررسی کنید که چه صفحاتی را از ایندکس شدن محروم کرده‌اید.

علاوه بر برنامه‌نویسی سایت یا قالب سایت خود، به این مسأله توجه کنید که هاست و سرور پایدار و سریعی انتخاب کنید تا سایت شما گاه و بیگاه آفلاین نشود. تمدید کردن دوره‌ی استفاده از هاست و دوره‌ی ثبت دامین نیز ضروری است.

searchenginejournalسیاره‌ی آی‌تی