کسانی که کسب و کار اینترنتی دارند و وبسایتی را مدیریت میکنند، کم و بیش نام robots.txt را شنیدهاند. فایلی که به رباتهای موتورهای جستوجو میگویند که کدام بخشهای وبسایت را نباید ایندکس کنند. robots.txt یک فایل متنی ساده است و چند نوع دستور ساده در آن استفاده میشود. بنابراین یادگیری نحوهی کارکرد آن و دستوراتی که میتوان در آن استفاده کرد بسیار ساده است.
در این مقاله شیوهی استفاده کردن از robots.txt و نحوهی تنظیم کردن آن را بررسی میکنیم. علاقهمندان به وب و طراحی سایت با ما همراه شوید.