شما میتوانید از HTML متا تگ استفاده کنید تا به روبوت ها بگویید مطالب سایتتان را ایندکس نکنند و / یا لینک های آن صفحهات را دنبال نکنند.
برای مثال:
<html> <head> <title>...</title> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head>
زمانی که از تگ متا استفاده میکنید باید دو نکته را مد نظر داشته باشید:
- روبوت ها میتوانند تگ متا را نادیده بگیرند. برای مثال بدافزارهایی که دنبال حفره های امنیتی هستند.
- دستور NOFOLLOW تنها بر روی آن صفحه بخصوص اعمال میشود. بنابراین روبوت ها میتوانند در صفحات دیگر آن لینک ها را ببینند و به صفحهاتی که شما دوست ندارید دسترسی پیدا کنند
البته NOFOLLOW با rel="nofollow" تفاوت دارد.
همانند تمامی متا تگ ها شما میتوانید این متا تگ را در HEAD سایت قرار دهید. توجه داشته باشید که روبوت متا تگ را در تک تک صفحات سایت خود قرار دهید زیرا روبوت ها صفحات سایت را بصورت مجزا بررسی میکنند.
اتریبیوت متا باید "ROBOTS" باشد.
مقادیری که میتوان داخل CONTENT نوشت "INDEX", "NOINDEX", "FOLLOW", "NOFOLLOW" می باشد. میتوان این مقادیر را با کاما از هم جدا کرد ولی توجه داشته باشید که هر ترکیبی معنا دار نیستند و فقط بعضی از این ترکیبات معتبر هستند.
توجه داشته باشید که پیش فرض متا تگ روبوت "INDEX,FOLLOW" است. یعنی اگر سایت شما متا تگ روبوت را نداشته باشد بصورت پیش فرض حالت آن "INDEX,FOLLOW" می باشد. بنابراین نیاز نیست تا اصلا آنرا بنویسید. دیگر مقادیر آن به شرح زیر می باشد:
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
به نقل از: robotstxt