عموما، زمانی که صفحه ای که وجود ندارد را بخواهد ببینید، سرور خطای 404 میفرستد. این کد پاسخ HTTP، بطور واضح هم به مرورگر و هم به موتورهای جستجو میگوید که آن صفحه وب وجود ندارد. در نتیجه، محتوای صفحه (اگر وجود داشته باشد) توسط موتورهای جستجو کرول یا ایندکس نمیشود.
علاوه بر بازگشت کد 404 در پاسخ به در خواست صفحه وبی که وجود ندارد، سرور صفحه 404 را نشان میدهد. شاید این صفحه پیغام استاندارد “File Not Found”، یا صفحه طراحی شده برای کاربر باشد که در آن اطلاعات اضافی قرار دارد. محتوای صفحه کاملا با پاسخ HTTP که توسط سرور فرستاده میشود نامربوط است. فقط نمایش پیغام 404 File Not Found به معنای آن نیست که آن صفحه 404 است. مثل زرافه ای است که در برچسب نامش نوشته "سگ". چون در برچسب نوشته شده سگ به معنای آن نیست که واقعا سگ است. همینطور در مورد صفحه 404، به معنای این نیست که خطای 404 برگردانده است. میتوانید از Fetch as Google در Webmaster Tools استفاده کنید (یا هر ابزار دیگری که در وب وجود دارد) تا مطمئن شوید که URL واقعا کد صحیح را بر میگرداند یا خیر.
برگرداندن کد برای صفحاتی که وجود ندارند به جز 404 یا 410 (یا ری دایرکت کردن به صفحه دیگر مثل صفحه اصلی به جای صفحه 404) میتواند مشکل ساز شود. اولا به نتایج جستجو میگوید که صفحه واقعی در آن URL وجود دارد. در نتیجه URL ممکن است کرول شود. از آنجایی که Googlebot وقت خود را صرف صفحه ای که وجود ندارد میکند URL شما به سرعت پیدا نمیشود.
ما توصیه میکنیم که همیشه کد 404 File Not Found یا 410 Gone را در پاسخ به درخواست صفحه 404 ارسال کنید. شما میتوانید تجربه کاربری را با صفحه 404 شخصی بهبود بدهید. برای مثال میتوانید صفحه ای با لیستی از مشهورترین صفحات خود تهیه کنید و یا لینکی به صفحه اصلی یا فیدبک در آن صفحه قرار دهید. همچنین از Webmaster Tools Customr 404 widget برای اضافه کردن باکس جستجو و گزینه جستجو سایت برای سایت خود میتوانید استفاده کنید. اما مهم است به خاطر داشته باشید که صرف ایجاد صفحه ای که پیغام 404 را میدهد کافی نیست. باید کد پاسخ 404 یا 410 صحیح را برگردانید.
به نقل از: webopedia