متا تگ های robots.txt

به کمک متا تگ robots شما به موتورهای جستجو خیلی مسائل مهم را میتونید بفهمونید که البته برای هر کدوم باید یک دستور تو متا تگ اضافه بشه که من دونه دونه براتون میگم.

متا تگ های robots.txt

اول از همه این متا تگ به شکل زیر در هدر قالب استفاده میشه که در قسمتی که با رنگ قرمز مشخص شده، میشه هر کدوم از دستورهای زیر در اون قرار داد.

متا تگ های robots.txt

توجه کنید که ما فقط دستورهای بازدارنده را میگیم و اصلا لازم نیست که شما دستورهای مثبت را در این متاتگ قرار بدید. یعنی اینکه اگه دستور بازدارنده نباشه، روبوتهای موتورهای جستجو به راحتی به همه قسمتها دسترسی پیدا میکنند.

متا تگ های robots.txt

noindex

به کمک دستور index به روبوتها میگیم که این صفحه ایندکس بشه و به کمک noindex میگیم ایندکس نشه. توجه کنید که اگه واقعا میدونید باید صفحه ای ایندکس نشه از دستور noindex استفاده کنید وگرنه بهتره اصلا استفاده نکنید.

متاسفانه مشاهده شده خیلی از دوستان دستور noindex را در هدر سایت قرار دادن و اصلا سایتشون ایندکس نداره!

 nofollow

این دستور کارش مثل همون دستور نوفالو کردن برای یک لینک هست. با این تفاوت که وقتی دستور nofollow در هدر قرار بگیره یعنی به موتور جستجو میگیم که هیچ لینکی در صفحه را بهش ارزش نده.

در این حالت هم اگه چیزی قرار ندیم یعنی همه لینک ها پیگیری بشن.

noarchive

برای اینکه یک نسخه کپی از صفحه در کش موتور جستجو قرار نگیره.

nosnippet

اگه یادتون باشه در مقاله عدم نمایش توضیحات سایت در نتایج جستجو در مورد این دستور صحبت کردیم. کار این دستور جلوگیری از ایندکس توضیحات اضافه برای نوشته در نتایج جستجو هست.

noodp

این دستور هم در نوشته مذکور بهش اشاره کرده بودیم. کار این دستور هم اینکه از نمایش توضیحات سایت ما که در سایتی مثل dmoz قرار داره در زیر نتایج جستجو جلوگیری میکنه.

حتما بخوانید  نمایش خوراک آر اس اس در سایت

none

این دستور هم خیلی خطرناکه و به معنای noindex, nofollow هست.

 

نکته ۱ : همونطور که در ابتدای مقاله اشاره کردیم اگه هیچ کدوم این دستورها استفاده نشه به منزل دادن اجازه دسترسی در همه قسمت هاست.

نکته ۲ : اگه بخواهید از چند تا از این دستورها استفاده کنید، نیازی نیست برای هر کدوم یک دستور جدا بنویسید و میتونید با هم قرار بدید و فقط با یک ویرگول جدا کنید.

نکته ۳ : در حالت بالا اصلا مهم نیست که بین ویرگول و دستور بعدی فاصله باشه یا نه و ۲ دستور زیر دقیقا یک معنا را میدن:

نکته ۴ : بزرگ و کوچک بودن حروف هم هیچ تاثیری نداره و هر ۳ کد زیر یک معنا را میدن:

نکته ۵ : اگه بخواهید هر یک از این دستورها را برای موتور جستجوی خاصی به کار ببرید میتونید. مثلا برای گوگل میتونید از دستور “GOOGLEBOT” بجای “ROBOTS” استفاده کنید. ولی اجباری نیست.

نکته ۶ : اگه هم این متاتگ قرار داشته باشه و هم فایل robots.txt ، روبوتها به دستورهای پیشگیرانه تر توجه میکنه. یعنی اینکه اگه شما تو متا تگ بگید ایندکس بشه و تو فایل robots.txt دسترسی بسته شده باشه، گوگل ایندکس نمیکنه!

 

جهت درج این مطلب حتما منبع را ذکر کنید : www.Gemscript.ir

 

متا تگ های robots.txt

 

منبع : جم اسکریپت