متا تگ ربات یا Robots Meta Tag و X-Robots-Tag چیست؟
برخی از مطالب موجود در سایت شما برای ایندکس شدن در موتورهای جستجو اجباری نیستند. برای جلوگیری از ایندکس صفحات لازم، می‌توانید از برچسب متا یا متا تگ ربات Robots Meta Tag یا برچسب ربات متا یا متا تگ x-robots استفاده کنید.
بااین‌حال، اکثر افراد از robot.txt و متا تگ های ربات Robots Meta Tags به‌صورت استاندارد استفاده نمی‌کنند. این امر منجر به استفاده از دستورالعمل‌های نامربوط و متناقض می‌شود که باعث می‌شود افراد به نتیجه موردنظر خود نرسند. به‌عنوان‌مثال: جلوگیری از ایندکس شدن یک صفحه.
و در این راهنما، ما می‌خواهیم به شما کمک کنیم تا درک کنید چگونه می‌توانید از متا تگ ربات‌ها و تگ x-robots برای کنترل ایندکس محتوای وب‌سایت خود استفاده کنید؛ و به شما اشتباهات رایج در استفاده از متا تگ ربات را می‌گوییم.
متا تگ ربات یا Robots Meta Tag چیست؟
متا تگ ربات Robots که همچنین به‌عنوان برچسب‌های ربات تیز شناخته می‌شوند، قطعه‌ای از کد HTML است که در بخش <head> </head> یک صفحه وب قرار می‌گیرد و برای کنترل نحوه خزیدن و فهرست سازی یا ایندکس موتورهای جستجو از آدرس URL استفاده می‌شود.
متا تگ های ربات به شکل زیر هستند:
<meta name="robots" content="noindex" />
این برچسب‌ها مخصوص صفحه هستند و به شما این امکان را می‌دهند تا به موتورهای جستجو توضیح دهید که چگونه می‌خواهید صفحه شمارا بررسی کنند و آیا آن را در فهرست قرار دهند یا نه.
متا تگ های ربات برای چه مواردی استفاده می‌شوند؟
متا تگ‌های ربات برای کنترل چگونگی ایندکس Google در محتوای صفحه وب شما استفاده می‌شوند. این موضوع شامل:
- قرار دادن یا ندادن صفحه در نتایج جستجو
- دنبال کردن لینک‌های داخل صفحه یا دنبال نکردن آن (حتی اگر از ایندکس نشود)
- تصاویر موجود در یک صفحه فهرست یا ایندکس شوند یا نه
- عدم نمایش صفحات کش شده در نتایج جستجو
- عدم نمایش اسنیپت (توضیحات متا) برای صفحه موجود در نتایج جستجو یا SERP ها
برای اینکه بفهمید چگونه می‌توانید از متا تگ ربات استفاده کنید، باید ویژگی‌ها و دستورالعمل‌های مختلف آن را یاد بگیرید. ما همچنین قطعه کدهایی را به شما نشان خواهیم داد که می‌توانید در هدر صفحه خود قرار دهید و از موتورهای جستجو بخواهید صفحه شمارا به روشی خاص ایندکس کنند.
درک ویژگی‌ها و دستورالعمل‌های تگ متا ربات Meta Tag
استفاده از برچسب‌های متا ربات‌ها کاملاً ساده است اگر شما نحوه تنظیم ویژگی را بشناسید به‌عنوان‌مثال: نام name و محتوا content. این ویژگی برای متا تگ اجباری می‌باشد، بنابراین باید برای هر یک مقدار مشخصی تعیین کنید.
بیایید با جزئیات بیشتری نگاهی به این ویژگی‌ها بیندازیم.
ویژگی نام یا name در متا تگ ربات
ویژگی‌های نام یا name کنترل‌کننده‌هایی است که خزنده‌ها یا Crawlers و ربات‌ها (عامل‌های کاربر یا user-agents که به آن‌ها UA نیز گفته می‌شود) باید از دستورالعمل‌های موجود در متا تگ ربات‌ها پیروی کنند.
برای اینکه به همه خزنده‌ها Crawlers دستور دهید دستورالعمل‌ها را دنبال کنند، از موارد زیر استفاده کنید:
name=”robots”
در بیشتر سناریوها، شما می‌خواهید از این روش به‌عنوان پیش‌فرض استفاده کنید، اما می‌توانید به‌اندازه موردنیاز از برچسب‌های مختلف ربات متا استفاده کنید تا دستورالعمل‌ها را برای خزنده‌های مختلف تعیین کنید.
تعیین وضیعت خزش ربات های گوگل خیلی راحت است:
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">صدها عامل کاربری user-agents مختلف وجود دارد. رایج‌ترین آن‌ها عبارت‌اند از:
- Google: Googlebot
- Bing: Bingbot
- DuckDuckGo: DuckDuckBot
- Baidu: Baiduspider
- Yandex: YandexBot
ویژگی محتوا یا Content در تگ متا ربات
ویژگی محتوا Content همان چیزی است که شما برای دادن دستورالعمل‌ها به نماینده کاربری مشخص استفاده می‌کنید.
مهم است که بدانید اگر برچسب ربات متا را در یک صفحه وب مشخص نکنید، پیش‌فرض این است که صفحه ایندکس شود و همه لینک‌ها را دنبال شوند (مگر اینکه دارای ویژگی rel = “nofollow” باشد که به‌صورت دستی مشخص‌شده باشد).
دستورالعمل‌های مختلفی که می‌توانید استفاده کنید شامل موارد زیر است:
- index (با این کار صفحه شما در فهرست گوگل قرار می‌گیرد) توجه: اگر noindex مشخص نشده باشد نیازی به درج آن ندارید، به‌عنوان ایندکس در نظر گرفته می‌شود)
- noindex (با این کار صفحه شما در فهرست گوگل یا در SERP نشان داده نمی‌شود)
- follow (تمام لینک‌های مجود در صفحه دنبال می‌شوند )
- nofollow (هیچ‌کدام لینک‌های مجود در صفحه دنبال نمی‌شوند)
- none (میانبری برای مشخص کردن noindex، nofollow)
- all (میانبر برای مشخص کردن index, follow)
- noimageindex (تصاویر موجود در صفحه ایندکس نمی‌شوند)
- noarchive (نسخه کش شده صفحه در SERP نشان داده نمی‌شود)
- nocache (این همان noarchive است، اما فقط برای MSN)
- nositelinkssearchbox (کادر جستجو برای سایت شمارا در SERP نشان نمی‌دهد)
- nopagereadaloud (اجازه ندهید سرویس‌های صوتی صفحه شمارا بخوانند)
- notranslate (صفحه شما در نتایج جستجو ترجمه نمی‌شود)
- unavailable_after (زمانی را مشخص کنید که صفحه بعدازآن نباید ایندکس شود)
نمونه کدهای متا تگ ربات
اگر به دنبال نمونه‌هایی از برچسب‌های ربات‌های متا هستید که بتوانید برای کنترل خزیدن و فهرست بندی صفحات وب‌سایت توسط موتورهای جستجو استفاده کنید، می‌توانید از موارد زیر استفاده کنید که متداول‌ترین سناریوها را مورد هدف قرار می‌دهد:
صفحه ایندکس نشود اما لینک‌ها به سایر صفحات دنبال شوند:
<meta name="robots" content="noindex, follow" />
صفحه ایندکس نشود و لینک‌ها به سایر صفحات نیز دنبال نشوند:
<meta name="robots" content="none" />
صفحه ایندکس شود اما لینک‌ها به سایر صفحات دنبال نشوند:
<meta name="robots" content="nofollow" />
نسخه‌ی کش شده صفحه در SERP نشان داده نشود:
<meta name="robots" content="noarchive" />
تصاویر موجود در یک صفحه ایندکس نشوند:
<meta name="robots" content="noimageindex" /
بعد از یک تاریخ / زمان مشخص صفحه در SERP نشان داده نشود:
<meta name="robots" content="unavailable_after: Friday, 01-Jan-21 12:59:59 ET" />
در صورت نیاز، می‌توانید دستورالعمل‌ها را در یک برچسب واحد قرار دهید و این موارد را با کاما جدا کنید.
به‌عنوان‌مثال، فرض کنید شما نمی‌خواهید هیچ‌یک از لینک‌های یک صفحه دنبال شود و همچنین می‌خواهید از ایندکس تصاویر جلوگیری کنید. کد آن به این شکل است:
<meta name="robots" content="nofollow, noimageindex" /
استفاده از برچسب‌های Meta Robots برای کنترل اسنیپت ها
درحالی‌که از برچسب‌های ربات‌های متا معمولاً برای کنترل ایندکس شدن یا نشدن یک صفحه و قابل خزش بودن یا نبودن لینک‌های موجود در آن صفحه توسط موتورهای جستجو استفاده می‌شود، همچنین می‌توان از آن‌ها برای کنترل اسنیپت های SERP نیز استفاده کرد.
گوگل که در سپتامبر 2019 اعلام کرد که وب مستران می‌توانند از “مجموعه‌ای از روش‌ها که به پیکربندی دقیق‌تر محتوای نشان داده‌شده برای صفحات شما کمک می‌کنند” استفاده کنند.
این روش‌ها به‌صورت برچسب‌های ربات‌های متا زیر هستند:
nosnippet (اسنیپت / توضیحات متا برای صفحه در نتایج جستجو SERP نشان داده نشود)
max-snippet:[number] (حداکثر طول متن اسنیپت یا توضیحات متا که با عدد باید مشخص شود)
max-video-preview: [number] (حداکثر مدت‌زمان پیش‌نمایش فیلم که باید بر اساس ثانیه مشخص شود)
max-image-preview:[setting] (حداکثر اندازه پیش‌نمایش تصویر که باید به‌صورت ” none”، ” standard” یا ” large” مشخص شود)
برای کنترل نحوه نمایش اسنیپت صفحه وب خود از کد زیر استفاده کنید:
اسنیپت برای یک صفحه در SERP نشان داده نشود:
<meta name="robots" content="nosnippet" />
حداکثر طول متن توضیحات متا روی 150 کاراکتر تنظیم شود:
<meta name="robots" content="max-snippet:150" />
حداکثر مدت‌زمان پیش‌نمایش ویدیو روی 20 ثانیه تنظیم شود:
<meta name="robots" content="max-video-preview:30" />
حداکثر اندازه پیش‌نمایش تصویر روی بزرگ تنظیم شود:
<meta name="robots" content="max-image-preview:large" />
این کد‌ها همچنین می‌توانند برای کنترل بیشتر اسنیپت صفحه شما ترکیب شوند. فرض کنید شما می‌خواهید حداکثر طول متن اسنیپت خود را روی 150 کاراکتر تنظیم کنید و اجازه پیش‌نمایش تصویر بزرگ را بدهید، از این کد استفاده کنید:
<meta name="robots" content="max-snippet:150, max-image-preview:large" />
اگر نمی‌خواهید محدودیتی روی اسنیپت های خود اعمال کنید، می‌توانید کد پایین را در هدر صفحه خود اضافه کنید:
<meta name="robots" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1" />
X-Robots-Tag یا تگ متا ربات ایکس چیست؟
یک روش جایگزین برای کنترل چگونگی خزیدن و وضعیت ایندکس در موتورهای جستجو از صفحات وب شما، استفاده از برچسب x-robots به‌جای برچسب‌های ربات‌های متا است.
درحالی‌که استفاده از برچسب‌های ربات‌های متا در صفحات HTML نسبتاً ساده است، برچسب x-robots پیچیده‌تر هستند. اگر می‌خواهید نحوه مدیریت محتوای غیر HTML، به‌عنوان‌مثال PDF را کنترل کنید، باید از برچسب x-robots استفاده کنید.
این‌یک پاسخ هدر HTTP است که می‌تواند به‌جای یک برچسب HTML و هر دستورالعملی به‌عنوان یک برچسب ربات متا استفاده شود همچنین می‌تواند به‌عنوان یک برچسب x-robots استفاده شود.
در اینجا مثالی از نحوه نمایش هدر با برچسب x-robots آورده شده است:
x-robots-tag: noindex, nofollow
برای استفاده از برچسب x-robots، باید بتوانید به header .php, .htaccess یا فایل تنظیمات سرور وب‌سایت خود دسترسی پیدا کنید. اگر به این فایل‌ها دسترسی ندارید، برای هدت خزنده‌ها باید از برچسب‌های متا ربات استفاده کنید.
چه موقع از متا تگ ربات X Robots استفاده کنید؟
استفاده از برچسب x-robots به‌آسانی استفاده از برچسب‌های ربات‌های متانی است، اما به شما این امکان را می‌دهد تا موتورهای جستجو را برای فهرست بندی و خزیدن انواع دیگر پرونده‌ها در سایت خود هدایت کنید.
از برچسب x-robots استفاده کنید زمانی که:
- زمانی که می‌خواهید نحوه خزیدن و فهرست بندی انواع فایل‌های غیر HTML توسط موتورهای جستجو را کنترل کنید
- زمانی که باید دستورالعمل‌ها را روی کل سایت و نه در هر صفحه تنظیم کنید
نحوه تنظیم ربات‌های Meta Tag و X ‑ Robots-Tag
تنظیم متا تگ‌های ربات به‌طورکلی از برچسب x-robots آسان‌تر است، اما اجرای هر دو روش کنترل نحوه خزیدن و فهرست بندی موتورهای جستجو می‌تواند بسته به CMS یا نوع سرور شما متفاوت باشد.
در اینجا نحوه استفاده از برچسب‌های ربات‌های متا و برچسب x-robots در تنظیمات معمول آمده است:
- استفاده از ربات‌های متا تگ در کد HTML
- استفاده از ربات‌های متا تگ در وردپرس
- استفاده از ربات‌های متا تگ در Shopify
- استفاده از برچسب X-Robots در سرور Apache
- استفاده از X-Robots-Tag در یک سرور Nginx
استفاده از ربات‌های متا تگ در کد HTML
اگر می‌توانید کد HTML صفحه خود را ویرایش کنید، کافی است متا تگ‌های ربات خود را مستقیماً به بخش <head> صفحه اضافه کنید.
اگر می‌خواهید موتورهای جستجو صفحه را ایندکس نکنند اما می‌خواهند لینک‌ها دنبال شوند، به‌عنوان‌مثال از کد زیر استفاده کنید:
<meta name="robots" content="noindex, follow" />
استفاده از متا تگ ربات در وردپرس
اگر از افزونه Yoast SEO استفاده می‌کنید، زبانه “Advanced” را در بلوک ویرایشگر صفحه بازکنید.
برای این منظور با گزینه “به موتورهای جستجو اجازه می‌دهد این صفحه در نتایج جستجو نمایش داده شود؟” می‌توانید دستورالعمل “noindex” را تنظیم کنید. با تنظیم “آیا موتورهای جستجو باید لینک‌های این صفحه را دنبال کنند؟” از منوی کشویی می‌توانید نحوه دنبال کردن لینک‌ها را کنترل کنید
برای هر دستورالعمل دیگری، باید این موارد را در قسمت “پیشرفته ربات‌های Meta” پیاده‌سازی کنید.
اگر از افزونه RankMath استفاده می‌کنید، می‌توانید دستورالعمل‌های ربات‌هایی را که می‌خواهید مستقیماً از برچسب Advanced جعبه متا اعمال شوند، انتخاب کنید:
استفاده از ربات‌های متا تگ در Shopify
اگر می‌خواهید تگ‌های متا ربات‌ها را در Shopify پیاده‌سازی کنید، باید این کار را با ویرایش قسمت <head> در فایل طرح‌بندی قالب خود انجام دهید
برای تنظیم دستورالعمل‌های یک صفحه خاص، کد زیر را به این فایل اضافه کنید:
{% if handle contains 'page-name' %}
<meta name="robots" content="noindex, follow">
{% endif %}این کد به موتورهای جستجو دستور می‌دهد که نه index / page-name / بلکه کلیه لینک‌های صفحه را دنبال کنند.
برای تنظیم دستورالعمل‌ها در صفحات مختلف، باید ورودی‌های جداگانه‌ای وارد کنید.
استفاده از برچسب X-Robots در سرور Apache
برای استفاده از برچسب x-robots در وب سرور Apache، موارد زیر را به پرونده.htaccess یا httpd.config سایت خود اضافه کنید.
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</Files>مثال بالا نوع پرونده.pdf را تنظیم می‌کند و به موتورهای جستجو دستور می‌دهد که فایل را ایندکس نکنند بلکه لینک‌های موجود در آن را دنبال کنند.
استفاده از متا تگ ربات X-Robots-Tag در یک سرور Nginx
اگر از یک سرور Nginx استفاده می‌کنید، موارد زیر را به فایل.conf سایت خود اضافه کنید:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, follow";
}این ویژگی noindex را اعمال می‌کند و لینک‌های موجود در یک فایل.pdf را دنبال می‌کند.
اشتباهات متداول در هنگام استفاده از متا تگ ربات در سایت
هنگام هدایت موتورهای جستجو برای خزیدن و فهرست بندی یک صفحه وب، اشتباهاتی رخ می‌دهد که متداول‌ترین آن‌ها این موارد هستند:
- زمانی دستورالعمل‌های ربات‌های متا در صفحه توسط Robots.txt مسدود می‌شوند
- افزودن دستورالعمل‌های ربات‌ها به پرونده Robots.txt
- حذف صفحات با دستورالعمل Noindex از نقشه سایت
- مسدود کردن تصادفی موتورهای جستجو برای ایندکس سایت کامل
زمانی که دستورالعمل‌های ربات‌های متا در صفحه توسط Robots.txt مسدود می‌شوند
اگر صفحه‌ای در پرونده robots.txt شما ممنوع باشد، ربات‌های موتور جستجو نمی‌توانند صفحه را بررسی کنند و دستورالعمل‌هایی را که در برچسب‌های ربات‌های متا یا برچسب x-robots قرار می‌گیرند، یادداشت کنند.
اطمینان حاصل کنید که صفحاتی که از این طریق به کارگزاران کاربر آموزش می‌دهند قابل خزیدن هستند.
اگر صفحه‌ای هرگز ایندکس نشده است، یک قانون robots.txt برای جلوگیری از نمایش این در نتایج جستجو کافی است، اما هنوز هم توصیه می‌شود که یک برچسب ربات متا اضافه شود.
افزودن دستورالعمل‌های ربات‌ها به پرونده Robots.txt
اگرچه هرگز به‌طور رسمی توسط Google پشتیبانی نمی‌شد، اما ممکن بود بخشنامه noindex را به پرونده robots.txt سایت خود اضافه کنید و این امر قابل‌اجرا بود.
این مورد دیگر کارساز نیست و تأیید شد که دیگر توسط Google در سال 2019 مؤثر نخواهد بود.
حذف صفحات با دستورالعمل Noindex از نقشه سایت
اگر می‌خواهید با استفاده از دستورالعمل noindex صفحه‌ای را از ایندکس خارج کنید، صفحه را در نقشه سایت خود بگذارید تا این اتفاق بیفتد.
حذف صفحه قبل از اینکه از بین برود می‌تواند باعث تأخیر در ایندکس آن صفحه شود.
مسدود کردن تصادفی موتورهای جستجو برای ایندکس سایت کامل
متأسفانه، غیرمعمول نیست که دستورالعمل‌های ربات‌هایی که در یک محیط صحنه‌سازی استفاده می‌شوند، هنگام انتقال سایت به یک سرور مستقیم، به‌طور تصادفی در جای خود باقی بمانند و نتایج می‌توانند فاجعه‌بار باشند.
قبل از انتقال هر سایتی از نسخه آزمایشی به یک محیط زنده، صحیح بودن دستورالعمل‌های مربوط به ربات‌ها را دوباره بررسی کنید.
با صرف وقت برای درک دستورالعمل‌های مختلف و نحوه استفاده از آن‌ها، می‌توانید از اشتباهات فنی سئو جلوگیری کنید. داشتن کنترل کافی بر نحوه خزش و ایندکس صفحات شما می‌تواند باعث شود صفحات ناخواسته خارج از SERP نباشند، از پیگیری لینک‌های غیرضروری توسط موتورهای جستجو جلوگیری کرده و به شما امکان کنترل نحوه نمایش قطعه‌های سایت خود را ازجمله موارد دیگر می‌دهد. برای اطمینان از عملکرد روان سایت خود، شروع به تنظیم متا تگ‌ها و x-robots-tags ربات‌های خود کنید.
ممنون مقاله‌ی مفیدی بود
سلام
باتشکر از سایت خوبتون توضیحات کمک کرد 🙂
سلام خوشحالم که مفید بوده براتون