چه صفحاتی باید noindex و nofollow شوند؟

چه صفحاتی باید noindex و nofollow شوند؟

آیا باید صفحاتی مانند دسته‌بندی‌ها، صفحات نویسندگان، تگ‌ها و در کل صفحاتی که اطلاعات زیادی به جستجوکنندگان نمی‌دهند ایندکس شوند و یا اصطلاحاً آن‌ها را Noindex کنیم؟

در ادامه سئوف به شما در پاسخ به سوالی که چه صفحاتی باید noindex و nofollow شوند؟ می‌گوید که باید چکار کنید. رعایت نکات کوچک یکی از مهترین فاکتورهای موفقیت در سئو سایت است.

سوال مطرح شده در یکی از فروم‌های مشهور آموزش سئو مطرح شده بود:

آیا برای جلوگیری از محتوای داپلیکیت (Duplicate Content) باید از تگ noindex برای دسته‌بندی‌ها (Categories)، صفحات تگ، صفحات آرشیو (Archives)، نویسندگان استفاده کنم؟

جواب سریع:

• صفحات دسته‌بندی: بله noindex شوند. در سایت فروشگاهی: در صورتی که یک محصول در دسته دارید، در سایت خبری در صورتی که یک یا خیلی کم، خبر در دسته دارید.
• صفحات تگ‌ها: بله noindex شوند، البته در وب سایت های کوچک.
• صفحات نویسنده: بله noindex شوند.
• صفحات آرشیو: بله noindex شوند.

برای جواب دقیق‌تر این سوال بهتر است مفاهیم زیر را بهتر درک نماییم:

• مسدود کردن به وسیله Robot.txt
• تگ Noindex
• صفحات 404 و 404 Soft
• محتوای تکراری Duplicate Content

مسدود کردن به وسیله Robot.txt

اگر شما در فایل Robot.txt یک صفحه را مسدود (Block) کنید آن صفحه توسط گوگل مورد خزش قرار نمی‌گیرد و در واقع گوگل اصلاً هدر آن صفحه را نمی‌خواند. مقاله فایل Robot.txt چیست را مطالعه کنید

صفحه ورود ادمین، بخش‌های خصوصی سایت (Password Protected Pages) مثال‌های خوبی از این دسته از صفحات هستند که میتوان آن‌ها را مسدود کرد.

توجه: فایل‌های JavaScript و CSS که برای رندر شدن و لود شدن صفحات نیاز هستند نباید مسدود شوند.

تگ Noindex یا (Meta Robots NoIndex Tag)

متا روبوت noindex یا همان تگ noindex با مسدود کردن در فایل Robot.txt تفاوت دارند. اما بیشتر متخصصان سئو تفاوتی بین این دو قائل نمی‌شوند، که جای تعجب دارد!!

مقاله ایندکس شدن یعنی چه ممکن است مکمل خوبی برای فهمیدن این مطلب باشد.

مهمترین تفاوت‌های مسدود کردن و Noindex

• هنگامی که صفحه‌ای Noindex می‌شود کراولر‌های موتور جستجو هنوز هم به هدر صفحه و تمام محتویات آن دسترسی دارند و تنها آن را ایندکس نمی‌کنند، اما در مسدود کردن دسترسی کراولر‌ها به کل صفحه قطع‌ می‌گردد.
• همانطور که از اسم Noindex مشخص می‌گردد، به گوگل میگوید که این صفحه مناسب حضور در نتایج جستجو نیست، اما همچنان گوگل محتویات صفحه مانند لینک‌های آن را مورد بررسی قرار می‌دهد.
• اگر از تگ Noindex استفاده کنید، و پس از مدتی تصمیم بگیرید که صفحه را ایندکس کنید و یا آن را تغییر مسیر دهید گوگل متوجه منظور شما می‌شود و درخواست شما را انجام می‌دهد.

صفحات 404s و Soft 404s

صفحات 404 صفحاتی هستند که وجود ندارند و یا در واقع قبلا وجود داشته‌ و ایندکس شده‌اند اما سپس حذف شده‌اند. اگر گوگل با این صفحات برخورد کند آن‌ها را از لیست ایندکس شده‌ها حذف می‌کند. اما چندین بار دیگر جهت بررسی اینکه چه وضعیتی دارند به آن‌ها مراجعه میکند.

Soft 404s صفحاتی هستند که وجود دارند (حذف نشده‌اند) اما هیچ محتوایی ندارند، Soft 404s نام غیر رسمی error 200 است. همانند صفحات 404 گوگل به صفحات Soft 404s به طور دوره‌ای سر میزند تا ببیند که آن‌ها تغییر وضعیت پیدا کرده‌اند.

محتوای تکراری Duplicate Content

محتوای تکراری یعنی اینکه یک مطلب در چند مکان یا URL از سایت شما نشان داده شود. به عنوان خواننده خب هیچ مشکلی وجود ندارد، ما دنبال یک مطلب بوده‌ایم و آن را پیدا کرده‌ایم.

اما به عنوان موتور جستجو هنگامی که به یک مطلب یکسان در دو مسیر URL متفاوت برخورد می‌کند، نمی‌داند که کدامیک را باید برای رتبه دادن انتخاب کند.

جواب سوالات زیر با مطالعه نظرات (بیش از 200 نفر) سئوکاران حرفه‌ای در در وب‌سایت‌های MOZ، Ahref، Backlinko و… برای شما آماده گردیده است. توجه داشته باشید، برخی از سئوکاران نیز معتقد بودند که نیاز به noindex کردن این صفحات نیست. اما قریب به اتفاق آن‌ها رای را بر noindex کردن گذاشته بودند

آیا صفحات دسته‌بندی باید (Noindex) شوند؟

جواب سریع: بله. اگر این صفحات اطلاعات مفیدی به کاربران و موتورهای جستجو نمی‌هند آن‌ها را به کلی حذف کنید، اما اگر دسته‌بندی‌های شما دارای اطلاعات و مطالب مفید هستند آن‌ها را noindex کنید.

توجه داشته باشید noindex کردن دسته‌بندی‌های به معنی این نیست که مطالب درون آن‌ها مورد خزش و ایندکس قرار نمی‌گیرند. بلکه تنها خود دسته‌بندی در صفحه نتایج جستجو ظاهر نمی‌گردد. noindex کردن صفحات دسته‌بندی مساله Duplicate Content را رفع می‌کند.

آیا صفحات تگ (Tag) باید Noindex شوند؟

بله پیشنهاد می‌شود که تگ‌ها نیز noindex شوند و همانطور که گفتیم باعث می‌شود که گوگل آن‌ها را به عنوان Dublicate Content نشناسد. زیرا یک مطلب ممکن است چند تگ داشته باشد.

آیا صفحات نویسندگان (Author) باید Noindex شوند؟

بله پیشنهاد می‌شود که صفحات نویسندگان نیز noindex شوند و همانطور که گفتیم باعث می‌شود که گوگل آن‌ها را به عنوان Dublicate Content نشناسد.

آیا صفحات آرشیو (Archive) باید Noindex شوند؟

بله پیشنهاد می‌شود که صفحات آرشیو (Archive) نیز noindex شوند و همانطور که گفتیم باعث می‌شود که گوگل آن‌ها را به عنوان Dublicate Content نشناسد.

کدام صفحات را در سایت خود noindex یا nofollow کنید؟

چه صفحاتی باید noindex و nofollow شوند؟

(ترجمه مقاله سایت یوست)

برخی از صفحات سایت شما هدفی را دنبال می‌کنند، اما این هدف رتبه بندی در موتورهای جستجو یا حتی جذب ترافیک به سایت شما نیست. این صفحات باید، به عنوان چسب برای صفحات دیگر یا صرفاً به این دلیل که مقررات مستلزم دسترسی به آنها در وب سایت شما هستند وجود داشته باشند.

اگر به طور منظم وبلاگ ما را مطالعه می‌کنید، می‌دانید که چگونه یک noindex یا nofollow می‌تواند به شما در برخورد با این صفحات کمک کند. با این حال، اگر با این اصطلاحات تازه آشنا شده‌اید، لطفاً ادامه دهید و اجازه دهید توضیح دهم که آنها چه چیزی هستند و برای چه صفحاتی ممکن است اعمال شوند.

noindex nofollow چیست؟

noindex به این معنی است که یک صفحه وب نباید توسط موتورهای جستجو نمایان شود و بنابراین نباید در صفحات نتایج موتور جستجو نشان داده شود. nofollow به این معنی است که عنکبوت‌های موتورهای جستجو نباید پیوندهای موجود در آن صفحه را دنبال کنند.

  می توانید این مقادیر را به متا تگ روبات خود اضافه کنید. متا تگ robots یک کد در قسمت head یک صفحه وب است. این به موتورهای جستجو می‌گوید که چگونه یک صفحه را بخزند و آیا صفحه را فهرست کنند.

راهنمای نهایی ما در مورد متا تگ روبات‌ها خواندنی عالی است اگر می‌خواهید کمی عمیق‌تر به این موضوع بپردازید.

به اختصار:

متا تگ robots در بیشتر موارد به این صورت است:

<meta name=”robots” content=”[VALUE1,VALUE2]”>

VALUE1 و VALUE2 به‌صورت پیش‌فرض روی فهرست‌بندی تنظیم شده‌اند، و به‌طور پیش‌فرض دنبال می‌شوند، به این معنی که صفحه در دسترس را می‌توان توسط موتورهای جستجو فهرست‌بندی کرد و می‌توان پیوندهای موجود در آن صفحه را جهت خزیدن صفحاتی که به آنها پیوند می‌دهیم دنبال کرد.

VALUE1 و VALUE2 را می‌توان روی noindex، nofollow یا ترکیب دیگری مانند index، nofollow تنظیم کرد. اما اجازه ندهید این کد شما را بترساند.

  Yoast SEO به شما کمک می‌کند. اگر می‌خواهید بدانید که چگونه یک پست را در وردپرس به روشی بسیار آسان noindex کنید، باید این پست را بخوانید: نحوه noindex کردن یک پست در وردپرس به روش آسان:

اما چه زمانی باید از کدام مقدار استفاده کرد؟

صفحاتی که باید روی noindex تنظیم شوند:

آرشیو نویسنده در یک وبلاگ تک نویسنده

اگر شما تنها کسی هستید که برای وبلاگ خود می‌نویسید، صفحات نویسنده شما احتمالاً 90٪ با صفحه اصلی وبلاگ شما یکسان است.

  این هیچ فایده‌ای برای گوگل ندارد و می‌تواند محتوای تکراری در نظر گرفته شود. بهتر است جهت جلوگیری از انتشار این نوع محتوای تکراری، به طور کامل، آرشیو نویسنده را غیرفعال کنید.

  در اینجا نحوه فعال یا غیرفعال کردن آن به راحتی با Yoast SEO را آورده‌ایم. اگر به هر دلیلی می‌خواهید که آن‌ها را در سایت خود نگه‌دارید، اما بیرون از نتایج جستجو هستید، بهتر است آن‌ها را فهرست‌بندی نکنید.

  خوشبختانه، با Yoast SEO، این کار هم خیلی دشوار نیست. فقط بهتر است روش noindex کردن آرشیو نویسنده را چک کنید.

انواع پست های خاص (سفارشی)

گاهی اوقات، یک توسعه دهنده وب، یک پلاگین یا نوعی پست سفارشی را اضافه می‌کند که شما نمی‌خواهید ایندکس شود. به عنوان مثال، در Yoast، ما از صفحات سفارشی برای محصولات خود استفاده می‌کنیم، زیرا ما یک فروشگاه آنلاین معمولی نیستیم که محصولات فیزیکی را بفروشیم.

بنابراین، ما نیازی به تصویر محصول، فیلترهایی مانند ابعاد و مشخصات فنی در برگه کنار توضیحات نداریم.

  بنابراین، صفحات محصول معمولی ووکامرس را ایندکس نکرده و از صفحات سایت خودمان استفاده می‌کنیم. در واقع، نوع پست محصول را ایندکس نمی‌کنیم.

در همین راستا، ما راه‌حل‌های تجارت الکترونیکی را دیده‌ایم که مشخصاتی مانند ابعاد و وزن را به عنوان یک نوع پست سفارشی نیز اضافه می‌کنند. این صفحات به عنوان محتوای بی کیفیت در نظر گرفته می‌شوند.

  متوجه خواهید شد که این صفحات هیچ کاربردی برای بازدیدکننده یا گوگل ندارند، بنابراین باید از صفحات نتایج جستجو نیز دور نگه داشته شوند.

صفحات سپاسگذاری

این صفحه هدف دیگری جز تشکر از مشتری/ مشترک خبرنامه/ اولین بار نظر دهنده شما ندارد. این صفحات معمولاً صفحات محتوای نازکی هستند، با گزینه‌های upsell و اشتراک‌گذاری اجتماعی، اما برای افرادی که از Google برای یافتن اطلاعات مفید استفاده می‌کنند، ارزشی ندارند. بنابراین، آن صفحات نباید در صفحات نتایج جستجو باشند.

صفحات مدیریت و لاگین

اکثر صفحات لاگین نباید در گوگل باشند، اما هستند. با اضافه کردن یک noindex به آن، شما از فهرست خارج کنید.

  استثناهایی برای صفحات ورود به سیستم هستند، کسانی که به یک جامعه ، مانند Dropbox یا خدمات مشابه خدمات می‌دهند. در پاسخ به این سوال که چه صفحاتی باید noindex و nofollow شوند؟ فقط از خود بپرسید که اگر در شرکت خود نبودید، یکی از صفحات ورود خود را در گوگل جستجو می‌کردید؟

اگر نه، احتمالاً می‌توان گفت که گوگل نیازی به ایندکس کردن این صفحات ورود ندارد.

  خوشبختانه، اگر از وردپرس استفاده می‌کنید، ایمن هستید زیرا  CMS وردپرس به طور خودکار، صفحه ورود به سایت شما را ایندکس نمی‌کند.

نتایج جستجوی داخلی

نتایج جستجوی داخلی تقریباً آخرین صفحاتی هستند که گوگل می‌خواهد بازدیدکنندگان خود را به آنها بفرستد.

اگر می‌خواهید یک تجربه جستجو را خراب کنید، به جای یک نتیجه واقعی، به صفحات جستجوی دیگر پیوند دهید.

  اما پیوندهای موجود در صفحه نتایج جستجو همچنان بسیار ارزشمند هستند، شما قطعاً می‌خواهید گوگل آنها را دنبال کند.

  بنابراین، بهتر است که همه پیوندها دنبال شوند و تنظیمات متا روبات به شکل زیر باشد:

<meta name=”robots” content=”noindex, follow”>

Yoast SEO مطمئن می شود که صفحات جستجوی داخلی شما به طور پیش فرض روی noindex تنظیم شده است. این یکی از ویژگی‌های پنهان Yoast SEO است.

  این یک تنظیم قابل ویرایش نیست، زیرا باید طبق دستورالعمل‌های Google، به سادگی انجام شود و ما کاملاً با آنها در این مورد موافق هستیم.

فقط برای توسعه دهندگان: اگر می‌خواهید این تنظیمات را تغییر دهید، می‌توانید این کار را  با استفاده از یکی از فیلترهای ما انجام دهید. یک مثال را می‌توانید در اینجا بیابید.

صفحاتی که باید روی nofollow تنظیم شوند

برای تمام مثال‌های ذکر شده در بالا، نیازی به  nofollow کردن تمام لینک‌های موجود در این صفحات نیست.

شما نمی‌خواهید آنها را در نتایج جستجو نشان دهید، اما می‌خواهید Google پیوندهای موجود در صفحه را دنبال کند.

 حال، چه زمانی باید یک nofollow را به متا تگ روبات خود اضافه کنید؟

اگر صفحه ای را با متا تگ robots روی nofollow تنظیم کنید، هیچ یک از پیوندهای آن صفحه دنبال نمی شود. گوگل با nofollow اختراع کرد تا بتواند پیوندهای محتوای غیرقابل اعتماد را تشخیص‌دهد.

  (مانند یا بعداً، تبلیغات برای آن پرداخت شده است). در یک وب‌سایت معمولی، احتمالاً تعداد کمی از صفحات وجود دارد که بخواهید گوگل هیچ پیوندی را دنبال نکند.

به عنوان مثال: اگر صفحه‌ای دارید که کتاب‌های سئو را فهرست می‌کند، با مازاد پیوندهای وابسته به آمازون، اینها می‌توانند برای سایت شما برای کاربران شما ارزشمند باشند.

  اما اگر هیچ چیز دیگری در صفحه مهم نباشد، کل صفحه را فالو نمی‌کنم.

  اگرچه ممکن است آن را ایندکس کنید. فقط مطمئن شوید که پیوندهای خود را به روش صحیح پنهان کرده اید.

لینک های تک Nofollow

اگر پست یا صفحه ای با چندین پیوند دارید، ممکن است بخواهید به موتورهای جستجو کمک کنید تا آنها را واجد شرایط کنند.

  امروزه، می‌توانید یک پیوند را به هیچ وجه دنبال نکنید، یا حتی آن را روی اسپانسر یا UGC تنظیم کنید. افزودن ویژگی‌های rel مناسب به لینک خود به شما این امکان را می‌دهد.

به عنوان مثال، یک پیوند به یک آگهی به شکل زیر است:

  <a/> <a href=”https://www.example.com” rel=”nofollow sponsored”> لینک نمونه با Yoast SEO و تنظیم این ویژگی‌های rel بسیار آسان است.

نتیجه

همانطور که دیدیم، در پاسخ به این سوال که چه صفحاتی باید noindex و nofollow شوند؟ عدم ایندکس کردن یک صفحه یا عدم فالو کردن یک لینک به دو سوال خلاصه می‌شود:

  آیا می خواهید این صفحه در صفحات نتایج جستجو نشان داده شود و آیا موتورهای جستجو باید پیوندهای موجود در این صفحه را دنبال کنند؟

به عنوان مثال، برای صفحات “متشکرم” یا صفحات ورود به سیستم، پاسخ به سوالات اول “نه” است.

  برای صفحه ای با تعداد زیادی لینک وابسته، پاسخ به سوال دوم “نه” است.

  مثال‌های این پست را در ذهن داشته باشید و دیگر در تصمیم‌گیری برای پاسخ‌های سایت خود مشکلی نداشته باشید.

 آیا یک پست یا صفحه را در حالی که قصد نداشتید ایندکس نکردید؟ نگران نباشید، زیرا به راحتی می‌توانید یک noindex تصادفی را برطرف کنید.

برای دریافت اطلاعات بیشتر در رابطه با روش noindex کردن کلیک کنید.