آموزش بخش pages سرچ کنسول به صورت کامل

امتیاز ۵ از ۵ – ۱ رای

در حال ثبت رای

در این قسمت به آموزش بخش pages سرچ کنسول می‌پردازیم که به کمک آن تمامی صفحاتی که به هردلیلی ایندکس نشده‌اند را مشاهده خواهید کرد. گوگل در این ابزار که اولین بار 5 سال پیش اضافه شد، وضعیت ایندکس و ثبت صفحات سایت شما در سایت مپ را نشان می‌دهد. هرچند که در آپدیت جدید سرچ کنسول قسمت دوم حذف شده است. در ادامه به صورت جامع با این ابزار و ارورهایی که در ستون Reason به عنوان دلایل عدم ایندکس صفحات مشخص شده‌اند، آشنا می‌شوید.

آشنایی با مفهوم Pages در سئو و وب سایت

صفحات یا Pages به عنوان یکی از مهم‌ترین عناصر در دنیای اینترنت و وب سایت به شمار می‌آیند که مستلزم رعایت یکسری اقدامات جهت بهینه سازی وضعیت سئو خواهند بود. هر صفحه سایت از مجموعه کدهای Front به زبان‌های HTML و CSS ساخته شده است.

وبمستران برای آنکه بتوانند محتوای مدنظر خود را به کاربران نشان دهند، از چنین عنصری در وب استفاده می‌کنند. همچنین موتورهای جستجو در صفحه SERP خود علاوه بر ویدیوها، تصاویر، پادکست‌ها، صفحات را به همراه پیوند آنها نمایش می‌دهند.

از آنجایی که صفحات سایت شما هرکدام به نوبه خود نقش مهمی در استراتژی بازاریابی و تقویت سئو سایت، جذب ترافیک و برندسازی دارند، مهم است که به صورت جداگانه بهینه سازی شده و مشکلات هر صفحه برطرف شود. به همین منظور گوگل ابزاری را در پلتفرم Google Search Console معرفی کرده‌ است که در ادامه راجع به آن صحبت خواهیم کرد.

اگر با سئو و سرچ کنسول آشنایی ندارید، بد نیست همین حالا نگاهی به صفحه آموزش سئو داشته باشید تا مفاهیم اولیه راجع به این دانش و ابزار مهم وبمستران را درک کنید.

آموزش بخش pages سرچ کنسول

ابزار Pages سرچ کنسول در بخش Indexing قرار دارد و نشان می‌دهد که وضعیت ایندکس صفحات سایت شما توسط موتور جستجوی گوگل چگونه است. هرچند که گوگل یک ابزار دیگر مرتبط با صفحات وب را نیز درنظر گرفته است که در بخش “Experience” قابل مشاهده می‌باشد. شما می‌توانید با مطالعه مقاله آموزش بخش core web vitals سرچ کنسول اطلاعات بیشتری را راجع به این قسمت سرچ کنسول بدست آورید.

آموزش بخش pages سرچ کنسول از آنجایی اهمیت دارد که می‌توانید دیتاهای مرتبط با نتایج خزش سایت خود را مشاهده کنید. این داده‌ها برای Pages در 2 دسته Indexed و Not Indexed تقسیم خواهند شد. توجه کنید که این ابزار تنها برای پراپرتی‌ها (دامین‌های) Root یا اصلی است. بدین معنا که دامنه باید از نوع Domain property یا URL-prefix property  ثبت شده باشد.

برای دسترسی به این ابزار کافیست:

• وارد سرچ کنسول گوگل شوید.
• در قسمت بعد، از منوی سمت چپ روی گزینه “Pages” کلیک کنید.
• حال می‌توانید گزارشی که این ابزار ارائه کرده‌ است را در بخش راست مشاهده نمایید.

قابل ذکر است که این ابزار در گذشته با عنوان “Index coverage report” شناخته می‌شده و همراه با آپدیت جدید سرچ کنسول در ژانویه سال 2018 معرفی شده است.

معرفی بخش های مختلف pages

در آموزش بخش pages سرچ کنسول باید 2 قسمت مهم را معرفی کرد که می‌توانید در سمت راست صفحه مشاهده کنید:

• نمودار و چارت Pages در سرچ کنسول: در این قسمت تعداد صفحات ایندکس شده یا نشده خود را مشاهده می‌کنید.
• جدول Why pages aren’t indexed: در این قسمت صفحات شما به تفکیک مشکلات و ارورهایی که دارند، نمایش داده می‌شوند.

در ادامه با ما باشید تا بیشتر راجع به هر بخش صحبت کنیم.

آشنایی با نمودار Pages در سرچ کنسول

اولین قسمتی که در این بخش مشاهده می‌کنید، نمودار Pages است که در 2 کتگوری زیر صفحات شما را دسته بندی می‌کند:

• بخش indexed Pages: صفحاتی که توسط گوگل کراول و ایندکس شده و در صفحه SERP نمایش داده می‌شود.
• بخش Not Indexed Pages: صفحاتی که بنا بر دلایلی (که در قسمت دوم بیان شده)، ایندکس نشده‌اند و در صفحه نتایج نمایش داده نمی‌شوند.

همچنین در آموزش بخش pages سرچ کنسول لازم است به 2 فیچر زیر نیز اشاره کنیم که در این بخش مشاهده می‌کنید:

Impressions

با فعال کردن این گزینه، ایمپرشن یا بازدید اولیه لینک صفحات سایت خود را در نتایج جستجو در مدت اخیر (معمولا 3 ماه) مشاهده می‌کنید.

View data about indexed pages

با کلیک روی این گزینه، تمامی اطلاعات مربوط به صفحاتی که ایندکس شده‌اند، نمایش داده می‌شود. شما می‌توانید لیست و جدول صفحات ایندکس شده را به تفکیک با امکان مشاهده آخرین زمان کراول مشاهده کنید. نمونه صفحات ایندکس شده و بدون مشکل در لیست “Examples” به شما نمایش داده می‌شوند.

فیلتر صفحات در ابزار Pages سرچ کنسول

اگر در این صفحه به قسمت بالا سمت چپ نگاهی بیندازید، گزینه‌ای را مشاهده می‌کنید که در حالت دیفالت روی “All Known Pages” قرار دارد. این زبانه امکان فیلتر صفحات را به شما ارائه می‌کند که دارای 3 بخش زیر می‌باشد:

• All known pages: با انتخاب این گزینه تمام صفحاتی که در سایت شما شناسایی شده است، در گزارش‌های Pages سرچ کنسول نمایش داده می‌شوند.
• All submitted pages: تمامی صفحاتی که در صفحه Sitemap درج کرده‌اید در لیست گزارش‌ها نمایش داده می‌شود.
• Unsubmitted pages only: اگر صفحاتی که در سایت مپ ثبت نکرده‌اید وجود داشته باشند، با انتخاب این گزینه فقط آنها را نمایش می‌دهد.

این قسمت از آموزش بخش pages سرچ کنسول بیشتر برای سایت‌هایی که تعداد صفحات بسیار بالایی دارند و وبمستر قصد دارد صرفا صفحات خاصی را ارزیابی کند، مورد استفاده قرار خواهد گرفت.

منظور از Primary crawler در گزارش Pages در سرچ کنسول چیست؟

این قسمت در گذشته در بالا سمت راست صفحه وجود داشت اما اکنون زمانی که URL صفحه را در فیلد جستجو وارد می‌کنید، در باکس بازشونده “Page Indexing” روبرو عبارت “Crawled As” قرار دارد.

در این حالت باید بدانید که خزنده‌های گوگل به عنوان یک کاربر سایت، یا در حالت Smartphone یا Desktop پلتفرم شما را کراول می‌کند که این قسمت قابل تغییر توسط کاربر نیست. مهم است که سایت شما هم برای کاربران موبایلی نیز بهینه سازی شده و مانعی برای ایندکس سایت از این طریق وجود نداشته باشد.

روبروی این قسمت، آخرین زمان کراول سایت شما نیز نمایش داده می‌شود.

شما می‌توانید برای تسلط کامل بر تمام امکانات و جزئیات این ابزار گوگل، نگاهی به صفحه آموزش سرچ کنسول داشته باشید. در این صفحه قدم به قدم آموزش ثبت سایت در سرچ کنسول، گزارش‌ها و نحوه بررسی و تحلیل آنها را به شما آموزش داده‌ایم.

Submitted and indexed

در سیستم سرچ کنسول گذشته، به جای ابزار Pages، شما به Coverage دسترسی داشتید که گزارشی از صفحات ایندکس و سابمیت شده را ارائه می‌کرد. در این قسمت، صفحات سایت شما از 2 جهت بررسی می‌شد که عبارتند از:

• Indexed: به معنای ایندکس و قابل نمایش در صفحه SERP گوگل می‌باشد.
• Submitted: به معنای قرار گرفتن URL صفحه در فایل sitemap سایت شما است.

Indexed, not submitted in sitemap

در این حالت صفحه سایت شما ایندکس شده و در صفحات SERP نمایش داده می‌شود. با این حال لینک آن در Sitemap درج نشده است.

آشنایی با جدول و لیست Why pages aren’t indexed در سرچ کنسول

قسمت دوم از ابزار Pages در آموزش بخش pages سرچ کنسول مربوط به لیست صفحاتی است که ایندکس نشده‌اند. در این قسمت همه صفحات براساس ارورهایی که ممکن است مانع از ایندکس شدن آنها شده باشد، نمایش داده می‌شود.

به عنوان مثال اگر سایت شما برای یوزر ایجنت‌ها (user-agent)های موبایلی مسدود شده باشد، احتمالا بسیاری از صفحات سایت شما در این قسمت قرار می‌گیرند. بنابراین لازم است دستور Disallow را برای این نوع کراولرها در فایل Robots.txt بردارید.

کاربرد جدول گزارش Pages در سرچ کنسول چیست؟

این جدول تمام صفحاتی که ایندکس نشده را به صورت کامل براساس ارور (ستون Reason) آن نمایش می‌دهد. توجه به این ارورها برای آموزش بخش pages سرچ کنسول بسیار مهم است که در ادامه به آن پرداخته‌ایم. بنابراین یک سئوکار تکنیکال می‌تواند صرفا با مراجعه به این بخش، تمام Pageهایی که به نحوی ایندکس نشده‌اند را مشاهده کند.

این لیست با 5 ستون ارائه شده است که اولین مورد (Reason) آن را بیان کردیم.

• Source: در این قسمت، منبعی که مشکل از آن ناشی می‌شود را مشاهده می‌کنید که می‌تواند به خاطر ارور سایت “Website” بوده یا به خاطر گوگل یا “Google systems” باشد.

نکته: شما صرفا می‌توانید ارورهایی که با منبع Website درج شده‌اند را برطرف کنید.

• Validation: در صورتی که روی ایرادات کار کرده باشید، امکان آن وجود دارد که به گوگل درخواست بررسی مجدد صفحه را ارائه نمایید. در این ستون، وضعیت اعتبار سنجی مجدد نمایش داده می‌شود که به شکل یکی از حالت‌های “Failed” یا “not started” خواهد بود.
• Trend: نموداری از روند ایجاد ارور مذکور را نمایش می‌دهد.
• Pages: تعداد صفحات با ارور مذکور را نمایش می‌دهد.

گزینه فیلتر در بخش Why pages aren’t indexed

شما می‌توانید در هر ناوبری تا 500 ردیف ارور را مشاهده کنید. در این بخش برای دسترسی سریع‌تر به دسته خاصی از صفحات، گزینه فیلتر قیف مانندی را مشاهده می‌کنید که براساس نوع ارور، منبع مشکل، وضعیت اعتبار سنجی و صفحات امکان محدود کردن نمایش صفحات مدنظر شما را می‌دهد.

حال در ادامه آموزش بخش pages سرچ کنسول می‌خواهیم لیستی از ارورهایی که ممکن است در این قسمت مشاهده کنید را به شما معرفی کنیم که عبارتند از:

Excluded by noindex tag

زمانی که این ارور را مشاهده می‌کنید بدان معنا است که خزنده‌های موتور جستجو تگ “noindex” را در صفحه شما پیدا کرده‌اند. این تکه کد باعث می‌شود تا از ایندکس این صفحات، هرچند که ممکن است صفحه خزش شده باشد، جلوگیری شود. معمولا این تکه کد به شکل زیر در صفحه قرار داده می‌شود:

<meta name=”robots” content=”noindex”>

Alternate Page with Proper Canonical Tag

زمانی که این ارور را مشاهده می‌کنید، نیازی به انجام کاری نیست. فقط باید بدانید که این مورد نمایانگر صفحه‌ای است که نسخه‌ای جایگزین برای صفحه اصلی می‌باشد. به عنوان مثال ممکن است مربوط به صفحه Amp یا نسخه‌ای برای تلفن همراه و غیره باشد که به این صورت برای گوگل معرفی شده است.

Not Found (404)

این ارور در آموزش بخش pages سرچ کنسول زمانی ایجاد می‌شود که صفحه موردنظر به هر دلیلی حذف شده، در دسترسی نیست و زمانی که به لینک مدنظر درخواستی ارسال می‌شود، ارور 404 را دریافت می‌کنید. زمانی که سرور نتواند URL درخواست شده را در سایت پیدا کند، چنین ایرادی را مشاهده می‌کنید. معمولا شما می‌توانید با معرفی یک جایگزین برای آن URL، ریدایرکت کردن صفحه (با کد 301) و اصلاح پیوند آن را برطرف کنید.

Page with Redirect

زمانی که صفحه ریدایرکت شده و به غیر از نوع Canonical باشد، چنین اروری را مشاهده می‌کنید. به همین خاطر گوگل در حالت معمول صفحات مقصد را که هدایت شده‌اند، ایندکس نمی‌کند و یا بسته به آنچه از تغییر مسیر صفحه درک کرده، ایندکس صفحه انجام خواهد شد. اگرچه ممکن است ریدایرکت یک عمل رایج در سایت‌ها باشد اما اگر این ارور برای صفحات مهم رخ دهد، حتما بررسی کنید.

پیشنهاد می‌شود هشدارهایی که در بخش Improve page experience راجع به آن صفحه بیان شده و نوع ریدایرکت یا مقصد آن را بررسی کنید. همچنین شما می‌توانید با ابزار URL Inspection Tool پیوند را بررسی کرده و نوع ریدایرکت آن را مشاهده و اصلاح کنید.

Duplicate without User-selected Canonical

توجه به ارورهای Duplicate در آموزش بخش pages سرچ کنسول بسیار مهم هستند. در حالتی که گوگل صفحه مدنظر را کپی‌ای از صفحه دیگر مدنظر خود اعلام کند، این مشکل را مشاهده می‌کنید. بنابراین صفحه موردنظر ایندکس نخواهد شد. شما می‌توانید با ابزار URL Inspection Tool مشاهده کنید که کدام صفحه برای پیوند مدنظر کنونیکال تعریف شده است.

در صورتی که فکر می‌کنید گوگل اشتباه کرده است، می‌توانید به صورت جداگانه تگ کنونیکال را برای آن صفحه تعریف کنید. همچنین اگر فکر می‌کنید که صفحه تکراری نیست، حتما محتوای آن را بررسی کنید.

Discovered – currently not indexed

زمانی که بارگیری سایت بیش از حد طول بکشد یا ظرفیت کراول فراتر برود، گوگل خزش صفحه موردنظر را بعدا انجام خواهد داد. در این حالت این ارور را مشاهده می‌کنید که زمان خاصی برای کراول آن درج نشده است.

Crawled – currently not indexed

این ارور نشان می‌دهد که صفحه موردنظر کراول شده اما هنوز ایندکس نشده است. در آموزش بخش pages سرچ کنسول نمی‌توان دلیل دقیقی را برای علت آن تعیین کرد. فقط باید منتظر باشید تا گوگل در آینده آن را ایندکس هم کند.

Blocked by robots.txt

فایل Robots.txt یکی از فایل‌های مهم سایت شما است که قوانینی را برای کراول و ایندکس صفحات به ربات‌های خزنده موتورهای جستجو گوشزد می‌کند. زمانی که این ارور را مشاهده می‌کنید، بدین معناست که براساس قانون تعریف شده، از ایندکس یا کراول صفحه جلوگیری شده است.

نکته: هیچ تضمین صددرصدی برای عدم ایندکس با تعریف قوانین در این بخش وجود ندارد.

Duplicate, Google Chose different canonical than user

زمانی که گوگل تصور کند یک URL دیگر به عنوان کنونیکال بهتری برای این صفحه تعریف شده است، این ارور را مشاهده می‌کنید. همانطور که می‌دانید، صفحات بسیار زیادی در وب خزش و ایندکس می‌شوند و گوگل تا حد امکان صفحات با ارزش را نمایش می‌دهد. بنابراین صفحاتی که ممکن است محتوای مشابه داشته باشند و یا به نحوی تکراری با توجه به دیگر صفحات درنظر گرفته شوند، با این ارور مواجه خواهند شد.

برای رفع این ارور راهکارهای رفع خطا Duplicate, Google chose different canonical than user را مطالعه کنید.

Blocked due to other 4xx issue

در صورتی که خزنده موتور جستجو نتواند به دلیل ایجاد مشکلی از نوع 4xx صفحه مورد نظر را ارزیابی کند، این ارور رخ می‌دهد. خانواده ارورهای 4xx ارورهایی را نشان می‌دهد که مربوط به سایت است و باید عیب یابی شوند. مثلا ارورهای 403، 401، 422، 429 و غیره ممکن است علل آن باشد.

Server error (5XX)

این ارور در آموزش بخش pages سرچ کنسول مربوط به سرور شما است. به علت مشکل یا شرایطی، سرور اجازه دسترسی را به کراولر نمی‌دهد.

Submitted URL marked ‘noindex’

زمانی که صفحه موردنظر توسط گوگل نتواند قابل ایندکس باشد، به دلیل آنکه از متاتگ noindex در آن استفاده شده است، این ارور را مشاهده می‌کنید.

Blocked by page Removal Tool

اگر از طریق سرچ کنسول سایت شما درخواست حذف URLای ثبت شود، با این ارور مواجه می‌شوید. در این حالت ابتدا از طریق ابزار URL removals tool بررسی کنید که چه کسی آن را حذف کرده است. هرچند که درخواست‌های حذف URLها تا 90 روز بعد مفید خواهند بود و به همین خاطر باید از تگ Noindex استفاده شود.

Blocked due to unauthorized request (401)

اگر برای صفحه موردنظر خود یک شرط احراز هویت درنظر گرفته باشید، گوگل بات نمی‌تواند وارد صفحه شده و آن را کراول کند. باید در صفحه مدنظر خود این اشکال را برطرف کنید.

Blocked due to access forbidden (403)

زمانی که سرور اجازه ورود به منبع را به کاربر ندهد، این مشکل را مشاهده می‌کنید. هرچند که user-agent اعتبار لازم را برای ورود به صفحه ارائه کرده اما سرور اجازه نداده است.

Soft 404

زمانی که در پاسخ به درخواست ربات گوگل برای صفحاتی که نامعتبر نیست (از نظر آنها)، به جای ارور 404 یا 401، کد HTTPS 200 از سوی سرور ارائه شود، این ارور را مشاهده می‌کنید. در این حالت وبمستر باید چنین صفحاتی که برای گوگل به عنوان صفحه غیرمعتبر شناخته شده است، مورد بررسی قرار گیرد. ریدایرکت، عدم ارائه ارور 404، صفحه بدون محتوا یا با محتوای کم و غیره از جمله دلایل نامعتبر بودن صفحه ازنظر گوگل است.

چطور از گزارش Pages گوگل سرچ کنسول استفاده کنیم؟

همانطور که در بخش قبل از آموزش بخش pages سرچ کنسول بیان کردیم، بهترین روش استفاده از این گزارش‌ها، توجه به ستون Reason و رفع ارورها با توجه به راهنمایی‌های گوگل است. شما می‌توانید با کلیک روی هر صفحه که Noindex است، با انتخاب گزینه “Learn More”، اطلاعات بیشتری را راجع به نوع مشکل و راه حل آن بیابید. همچنین در صورت رفع اشکال، می‌توانید روی گزینه “Validate Fix” کلیک کنید تا ارور برطرف شود.

همچنین شما می‌توانید با آموزش بخش test live سرچ کنسول، به صورت زنده مشکلات مربوط به ایندکس یا کراول صفحات سایت خود را مشاهده کنید.

در گزارش Pages سرچ کنسول به چه چیزهایی توجه کنیم؟

مهم‌ترین اطلاعاتی که باید در گزارش Pages به آن توجه کنید، صفحاتی است که در گروه No Index طبقه بندی شده‌اند. همچنین ستون‌های Reason و Source در این قسمت برای اطلاع از دلایل مشکلات هر صفحه مهم است.

سوالات مهم در بخش Pages سرچ کنسول

در انتهای این مقاله برای تکمیل آموزش بخش pages سرچ کنسول سوالات مهم شما را پاسخ می‌دهیم که به شرح زیر هستند:

تعداد کل صفحات با وضعیت Indexed بدون هیچ دلیلی افت کرده چه باید کرد؟

یکی از مهم‌ترین دلایلی که منجر به چنین مشکلی می‌شود آن است که دسترسی به صفحات توسط ربات‌های گوگل را مسدود کرده‌اید. این موضوع ممکن است به دلایل مختلفی رخ دهد از جمله:

• نصب افزونه‌های نامعتبر.
• ایجاد تغییراتی در فایل ربات به صورت خواسته یا ناخواسته.
• درج تگ‌های noindex در صفحات مختلف.

همچنین ممکن است از نظر فنی سایت شما دچار بدافزارها یا دسترسی‌های غیرمجاز باشد که می‌توانند چنین اشکالاتی را ایجاد کنند. توصیه می‌شود در بازه‌های زمانی مختلف بکاپ از سایت خود داشته باشید.

صفحات Not Indexed سایتم بیشتر از صفحات Indexed هست

همانند سوال قبل، برخی از پاسخ‌ها مشترک است. همچنین این موضوع در سایت‌های جدید نیز دیده می‌شود. در صورتی که تولید محتوای کمی دارید و یا از تگ Noindex در صفحات مختلف سایت استفاده کرده باشید، این ارور را مشاهده می‌کنید.

نکته: ممکن است برخی از وبمسترهای تازه کار، اقدام به نصب پلاگین‌های سئو کرده ولی تنظیمات آن را به درستی انجام نداده باشند. در این حالت تگ‌های noindex به صورت خودکار روی پست‌ها درج می‌شود که از ایندکس جلوگیری می‌کند. همچنین فعال بودن تیک گزینه درخواست از موتور جستجو برای عدم ایندکس (در تنظیمات وردپرس) و یا تعیین بازه زمانی طولانی برای کش سایت نیز می‌توانند در افزایش صفحات نوایندکس موثر باشند.

با توجه به آموزش بخش pages سرچ کنسول بهتر است به Reasonهای ثبت شده در گزارش Pages سرچ کنسول توجه کنید. به عنوان مثال یک دلیل رایج در این بخش، Duplicate بودن صفحات مختلف سایت شما توسط گوگل است که باید اصلاح شود.

چرا صفحه مورد نظرم اصلا در گزارش Pages سرچ کنسول نیست؟

یکی از مهم‌ترین دلایلی که منجر به این مشکل می‌شود، عدم اجازه کراول صفحه توسط وبمستر است که از طریق تعریف یکسری قوانین در فایل Robots.txt انجام می‌شود. در غیر اینصورت ممکن است وجود ریدایرکت، عدم ثبت صفحه در سایت مپ، عدم دسترسی سرور به خزنده‌های گوگل مانع از شناسایی صفحه در سرچ کنسول باشند.

نکته: شما می‌توانید برای بررسی دقیق صفحه و مشکلی که وجود دارد از ابزار URL Inspection سرچ کنسول استفاده کنید.

چرا ربات های گوگل همچنان صفحه ای که حذف کردم رو کراول می کنن؟!

بنابر آنچه گوگل بیان کرده است، هیچ راهی برای محدود کردن خزش کراولرها از سایت مپ وجود ندارد. همچنین گوگل در جای دیگری می‌گوید:

حتی اگر صفحه‌ای از طریق ابزار URL Removal Tool حذف شود، نتیجه تا 90 روز موثر بوده و بعد از آن مجددا امکان ایندکس صفحه وجود دارد. گوگل توصیه کرده است حتما از تگ Noindex برای این صفحات استفاده شود.

چرا صفحه ای که نمی خواستم ایندکس بشه در گزارش Pages سرچ کنسول ایندکس شده؟

دلایل مختلفی را می‌توان در این بخش از آموزش بخش pages سرچ کنسول بیان کرد که عبارتند از:

• خطای احتمالی در حذف شرط عدم ایندکس صفحه که می‌تواند در خود صفحه یا در فایل Robots.txt رخ داده باشد.
• وجود یکسری لینک‌های داخلی یا خارجی که به صفحات مدنظر شما پیوند شده‌اند.

قابل ذکر است که خزنده‌ها می‌توانند حتی صفحاتی که دارای تگ noindex هستند را خزش کنند. همچنین درج تگ noindex در فایل ربات تضمینی در عدم 100% ایندکس این صفحات ایجاد نمی‌کند. در این رابطه نقل قول مستقیم گوگل را در تصویر زیر بخوانید:

چرا خطایی که در جدول گزارش Pages می بینم با ابزار URL Inspection دیده نمیشه؟

تفاوت داده‌ها در جدول گزارش Pages و ابزار URL Inspection می‌تواند شامل دلایل زیر باشد:

• تاخیر و به روز نبودن داده‌ها.
• وجود اشکالات موقت.
• درنظر گرفتن اطلاعات بیشتر که معمولا در بخش ایندکس، گزارش Pages جزئیات بیشتری را ارائه می‌کند. ابزار URL Inspection برخی مشکلات مانند Duplicate بودن صفحات یا غیرکنونیکال بودن آنها را تشخیص نمی‌دهد.
• یکی دیگر از مهم‌ترین دلایل، کش شدن صفحه است که باید در بازه‌های زمانی مناسب clear شوند.
• همچنین نوع user-agent و دستگاهی که استفاده می‌کند می‌تواند در این موضوع موثر باشد.

چطور خطاهای سئو سایت که مانع ایندکس صفحه میشه رو پیدا کنم؟

از جمله روش‌های مهم در این بخش می‌توان گفت:

• استفاده از ابزارهای Audit سایت که یکی از مهم‌ترین آنها Ahrefs Site Audit است.
• توجه به Reasonهای درج شده که در آموزش بخش pages سرچ کنسول به توضیح آنها پرداختیم.
• بررسی ثبت صحیح فایل‌های مهم سایت از جمله Sitemap و Robots.txt.
• استفاده از ابزارهای تحلیل سئو سایت مانند Sermush و Moz.
• استفاده از نرم افزار Screaming Frog SEO برای تشخیص مشکلات داخلی مانند ارورهای HTTPS، صفحات یتیم و ریدایرکت‌ها.

منبع: لینک