فایل Robots.txt چیست؟ + دستورالعمل مهم برای بهینه سازی

فایل Robots.txt چیست؟ ربات‌های موتور جستجو که مسئولیت خزش و ایندکس صفحات مختلف سایت شما را دارند، در اولین مرحله از فایل Robots.txt بازدید خواهند کرد. این فایل در واقع راهنمای آنها برای تعیین مناطق مجاز و ممنوعه ورود به سایت شما است. زمانی که بتوانید با دستوراتی که در ادامه بیان می‌کنیم و نکات آن، چنین فایلی را ایجاد کنید، ربات‌های موتور جستجو و حتی سایت‌هایی که اقدام به آنالیز سایت شما می‌کنند (مانند سمراش و غیره) از ورود (خزش و ایندکس) برخی صفحات منع می‌شوند. در ادامه این مقاله با SEOEDU، مجری سئو در یزد همراه باشید تا صفر تا صد آشنایی با دستورات فایل  Robots.txt و معانی‌شان را یکبار برای همیشه بیاموزیم.

آشنایی با متاتگ Robots

قبل از اینکه بخواهیم بگوییم فایل Robots.txt چیست اجازه دهید ابتدا راجع به متا تگی با این نام صحبت کنیم. همانطور که می‌دانید، متا تگ‌ها قطعه کدهای HTML هستند که دارای یک سری خاصیت‌ یا پراپرتی بوده و توسط ربات‌ها و موتورهای جستجو خوانده می‌شوند.

متاتگ Robots به عنوان یک تگ HTML شناخته می‌شود که معمولا در قسمت Head سایت قرار گرفته و دستورالعمل‌هایی را برای نحوه خزش خزنده‌ها ارائه می‌کنند. این نوع متا تگ‌ها می‌توانند همانند فایل‌های Robots.txt، اجازه ایندکس کردن یک صفحه را بدهند.

در رابطه با متا تگ Robots می‌توان به 2 نوع آن اشاره کرد که شامل موارد زیر هستند:

• Meta Robots Tag: کدهای HTML که در سایت شما وجود دارند.
• Meta X-Robots: هدرهایی که توسط سرور به عنوان HTTP headers ارسال می‌شوند.

هردو می‌توانند برای نو ایندکس کردن و نو فالو کردن به کار رفته اما نحوه انتقال این دستورات به خزنده‌ها در این دو متفاوت خواهند بود.

فایل Robots.txt چیست؟

در پاسخ به این پرسش که Robots.txt چیست باید بگوییم فایلی است که پسوند آن txt بوده و درون سایت شما (قسمت روت هاست) قرار دارد. توجه نمایید که بارگذاری فایل Robots در سایت از طریق هاست انجام می‌گردد. این داده می‌تواند رفتار خزیدن ربات‌های گوگل در کل سایت را تعیین ‌کند.

حال ممکن است بپرسید تفاوت متا تگ Robots با فایل Robots.txt چیست؟ در این خصوص باید به 2 مورد اشاره کرد:

• اول آنکه متا تگ ربات برای یک صفحه به کار رفته اما دستورات فایل ربات سایت برای بخشی از سایت و صفحات آن مانند تگ‌ها، صفحات دسته بندی و غیره استفاده می‌شوند.
• دوم آنکه متا تگ ربات دستورالعمل‌های محکم‌تری را برای نحوه خزیدن و ایندکس محتوای یک صفحه ارائه می‌کنند که باعث می‌شود ربات‌های موتور جستجو صریحا به آن پایبند باشند.
• سوم آنکه شما نمی‌توانید از متا تگ ربات برای عدم ایندکس شدن فایل‌های رسانه‌ای مانند PDF یا تصاویر استفاده کنید. در این حالت پیشنهاد می‌شود از فایل txt استفاده نمایید.

بنابراین توجه کنید که اگر می‌خواهید از ایندکس صفحه‌ای جلوگیری کنید، بهتر است از متا تگ ربات استفاده نمایید. چراکه قرار دادن این دستور برای صفحه موردنظر در فایل Robots.txt تضمین کننده عدم نمایش آن به موتورهای جستجو به صورت قطعی نیست. تنظیم و ساخت چنین فایل‌هایی یکی از مهم‌ترین اقداماتی است که در سئو تکنیکال انجام می‌شود. اگر نمی‌دانید “سئو چیست؟” حتما این مقاله جامع از سایت ما را مشاهده کنید.

پارامترهای کنترل ایندکس در متا تگ ربات سایت چیست؟

آیا تا به حال فکر کرده‌اید که دستورات کنترلی در فایل Robots.txt چیست؟ قبل از پاسخ به این پرسش اجازه دهید ابتدا به سراغ دستورات آن در متا تگ ربات برویم.

<meta name=”robots” content=”ndoop”>

خط بالا یک کد از نوع meta robots tag است که می‌تواند برای تعیین ایندکس کردن یک صفحه به کار برود. شما می‌توانید با 11 دستور، شیوه ایندکس شدن صفحه را بیان کنید. این دستورات به جای عبارت “ndoop” قرار می‌گیرند.

• Noindex: دستور عدم ایندکس را به موتور جستجو اعلام می‌کند.
• Index: دستور ایندکس کردن صفحه را به موتور جستجو اعلام می‌کند. توجه کنید که نیازی به درج این دستور زمانی که می‌خواهید صفحه‌ای ایندکس شود نخواهید داشت.
• Follow: به خزنده دستور می‌دهد تا تمام لینک‌های داخلی را حتی اگر صفحه ایندکس نشده باشند، دنبال نماید و ارزش صفحه را به لینک‌ها منتقل نماید.
• Nofollow: برخلاف دستور بالا، عدم دنبال کردن یا انتقال ارزش صفحه به لینک‌ها را اعلام می‌کند.
• Noimageindex: به خزنده دستور می‌دهد تا هیچ تصویری را در صفحه ایندکس نکند.
• None: معادل دستور Noindex و Nofollow به صورت همزمان می‌باشد.
• Noarchive: به موتور جستجو دستور می‌دهد تا نسخه کش شده صفحه را در صفحه SERP گوگل نمایش ندهد.
• Nocache: همان دستور Noarchive را انجام می‌دهد با این تفاوت که فقط در مرورگرهای فایرفاکس و اینترنت اکسپلورر کاربرد دارد.
• Nosnippet: به موتور جستجو اعلام می‌کند که تکه کدهای snippet یا متا دیسکریپشن را در صفحه SERP نمایش ندهد.
• Noodyp/noydir: منسوخ شده است.
• Unavailable_after: به موتورهای جستجو اعلام می‌کند که از این تاریخ به بعد این صفحه را ایندکس نکنند.

ربات های گوگل در فایل Robots.txt چیست و انواع آن کدامند؟

قبل از اینکه به ادامه مطلب بپردازیم و درک کنیم که فایل Robots.txt چیست؟، ممکن است شما هم در مورد عباراتی نظیر “ربات” یا “خزنده” دچار ابهام شده باشید. به صورت خلاصه باید بگوییم این عبارات بیانگر ربات‌های خزنده موتورهای جستجو هستند که با نام Crawler شناخته می‌شوند. مهم‌ترین ربات‌هایی که معمولا شما با آن سروکار خواهید داشت عبارتند از:

• Googlebot: ربات اصلی که وظیفه کشف و ایندکس صفحات را دارد. با توجه به اهمیت نسخه موبایلی، دارای دو مدل دسکتاپ و Smartphone می‌باشد.
• AdSense: از این ربات برای بررسی صفحات برای نمایش متن تبلیغات مرتبط استفاده می‌شود.

همچنین ربات‌هایی برای ایندکس تصاویر، ویدیو و پیدا کردن سایت‌های خبری نیز وجود دارند. این ربات‌ها همگی بسته به وضعیت سایت شما به صورت روزانه یا با فاصله‌های زمانی مختلف به سایت شما سر می‌زنند.

هدف و کاربرد استفاده از فایل Robots.txt چیست؟ + مثال کدنویسی

ممکن است این سوال هم برای شما مطرح شود که چرا باید فایل Robots.txt برای سایت خود داشته باشیم؟ هدف و کاربرد استفاده از فایل Robots.txt چیست؟ در پاسخ علاوه بر مواردی که تاکنون بیان کردیم، می‌توان به چند مورد زیر نیز اشاره نمود که عبارتند از:

• بلاک کردن دسترسی به برخی از فولدرها و کانتنت‌ها

شما می‌توانید خزنده‌ها را از فایل‌ها و یا پوشه‌های خصوصی که اطلاعات اضافی ارائه نمی‌کنند منع کنید. این کار می‌تواند علاوه بر صرفه جویی در نرخ خزش، کراول سایت شما را عمیق‌تر و سریع‌تر کند که از مزایای فایل robots.txt به شمار می‌آید. مثال:

بلاک خزنده‌ها از تمام urlهای حاوی “?”	بلاک کردن تمام خزنده‌ها از پوشه File به جز یک فولدر از آن
User-agent: * Disallow: /*?	User-agent: * Disallow: /navy/ Allow: /File/Doc.html

• دسترسی تنها به خزنده های خاص

در سایت‌هایی که حجم بسیار زیادی دارند، برخی از وبمسترها تلاش می‌کنند تا برای ذخیره و حفظ پهنای باند خود، تنها به خزنده‌های مهم مانند گوگل بات‌ها دسترسی بدهند. به عنوان مثال می‌توان از کدهای زیر برای مسدود کردن تمام خزنده‌ها یا صرفا خزنده گوگل یا یاهو اشاره کرد.

بلاک کردن تمام خزنده‌ها	بلاک کردن خزنده گوگل بات	بلاک کردن خزنده یاهو
User-agent: * Disallow: /	User-agent: googlebot Disallow:	User-agent: slurp Disallow:

دلایل اهمیت فایل Robots.txt چیست؟

مهم‌ترین جنبه اهمیت فایل Robots.txt چیست؟ در این حالت باید به اثر مهم سئویی این فایل اشاره کرد که کمترین خطا در آن می‌تواند لطمه‌ای بزرگ به سایت شما و سئو آن وارد نماید. در این خصوص می‌توان به موارد زیر اشاره نمود که عبارتند از:

• در صورتی که اشتباهی در دستورات درج شده برای این فایل رخ دهد، کراول و ایندکس سایت شما با مشکل روبرو خواهد شد.
• در صورتی که به فایل txt بی توجهی شود، ربات‌های گوگل بدون آنکه محدودیتی برای آنها درنظر گرفته شود، تمام فایل‌ها و داده‌های سایت شما را بررسی و ایندکس می‌کنند.
• یکی دیگر از مسائل مهم در این بخش آن است که بودجه خزش سایت شما با تنظیمات این فایل تحت تاثیر قرار می‌گیرد. بودجه خزش یک موضوع مهم در سئو داخلی است که میزان توجه گوگل و ربات‌های خزنده آن به سایت شما را نشان داده و تعیین می‌کند که کراول و ایندکس سایت شما با چقدر ظرفیت در یک دوره زمانی انجام گردند. با محدود کردن کراول و ایندکس صفحات بی ارزش، نرخ کراول بادجت خود را دقیقا روی محتواهایی که می‌خواهید مصرف و هدایت کنید. این کار باعث می‌شود تا دیگر محتواهای بدون ایندکس نداشته یا کمتر داشته باشید.

یک سوال جالب که ممکن است برای شما هم مطرح شود این است که اگر سایت شما فایل robots.txt را نداشته باشد چه اتفاقی می‌افتد؟ در این حالت ربات‌های گوگل بدون محدودیت اقدام به خزش و ایندکس سایت شما می‌کنند. در نتیجه تمام محتوای سایت شما تا حد ظرفیت نرخ خزش کراول شده و ایندکس می‌شوند. به دلیل وجود برخی صفحات بی‌ارزش، انجام این کار ممکن است برای بهینه سازی سئو سایت مناسب نباشد.

2 روش ایندکس صفحات توسط گوگل

در بخش قبل گفتیم که فایل robots.txt چگونه کار می کند اما لازم است به یک نکته توجه کنید. در صورتیکه سایت شما دارای این فایل نباشد، گوگل وارد سایت شما شده و همه لینک‌هایی که برچسب index دارند را بررسی می‌کند. در نتیجه تا زمانی که لینکسازی داخلی را به خوبی انجام داده باشید، این روند ایندکس و مرور صفحات ادامه خواهد داشت. اما ایراد مهم در این بخش، عدم توجه به صفحاتی است که می تواند در اثر یتیم بودن (بدون لینکسازی داخلی) ایندکس نشوند. به همین خاطر است که می گوییم حتما در بحث خزش و ایندکس کردن صفحات، اقداماتی نظیر لینکسازی داخلی، ساخت سایت مپ و فایل Robots.txt را به صورت کامل ایجاد کنید.

اما همانطور که در ابتدای مقاله برای سوال فایل Robots.txt چیست پاسخ دادیم، در صورتی که این فایل در سایت شما وجود داشته باشد، گوگل و ربات‌های خزنده آن وارد شده و این فایل را بررسی می‌کنند. سپس با توجه به نوع صفحاتی که در این فایل قرار داده شده است و لینک سایت مپ، می‌توانند تمامی صفحاتی که مدنظر وبمستر است را ایندکس نمایند. این فایل ربات تگ مخفی ندارد و می‌توانید با فشردن دکمه Ctrl+U، عبارت meta name=”robots” را جستجو کرده و آن را مشاهده کنید.

همانطور که قبلا گفتیم، در پاسخ به اینکه چرا فایل Robots.txt مهم است؟ باید گفت:

• مدیریت بودجه خزش.
• مدیریت ایندکس صفحات.
• جلوگیری از ایندکس صفحات بیهوده.
• محافظت از صفحات مهم.
• مدیریت ترافیک ربات‌ها.

فایل Robots.txt چگونه کار می کند؟

قبل از اینکه بخواهیم به دستوراتی که در تهیه فایل‌های Robots.txt به کار می‌روند بپردازیم، بهتر است ابتدا بفهمیم که اصلا نحوه عملکرد فایل robots.txt چگونه است؟ در این حالت می‌توان گفت:

• دستوراتی که داخل این فایل وجود دارند بیان می‌کنند که ربات‌های گوگل کدام URL را بخوانند و کدام یک از آنها را نادیده بگیرند.
• برای این کار از یکسری کدهای خاص استفاده می‌شود که در ادامه این مقاله به آن می‌پردازیم. همچنین نمونه کد آن برای متا تگ Robots در قسمت قبل ارائه شد.
• ابتدا ربات گوگل در صورت شناسایی فایل txt، عامل کاربر را به همراه دستورالعمل (قوانین) تعیین می‌کند. سپس با توجه به این دستورالعمل‌ها، عمل کراول و ایندکس صفحات مختلف سایت را انجام می‌دهد.

نکته: توجه به اینکه ساختار  robots.txt چگونه است برای ساخت و کدنویسی آن بسیار مهم می‌باشد. در ادامه دستورات مهم فایل روبوتس را مطالعه می‌کنید. عدم رعایت این نکته منجر به ایجاد معایب فایل robots.txt شده که می‌تواند اختلالاتی را در ایندکس و کراول سایت شما ایجاد نماید.

نکته: اگر می‌خواهید اطلاعات سایت خود را در معرض سایت‌های تحلیلی همچون سمراش و غیره نگذارید، کافیست SiteAuditBot آنها را در Robots.txt سایت خود مسدود نمایید. با این حال برخی از بات‌های اسپم و یا سرویس‌ها می‌توانند بدون توجه به دستورات این فایل، اقدام به بررسی سایت شما نمایند.

دستورات مهم در فایل Robots.txt کدامند؟

در بخش قبل مثال‌هایی را از کدنویسی در فایل Robots.txt بیان کردیم که ممکن است با ندانید کاربرد آنها در فایل Robots.txt چیست؟ در این خصوص می‌توان به موارد زیر اشاره کرد که عبارتند از:

دستور User-agent

این بخش رباتی که طرف حساب دستور ما است را مشخص می‌کند. مثلا Googlebot. همچنین شما می‌توانید برای آنکه همه ورودی‌های سایت خود را انتخاب کنید، از عبارت “*” استفاده نمایید. مثال:

User-agent: *

دستور Disallow

با این دستور، بخش‌هایی که ربات موتور جستجو نباید به آن وارد شوند را تعیین می‌کنید. مثال:
دستور زیر عدم ورود هیچ رباتی را به داخل پوشه photos بیان می‌کند.

User-agent: *
Disallow: /photos

دستور Allow

در این قسمت شما می‌توانید بخش‌هایی که ربات موتور جستجو قابلیت دسترسی و اجرای دستور شما را دارد تعیین کنید.
دستور زیر ورود و دسترسی هر رباتی را به داخل پوشه photos به جز فولدر Backup بیان می‌کند.

User-agent: *
Allow: /photos
Disallow: /photos/backup

دستور Sitemap

با این دستور می‌توانید لینک URL سایت مپ خود را مشخص کنید. مثال:
دستور زیر سایت مپ پلتفرم شما را به ربات نشان می‌دهد تا آن را خزش کند.

Sitemap: https://example.com/sitemap.xml

نکته: وجود علامت شارپ یا “#” در ابتدای دستورات به معنای کامنت کردن آن خط است.

دستور Crawl-delay

این دستور مدت زمان صبر کردن خزنده را پیش از خزش محتوای صفحه بیان می‌کند. توجه کنید که گوگل بات‌ها این دستور را نمی‌شناسند. شما می‌توانید در سرچ کنسول خود، Crawl Rate را تعیین کنید. Crawl Rate به معنای آن است که چند درخواست در ثانیه برای خزش توسط ربات‌های گوگل ارسال گردند. مثلا 5 درخواست در ثانیه.

ساخت چنین فایل‌هایی در زمان طراحی سایت با این فرامین به راحتی انجام می‌شود. همچنین می‌توانید از پلاگین‌های سئو در سیستم‌های مدیریت سایت استفاده کنید.

نحوه چک کردن فایل Robots.txt چگونه است؟

اگر می‌خواهید فایل Robots.txt سایت خود را بررسی کنید، می‌توانید از طریق این لینک، اقدام به بررسی این فایل ربات در گوگل نمایید. در این حالت باید دامنه خود را در قدم نخست در سرچ کنسول ثبت کرده سپس وارد این لینک شوید. سپس وارد دامنه مدنظر خود شده، به طور خودکار مقدار فایل Robots.txt را مشاهده می‌کنید. حال روی گزینه تست بزنید و یا می‌توانید در باکس میانی، مقدار آن را ویرایش کنید. در صورتی که گزینه Test به حالت Allowed درآید، گوگل بات دسترسی به سایت و محتوای آن را خواهد داشت. این روش راحت‌ترین راهکار اعتبارسنجی فایل robots.txt می‌باشد.

روش کامل ساخت فایل Robots.txt چیست؟

حال که تاحدودی فهمیدیم فایل Robots.txt چه تاثیری در سئو دارد؟ لازم است برای آموزش ساخت فایل ربات اطلاعاتی را مطرح نماییم. برای ایجاد فایل Robots.txt، از آنجایی که چنین داده‌ای در حالت معمول خود به عنوان یک فایل txt شناخته می‌شود، شما می‌توانید آن را به صورت دستی نیز بسازید. برای این کار می‌بایست با دستوراتی که بیان کرده‌ایم آشنا شده باشید. در ادامه با ما باشید تا به روش روش ساخت آن بپردازیم.

آموزش ساخت فایل Robots.txt در وردپرس

اگر از یک CMS وردپرسی یا غیره استفاده می‌کنید، معمولا پلاگین‌های سئو وجود دارند که می‌توانند به صورت خودکار چنین فایلی را ایجاد کنند. در سایت وردپرسی، کافیست افزونه Rank Math یا Yoast SEO را نصب کنید تا به صورت خودکار این فایل برای سایت شما ایجاد گردد.

• برای دسترسی به فایل ربات در افزونه رنک مث کافیست ابتدا وارد بخش General Setting شده سپس گزینه Edit Robots.txt را انتخاب کنید.
• برای دسترسی به فایل ربات سایت در افزونه Yoast SEO می‌توانید ابتدا به قسمت SEO>Features> Advanced Settings مراجعه نموده سپس آن را فعال کنید. حال به قسمت SEO>Tools>File Editor مراجعه کنید. در این صفحه بر روی گزینه “Create Robots.txt” کلیک کنید. حال می‌توانید نسبت به مشاهده و ویرایش فایل ربات سایت خود اقدام کنید.

شما کاربران می‌توانید با گذراندن آموزش طراحی سایت با وردپرس نسبت به یادگیری کامل پلاگین‌های مهم در زمان طراحی سایت اقدام کنید.

اگر نمی‌دانید یک فایل Robots.txt باید حاوی چه چیزی باشد؟ (در سایت وردپرسی)، می‌توانید از تکه کد زیر استفاده نمایید:

User-agent: *

Disallow: /wp-admin/ #بلاک کردن دسترسی به پنل ادمین

Disallow: /wp-login.php # بلاک کردن دسترسی به قسمت ورود

Disallow: /search/ #بلاک کردن دسترسی به صفحات نتایج سرچ‌های داخلی

Disallow: *?s=* #مانند بالا

Disallow: *?p=* #بلاک کردن دسترسی به پیوندهای دائمی که ناموفق هستند

Disallow: *&p=* #بلاک کردن صفحات آن لینک‌ها

Disallow: *&preview=* #بلاک کردن دسترسی به صفحات پیش نمایش

Disallow: /tag/ #بلاک کردن دسترسی به صفحات تگ ها

Disallow: /author/ #بلاک کردن دسترسی به صفحات نویسنده

Disallow: /404-error/ #بلاک کردن دسترسی به صفحات 404

Disallow: /wp-includes/

Disallow: /wp-contents/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

آموزش ساخت فایل Robots.txt در سایت اختصاصی

در سایت‌های اختصاصی کافیست دستورات این فایل را درون فایلی به همین نام با پسوند txt وارد کرده و سپس آن را در بخش روت سایت خود آپلود کنید. سپس برای تست فایل robots.txt اقدام نمایید.

نکته: شما می‌توانید با اضافه کردن عبارت “/robots.txt” به انتهای آدرس صفحه اصلی سایت خود، چک کردن وجود فایل robots.txt برای یک سایت را تشخیص دهید.

کاربران عزیز سایت SEOEDU می‌توانند برای پیگیری موضوعات فنی و نیز سئو محلی که کمتر به آن توجه می‌شوند، از مقالات سایت SEOEDU استفاده کنند.

چگونه برای بهینه سازی فایل Robots.txt اقدام کنیم؟

روش بهینه سازی فایل Robots.txt چیست؟ در این رابطه می‌توان به یکی از داکیومنت‌های قدرتمند گوگل با نمونه Rulesهای مفید که به عنوان مثال آورده شده‌اند اشاره نمود. شما می‌توانید این داکیومنت را در این لینک مشاهده کنید. چند نکته دیگر در پاسخ به اینکه بهینه سازی فایل Robots.txt چیست؟ عبارتند از:

• همچنین پیشنهاد می‌شود که از noindex در این فایل استفاده نکنید.
• از مسدود کردن فایل‌های جاوا اسکریپت و CSS سایت خود جلوگیری کنید.
• اطمینان حاصل کنید که صفحه یا بخش‌های از سایت‌های خود را بیهوده Noindex یا Disallow نکرده باشید.
• حتما سایت مپ خود را در انتهای فایل اضافه کنید تا بهینه‌سازی فایل txt برای سئو به صورت کامل انجام گردد.
• اطمینان حاصل کنید بخش‌هایی از سایت که کمتر ایندکس می‌شوند، Allow باشند. سپس با لینک سازی داخلی نیز می‌توانید ایندکس این صفحات را سرعت دهید.
• تا حد ممکن است دستورالعمل‌هایی استفاده کنید که برای ربات‌های موتور جستجو شما پشتیبانی شوند.
• حتما از رعایت Capitalization در مسیر دایرکتوری‌ها، ساب دایرکتوری‌ها و نیز نام فایل‌ها اطمینان حاصل کنید.

شما کاربران می‌توانید برای ارتقا یا اصلاح و بهینه سازی فایل ربات سایت خود، از خدمات مشاوره سئو ما استفاده کنید.

محدودیت ها در فایل ربات سایت چیست؟

آیا استفاده از Robots.txt محدودیتی دارد؟ اگر بله؛ محدودیت‌های فایل Robots.txt چیست؟ در این خصوص می‌توان گفت پاسخ مثبت است و باید به 3 مورد مهم اشاره کرد که عبارتند از:

• قوانین فایل Robots.txt توسط همه خزنده‌ها رعایت نمی‌شود

 در واقع رعایت قوانین درج شده در فایل مذکور به خزنده موتور جستجو وابسته است که از آن پیروی کند یا خیر. معمولا Googlebotها از آن پیروی می‌کنند. با توجه به این موضوع، بهتر است برای محافظت بیشتر از فایل‌های خود، حتما از روش‌های دیگر مانند ایجاد رمز خصوصی بر روی سرور نیز استفاده کنید.

• خزنده‌های مختلف به شیوه‌های متفاوتی تفسیر می‌کنند

این موضوع بدان معنا است که هر خزنده قوانین ثبت شده در این فایل را به صورت متفاوتی تفسیر خواهد کرد. این اتفاق بدین خاطر می‌افتد که ممکن است خزنده‌های وب، دستورات درج شده را درک نکنند.

• صفحه‌ای که در این فایل غیرمجاز (از نظر ایندکس) باشد، می‌تواند در صورت دریافت لینک از سایت دیگر ایندکس گردد

یکی از نکاتی که باید سئو خارجی و لینکسازی ممکن است به آن توجه نکنید آن است که اگر سایت دیگری به صفحه‌ای که شما در فایل Robots.txt آن را غیرمجاز ثبت کنید لینک دهد، ممکن است آن URL ایندکس گردد. برای رفع این مشکل حتما نسبت به ایجاد رمز در فایل‌های سرور اقدام کرده و از متاتگ‌های Noindex یا Respone Headerها استفاده کنید. همچنین شما می‌توانید به طور کامل صفحه را حذف نمایید.

ما در مجموعه SEOEDU با آگاهی کامل از شرایط و چنین محدودیت‌هایی، خدمات سئو سایت شما را به صورت کامل انجام خواهیم داد.

اهمیت فایل robots.txt در کنترل نرخ خزش و بودجه سایت

تغییرات و تاثیرات نرخ خزش یا کراول باجت (بودجه خزش) با فایل Robots.txt چیست؟ یکی از پرسش‌های مهمی که ممکن است برای شما کاربران مطرح شده باشد، تاثیراتی است که فایل ربات بر نرخ خزش یا کراول باجت می‌گذارد. ابتدا اجازه دهید مفهوم کراول باجت را برای شما بیان کنیم:

• نرخ خزش یا کراول باجت: به تعداد صفحات (یا URLهایی) که توسط موتورهای جستجو برای یک سایت درنظر گرفته می‌شود تا توسط ربات‌های خزنده کراول شود، می‌گویند.

نکته: در صورتی که بودجه خزش سایت شما توسط گوگل کمتر تعیین شده باشد، تعداد صفحات کمتری خزش خواهد شد. این کار گوگل برای هوشمندسازی ظرفیت خزش سایت‌ها مطابق با فعالیت آنها تعریف شده است تا بر روی پروسه و سرعت خزش کنترل داشته باشد.

در پاسخ به سوالی که در این بخش مطرح کردیم باید گفت: این فایل ربات.txt به خزنده‌هایی که از سوی موتورهای جستجو می‌آیند، نوع صفحات و فایل‌هایی که باید خزش کنند را تعیین می‌نماید. به همین خاطر این فایل می‌تواند منجر به جلوگیری از بارگیری بیش از حد سایت‌ها و درخواست‌های مرتبط با خزنده‌ها خواهد شد. در نتیجه می‌تواند به هدایت Googlebotها از بخش‌های خاصی از سایت و همچنین آزاد کردن بودجه خزیدن کمک کند.

از ایندکس شدن چه صفحاتی باید جلوگیری شود؟

یکی از پرسش های متداولی که ممکن است شما کاربران داشته باشید، صفحاتی است که نباید ایندکس شوند. شما می‌توانید در فایل Robots.txt از ورود ربات‌های خزنده و ایندکس آن صفحات جلوگیری کنید. البته توجه کنید که بلاک کردن این صفحات نمی‌توانند تضمین کننده 100% عدم ایندکس آنها باشند. بلکه احتمال آن را بیشتر می‌کند. در رابطه با اینکه صفحات بلک لیست فایل Robots.txt چیست؟ می‌توان به موارد زیر اشاره کرد:

• صفحات خصوصی: برخی از صفحاتی که نمی‌خواهید در فضای مجازی و اینترنت قرار بگیرند، می‌توانند از ایندکس کردن خارج شوند.
• صفحات کپی: یکی دیگر از صفحاتی که می‌بایست از ایندکس آنها جلوگیری کرد، صفحاتی هستند که Duplicate شده‌اند. این صفحات چه از نظر سئو و نیز تجربه کاربری، منجر به تاثیرات منفی خواهند بود.
• صفحات موقت: یکی دیگر از مواردی که می‌توان در این بخش بیان کرد، صفحاتی هستند که به صورت موقت منتشر می‌شوند. ایندکس این صفحات در اینترنت، ممکن است کاربران بسیاری را در سایت شما جذب کند. در این حالت چنانچه این صفحات بدون اصول یا ناگهانی حذف شوند، علاوه بر تاثیر منفی بر تجربه کاربری، منجر به اثر منفی در سئو سایت و عدم اعتماد گوگل به پلتفرم شما خواهد شد.
• صفحات با محتواهای کم و غیرضروری: عدم ایندکس صفحاتی که از نظر ارزشی که به کاربر می‌دهند و یا محتوا ضعیف هستند، مهم است. این کار می‌تواند از چند جهت مفید باشد. اول مدیریت صحیح کراول باجت و دوم، عدم مواجه شدن کاربران با صفحات غیر مهم.

چگونه فایل robots.txt را تغییر دهیم؟

شیوه ثبت فایل Robots.txt یا تغییر فایل Robots.txt چیست؟ اگر سئوکار یا وبمستر سایتی هستید، حتما به این پرسش برخورد خواهید کرد. در این خصوص اجازه دهید چند راهکار را بیان کنیم که به شرح زیر می‌باشند:

• تغییر با افزونه سئو: افزونه‌های سئو مانند RankMath و نیز Yoast SEO این قابلیت را دارند که فایل ربات سایت شما را ویرایش کنند. بسته به اینکه از کدام افزونه استفاده می‌کنید، مسیر ویرایش این فایل متفاوت است. مثلا در افزونه رنک مث، لازم است به مسیر WordPress Dashboard> Rank Math SEO> General Setting مراجعه کرده و گزینه Edit robots.txt را بزنید. این مسیر در افزونه یوآست سئو عبارت است از Yoast SEO> Tools> File Editor و گزینه Create robots.txt. حال می‌توانید به راحتی اقدام به ویرایش فایل ربات سایت خود نمایید.

نکته: در همین مقاله، فرامین فایل Robots.txt را بیان کرده‌ایم. اگر نمی‌دانید این فرامین یعنی چه، باید بگوییم دستوراتی هستند که ربات گوگل برای کراول صفحات مختلف سایت شما از آن استفاده می‌کند.

• استفاده از FTP: شما می‌توانید از طریق برنامه FTP، اقدام به ویرایش آن نمایید. برای این کار باید سایت وردپرسی خود را با برنامه‌ی FTP که دسترسی به هاست شما را مانند یک فایل منیجر فراهم می‌کند اقدام کرده، سپس فایل txt را در کامپیوتر خود با محتوای مدنظرتان ایجاد کنید. حال در پوشه Public_html اقدام به آپلود این فایل نمایید.
• استفاده از cPanel یا دایرکت ادمین: اگر ارائه دهنده هاست شما، برنامه سی پنل یا دایرکت ادمین را برای تعامل با هاست ارائه کرده است، کافیست به هاست رفته، وارد پوشه Public_html شده و گزینه Upload را بزنید. حال می‌توانید فایل txt را در آنجا آپلود کنید. در صورتی که این فایل از قبل وجود داشته باشد، Replace خواهد شد تا محتوای جدید قرار گیرد.

نکته: اگر نمی‌دانید فایل Robots.txt کجاست؟ باید بگوییم شما می‌توانید این فایل را در هاست خود و در پوشه Public_html بیابید.
نکته: شما می‌توانید از روش‌های مذکور برای بارگذاری فایل Robots در سایت نیز استفاده کنید.
نکته: برای اطمینان از اینکه به درستی ویرایش این فایل انجام شده است، آدرس سایت خود را به همراه ” /robots.txt” وارد کرده و سپس محتوای فایل ربات خود را بررسی کنید.

روش ثبت در سرچ کنسول برای فایل Robots.txt چیست؟

نیازی به قرار دادن robots.txt در سرچ کنسول گوگل وجود ندارد. تنها کافیست فایل مذکور را در قسمت Root سایت خود آپلود کرده و اجازه دهید تا ربات‌های گوگل هر 24 ساعت نسخه‌ کش شده آن را بروزرسانی کنند. اگر می‌خواهید این کار سریع‌تر انجام شود، کافیست از Robots.txt Tester گوگل استفاده نمایید.

برای تست فایل robots.txt چکار کنیم؟

ابزار تست فایل Robots.txt چیست؟ برای آنالیز فایل robots می‌توانید از 2 ابزار زیر استفاده کنید:

• گوگل: کافیست وارد این لینک شده و روی گزینه Open robots.txt Tester کلیک کنید. حال در صفحه بعدی، لازم است پروپرتی یا سایت خود را که در سرچ کنسول ثبت کرده‌اید انتخاب کنید. سپس در صفحه جدید، کدهای این فایل را مشاهده کرده و با کلیک روی گزینه “Test” مشکلات یا وارنینگ‌های آن به شما نمایش داده می‌شوند.
• Seositecheckup: همچنین می‌توانید وارد این لینک از ابزار seositecheckup شده و آدرس url سایت خود را وارد کنید. در این حالت وجود فایل ربات سایت شما و خطاها یا ایرادات آن برای شما نمایش داده می‌شود.

در صورتی که آشنایی با دستورات فایل Robots.txt و معانی‌شان ندارید و به صورت نامناسب از آنها استفاده کنید، ممکن است این ابزارها هشدارها و خطاهایی را برای شما نشان دهند.

آموزش ساخت فایل ربات

برای ساخت فایل ربات.txt سایت خود، کافیست یک فایل داکیومنت با فرمت txt باز کرده و کدهای متداول را برای آن قرار دهید. اگر نمی‌دانید فایل داکیومنت چیست باید گفت یک داده است که غالبا حاوی اطلاعاتی به صورت متن بوده و به عنوان یک مرجع برای یک موضوع خاص استفاده می‌شود. فایل‌های Robots.txt یک فایل مرجع برای ربات‌ها هستند. به عنوان مثال می‌توانید از کد زیر استفاده کنید:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /
Sitemap: https://yousite.ir/sitemap_index.xml

همچنین شما می‌توانید با باز کردن مجدد این فایل، اقدام به ویرایش فایل robots.txt نمایید. حتما در نوشتن کدهای داخل این فایل، دقت لازم را به خرج دهید تا منجر به عدم کراول و ایندکس صفحات مهم نشوید. در این حالت از راهنمای توضیح داده شده در قسمت قبل از این مقاله استفاده کنید تا این فایل را در هاست خود قرار دهید.

نکاتی در مورد فایل Robots.txt که باید بدانید

حال که فهمیدیم فایل Robots.txt چیست؟ اجازه دهید چند نکته را در انتهای این مقاله برای شما عنوان کنیم که عبارتند از:

• حتما در انتخاب عامل اجرایی یعنی User-Agent به دقت کاربرد هدف خود را مشخص کنید.
• هیچ وقت بدون دانش و آگاهی کامل نسبت به دستورات و قوانین سئو، اقدام به زیاده روی و وضع دستورات مختلف یا بیهوده در فایل txt خود اقدام نکنید. بهترین روش‌های SEO برای فایل روبوتس زمانی انجام می‌شود که بر تمام ساختار سایت مسلط بوده و نیز بتوانید با درک کامل سئو و دستورات این فایل، کد مناسبی را ایجاد کنید. معمولا فایل‌های ساخته شده توسط افزونه‌های سئویی مانند رنک مث و یوآست سئو در حالت معمولی کافی خواهند بود.
• همیشه محتوای سایت شما در بخشی که کراول و ایندکس می‌شود، می‌بایست مرتبط به همان موضوع صفحه و ترجیحا کامل باشد.
• حتما محتواهای تکراری را Disallow کنید که راه حل بهینه آن استفاده از تگ کنونیکال است.
• به هیچ وجه از این فایل برای مخفی کردن اطلاعات و داده‌های مهم سایت خود اعم از اطلاعات کاربران، مالی و غیره استفاده نکنید. چراکه انجام این کار به منظور مخفی کردن داده‌ها بی ثمر و بی فایده خواهد بود.
• نسبت به درج لینک‌ها یا عبارات و دستوراتی که در فایل به کار گرفته می‌شود حساس بوده و حتما از صحیح بودن و تست آنها اطمینان حاصل کنید.
• زمانی که نام فایل‌ها و دایرکتوری‌ها را تغییر می‌دهید، حتما لینک‌ها و داده‌های آن را در فایل‌های ربات و غیره ویرایش کنید.
• همچنین بهتر است از رمزگذاری یونیکد “UTF-8 BOM” استفاده نکنید. این کار می‌تواند در برخی موارد اختلال ایجاد کند. در واقع BOM به معنای byte order mark یعنی نشان ترتیب بایت (یک نویسه یونی‌کد) است که برای فایل‌های متنی ترتیب بایت آن را تعیین می‌کنند.

کاربران می‌توانند نکات بیشتر از بحث‌های فنی سئو تکنیکال را در دوره سئو سایت ما به نام دوره سئو مستر مشاهده کنند.

پرسش های متداول

در انتهای این مقاله راجع به اینکه فایل Robots.txt چیست باید به چند پرسش و ابهام متداول شما اشاره کنیم که عبارتند از:

• آیا می توان برای حذف نتایج جستجو با فایل Robots.txt اقدام کرد؟

فرآیند حذف یک صفحه از نتایج گوگل جدای از فایل Robots.txt خواهد بود. برای انجام این کار، ابتدا باید به قسمت URL removal سرچ کنسول مراجعه کرده و درخواست خود را برای دامنه مذکور ثبت کنید. این پروسه ممکن است تا 90 روز به طول انجامد. برای حذف دائمی صفحه از نتایج گوگل، تگ Noindex را در صفحه خود از طریق کدنویسی یا پلاگین‌های سئو سایت اضافه نمایید. در نهایت پس از گذشت این مدت، قادر خواهید بود صفحه را به صورت کامل حذف نمایید.

در پاسخ به این پرسش که آیا با فایل Robots.txt می‌توان صفحه‌ای را از نتایج جستجو حذف کرد؟ توجه کنید که انجام این کار با رویه‌ای که در بخش قبل گفتیم به صورت استاندارد قابل انجام خواهد بود.

• فایل Robots.txt در کجای سایت قرار دارد؟

اگر نمی‌دانید فایل Robots.txt کجاست؟ باید گفت این فایل در قسمت روت سایت شما قرار دارد. شما می‌توانید با اضافه کردن عبارت “/robots.txt” به انتهای URL صفحه اصلی سایت خود، آن را مشاهده کنید.

• نحوه بارگذاری فایل ربات در سایت چگونه است؟

برای آنکه بتوانید اقدام به بارگذاری چنین فایلی نمایید، کافیست یک فایل txt با مضمون دستورات آن ایجاد کرده و آن را در دایرکتوری روت هاست خود آپلود کنید.

• نحوه عدم نمایش صفحه سایت در گوگل چگونه انجام می شود؟

این کار با نوایندکس کردن و حذف صفحه یا جلوگیری از ایندکس صفحه از طریق گذاشتن تگ noindex در فایل ربات یا کدهای HTML صفحه مقصد انجام می‌شود.

• بهتر است از ایندکس چه صفحاتی جلوگیری شود؟

اگر نمی‌دانید از ایندکس شدن چه صفحاتی باید جلوگیری شود؟ می‌توان به صفحات زیر اشاره نمود که عبارتند از:

• صفحاتی که محتوا ندارند یا مقدار محتوای آنها برای کاربران کم است.
• صفحات ادمین و تشکر.
• صفحات مربوط به جستجوی داخلی.
• صفحات به جای مانده از قالب که بهتر است حذف شوند.
• صفحات فرود PPC.
• صفحات مربوط به تبلیغات، راه اندازی یک محصول در آینده.
• محتواهای تکراری که بهتر است برای آنها از تگ کنونیکال استفاده کنید.

شما کاربران می‌توانید برای یادگیری مباحث بیشتر و آموزش سئو، از مقالات و دوره‌هایی که در سایت SEOEDU مطابق با آخرین داده‌های روز جمع آوری شده‌اند استفاده کنید.

• چگونه فایل robots.txt را تغییر دهیم؟

کاربران می‌توانند برای انجام این کار به صورت دستی وارد هاست خود شده و نسبت به Edit فایل ربات سایت اقدام کنند.

• آیا با فایل Robots.txt می‌توان صفحه‌ای را از نتایج جستجو حذف کرد؟

خیر؛ کارکرد فایل ربات سایت تنها برای مدیریت خزش و ایندکس سایت توسط ربات‌های موتور جستجو است.

• منظور از متا تگ Robots چیست؟

منظور تگ‌هایی هستند که برای ایندکس و فالو کردن صفحات به کار گرفته شوند.