یکی دیگر از کارهایی که برای بالا بردن رتبه وب سایت خود در موتورهای جستجو باید انجام دهید این است که راه را به ربات ها نشان دهید. ربات ها نقش زیادی در کشف صفحه دارند. برای این کار باید فایل robots.txt را ایجاد کرده و آن را به درستی پیکربندی کنید. برای یادگیری نحوه انجام این کار می توانید به خواندن این مقاله ادامه دهید.

Robots.txt چیست؟

موتورهای جستجو وب سایت ها را از طریق ربات ها می خزند. WordPress فایل robots.txt این به موتورهای جستجو دستور می دهد که چگونه هنگام خزیدن رفتار کنند. فایل Robots.txt حتی اگر یکی را ایجاد نکنید، سایت شما توسط موتورهای جستجو خزیده می شود. این را فراموش نکن

نحوه ایجاد Robots.txt

می توانید فایل robots.txt را در WordPress به صورت دستی یا از طریق افزونه ایجاد کنید.

ایجاد WordPress Robots.txt

Rank Math ایجاد Robots.txt با SEO

پلاگین Rank Math SEO به شما کمک می کند تا به بهینه سازی سئو داخلی در پست ها و صفحات خود برسید. به این ترتیب می توانید کارهای سئو موفق تری انجام دهید. همین امر در مورد ایجاد فایل robots.txt نیز صدق می کند. پس از نصب و فعال سازی افزونه از منوی Rank Math SEO پنل مدیریت بر روی General Settings کلیک کنید. برای دسترسی به صفحه ویرایش Robots.txt روی دکمه Edit Robots.txt کلیک کنید. اگر مجوزهای نوشتن/خواندن شما درست است، می توانید فایل robots.txt مجازی خود را در اینجا ویرایش کنید. اگر قبلاً یک فایل robots.txt دارید، این بخش اعمال نخواهد شد.

ایجاد Robots.txt از طریق FTP

Notepad را باز کنید و قوانین robots.txt خود را در محتوای آن بنویسید. اگر نمی‌دانید چه چیزی بنویسید، می‌توانید از قوانین robots.txt توصیه‌شده که در بخش بعدی مقاله به آن اشاره کردیم استفاده کنید. فایل را در پسوند txt ذخیره کنید و از طریق اتصال FTP به دایرکتوری ریشه سایت خود (معمولا public_html) متصل شوید و فایل را آپلود کنید.

ایجاد Robots.txt با File Manager

پس از ورود به کنترل پنل میزبانی که استفاده می کنید (cpanel، plesk، directadmin، cwp و غیره)، فایل منیجر را باز کنید. از فایل منیجر به دایرکتوری ریشه سایت خود (معمولا public_html) دسترسی پیدا کنید. از منوی ایجاد فایل جدید، روی ایجاد فایل جدید کلیک کنید و پسوند فایل را روی txt تنظیم کنید. قوانین robots.txt را بنویسید و فایل را ذخیره کنید.

ایجاد Robots.txt با افزونه ویرایشگر Robots.txt

افزونه ویرایشگر Robots.txt این به شما امکان می دهد به راحتی فایل های robots.txt را بدون مدیر فایل یا دسترسی ftp ایجاد و ویرایش کنید.

صفحه پلاگین -> https://wordpress.org/plugins/robots-txt-editor/

پس از دانلود افزونه، آن را فعال کنید. سپس از WordPress نوار کناری سمت چپ برای دسترسی به صفحه خواندن در تنظیمات استفاده کنید. قوانین robots.txt خود را در کادر با عنوان robots.txt در پایین صفحه بنویسید و آنها را ذخیره کنید.

WordPress قوانین Robots.txt

قوانین robots.txt توصیه شده برای WordPress به شرح زیر است. شما باید آدرس سایت خود را به جای domain.com و آدرس سایتmap.xml را که به جای sitemap.xml استفاده می کنید بنویسید. ما می‌خواهیم یک نکته مهم به شما بدهیم: اگر از افزونه Rank Math SEO یا Yoast SEO استفاده می‌کنید، نقشه سایت شما به‌عنوان sitemap_index.xml ایجاد می‌شود، نه sitemap.xml. فراموش نکنید که URL را که نوشته اید با وارد کردن آن در مرورگر بررسی کنید.

https://www.domain.com/sitemap.xml" style="color:#272822;display:none;background-color:#F8F8F2" aria-label="کپی" data-copied-text="کپی شده!" data-has-text-button="textSimple" data-inside-header-type="headlights" aria-liveco-copy"کپی کنید
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.domain.com/sitemap.xml

دریافت پشتیبانی رایگان برای ایجاد Robots.txt

اگر نتوانستید فایل robots.txt را ایجاد کنید یا می خواهید از فایل robots.txt پشتیبانی رایگان دریافت کنید، لطفا مشکل خود را با توضیح دقیق در قسمت نظرات بیان کنید. ما ظرف 24 ساعت به نظر شما پاسخ خواهیم داد و پشتیبانی رایگان ارائه می دهیم.

برای ایجاد Robots.txt پشتیبانی حرفه ای دریافت کنید

اگر نتوانستید فایل robots.txt را ایجاد کنید یا می خواهید از پشتیبانی حرفه ای در مورد فایل robots.txt بهره مند شوید، نام و شماره تلفن خود را در فرم زیر وارد کنید. بگذارید در اسرع وقت به شما برسیم.