تنظیمات Robots یکی از بخشهای مهم مدیریت سئو در وبسایتهای جوملا است. با استفاده از این تنظیمات میتوان به موتورهای جستوجو اعلام کرد که کدام صفحات اجازه حضور در نتایج جستوجو را داشته باشند و آیا رباتها باید لینکهای موجود در آن صفحات را دنبال کنند یا خیر.
برای مدیریت صحیح این موضوع باید با دو مفهوم مهم آشنا شوید: فایل robots.txt و متاتگ Robots.
فایل robots.txt در جوملا چیست؟
فایل robots.txt یک فایل متنی است که معمولاً در مسیر اصلی وبسایت قرار میگیرد و دستورالعملهایی برای کنترل دسترسی خزندههای موتورهای جستوجو به بخشهای مختلف سایت ارائه میدهد.
برای مثال، با استفاده از دستور Disallow میتوان از خزیدن رباتها در مسیرهای مشخص جلوگیری کرد. این موضوع میتواند برای مدیریت بودجه خزش و جلوگیری از بررسی مسیرهای غیرضروری مفید باشد.
البته باید توجه داشت که robots.txt ابزار امنیتی نیست و نباید برای محافظت از اطلاعات محرمانه استفاده شود. همچنین مسدود کردن یک آدرس در این فایل لزوماً مانع نمایش آن در نتایج گوگل نمیشود؛ زیرا ممکن است موتور جستوجو URL را از طریق لینکهای دیگر شناسایی کند.
تنظیمات Meta Robots در جوملا
در کنار فایل robots.txt، جوملا امکان تنظیم دستورالعملهای Robots را در سطح سایت و برخی آیتمهای منو فراهم میکند.
در نسخههایی از جوملا که این قابلیت را دارند، تنظیمات کلی Robots در بخش Global Configuration و قسمت Metadata قرار دارد. همچنین در تنظیمات برخی آیتمهای منو، بخشی برای تعیین دستورالعمل Robots وجود دارد.
مهمترین گزینههای این تنظیمات عبارتاند از:
- Index, Follow: اجازه ایندکس شدن صفحه و دنبال کردن لینکهای آن را به موتورهای جستوجو میدهد.
- Noindex, Follow: از نمایش صفحه در نتایج جستوجو جلوگیری میکند، اما اجازه دنبال کردن لینکهای آن را میدهد.
- Index, Nofollow: اجازه ایندکس شدن صفحه را میدهد، اما از موتور جستوجو میخواهد لینکهای آن را دنبال نکند.
- Noindex, Nofollow: از ایندکس شدن صفحه و دنبال کردن لینکهای آن جلوگیری میکند.
کدام گزینه Robots را انتخاب کنیم؟
برای صفحات عمومی و ارزشمند وبسایت که قصد دارید در نتایج جستوجو نمایش داده شوند، معمولاً گزینه Index, Follow مناسب است.
اما نباید این گزینه را بدون بررسی برای تمام صفحات سایت انتخاب کرد. برای مثال، اگر صفحهای محتوای تکراری، کمارزش یا غیرضروری دارد و نمیخواهید در نتایج جستوجو نمایش داده شود، ممکن است استفاده از Noindex مناسبتر باشد.
انتخاب دستورالعمل صحیح باید با توجه به هدف هر صفحه و ساختار کلی سایت انجام شود.
تفاوت robots.txt با Meta Robots چیست؟
این دو ابزار وظایف متفاوتی دارند:
فایل robots.txt به خزندهها اعلام میکند که آیا اجازه بررسی یک مسیر را دارند یا خیر؛ درحالیکه متاتگ Robots دستورالعملی درباره نحوه ایندکس شدن و دنبال کردن لینکهای یک صفحه ارائه میدهد.
برای مثال، اگر صفحهای را در robots.txt مسدود کنید، ممکن است گوگل نتواند متاتگ Noindex موجود در آن صفحه را مشاهده کند. بنابراین اگر هدف شما جلوگیری از نمایش یک صفحه در نتایج جستوجو است، معمولاً باید از Noindex استفاده کنید و مطمئن شوید که صفحه توسط robots.txt مسدود نشده است.
جمعبندی
تنظیمات Robots در جوملا نقش مهمی در مدیریت نحوه دسترسی خزندهها و ایندکس صفحات وبسایت دارد. تنظیم اشتباه این گزینهها ممکن است باعث شود صفحات ارزشمند سایت از نتایج جستوجو حذف شوند یا صفحات غیرضروری در گوگل نمایش داده شوند.
بنابراین پیش از تغییر تنظیمات Robots، بهتر است وضعیت هر صفحه و هدف آن را بررسی کنید. همچنین پس از اعمال تغییرات مهم، میتوانید با ابزار URL Inspection در Google Search Console وضعیت ایندکس صفحه را بررسی نمایید.

بدون دیدگاه