أنشئ قواعد واضحة لزواحف محركات البحث، أضف رابط خريطة الموقع، ثم انسخ الملف أو نزّله بصيغة جاهزة.
تنظيم قواعد زحف محركات البحث
🔒يعمل محليًا: تُعالج الإعدادات داخل المتصفح ولا تُرسل إلى خادم.
دليل سريع
كيف تستخدم robots.txt بشكل صحيح؟
1. ضع الملف في المكان الصحيح
انشر الملف في المسار الجذري للمضيف الذي تريد التحكم بزواحفه، مثل https://example.com/robots.txt. راجع إعدادات الاستضافة خصوصًا عند استخدام مسار فرعي.
2. لا تحظر ملفات العرض المهمة
تجنّب حظر CSS وJavaScript اللازمة لفهم الصفحة وعرضها، إلا إذا كان لديك سبب تقني واضح.
3. تذكّر حدود الملف
robots.txt يوجّه الزواحف ولا يحمي المحتوى الخاص، ولا يضمن إزالة عنوان من نتائج البحث. استخدم المصادقة للمحتوى المحمي، ووسائل الفهرسة المناسبة عند الحاجة.
تنبيه: اختيار «منع الزحف بالكامل» ينشئ قاعدة Disallow: /. استخدمها فقط عندما تقصد منع الزاحف المحدد من زيارة جميع المسارات.
أسئلة شائعة
هل robots.txt يمنع ظهور الصفحة في نتائج البحث؟
ليس بالضرورة. الملف يطلب من الزاحف عدم زيارة المسار، لكنه ليس وسيلة مضمونة لإخفاء الصفحة أو إزالتها من الفهرس.
هل يجب إضافة Sitemap؟
ليست إلزامية، لكنها قد تساعد محركات البحث على اكتشاف خريطة الموقع. أضف رابط XML المطلق والصحيح إذا كان متاحًا.
هل تعمل Crawl-delay مع كل محركات البحث؟
لا؛ تختلف طريقة الدعم حسب الزاحف، وGooglebot لا يدعم توجيه Crawl-delay داخل robots.txt.
