مولد ملف Robots.txt
أنشئ ملف robots.txt للتحكم في وصول محركات البحث والروبوتات لصفحات موقعك
حظر روبوتات ذكاء اصطناعي معيّنة (اختياري)
ما هي أداة مولد ملف Robots.txt في Fastols؟
تولّد هذه الأداة ملف Robots.txt الذي يتحكم في كيفية زحف محركات البحث لصفحات الموقع، عبر تحديد قاعدة افتراضية للسماح أو المنع، إلى جانب مسارات مخصصة وروبوتات محددة يمكن حظرها.
تُفيد هذه الأداة أصحاب المواقع عند الحاجة إلى ضبط سلوك محركات البحث تجاه أقسام معينة من الموقع، مثل صفحات الإدارة أو الملفات الداخلية.
خصوصية كاملة
يُبنى ملف Robots.txt بالكامل داخل المتصفح بناءً على الخيارات المدخلة، دون إرسال أي بيانات إلى خادم خارجي.
سرعة فائقة
تظهر النتيجة خلال ثوانٍ معدودة دون أي انتظار.
بلا تسجيل
لا حاجة إلى إنشاء حساب أو تثبيت أي برنامج.
كيفية إنشاء ملف Robots.txt بخطوات بسيطة
- 1اختر القاعدة الافتراضية: السماح لجميع الروبوتات، أو منعها بالكامل، أو تحديد مسارات مخصصة.
- 2أدخل مسارات السماح والمنع المخصصة، إضافة إلى مدة تأخير الزحف إذا رغبت في تحديدها.
- 3حدد أي روبوتات معينة ترغب في حظرها من قائمة الروبوتات المتاحة.
- 4أضف رابط ملف Sitemap إن وُجد، ثم انسخ محتوى الملف أو نزّله مباشرة باسم robots.txt.
الأسئلة الشائعة حول مولد ملف Robots.txt
ما الخيارات المتاحة للقاعدة الافتراضية في ملف Robots.txt؟
يمكن اختيار السماح لجميع الروبوتات بالزحف، أو منعها بالكامل، أو تحديد مسارات مخصصة للسماح والمنع.
كيف تُضاف مسارات السماح والمنع المخصصة؟
تُكتب المسارات في حقلي السماح والمنع، كل مسار في سطر منفصل، وتضيف الأداة تلقائيًا شرطة مائلة في بداية أي مسار لا يبدأ بها.
هل يمكن حظر روبوتات زحف محددة بالاسم؟
نعم، تتيح الأداة اختيار روبوتات محددة من قائمة جاهزة لحظرها بشكل منفصل عن القاعدة العامة للموقع.
هل يمكن إضافة رابط خريطة الموقع Sitemap إلى الملف الناتج؟
نعم، يوجد حقل مخصص لإدخال رابط ملف Sitemap، ويُضاف تلقائيًا كسطر منفصل في نهاية ملف Robots.txt.
كيف يمكن الحصول على ملف Robots.txt جاهزًا للرفع على الموقع؟
يمكن نسخ محتوى الملف من مربع النتيجة مباشرة، أو الضغط على زر التنزيل للحصول على ملف robots.txt جاهز للرفع على جذر الموقع.