robots.txt الافضل والاحدث

مقدمة:
هذا الملف شامل ورائع واقدمه لجميع اصحاب المواقع والمنتديات واسمح بالنقل لان الملف ليس من انتاجي بل من عمل برنامج

هذا الجزء منقول للفائدة

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

انتهى النقل

والان الى الملف

http://www.zimabdk.com/robots.txt

رمز Code:
User-agent: GooglebotDisallow: User-agent: googlebot-imageDisallow: User-agent: googlebot-mobileDisallow: User-agent: MSNBotDisallow: User-agent: SlurpDisallow: User-agent: TeomaDisallow: User-agent: twicelerDisallow: User-agent: GigabotDisallow: User-agent: ScrubbyDisallow: User-agent: RobozillaDisallow: User-agent: NutchDisallow: User-agent: ia_archiverDisallow: User-agent: baiduspiderDisallow: User-agent: naverbotDisallow: User-agent: yetiDisallow: User-agent: yahoo-mmcrawlerDisallow: User-agent: psbotDisallow: User-agent: asteriasDisallow: User-agent: yahoo-blogs/v3.9Disallow: User-agent: *Disallow: Disallow: /cgi-bin/Disallow: /tmpDisallow: cgi-perlxDisallow: vb/includes/Disallow: vb/datastoreSitemap: http://www.zimabdk.com/vb/sitemap_index.xml.gz