Mengatur Robots.txt Di WordPress

Agar blog kita dirayapi sempurna oleh bot-bot Google, Bing, Yandex dan lain sebagainya. Ada baiknya kita membuat file robots.txt. Di blog WordPress saya, saya menggunakan plugin KB Robots.txt untuk membuat dan mengatur robots.txt. Sebenarnya membuat file robots.txt juga bisa dilakukan lewat cpanel, namun saya malas untuk membuka cpanel hosting saya. Heheh.. Makanya, saya menggunakan plugin untuk membuat file robots.txt saya.

Saya tidak tahu pasti, settingan robots.txt seperti apa yang membuat blog WordPress kita berada diposisi yang bagus. Namun, selama menggunakan blog WordPress saya mengatur robots.txt seperti itu-itu saja. Dan alhamdulillah tidak ada masalah dalam posisinya di Google. Ada pun pengaturan robots.txt saya di blog WordPress saya, yaitu:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?
Disallow: /*?replytocom
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$
Disallow: /*page=*
Disallow: /*pg=*
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$
Disallow: /*/6$
Disallow: /*/7$

User-agent: duggmirror
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: HTTP Weazel
Disallow: /

User-agent: Leech
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /author/
Disallow: /search/
Disallow: /tags/
Disallow: */feed/
Disallow: /*/feed/rss/$
Disallow: /*?*
Disallow: /?s=*

Sitemap: http://m.fadhly.biz/sitemap.xml

Nah, itulah pengaturan robots.txt di blog WordPress saya. Bagaimana dengan anda? Pengaturan seperti apa yang anda buat di robots.txt anda? Adakah sebuah pengaturan khusus? 🙂

One Comment

Add a Comment

Your email address will not be published.