Mengatur Robots.txt Di WordPress

Agar blog kita dirayapi sempurna oleh bot-bot Google, Bing, Yandex dan lain sebagainya. Ada baiknya kita membuat file robots.txt. Di blog WordPress saya, saya menggunakan plugin KB Robots.txt untuk membuat dan mengatur robots.txt. Sebenarnya membuat file robots.txt juga bisa dilakukan lewat cpanel, namun saya malas untuk membuka cpanel hosting saya. Heheh.. Makanya, saya menggunakan plugin untuk membuat file robots.txt saya.

Saya tidak tahu pasti, settingan robots.txt seperti apa yang membuat blog WordPress kita berada diposisi yang bagus. Namun, selama menggunakan blog WordPress saya mengatur robots.txt seperti itu-itu saja. Dan alhamdulillah tidak ada masalah dalam posisinya di Google. Ada pun pengaturan robots.txt saya di blog WordPress saya, yaitu:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?
Disallow: /*?replytocom
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$
Disallow: /*page=*
Disallow: /*pg=*
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$
Disallow: /*/6$
Disallow: /*/7$

User-agent: duggmirror
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: HTTP Weazel
Disallow: /

User-agent: Leech
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /author/
Disallow: /search/
Disallow: /tags/
Disallow: */feed/
Disallow: /*/feed/rss/$
Disallow: /*?*
Disallow: /?s=*

Sitemap: http://m.fadhly.biz/sitemap.xml

Nah, itulah pengaturan robots.txt di blog WordPress saya. Bagaimana dengan anda? Pengaturan seperti apa yang anda buat di robots.txt anda? Adakah sebuah pengaturan khusus? 🙂

M. Fadhly

Hanya seorang yang gemar berbagi apa yang diketahui. Jangan lupa follow Twitter saya di @MF4dhli

One Reply to “Mengatur Robots.txt Di WordPress”

  1. Selama 6 bulan website saya tidak muncul di pencarian keyword apapun dan setelah menginstal plugin KB robots.Txt dan saya bersyukur sudah terindex pada keyword TOKO SOLO tapi deskripsinya tidak muncul dan yang mau sya tanyaken bagaimana caranya agar deskripsi itu bisa muncul dan mohon saran nya. Terimakasih

Leave a Reply

Your email address will not be published.