Membuat Robots.txt Manual Di WordPress

Sebenarnya membuat robots.txt di wordpress dot org itu sangat mudah dan tidak terlalu sulit. Dengan membuat robots.txt di blog kita, maka search engine (Google) akan lebih mudah mengindex dan merekam blog kita. Robots.txt itu fungsinya juga hampir sama dengan sitemap.xml. Nah salah satu keistimewaan dari robots.txt ini yaitu dapat memblokir search engine agar tidak mengindex folder-folder seperti wp-admin, wp-content, wp-includes, dan lainnya.

Dan juga ternyata wordpress telah menyediakan beberapa plugin untuk membuat sebuah robots.txt di blog kita. Salah satu plugin untuk membuat robots.txt adalah plugin KB Robots.txt. Silahkan instal terlebih dahulu plugin KB robots.txt di blog kamu. Setelah itu masuk ke Dasbor ~> Settings, lalu pilih KB robots.txt.

Selanjutnya, silahkan copy kode di bawah ini:

Sitemap: http://fadhly.biz/sitemap.xml

User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Setelah itu paste kan kode tersebut di KB robots.txt. Jika sudah klik Submit.

Catatan:
Untuk Sitemap: http://fadhly.biz/sitemap.xml, silahkan ganti dengan alamat blog sitemap kamu. Baca juga, cara terbaru mengatur robots.txt di WordPress.

M. Fadhly

Hanya seorang yang gemar berbagi apa yang diketahui. Jangan lupa follow Twitter saya di @MF4dhli

Leave a Reply

Your email address will not be published.