Welcome to dimaz - Cara Setting Robots.txt agar Blog Lebih SEO. Saya dulu sering mendengar tapi tidak memahami istilah apa itu robot txt ? apa fungsi dari robot txt itu ? dan perlukah kita setting robot txt?. Dari istilah di atas, saya berusaha mencoba mempelajari dan memahami tentang robot txt, kini sekarang saya sudah paham betapa pentingnya setting robot txt.
Mungkin sobat terbiasa menggunakan robot.txt bawaan blogger atau memang sobat tidak pernah merubah robot.txt yang lebih SEO friendly. Dengan mengganti robot.txt bawaan blogger, sobat bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak di perbolehkan.
Hal yang perlu sobat perhatikan tentang robot.txt adalah "Gunakan dengan hati hati. Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog sobat di abaikan oleh mesin pencari". Nah apa bila sobat takut atau kurang tahu, sobat bisa mengikuti tutorial cara setting robot.txt khusus blogger di bawah ini. Silahkan simak dibawah ini.
Apa Itu Robot.txt?
Robot.txt adalah sebuah ketentuan pengguna blog untuk mencegah dari mesin pencari, yang tidak di izinkan untuk di index. Robot.txt ini juga berguna sebagai mengontrol dari halaman yang tidak boleh di index dari mesin pencari dan situs media sosial seperti: Facebook, Twitter dan lain-lain. Atau sobat ingin lebih jelas dan detailnya, sobat bisa membaca dari situs Wikipedia dalam bahasa Indonesia.
Cara Setting Robot.txt di Blogger
Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot seperti dibawah ini:
"User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://contoh.blogspot.com/feeds/posts/default?orderby=UPDATED
Mari kita bahas satu persatu dari kode di atas.
- User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog sobat sesuai niche blog.
- Disallow: Yang tidak di perbolehkan tidak ada.
- User-agent: Semua robot search engine/mesin pencari.
- Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/seo tidak akan di index.
- Allow: / : Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
- Sitemap: http://Contoh.blogspot.com/feeds/posts/default?orderby=UPDATED: Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.
Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang baru di terbitkan dan jika sobat ingin mengoptimalkan agar lebih dari itu, Sobat bisa merubahnya menjadi sitemap sebagai berikut:
Sitemap: http://Contoh.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap di atas untuk memberi tahu bahwa artikel sobat di kisaran 500, jika sobat memiliki lebih dari 500 artikel sobat bisa menggunakan sitemap di bawah ini:
Sitemap: http://Contoh.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Nah di atas adalah penjelasan tentang kode robot.txt. Jika sobat ingin memodifikasi robot txt, saya tekankan untuk hati hati. Pada saat ini sitemap yang saya gunakan di situs ini adalah sebagai berikut:
Jika Anda ingin mencoba seperti yag saya gunakan silahkan gunakan kode ini.
"User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.contoh.net/feeds/posts/default?orderby=updated
Saya menggunakan kode robot.txt di atas karena menjaga agar tidak terjadi kesalahan pada situs saya, Jadi saya memilih yang simpel saja. Nah untuk sitemap saya menggunakan itu karena artikel di situs ini masih kurang dari 40 artikel, maka saya belum menggunakan yang lebih dari 500.
Nah kode di bawah ini adalah untuk mencegah duplikat konten yang terdapat di blog sobat, itu bisa disebabkan karena di akses dari mobile phone. Sobat bisa mencegahnnya dengan setting robot.txt di blogger sobat dengan kode berikut:
"User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://contoh.blogspot.com/feeds/posts/default?orderby=UPDATED
Menambahkan Custom Robot.txt di Blogspot/Blogger sobat
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan custom robot.txt di blogger. Berikut adalah langkah-langkah untuk melakukan setting robot.txt di blogspot sobat.
- Masuk ke blog blogger sobat.
- Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes
- Sekarang pastekan kode file robots.txt sobat dalam kotak. sobat bisa mengambil salah satu contoh robot.txt di atas.
- Klik tombol Save Changes.
- Dan selesai!
Sobat bisa cek setingan robot,txt sobat dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester. Lihat gambar di bawah ini:
Oke kira-kira begito Sob, Saya berusaha menjelaskan tentang cara setting robot.txt di blogger dengan sangat hati-hati agar tidak terjadi kesalahan yang berakibat fatal untuk pembaca dan apabila ada yang paham benar dengan robot.txt, Sobat bisa memberi tahu kesalahan saya dengan cara komentar di bawah ini. Terima kasih.
ADS HERE !!!