Setting Robot txt Khusus SEO Friendly

Robots.txt adalah pengaturan untuk Robot-crawler tentang bagaimana akan meng-crawler dan mengindexs situs web atau blog, maka dari itu blogger menyediakan pengaturan khusus untuk mengatur beberapa pengaturan yang sangat mendasar dan sangat mudah. Salah satunya adalah menetapkan custom  robots.txt untuk blog sesuai dengan yang dibutuhkan.
Ketika robot crawler search engine mengunjungi halaman atau situs web dan blog, maka hal pertama yang terlihat adalah file robots.txt. bagi pemakai platform  Blogger, sekarang anda bisa atau mempunyai pilihan untuk mengontrol bot crawler search engine dan menentukan mana yang harus di rayapi dan di indexs dari situs web atau blog.
Hal yang sangat penting diperhatikan tentang robot.txt adalah gunakanlah dengan hati-hati, penggunaan yang tidak benar dari fitur ini sangatlah fatal yang mengakibatkan blog ataupun postingan diabaikan oleh google search atau mesin pencari.
Pada dasarnya semua blog dari platform blogger memiliki robots.txt standar bawaan, di bawah ini adalah custom robots.txt standar default blogger


User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /search
    Allow: /
    Sitemap: http://www.sihalohosidapitu.com/feeds/posts/default?orderby=UPDATED


Jika ingin menggantinya ataupun memodifikasi custom robots.txt standar sesuai dengan kebutuhannya, caranya adalah seperti di bawah ini :

1. Buka Dashboard > Setting > Preferensi Penelusuran > Perayapan Dan Pengindeksan.
2. Klik  Custom robots.txt  >  Klik Ya.
3. Copy paste kustom robots.txt


 User-agent: Mediapartners-Google

    Disallow:

    User-agent: Googlebot

    Disallow: /search

    Disallow: /?m=1

    Disallow: /?m=0

    Disallow: /*?m=1

    Disallow: /*?m=0

    User-agent: *

    Disallow: /search

    Sitemap: http://www.sihalohosidapitu.com/feeds/posts/default?orderby=UPDATED

         
sebelum menyimpan, ganti terlebih dahulu www.sihalohosidapitu.com dengan alamat/ url blog anda.

4. Klik Simpan perubahan untuk menyimpan robots.txt.
    Sekian dan terimakasih.


sumber :
Blog, Updated at: October 07, 2014