Cara Setting Robot.txt Dan Setting Robot Header Tags

Cara Setting Robots.txt Dan Setting Robot Header Tags

Hay sobat xyz, kali ini saya akan membuat artikel bagaimana cara setting robot.txt dan setting robot header tags, robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka, saya tidak akan menjelaskan panjang lebar tentang apa itu robot.txt saya akan menjelaskan cara setting saja, oke langsung saja.

Baca juga : Cara membuat blog
                  Cara membuat sitemap seo friendly

Cara setting robots.txt

1. Buka Dashboard blog sobat > Setting/Setelan > Preferensi penelusuran tampilan seperti ini.

http://sopaxyz.blogspot.co.id

2. Jika sudah klik Edit Pada robots.txt khusus, lalu masukan code di bawah.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://sopaxyz.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti url http://sopaxyz.blogspot.com/ dengan url blog sobat

Keterangan :

  • Bari pertama merupakan user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi sobat yang ingin menggunakan google adsense agar iklan yang nantinya ditampilkan relevan dengan blog sobat, juga membertahu bahwa blog sobat bisa diakses melalui mesin pencari.
  • Bari kedua adalah informasi untuk semua mesin crawler seach engine, disana dituliskan disallow:/search yang menandakan semua robot duplikasi artikel yang tidak disukai oleh google.
  • Baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog sobat.
  • Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home sobat.

3. Klik simpan perubahan.




Cara setting robot header tags

1. Klik Edit > Tak tajuk robot khusus setting seperti gambar di bawah ini.

http://sopaxyz.blogspot.co.id

2. Pada bagian Enable custom robots header tags pilih yes dan sesuaikan seperti gambar di atas.
3. Lalu simpan perubahan.

Catatan buat sobat agar berhati-hati menggunakan fungi ini karena jika salah malah blog anda diabaikan oleh mesin pencari.

Itulah penjelasan yang saya buat tentang bagaimana cara setting robots.txt dan setting robot header tags di blog, jika sada kekurangan mohon maaf bisa tulis kritik dan saran sobat di kolom komentar, sampai di artikel lainnya. Terima kasih.

0 Response to "Cara Setting Robot.txt Dan Setting Robot Header Tags"

Post a Comment