Semua publisher blogger pasti menginginkan halamannya mudah ditemukan oleh google atau dengan kata lain disebut dengan SEO (search engine optimization) Friendly. Ada banyak cara untuk dapat mendapatkan halaman yang ada di blog anda menjadi nomor satu di google, salah satunya dengan setting robots.txt. Dengan mengatur robots.txt ini halaman yang ada di blog anda akan mudah di index oleh google.
Robots.txt merupakan protokol yang membantu halaman blog anda untuk dapat diakses dengan mudah oleh mesin pencari google. Saat mesin pencari google melakukan perayapan atau crawling, fungsi dari robots.txt ini adalah untuk dapat mengizinkan ataupun membuat suatu batasan terhadap mesin pencari google ataupun mesin pencari lainnya seperti yahoo atau bing.
Fungsi lain dari robots.txt ini adalah dapat mengatur halaman mana yang ada di blog kita untuk tidak ditampilkan di mesin pencari google dengan alasan SEO Friendly. Contohnya pada halaman label di blog harusnya tidak dimunculkan di mesin pencari google karena tidak SEO Friendly. Di halaman arsip seperti
https://bpkajitips.ga/2019 juga harusnya tidak ditampilkan di mesin pencari google karena tidak SEO Friendly. Halaman lain seperti pencarian dan halaman about di google seperti Terms of service, dan lain lain harusnya tidak ditampilkan oleh mesin pencari google karena asalan keamanan blog dan tidak SEO Friendly.
Tujuan lainnya dari robots.txt ini adalah anda dapat mengatur agar blog yang telah anda daftarkan pada google crawler tidak dapat ditemukan lagi atau tidak dapat di index lagi oleh google. namun ada cari lain selain menggunakan robots.txt yaitu dengan menggunakan pengaturan pada meta tag blog contohnya
<meta content='noindex' name='googlebot-image'/> yang digunakan untuk tidak memunculkan gambar apa saja yang ada di blog anda dan meta tag blog lainnya seperti
<meta content='noindex, nofollow name='robots'/> yang dapat digunakan agar robots.txt tidak akan bisa merayapi keseluruhan isi pada blog.
Berikut akan dijelaskan bagaimana mengatur robots.txt di blog agar dapat digunakan dengan optimal pada blog anda.
1. Klik setelah pada blog
2. Pilih preferensi pengaturan
3. Aktifkan robots.txt
Pengaturan pada robots.txt dibawah ini agar mesin pencari google dapat merayapi halaman anda dengan mudah.
Ada cara agar anda dapat mengetahui seberapa sering robots google mengunjungi blog anda yaitu dengan fitur laporan untuk melihat terakhir kalinya kapan robots.txt merayapi blog anda. Demikian cara mengatur robots.txt agar dapat mengatur index pada blog anda sehingga blog anda menjadi SEO Friendly dan mengatur robots.txt ini sangatlah mudah dan tidak memerlukan waktu yang lama.