- Pengenalan dan Fungsi Perintah Robots.txt dan Pengaruhnya pada SEO, bagi yang belum baca, simak apalagi dahulu sebelum membaca bab ini.
- Case Study dan Penggunaan Robots.txt pada Blogger, yang sedang teman dekat baca pada halaman ini
Case Study Robots.txt pada Blogger
Setelah teman dekat mengenali beberapa hal tentang perintah robots.txt, saya akan coba presentasikan beberapa hal selaku upaya menyaksikan efektivitas penggunaan robots.txt pada Blogger.
Sebelumnya, perlu saya sampaikan bagi yang belum tahu, teman dekat sanggup mengakses fitur ini lewat dashboard > settings > search preferences dan lihat bab bawah pada custom robots.txt. (Note: Jangan melakukan editing dahulu sebelum teman dekat tahu betul apa yang mesti dituliskan).
Sebagai latar belakang, robots.txt sudah yang dibikin secara otomatis; mengandung perintah default yang sudah diset oleh Blogger. Sobat sanggup menyaksikan robots.txt dengan mengakses Google Webmaster Tools, dan lihat pada sub halaman "crawler access". Atau yang lebih mudah, lihat aja eksklusif file nya dengan menyertakan nama file robots.txt di belakang url blog. http://blogmu.blogspot.com/robots.txt, teladan : https://ujianhidup10.blogspot.com//robots.txt. Secara default menyerupai ini baris-baris perintahnya:
User-agent: Mediapartners-GoogleDisallow:
User-agent: *Disallow: /searchAllow:
Sitemap: https://ujianhidup10.blogspot.com//feeds/posts/default?orderby=updated
Kelompok baris pertama yakni user agent milik adsense; digunakan selaku perintah untuk mengizinkan robot crawler adsense untuk mengindeks website/blog. Fungsinya untuk mengenali isi web/blog, biar iklan yang ditampilkan lebih relevan, dan ini tidak sama/berkaitan dengan crawler Google search engine. Bagi yang memakai adsense di Blogger, tentun ini menguntungkan dan jangan dihapus. Terus bagi yang memakai adsense di WordPress (self hosted, bukan yg gratisan wordpress.com, itu mah ga boleh pasang iklan, hehe), Joomla, Drupal, dll, tambahkan perintah ini untuk memudahkan crawler adsense.
Kelompok baris kedua yakni perintah untuk seluruh crawler SE. Kita lihat disitu ada /search, suatu direktori yang berisi label Blogger, yang memang lebih baik tidak diindeks.
Dan golongan baris ketiga yakni sitemap (feed yang ditambah perintah orderby, berisi list dari update-update terbaru), yg menolong mempercepat pengindeksan.
Kelompok baris kedua yakni perintah untuk seluruh crawler SE. Kita lihat disitu ada /search, suatu direktori yang berisi label Blogger, yang memang lebih baik tidak diindeks.
Dan golongan baris ketiga yakni sitemap (feed yang ditambah perintah orderby, berisi list dari update-update terbaru), yg menolong mempercepat pengindeksan.
Case study yang saya jalankan khusus pada label. Label menjadi "halaman terlarang" untuk diindeks alasannya yakni bukan ialah halaman riil dan sanggup memicu duplikasi, efeknya pasti tidak baik bagi SEO. Kasus ini juga terjadi pada halaman arsip (archive).
Method
1. Menggunakan rel=nofollow pada label.
Saya menetralisir pelarangan kepada indeks label ( /search), dan kembali menggunakan rel=nofollow pada label, menyerupai yang pernah saya sampaikan dulu.
2. Menghilangkan rel=nofollow pada label, dan kembali memakai perintah pelarangan indeks label pada robots.txt 9mengembalikan pada setting semula)
Setelah sementara waktu dan setelah mendapat hasil dari tata cara pertama, saya kembali memakai perintah pelarangan indeks label, dan menetralisir rel=nofollow label.
3. Menggunakan rel=nofollow label sekaligus pelarangan indeks pada robots.txt (Disallow: /search).
Setelah mendapat hasil dari cara kedua, saya memakai kedua perintah nofollow dan disallow pada robots.txt.
Results
Hasil dari ketiga tata cara percobaan tersebut cukup berbeda:
1. Dengan memakai rel=nofollow saja pada label, error yang timbul pada Webmaster Tools masih saja ada, dari sekitar 90 error pada di saat crawling, pengurangannya tidak signifikan, cuma sekitar 10-15 saja dalam waktu satu minggu, itupun tidak menghindarkan adanya halaman label yang masih terindeks.
2. Dengan memakai pelarangan pada robots.txt, tanpa rel=nofollow, penghematan error crawl tidak mengecewakan berkurang, dari sisa di atas (sekitar 65-80 label), sisanya sekitar 30-40 saja cuma kurang dari satu minggu.
3. Dan yang terakhir, dengan penggunaan keduanya, balasannya jauh sungguh signifikan, hingga ini saya tulis hasilnya= 0! tidak ada lagi yang menjadi perkara pada crawl errors pada Webmaster Tools, dan seluruhnya cuma dalam waktu singkat.
Kesimpulan
Seperti yang sudah disampaikan dalam forum-forum webmaster dan oleh search engine menyerupai Google sendiri, memakai robots.txt tidak serta merta sanggup eksklusif melarang indeks. Bahkan kadang-kadang, "suka-suka gue lah...," kata Google. Misalnya, teman dekat melarang satu halaman untuk diindeks, tetapi halaman tersebut punya backlink banyak (backlink sanggup dari halaman web sendiri/internal link, atau web lain/external link), maka ia tetap akan ditampilkan dengan anchor text sesuai dengan backlink yang diindeks Google. Nah dengan penggunaan dua perintah sekaligus, setidaknya kita sanggup menetralisir sisa-sisa backlink yang masih follow di halaman blog sendiri. Dengan demikian, jika teman dekat mencantumkan link label di halaman tertentu, dan ia follow, maka masih dipertimbangkan oleh Google dan masuk pada crawl error. Bahkan walaupun kita sudah memakai Disallow pada robot txt. So, kalau ingin label tidak diindeks, untuk menaikkan SEO, gunakan juga rel=nofollow pada label. Asumsi ini pastinya juga berlaku pada halaman-halaman lain dimana teman dekat tak mau search engine mengindeksnya (arsip misalnya).
Cara Mengedit dan Mengisi Custom Robots.txt
a. Seperti yang sampaikan di atas, susukan robots.txt editor lewat dashboard > settings > search preferences > crawlers and indexing > custom robots.txt, klik edit.
b. Kemudian klik yes, isikan perintah robots.txt sesuai dengan yang teman dekat inginkan, dan save.
Penting: Jika memang teman dekat tidak mempunyai keperluan untuk melarang indeks pada halaman tertentu, jangan melakukan apapun. Jika ingin mengembalikan menyerupai semula (default robots.txt dari Blogger), kembalikan dengan memutuskan "no" dan save.
Sebenarnya pelarangan indeks sungguh penting, kita sanggup mengendalikan halaman-halaman menyerupai label (ini sudah diset secara default), dan arsip, yang terperinci memicu duplikasi konten. Jika teman dekat tidak tenteram dengan memakai robots.txt untuk menghentikan indeks arsip, saya sarankan menggunakan meta indeks/content untuk menyingkir dari duplikasi alasannya yakni arsip, caranya jauh lebih mudah.
Saya menyaksikan penggunaan robots.txt yang digabung dengan beberapa cara lain, umpamanya penggunaan rel=nofollow, cukup menampilkan hasil penelusuran bermutu dan traffic yang jauh lebih tinggi. Dan saya harap juga demikian pada blog sobat.
Salam hangat.
){kind=link}