Sekitar lebih dari satu bulan yang lalu, Blogger memperkenalkan fitur search preferences, untuk mengendalikan banyak sekali setting optimasi SEO secara on page. Salah satu yang terpenting merupakan pengaturan/kostumisasi robots.txt. Bukan memiliki arti fitur lain dari search preferences tidak penting, tetapi seluruhnya sudah dicover dengan hack yang jauh-jauh hari sudah kita lakukan, yakni dengan penggunaan meta tags, yang fungsinya sama dan hingga dikala ini jauh lebih efektif.
Artikel ini berisikan dua bagian:
Artikel ini berisikan dua bagian:
- Pengenalan dan Fungsi Perintah Robots.txt, yang sedang teman dekat baca pada halaman ini, dan
- Case Study dan Penggunaan Robots.txt pada Blogger.
Introduction to Robots.txt Functions
Setelah nyaris satu bulan mencoba, kini saatnya saya menyodorkan secuil penyajian perihal fitur custom robots.txt Blogger ini.
Sebelumnya, jika masih ada dari teman dekat yang masih kurang familiar dengan robots.txt, akan saya berikan citra sedikit. Penggunaan robots.txt merupakan untuk menampilkan isu pada robot crawler - baik milik search engine, aggregator, maupun robot-robot pengindeks lainnya - bahwa sebuah website, direktori, atau file/halaman web tertentu TIDAK BOLEH diindeks. Sebagai contoh, teman dekat tidak mau beberapa halaman blog (misal about, sitemap, label, dll) diindeks oleh search engine, maka teman dekat sanggup menggunakan perintah \pada robots.txt biar beberapa halaman tersebut tidak diindeks. Maka bekerjsama penggunaan permulaan dari robots.txt merupakan untuk melarang, DISALLOW, gres kemudian pada perkembangannya ada perintah mengijinkan, ALLOW.
Sebelum ada fitur robots.txt, kita menggunakan meta indeks untuk mengendalikan ini (noindex, nofollow). Namun sehabis fitur custom robots.txt blogger diperkenalkan, kita sanggup dengan gampang mengontrol pengindeks-an.
Robots.txt intinya berisi dua baris perintah, yang pertama merupakan identitas user agent (crawler, robot perayap), dan kedua merupakan perintah pelarangan.
user-agent: *
Disallow:
Perintah di atas diterjemahkan selaku berikut: User Agent diisi dengan tanda bintang yang memiliki arti mengacu terhadap SEMUA crawler, baik milik search engine maupun yang lain, misalnya: feed agregator (bahkan robot autoblog!). Sedangkan Disallow tidak diisi/kosong memiliki arti semua, baik root direktori, sub direktori, dan file, BOLEH diakses oleh crawler.
Jika ingin melarang crawler mengakses website, maka kita menampilkan perintah dengan tanda / (slash), yang memiliki arti robot crawler dilarang mengakses seluruh isi web/blog.
user-agent: *
Disallow: /
Namun jika ingin melarang indeks pada direktori atau halaman tertentu, kita tuliskan tanda / dibarengi dengan nama direktorinya. Contoh misalnya teman dekat tidak mau crawler mengindeks semua halaman statis maka penulisannya adalah:
user-agent: *
Disallow: /p (sesuai dengan nama direktori halaman statis Blogger)
Allow: /
Allow: / disertakan untuk mengizinkan crawler mengizinkan root directory, direktori lain, dan halaman lain diindeks. Arti dari perintah di atas merupakan crawler boleh mengindeks semua kecuali halaman-halaman statis. Sebenarnya Allow: / tidak disertakan pun tidak masalah, tetapi untuk memastikan, Google kemudian memperkenalkan dan mengusulkan perintah tersebut.
Jika ingin mengacu pada robot crawler milik SE tertentu yang dilarang mengindeks, sedangkan lainnya boleh, teman dekat mesti menyertakan nama user-agentnya, pada baris lain. Contoh ini akan menggunakan Googlebot, milik Google.
user-agent: *
Disallow:
user-agent: GooglebotYup, pastinya kini teman dekat sanggup dengan gampang mengartikan perintah robots.txt di atas.
Disallow: /p
Allow: /
Posting ini berlanjut ke bab ke dua yakni Case Study (Studi Kasus) Robots.txt dan Penggunaannya Pada Blogger. So, go on to part 2. :)
){kind=link}