Update Pengaturan Dari robot.txt Blogger 2024

Table of Contents

Untuk mengatur robots.txt yang benar di Blogspot, kamu perlu menyesuaikannya berdasarkan kebutuhan blogmu. Setting robots.txt yang baik harus memastikan bahwa halaman penting diindeks oleh mesin pencari, sementara halaman yang tidak relevan, duplikat, atau sensitif dihindari dari pengindeksan.

Berikut adalah panduan langkah demi langkah untuk mengatur robots.txt di Blogspot:

Akses Pengaturan Custom Robots.txt di Blogspot:

• Masuk ke dashboard Blogspot kamu.
• Pilih Settings (Pengaturan) di menu sebelah kiri.
• Gulir ke bawah hingga menemukan bagian Crawlers and indexing.
• Aktifkan Enable custom robots.txt.
• Klik Custom robots.txt untuk memasukkan kode robots.txt sesuai kebutuhan.

Contoh Setting Robots.txt yang Optimal untuk Blogspot

Ini adalah contoh setting yang bisa kamu gunakan untuk sebagian besar blog Blogspot:

• User-agent: *
• Disallow: /search
• Allow: /
• Sitemap: https://www.nama-blog-kamu.blogspot.com/sitemap.xml

Penjelasan:

• User-agent: * Menandakan bahwa instruksi ini berlaku untuk semua mesin pencari.
• Disallow: /search Ini melarang mesin pencari mengindeks halaman pencarian di blogmu (misalnya, URL yang berisi /search?q=). Halaman pencarian biasanya tidak berguna bagi pengunjung dari hasil pencarian mesin pencari.
• Allow: / Ini mengizinkan mesin pencari untuk mengindeks seluruh bagian blogmu.
• Sitemap: ... Ini memberi tahu mesin pencari di mana menemukan peta situsmu (sitemap), yang penting untuk memastikan semua halaman penting terindeks dengan baik.

Disallow Halaman-halaman Tidak Penting

Jika ada halaman atau folder lain yang tidak ingin kamu indeks (misalnya halaman arsip atau label), kamu bisa menambahkan lebih banyak instruksi Disallow. Contohnya:

• User-agent: *
• Disallow: /search
• Disallow: /p/arsip.html
• Disallow: /label/
• Allow: /
• Sitemap: http://www.nama-blog-kamu.blogspot.com/sitemap.xml

Penjelasan tambahan:

• Disallow: /p/arsip.html Jika kamu memiliki halaman arsip dan tidak ingin halaman tersebut terindeks.
• Disallow: /label/ Ini mencegah halaman label diindeks, yang kadang menimbulkan konten duplikat.

Validasi dengan Google Search Console

Setelah kamu menambahkan atau memperbarui robots.txt, pastikan untuk:

• Masuk ke Google Search Console.
• Gunakan fitur URL Inspection dan robots.txt Tester untuk memeriksa apakah pengaturan yang kamu buat sudah benar dan tidak memblokir halaman penting.

Hindari Kesalahan Umum

• Jangan blokir halaman utama atau halaman penting. Pastikan tidak ada aturan Disallow: / yang memblokir seluruh blogmu.
• Periksa kembali peta situs (sitemap) untuk memastikan bahwa URL yang tercantum benar dan mesin pencari dapat menemukannya.

Dengan pengaturan di atas, blogmu akan diindeks dengan baik oleh mesin pencari, sementara halaman yang tidak penting atau tidak relevan dihindari dari hasil pencarian.