Diindeks, meski diblokir oleh robots.txt? Ada apa dengan Google Webmaster? - Teknolime

Breaking

Home Top Ad

Post Top Ad

Diindeks, meski diblokir oleh robots.txt? Ada apa dengan Google Webmaster?

Advertisement
Advertisement
Advertisement
Diindeks, meski diblokir oleh robots.txt


Muncul Peringatan Diindeks, meski diblokir oleh robots.txt, ada apa ya kira kira? - Oke, ini baru saja terjadi kepada Website saya, Teknolime. Ketika saya sedang mencoba melakukan Optimasi melalui Google Webmaster, tiba tiba saya mendapati ada Notifikasi seperti itu. Hmm, ini sebetulnya jadi masalah yang tidak terlalu besar sih, tapi seperti nya mengganggu juga ya.

Kenapa bisa terjadi demikian? Oke, jadi gini temen-temen, belum lama ini, Google Webmaster sudah punya tampilan yang baru, yang mungkin belum familiar, pasti pusing banget deh buat cari cari beberapa Menu yang biasanya ada pada Google Webmaster atau Google Search Console versi lama.


Karena, peringatan Diindeks, meski diblokir oleh robots.txt ini sebetulnya, bisa kalian lihat di Google Webmaster versi lama, namun untuk mengatasinya, kalian harus masuk ke Google Webmaster versi baru ya sobat. Jadi usahakan untuk membaca, dan mempelajari terlebih dahulu tentang tampilan Google Webmaster yang baru lewat navigasi link ini :

Navigasi Search Console baru

Source : support.google.com/webmasters

Oke, kita kembali ke topik. Ketika masuk ke Webmaster baru, dan pada menu "Indexing" > "Liputan". Kalian akan menemukan peringatan seperti ini :

Diindeks, meski diblokir oleh robots.txt

Tanya jawab dulu biar gak tegang :

Q : Apakah masalah ini berpengaruh pada Indexing Artikel kita?
A : Sedikit, hanya saja ada beberapa url tertentu, yang memang tidak memberikan izin untuk dirayapi. Baca : Apa itu Robots.txt? dan bagaimana Optimasi nya?

Q : Aman gak kalau tidak di Optimasi, atau di benahi (dibetulin)?
A : Aman-aman saja sih, sebetulnya ini sama kasusnya seperti di Artikel Google Adsense di Blok Robots.txt pada saat Fecth as Google di Webmaster, apakah aman? Tentunya masih aman-aman saja, dan jikalau di benahi atau dibetulin, pastinya lebih baik dong hehe.

Balik ke Topik

Singkatnya tuh gini temen-temen, jadi Google Webmaster yang baru ini, kesannya lebih terbuka terhadap kita (user), dalam hal Indexing, Crawling, dan juga Robots.txt pastinya. Nah jadi, kalian bisa lihat nih didalam menu yang digambar tadi, bahwa ada pengecualian pada beberapa Halaman yang mungkin, di blok oleh Robots.txt kalian.

Namun, kalian bisa mengkonfirmasi ke pihak Google Webmaster, apabila kalian sudah mengedit atau membetulkan Robots.txt yang mungkin saja memblokir Halaman kalian. Biasanya sih yang sering banget di blok itu kaya halaman ini : "domainnya.com/search/label". Nah yang ditandai warna merah itu yang biasanya di blok sama Robots.txt.

Diindeks, meski diblokir oleh robots.txt? - Nah, coba cek Robots.txt yang sudah kalian buat atau pasang di website atau blog kalian. Apabila ada kode Disallow : /search itu tandanya kalian tidak mengizinkan Robot perayap untuk merayapi halaman tersebut. Jadi bisa dibilang ini fifty fifty sih ya hehe. Tapi kalau memang kalian sudah memiliki statik Indexing yang bagus dan sering muncul di Page one, hal seperti ini tidak jadi masalah kok. Karena statusnya sudah Diindex.

Kesimpulan dan Cara Mengatasinya

Jadi, untuk kesimpulannya sudah jelas ya, peringatan kaya gini tuh aman-aman aja di Google Webmaster, dan untuk cara mengatasinya :
Coba cek robots.txt yang sudah kalian pasang di Web atau blog kalian. Misal seperti ini :

User-agent: *
Disallow: /search

Sitemap: https://websitekalian.com/feeds/posts/default?orderby=UPDATED

Perhatikan :
  • Ganti teks yang berwarna merah menjadi Allow
  • Ganti websitekalian.com dengan url web/blog kalian

Hasilnya :
User-agent: *
Allow: /search

Sitemap: https://webku.com/feeds/posts/default?orderby=UPDATED

Kemudian, jika dirasa sudah melakukan Edit Robots.txt seperti tutorial diatas, kalian bisa melakukan pengujian Robots.txt dan mengajukan Review ulang atau Konfirmasi ke pihak Google Webmaster lewat Google Webmaster dengan tampilan yang baru. (biasanya sih ada di atas grafik menu kok tombolnya).

UPDATE!!!! :

Oke temen-temen, jadi setelah mencari cari tahu lebih dalam lagi, ternyata masalah Diindeks, meski di blokir Robots.txt ini bukan menjadi masalah besar. Karena untuk (blogger) apabila masalah ini muncul, justru menandakan bahwa blog kalian bagus dalam hal SEO. Dan tidak mengindex halaman /search.

Contoh : Apabila ada seseorang yang jahat di blog atau web kalian, kemudian dia menggunakan fitur pencarian di blog kalian, dengan kata kunci semisal : p0rn0. Otomatis Google akan ikut meng-index kata kunci yang sudah di cari tersebut. Walaupun sebenarnya tidak ada artikel tersebut di Blog kalian.

Akhir Kata

Mohon maaf apabila ada kekeliruan, dan juga gaya pembawaan yang mungkin sedikit berkelumit. Saya harap kalian bisa mengerti dengan pembahasan yang saya bagikan. Semua kritik dan saran kalian akan saya tampung di Kolom Komentar yang ada dibawah. Semoga bermanfaat untuk kalian.

Post Bottom Ad