Apa itu Robots.txt? dan bagaimana Optimasi nya? - Teknolime

Breaking

Home Top Ad

Apa itu Robots.txt? dan bagaimana Optimasi nya?


Optimasi Robots.txt Seo Friendly - Mungkin untuk sebagian orang, Robots.txt menjadi salah satu hal yang penting untuk Website atau Blog mereka. Dimana Robots.txt ini memiliki peran untuk Indexing dan juga Crawling dan juga Indexing.

Sebagian dari kita sudah banyak sekali menemukan para Blogger yang membagikan Custom Robots.txt untuk meng-Optimasi Website mereka masing masing. Hal ini tentu menjadi salah satu hal yang membantu para Blogger lainnya untuk meningkatkan tingkat Indexing mereka.

Apa itu Robots.txt

Singkatnya, Robots.txt adalah sebuah file dengan format .txt yang wajib dimiliki tiap situs yang terdaftar pada mensin pencarian (google, yahoo, dan bing).

Jadi, Robots.txt ini memiliki peran penting dan berhubungan erat dengan SEO. Sebab, Robots.txt yang nantinya kita pasang atau kita Optimasi, akan berperan untuk mengontrol, atau juga mengatur halaman atau url mana, yang akan diindex mesin pencari.

Cara Kerja Robots.txt

Ketika sebuah Website yang memiliki domain TLD seperti (.com) maka secara otomatis, kalian memberikan izin kepada Robot perayap milik mesin pencari (google) untuk merayapi (meng-crawl) seluruh halaman web (.com) kalian. Dan ketika Robot perayap mencoba untuk meng-Crawl situs kalian. Robot Perayap tersebut akan pertama kali merayapi Robots.txt yang sudah kalian Optimasi.

Intinya adalah : Robot Perayap milik Mesin Pencarian tidak akan mengerti dengan Artikel yang kalian tulis. Melainkan ia akan membaca Robots.txt yang kalian Optimasi. Dan Robot Perayapan tidak akan merayapi Situs kalian apabila didalam Robots.txt yang kalian pasang, tidak memberikan izin kepada Robot Perayapan untuk meng-Crawl Situs/Website kalian.

Gambaran Mudah tentang bagaimana Robots.txt bekerja


Sebenarnya, pada tiap-tiap Website/Situs dan juga Blog, masing-masing memiliki Robots.txt yang bisa mereka Aplikasikan di tiap-tiap Platfrom nya. Namun untuk Blog yang di host oleh Blogger, mereka sudah memiliki Struktor Robots.txt default yang sudah diatur oleh Google sendiri.

Contoh Robots.txt Default

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED


Penjelasan dari Struktur Robots.txt diatas :

  • "User-agent: Mediapartners-Google" : ini memiliki maksud, jika kode ini hanya berlaku untuk Bot Crawler/Robot Perayap Media Partners-Google.
    Dan Media Partners-Google ini adalah Bot Crawler/Robot Perayap untuk Google Adsense.
  • "Disallow:" : kode ini berfungsi untuk tidak memberikan batasan halaman atau page rayapan oleh Robot Perayap. Dengan maksud lain, Disallow memungkinkan Bot Crawler untuk merayapi semua halaman yang ada di Situs/Web kalian.
  • "User-Agent: *" : kode ini memiliki perintah untuk semua Bot Crawler untuk Merayapi Situs/Web kalian.
  • "Disallow: /search" : kode ini bermaksud untuk melarang Bot Crawler untuk merayapi semua url yang memiliki awalan /search sebagai contoh (situskalian.com/search).
  • "Allow: /" : kode ini memberikan perintah untuk meng-crawl atau merayapi semua halaman url kalian (kecuali yang ada di perintah disallow) contohnya, Robot Perayapan akan meng-Crawl pada url (situskalian.com/meta-slug-kalian.html)
  • "Sitemap:" : kode ini akan memberikan perintah, kepada Bot Crawler untuk merayapi semua link yang ada di Sitemap kalian.
Jadi, Sitemap ini juga penting untuk di submit di Webmaster masing-masing (Google Webmaster, Bing Webmaster, dan Yahoo Webmaster).

Optimasi Robots.txt

Disclaimer : Mengedit Robots.txt secara sembarangan, dapat membuat Website/Situs kalian menjadi tidak terbaca oleh Robot Perayapan, sehingga terjadi Deindex atau Website tidak terindex oleh Mesin pencarian Google. jadi, Perhatikan baik-baik.

Jika kalian sudah paham dengan struktur kode Robots.txt yang ada diatas tadi, kini saatnya kita mematahkan aturan atau meng-Optimasi Robots.txt default Google untuk lebih baik lagi dalam hal perayapan Situs.

Perhatikan Kode dibawah ini :

User-agent: Mediapartners-Google
disallow:

Kode ini memang berfungsi untuk memberikan perintah kepada Bot Mediapartners-Google untuk merayapi situs kalian. Namun jika blog kalian sedang mendaftar Google Adsense, hapus kode tersebut dan sisakan bagian dibawahnya.

Berikut adalah contoh Robots.txt yang saya gunakan.


User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Allow: /?m=1
Allow: /*?m=1 
User-agent: *
Disallow: /search 
Sitemap: namadomainwebkalian.com/feeds/posts/default?orderby=UPDATED

Dari kode Robots.txt yang saya gunakan diatas, saya sudah merobak struktural kode Robots.txt default dari Blogger itu sendiri.


Dan Robots.txt yang saya gunakan berguna untuk :
  • Mengizinkan Robot Perayapan untuk meng-index url dalam versi Desktop dan juga Mobile.
  • Tidak Memblokir url Situs kalian dalam versi Mobile.
  • Memberikan izin pada Robot Crawler untuk meng-Crawl kode Aadsense kalian (ini berguna untuk kalian yang sedang mendaftar Adsense).
  • Memudahkan Artikel yang di Publish agar mudah ter-index (tentunya dengan tambahan Verifikasi Google Webmaster, Fetch as google, dan yang lain-lainnya).

Kesimpulan

Untuk masalah Optimasi Robots.txt, kalian bisa menggunakan Robots.txt yang saya gunakan untuk mengoptimasi website/blog kalian. Untuk lebih lengkap tentang Robots.txt, kalian bisa melihat penjelasannya lebih lengkap disini


Selain meng-Optimasi Robots.txt, kalian juga perlu melakukan Optimasi pada Google Webmaster, Submit Sitemap, dan melakukan SEO Onpage dan juga Offpage. Optimasi Robots.txt yang saya bahas diatas tadi hanya sebagian kecil dari beberapa cara memaksimalkan SEO di Blog kalian.