Mempelajari Robots.txt Untuk Memaksimalkan SEO

Kali ini saya akan menjelaskan apa itu Robots.txt, dan apa pengaruh dari Robots.txt dihadapan SEO. Karena Robot.txt ini juga memiliki peranan penting dihadapan SEO.

Namun dalam penerapan teknik SEO kali ini memiliki resiko yang sangat tinggi, sobat harus sangat berhati hati dalam menerapkan langkah - langkah yang saya berikan.

Karena peran robots.txt ini sangat vital dihadapan mesin pencari, jangan sampai sobat menjadi korban atas kesalah konfigurasi Robots.txt ini.

Langsung saja tanpa basa basi lagi, kita ke topik pembahasan...


#1. Definisi menurut Wikipedia
"Sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter."

#2. Definisi menurut salah seorang pakar SEO
"Robots.txt adalah sebuah file teks (bukan html) yang ditempatkan pada halaman situs web, untuk menginformasikan kepada robot pencari (spider) agar tidak mendatangi halaman tertentu.

Jadi inti dari definisi diatas adalah sebuah file yang ditempatkan dihalaman situs web, yang mempunyai nama Robots, berformat txt, yang kegunaanya untuk menginformasikan kepada tim spider search engine halaman mana yang boleh diindex dan halaman yang mana yang tidak boleh diindex.

Secara standar, search engine telah dirancang untuk mengindeks sebanyak banyaknya halaman dari blog sobat, agar search engine mendapatkan informasi banyak dari blog sobat. Disini peran dari robots.txt ini, dia dapat membatasi index halaman blog sobat dari search engine.

"Kenapa harus dibatasi ? apakah dengan banyaknya informasi yang diambil akan semakin baik pula ?"

Tentu tidak, akan sangat berbahaya jika sobat membuka semua jalur akses untuk search engine. Baik secara kemanan maupun dari sisi SEO Friendly.

Jikalah kata robots.txt ini tidak terdapat pada blog sobat, mungkin blog sobat akan rentan terhadap serangan hacker.

Spider Search Enginepun juga akan merayapi halaman sobat hingga ke detail detailnya,  hal itu dapat memicu duplikat konten pada blog sobat, yang mengakibatkan blog sobat dipandang jelek Search Engine, sehingga rangking blog sobat juga akan turun.

Bila robots.txt tidak ada, hal tersebut juga dapat membuat blog sobat menjadi Unrestrictedly, atau kelebihan bandwith, sehingga blog sobat akan sangat lambat bila diakses orang. Maka dari itu, sangatlah penting memasang robot.txt di blog sobat.

Bagaimana cara memasangnya gan ?

Sobat tenang saja, robots.txt ini sudah secara otomotis akan terpasang sendiri di blog yang sobat baru buat. Alamat dari robots.txt ini adalah http://urlblogsobat.com/robots.txt. Namun konfigurasi yang berada didalamnya masih standart seperti pada layaknya blog baru.

Untuk menjadikanya SEO kita perlu menambahkan sedikit polesan polesan kode didalamnya, agar robots.txt ini semakin sempurna.

Baca Juga : Teknik SEO Ampuh Jadi WEB No.1 

Salah seorang pakar SEO berkata :
"Semakin lengkap panduan untuk Spider dalam robots.txt ini, akan semakin baik pula web sobat dihadapan mesin pencari."

Maka dari itu, sebelum kita mengotak atik isi dari robots.txt ini agar lebih SEO, kita tentu perlu memahami fungsi teks teks yang berada pada file ini, hal tersebut akan dibahas lengkap di bawah ini.


Seperti yang telah saya jelaskan diawal tadi, cara kerja dari Robots.txt ini adalah untuk menginformasikan kepada tim spider engine yang sedang merayapi blog kita, agar mengindex halaman yang diperbolehkan dan tidak mengindex halaman yang tidak diperbolehkan.

Ketika tim spider Search Engine ingin bertamu untuk merayapi di blog kita, tim spider akan disambut hangat oleh robots.txt ini, karena petunjuk utama tim spider untuk merayapi ada di juru kunci blog kita, yaitu robots.txt ini.

Kita dapat mengakses alamat robots.txt ini di http://urlblogsobat.com/robots.txt. Jika kita mengakses file robots.txt tersebut, kita akan menemukan sebuah text yang kira - kira isinya begini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://sab-blogger.blogspot.com/sitemap.xml

Ini merupakan isi dari robots.txt yang masih murni yang belum diotak atik, berisi beberapa teks bagian kata yang akan kita pelajari.

Maksud dari teks tersebut seperti ini :

Fungsi Teks di Dalam Robots.txt

Kode penunjuk :
User-agent: Mediapartners-Google
Teks tersebut mengisyaratkan bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google.  Seperti halnya Google Adsense yang mau merayapi blog sobat.

Biasanya juga ada yang begini
User-agent: *
Ini berarti bahwa kode / perintah yang ditempatkan di bawahnya berlaku pada semua robot crawler (diwakili dengan kode ‘*’).

Kode Isyarat :
Kode isyarat ini terletak dibawah dari kode penunjuk, ada dua bentuk yang umum dari kode isyarat ini.

Disallow:
Ini berarti bahwa tidak ada batasan halaman untuk dirayapi oleh crawler. Dengan kata lain, memungkinkan tim crawl merayapi semua halaman di blog sobat.

Lain halnya jika berbentuk seperti ini.
Disallow: /search
Ini melarang tim crawl untuk merayapi halaman yang memiliki awalan seperti ini http://urlblogsobat.com/search/ ...

ada lagi kode isyarat seperti ini
Allow: / 
Hal ini berarti bahwa sobat membiarkan tim crawler untuk merayapi semua halaman, kecuali yang dicantumkan pada perintah disallow.

Kode Sitemap
Kode sitemap dari robots.txt ini pasti berada pada baris bawah sendiri, kode ini diawali dengan
Sitemap:
Lalu setelahnya ada keterangan tentang letak sitemap sobat, misalnya seperti ini
Sitemap: https://sab-blogger.blogspot.com/sitemap.xml

Setelah sobat paham semua kode kode dari robots.txt ini, kita akan mengeditnya, agar blog kita semakin SEO Friendly.

Namun saya mengingatkan sekali lagi, bahwasanya cara ini harus diterapkan dengan tepat di blog sobat, agar blog sobat tidak terjadi hal hal yang tidak diinginkan.

Bila sobat mengikuti cara ini, saya minta sobat untuk fokus, dan membaca artikel ini secara lengkap dan hingga selesai.


Robots.txt ini juga punya peran dalam menjadikan blog sobat SEO, hal tersebut akan dibahas tuntas dipostingan dibawah ini.

Sebelum mengedit file ini, tentu sobat harus tau darimana sobat dapat mengedit file ini.

Caranya, sobat masuk ke Dashboard > Setelan > Preferensi penelusuran > Klik “Edit” pada bagian “robots.txt khusus” setelah itu akan muncul pertanyaan “Aktifkan robots.txt khusus” pilih Ya. Setelah itu akan muncul sebuah kotak yang memuat kode kode robots.txt sobat.


Edit file robots.txt agar lebih SEO...

#1. Tambahkan Kode di Robots.txt

Sobat dapat menambahkan teks dibawah ini kedalam file robots.txt sobat.
Disallow: /p/*
Disallow: /view/*

Bila sobat tambahkan teks tersebut, jadinya akan seperti ini
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Allow: /

Sitemap: https://sab-blogger.blogspot.com/sitemap.xml

Keterangan dari kode tersebut :

Disallow: /p/*
Kode ini berfungsi untuk memblokir robot menjelajah halaman statis untuk blog sobat. Tetapi jika sobat ingin halaman statis ini tetap di indeks oleh crawl, silahkan hapus kode ini.

Disallow: /view/*
Kode ini berfungsi untuk menghentikan robot merayapi halaman blog dengan tampilan link dinamis. Jika sobat menggunakan tampilan link dinamis di blog sobat dan tidak ingin dirayapi, maka sobat dapat memakai kode ini, bila sobat ingin dirayapi tampilan dinamisnya, sobat dapat menghapus kode ini.

#2. Ganti link Sitemap

Pada akhir dari robots.txt ini biasanya adalah link sitemap blog sobat, secara default link sitemapnya adalah http://urlblogsobat.com/sitemap.xml.

Namun hal itu dapat sobat ganti dengan sitemap yang lebih canggih, yang berasal dari RSS Feed. Berikut caranya.

Ganti
Sitemap: https://sab-blogger.blogspot.com/sitemap.xml

Dengan
Sitemap: https://sab-blogger.blogspot.com/feeds/posts/default?orderby=UPDATED

Dengan begitu, sitemap yang diambil oleh tim crawl adalah dari Feed.

Kenapa harus sitemap Feed ?

Karena sitemap dari feed juga menyidakan sedikit ulasan tentang postingan kita, bukan hanya judul seperti yang di sitemap.xml. Selain faktor tersebut, banyak juga blog besar yang menggunakan sitemap Feed ini untuk robots.txt.

Sebenarnya ada juga sitemap yang lain yang tidak kalah canggih yang dapat sobat pakai, berikut perbanding jumlah index google terhadap beberapa sitemap.


Terserah hati sobat mau memilih sitemap yang mana, intinya, sitemap dari feed lebih terperinci dibandingkan dari sitemap.xml.

Setelah semua langkah diatas sudah sobat ikuti, klik save changes untuk menyimpan kode yang telah sobat edit. Setelah itu cek robots.txt sobat apakah sudah berubah atau belum. Test juga robots.txt sobat di situs webmaster milik Google, atau bisa juga menggunakan alat yang sudah saya sediakan ini, agar sobat tau apakah robots.txt ini sudah valid atau error.


Kesimpulan dari pembahasan kali ini adalah, salah satu dari teknik SEO adalah memodif robots.txt agar menjadi lebih SEO friendly.

Dengan memodif atau menambahkan beberapa kode pada robots.txt, tentu hal tersebut akan memudahkan tim spider untuk merayapi blog kita.

Dengan mudahnya tim spider merayapi blog kita, tentu semakin mudah pula ranking blog kita dihadapan Search Engine.

Sobat harus memastikan, apakah robots.txt sudah valid selesai sobat edit, karena jika belum valid hal tersebut dapat membuat blog sobat tidak dapat di crawl.

Demikian postingan mengenai Mempelajari Robots.txt Untuk Memaksimalkan SEO, semoga apa yang saya sampaikan diatas dapat bermanfaat bagi sobat semua.

Tunggu postingan selanjutnya mengenai dunia blogger. Akhir kata, cukup sekian dan terima kasih...