Setting robot.txt serta tag tajuk robot khusus yang benar dan aman di blog untuk optimasi seo
Kali ini saya akan membagikan cara setting robot txt serta tag tajuk robot khusus yang aman dan benar untuk seo di blog. Apa saja konten di blog kita yang akan di rayapi oleh bot dimana kita bisa konfigurasi didalam sebuah robot txt ini.
Apa itu robot txt?
Robot txt adalah sebuah file txt yang memperkenankan atau tidak mengizinkan robot untuk merayapi, mengcrawl halaman dengan perintah tertentu di blog.
Anda bisa set agar googlebot untuk tidak merayapi sebuah halaman atau pencarian, image, dsb. sehingga tidak membebani robot untuk mengindex blog anda baik wordpress maupun blogger, para praktisi seo menganjurkan untuk optimasi seo menggunakan custom robot txt dan tajug header tag atau custom robbot header tag di website blog.
Gimana cara setting robot txt di blogger :
Secara default robot txt bisa dilihat di webmaster tools search console jika anda di dashboard search console baru ubah dimenu ke dashboard search console lama lalu pilih robot txt tester kira kira begini :
Default robot txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow:
Sitemap: https://www.omevan.com.sitemap.xml
Kita bisa buat custom robot txt dengan perintah berikut :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /p/contact.html
Sitemap: https://www.omevan.com/sitemap.xml
Anda bisa menggunakan salah satu apakah mau pakai robot txt default atau custom robot txt, dua-duanya aman dipakai diblog.
Keterangan :
Disallow: Mediapartners-Google -> memerintahkan robot untuk merayapi iklan adsense yang dipasang di blog anda
Disallow: -> tidak ada yang dilarang dirayapi
User-agent: * -> semua robot mesin pencari diperkenankan untuk merayapi blog anda
Disallow: /search -> robot tidak diperkenankan untuk merayapi url pencarian seperti search/label/contoh.html di blog
Disallow: /p/about - > tidak mengizinkan untuk mengcrawl, merayapi dan mengindex halaman about seperti http://example.com/p/about.html
Disallow: /p/contact - > tidak memperkenankan spider bot merayapi halaman contact misal https://example/p/contact
Sitemap: https://www.omevan.com - >mengizinkan spider untuk merayapi mengcrawl dan mengindex sitemap https://www.omevan.com/sitemap.xml
Untuk sitemap bisa memakai variasi terutama jika anda tidak menetapkan salah satu dari variasi tertentu misalkan dengan menambah
Sitemap: http://www.omevan.com/sitemap.xml dibawah sitemap diatas.
Jangan salah setting dan konfigurasi bisa-bisa anda di abaikan
Untuk sinkronisasi custom robot txt di webmaster search console dan diblogger :
Gambar diatas adalah default robot.txt di webmasters search console, kita set dengan custom robot txt diatas di dashboard search console > Crawl > Robot.txt tester lalu pastekan custom robot diatas dan test dipaling bawah untuk menguji halaman artikel sobat agar tidak ada yang salah atau bahkan melarang googlebot, googlebot-news, image, video, mobile dan media-partners (adsense) merayapi sebuah halaman web page anda bisa di tes disana tinggal pastekan alamat web page di browser lalu pilih googlebot, googlebot-news, image, mobile, dsb.
Setelah fix, baru pastekan dikolom tersebut custom robot.txt nya lalu klik submit dan ask google to update, disamping itu anda bisa download robot txt untuk diunggah ke blog anda.
Cara menerapkan custom robot txt di blogger dibawah crawlers and indexing
- Login ke dashboard blogger
- Settings
- Search freferences
- Custom Robot txt
- Edit > Enable custom robot txt > Yes > Pastekan untuk memasang custom robot txt di blogspot yang telah di test di search console untuk sinkronisasi dengan blogger blogspot lalu klik save.
Untuk mengatur tag tajuk robot khusus atau custom robot header tags :
Homepage : Mengizinkan robot untuk mengcrawl dan mengindex seluruh halaman di homepage blog
Archives and search pages : Mengizikan robot atau spider untuk tidak mengindex, tidak mengcrawl, tidak mengikuti, tidak menterjemahkan, tidak mengarsipkan dan tanpa image dengan perintah noindex, nofollow, nodp, noimage, notranslate, noarchieve, untuk direktori archive dan pencarian seperti :
https://www.blog.com/search/contoh.html
https://www.blog.com/label/nama-label.html
https://www.bloganda.com/search/label/nama-label.html
Default post and Pages : All, meminta robot untuk mengcrawl dan mengindex post dan halaman page kita. Seperti
https://www.blog.com/p/about.html
https://www.blog.com/cara-setting-custom-robot-txt.html.
Sehingga dengan begitu tidak memberatkan robot serta tidak memakan waktu untuk mengcrawl dan mengindex blog kita.
Apa itu robot txt?
Robot txt adalah sebuah file txt yang memperkenankan atau tidak mengizinkan robot untuk merayapi, mengcrawl halaman dengan perintah tertentu di blog.
Gimana cara setting robot txt di blogger :
Secara default robot txt bisa dilihat di webmaster tools search console jika anda di dashboard search console baru ubah dimenu ke dashboard search console lama lalu pilih robot txt tester kira kira begini :
Default robot txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow:
Sitemap: https://www.omevan.com.sitemap.xml
Kita bisa buat custom robot txt dengan perintah berikut :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /p/contact.html
Sitemap: https://www.omevan.com/sitemap.xml
Anda bisa menggunakan salah satu apakah mau pakai robot txt default atau custom robot txt, dua-duanya aman dipakai diblog.
Keterangan :
Disallow: Mediapartners-Google -> memerintahkan robot untuk merayapi iklan adsense yang dipasang di blog anda
Disallow: -> tidak ada yang dilarang dirayapi
User-agent: * -> semua robot mesin pencari diperkenankan untuk merayapi blog anda
Disallow: /search -> robot tidak diperkenankan untuk merayapi url pencarian seperti search/label/contoh.html di blog
Disallow: /p/about - > tidak mengizinkan untuk mengcrawl, merayapi dan mengindex halaman about seperti http://example.com/p/about.html
Disallow: /p/contact - > tidak memperkenankan spider bot merayapi halaman contact misal https://example/p/contact
Sitemap: https://www.omevan.com - >mengizinkan spider untuk merayapi mengcrawl dan mengindex sitemap https://www.omevan.com/sitemap.xml
Untuk sitemap bisa memakai variasi terutama jika anda tidak menetapkan salah satu dari variasi tertentu misalkan dengan menambah
Sitemap: http://www.omevan.com/sitemap.xml dibawah sitemap diatas.
Jangan salah setting dan konfigurasi bisa-bisa anda di abaikan
Untuk sinkronisasi custom robot txt di webmaster search console dan diblogger :
Setelah fix, baru pastekan dikolom tersebut custom robot.txt nya lalu klik submit dan ask google to update, disamping itu anda bisa download robot txt untuk diunggah ke blog anda.
Cara menerapkan custom robot txt di blogger dibawah crawlers and indexing
- Login ke dashboard blogger
- Search freferences
- Edit > Enable custom robot txt > Yes > Pastekan untuk memasang custom robot txt di blogspot yang telah di test di search console untuk sinkronisasi dengan blogger blogspot lalu klik save.
Untuk mengatur tag tajuk robot khusus atau custom robot header tags :
Archives and search pages : Mengizikan robot atau spider untuk tidak mengindex, tidak mengcrawl, tidak mengikuti, tidak menterjemahkan, tidak mengarsipkan dan tanpa image dengan perintah noindex, nofollow, nodp, noimage, notranslate, noarchieve, untuk direktori archive dan pencarian seperti :
https://www.blog.com/search/contoh.html
https://www.blog.com/label/nama-label.html
https://www.bloganda.com/search/label/nama-label.html
Default post and Pages : All, meminta robot untuk mengcrawl dan mengindex post dan halaman page kita. Seperti
https://www.blog.com/p/about.html
https://www.blog.com/cara-setting-custom-robot-txt.html.
Sehingga dengan begitu tidak memberatkan robot serta tidak memakan waktu untuk mengcrawl dan mengindex blog kita.
