Setting robot.txt serta tag tajuk robot khusus yang benar dan aman di blog untuk optimasi seo

Kali ini saya akan membagikan cara setting robot txt serta tag tajuk robot khusus yang aman dan benar untuk seo di blog. Apa saja konten di blog kita yang akan di rayapi oleh bot dimana kita bisa konfigurasi didalam sebuah robot txt ini.

Apa itu robot txt?
Robot txt adalah sebuah file txt yang memperkenankan atau tidak mengizinkan robot untuk merayapi, mengcrawl halaman dengan perintah tertentu di blog.
Setting robot.txt serta tag tajuk robot khusus yang benar dan aman di blog untuk seo
Anda bisa set agar googlebot untuk tidak merayapi sebuah halaman atau pencarian, image, dsb. sehingga tidak membebani robot untuk mengindex blog anda baik wordpress maupun blogger, para praktisi seo menganjurkan untuk optimasi seo menggunakan custom robot txt dan tajug header tag atau custom robbot header tag di website blog.

Gimana cara setting robot txt di blogger :
Secara default robot txt bisa dilihat di webmaster tools search console jika anda di dashboard search console baru ubah dimenu ke dashboard search console lama lalu pilih robot txt tester kira kira begini :

Default robot txt
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow:

Sitemap: https://www.omevan.com.sitemap.xml

Kita bisa buat custom robot txt dengan perintah berikut :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /p/contact.html

Sitemap: https://www.omevan.com/sitemap.xml

Anda bisa menggunakan salah satu apakah mau pakai robot txt default atau custom robot txt, dua-duanya aman dipakai diblog.

Keterangan :
Disallow: Mediapartners-Google -> memerintahkan robot untuk merayapi iklan adsense yang dipasang di blog anda
Disallow:    -> tidak ada yang dilarang dirayapi

User-agent: * -> semua robot mesin pencari diperkenankan untuk merayapi blog anda
Disallow: /search  -> robot tidak diperkenankan untuk merayapi url pencarian seperti search/label/contoh.html di blog
Disallow: /p/about  - > tidak mengizinkan untuk mengcrawl, merayapi dan mengindex halaman about seperti http://example.com/p/about.html
Disallow: /p/contact  - > tidak memperkenankan spider bot merayapi halaman contact misal https://example/p/contact

Sitemap: https://www.omevan.com - >mengizinkan spider untuk merayapi mengcrawl dan mengindex sitemap https://www.omevan.com/sitemap.xml
Untuk sitemap bisa memakai variasi terutama jika anda tidak menetapkan salah satu dari variasi tertentu misalkan dengan menambah
Sitemap: http://www.omevan.com/sitemap.xml dibawah sitemap diatas.
Jangan salah setting dan konfigurasi bisa-bisa anda di abaikan

Untuk sinkronisasi custom robot txt di webmaster search console dan diblogger :
Melihat robot txt di webmaster tools search console
Gambar diatas adalah default robot.txt di webmasters search console, kita set dengan custom robot txt diatas di dashboard search console > Crawl > Robot.txt tester lalu pastekan custom robot diatas dan test dipaling bawah untuk menguji halaman artikel sobat agar tidak ada yang salah atau bahkan melarang googlebot, googlebot-news, image, video, mobile dan media-partners (adsense) merayapi sebuah halaman web page anda bisa di tes disana tinggal pastekan alamat web page di browser lalu pilih googlebot, googlebot-news, image, mobile, dsb.
Setelah fix, baru pastekan dikolom tersebut custom robot.txt nya lalu klik submit dan ask google to update, disamping itu anda bisa download robot txt untuk diunggah ke blog anda.

Cara menerapkan custom robot txt di blogger dibawah crawlers and indexing

- Login ke dashboard blogger
Login ke dashboard blogger
- Settings
- Search freferences
Setting custom robot.txt
- Custom Robot txt
- Edit > Enable custom robot txt > Yes > Pastekan untuk memasang custom robot txt  di blogspot yang telah di test di search console untuk sinkronisasi dengan blogger blogspot lalu klik save.

Untuk mengatur tag tajuk robot khusus atau custom robot header tags :
Setting custom robot header tags
Homepage : Mengizinkan robot untuk mengcrawl dan mengindex seluruh halaman di homepage blog

Archives and search pages : Mengizikan robot atau spider untuk tidak mengindex, tidak mengcrawl, tidak mengikuti, tidak menterjemahkan, tidak mengarsipkan dan tanpa image dengan perintah noindex, nofollow, nodp, noimage, notranslate, noarchieve, untuk direktori archive dan pencarian seperti :
https://www.bloganda.com/search/contoh.html
https://www.bloganda.com/label/nama-label.html
https://www.bloganda.com/search/label/nama-label.html

Default post and Pages : All, meminta robot untuk mengcrawl dan mengindex post dan halaman page kita. Seperti
https://www.bloganda.com/p/about.html
https://www.bloganda.com/cara-setting-custom-robot-txt.html.

Sehingga dengan begitu tidak memberatkan robot serta tidak memakan waktu untuk mengcrawl dan mengindex blog kita.

Belum ada Komentar untuk "Setting robot.txt serta tag tajuk robot khusus yang benar dan aman di blog untuk optimasi seo"

Posting Komentar

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel