Selain Sitemap , robots.txt adalah bagian penting di salam sebuah struktur web . nah saya akan membahas tentang Pengertian Robots.txt , Robots.txt adalah Sebuah file dengan fungsi untuk membatasi akses robot mesin pencari yang sedang menjelajahi situs web . Sebelum mereka mengakses halaman web, mereka memeriksa untuk melihat apakah sebuah file robots.txt ada / tidak , dan di dalam robots.txt ada perintah yang mencegah mereka mengakses halaman tertentu.

Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman yang tidak kita inginkan , wah bisa kacau kalau sampai ada sesuatu yang rahasia ke index di mesin pencari dan di temukan orang lain. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt .

Meskipun Google / Mesin pencari lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian.

Contoh Robots.txt

Facebook.com/robots.txt

Sekian dulu artikel tentang Fungsi robot txt ya ...



Posting Lama Posting Lebih Baru

Comments :

ada 2 komentar ke “Pengertian Robot txt”
indonesiiaku mengatakan...
pada  

makasih gan info mengenai robot txt bermnfaat sekali

Angga Ardhinata mengatakan...
pada  

Makasih gan , ,,

Poskan Komentar


Copyright © 2014 - Aldi Ferdiyan - My Facebook - Powered By Pasa Iklan / Pasang Iklan Gratis


"Pengertian Robot txt"

Sewa Laptop Infonindo.com - Penyewaan Laptop - Sewa Laptop di jakarta - Warta kesehatan - Warta Sehat - Profil - Seks - alkes lab - Obat Penyakit Ibu Anak