Cara Membuat Robot txt di Webmaster Tools Google

Di posting sebelumnya saya telah membahas tentang Apa itu Pengertian Robots.txt , dan Kali ini saya membahas tentang cara Membuat Robots.txt di Google Webmaster Tools langsung saja , kebetulan posting untuk yang ini saya lihat dari blog seputarseo.com, jadi untuk membuat robot txt di webmaster tools goolgle begini caranya :

1. Sign in << ke Webmaster Tools, kemudian klik situs yang Anda inginkan.

2. Di menu Site configuration, klik Crawler access.

3. Klik tab Generate robots.txt .

4. Pilih default crawler kamu . Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .

5. Tentukan aturan untuk si robot ini . contoh , saya akan memblok folder1 agar tidak di crawl oleh si robot :
- Di Action list, Pilih Disallow.
- Di Robot list, Klik Googlebot.
- Di Files atau direktori , ketikan /folder1 .
- Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .

6. Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya , save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting ,

misalnya : http://blablabla.com/robots.txt , nah kalau upload di situ berarti benar ,
ini contoh yang salah http://www.blablabla.com/bla_bla/robots.txt .


neh aku kasih screen shotnya biar gak pada bingung .


Sekian dulu ya artikel tentang membuat robot txt di webmaster tools google nya ...