Cara Membuat File Robot TXT Di CPANEL Untuk WordPress

Untuk tampilan robot.txt default yang berada pada root direktori setelah melakukan instalasi di wordpress seperti di bawah ini.

User-agent: * 
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php 
Sitemap: http://namawebsite.com/sitemap.xml. 

File di atas adalah sebuah file robot txt default yang anda miliki setelah berhasil melakukan instalasi wordpress . Dan saya akan menjelaskannya satu persatu Arti dari file robot txt default di atas adalah :

– User-agen:*

Artinya adalah anda adalah agen pengguna yang berhak menentukan halaman mana yang boleh dan tidak boleh dirayapi dan diindex mesin pencari.

– Disallow: /wp-admint/ 

Melarang googlebot merayapi halaman admin wordpress, ini bisa sangat fatal jika sampai dirayapi oleh googlebot karena jika ada orang jahil, website anda bisa kena hack dan akhirnya tidak bisa dibuka dan terjadi error apalagi jika saat itu pengunjung web anda lagi membludak.

– Allow: wp-admin/admin-ajax.php

Artinya adalah mengizinkan mesin pencari untuk melarang pengindexan halaman admin pada situs web.

– sitemap:http://namawebsite.com/sitemap.xml

mengizinkan googlebot merayapi semua halaman daftar isi (sitemap) pada sebuah website.

Begitulah arti dan cara kerja file robot txt. jadi kesimpulannya robot txt adalah sebuah file yang berada pada root direktori di cpanel atau hosting pada website yang anda miliki setelah anda baru melakukan instalasi wordpress dan akan secara otomatis menghasilkan sebuah file robot txt yang masih keadaan default.

Robot txt berfungsi untuk menentukan halaman website mana saja yang boleh dan tidak boleh dirayapi dan diindex oleh mesin pencari , berikut contoh beberapa halaman penting yang beresiko terserang hacker di cpanel wordpress yang tidak boleh dirayapi dan diindeks oleh mesin pencari.

Halaman Penting di wordpress yang tidak boleh dirayapi dan diindeks oleh mesin pencari

1. Cgi-bin

adalah sebuah folder untuk pemograman script yang jarang dibutuhkan untuk mengelola website di wordpress, jadi ini adalah sebuah folder kosong dan tidak perlu dirayapi dan diindeks oleh mesin pencari.

2. Wp-admin

halaman ini adalah sebuah halaman admin di wordpress, tempat untuk mengelola semua data dari aktivitas dalam mengembangkan website seperti membuat artikel dan lain-lain.

3. wp-includes

wp-includes adalah sebuah direktori yang berisi sebagian besar dari fungsi utama WordPress di mana semua kode WordPress berjalan dari wp-includes, jadi jangan pernah merubah data dari folder ini apalagi sampai di rayapi dan di index oleh mesin pencari.

4. themes ( tema )

Adalah sebuah tampilan dari sebuah website, themes ini juga berisi data tema berupa file php di dalamnya. seorang hacker bisa menyusup ke dalam dan merusak semua file, jadi jangan sampai dirayapi oleh mesin pencari dan usahakan juga themes anda selalu up to date supaya keamanannya tetap terjaga.

5. plugins

Adalah sebuah aplikasi tambahan yang sudah disediakan oleh wordpress untuk melengkapi sebuah fitur yang belum terdapat dalam sebuah website. aplikasi ini berupa script php  yang sangat rawan dari serangan virus dengan cara menyusup ke dalam script php tersebut, jadi usahakan semua plugin yang anda instal harus selalu up to date.

Begitulah penjelasan tentang file penting apa saja yang terdapat di wordpress yang tidak boleh dirayapi dan diindex oleh mesin pencari .

Untuk membuat file robot txt wordpress yang pertama bisa melalui plugin seperti plugin SEO by yoast, didalam settingan plugin tersebut memang sudah disediakan kolom untuk memasukkan file robot txt dan tidak sedikit pengguna atau pemilik website menggunakan plugin tersebut untuk membuat file robot txt yang sudah mereka tentukan.

Untuk cara membuat file robot txt wordpress ini atau hosting dari website yang anda miliki, kalau menurut saya pribadi saya menyarankan kepada anda akan lebih baik jika membuat file robot txt langsung melalui cpanel saja, karena cpanel atau hosting adalah ibarat rumah atau pusat dari sebuah website yang anda kelola sehingga file robot txt yang sudah anda buat akan terus melekat di dalam website dan tidak akan berubah walaupun terjadi sesuatu yang tidak diinginkan pada website yang anda miliki.

Berbeda jika anda menggunakan sebuah plugin, yang dikuatirkan adalah pada saat anda melakukan update pada plugin tersebut karena sebuah plugin yang anda instal harus selalu up to date dan saat melakukan update semua settingan biasanya akan berubah dengan sendirinya tanpa sepengetahuan dari pemilik website.

Memang tidak masalah jika anda melakukannya dengan plugin dan saran saya adalah setelah anda melakukan update plugin jangan lupa untuk memeriksa semua settingan yang sudah anda tentukan sebelumnya.

Sampai disini mungkin anda sudah memahami mengapa harus membuat file robot txt dalam penggunaan sebuah website khususnya untuk wordpress self host.

Dari semua penjelasan saya tentang robot txt wordpress di atas pasti yang menjadi pertanyaan dan terlintas dalam pemikiran anda adalah  lalu bagaimana cara membuat file robot txt wordpress yang tepat untuk website yang saya miliki ? agar tidak terjadi kesalahan pada saat mesin pencari melakukan perayapan dan pengindeksan terhadap website yang saya kelola?

Di bawah ini adalah sebuah file robot txt wordpress yang menurut saya sangat tepat dalam menentukan halaman mana yang boleh dan tidak boleh diindex oleh mesin pencari dan juga sangat bagus dari segi keamanan sebuah website dalam proses perayapan dan pengindeksan yang dilakukan oleh mesin pencari seperti google , bing ,dan yahoo.

Mengenai cara membuat File robot txt wordpress ini sudah saya gunakan di website yang saya miliki sejak 1 tahun terakhir dan alhamdulillah sudah terbukti tidak terjadi adanya kesalahan dari segi halaman yang diindeks maupun dari segi keamanan.

baiklah  sekarang silahkan langsung saja anda copy file robot txt wordpress yang sudah saya persiapkan di bawah ini dan membuatnya melalui cpanel atau hosting yang anda miliki.

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/themes 
Disallow: /wp-content/plugins 
User-agent: Mediapartners-Google 
Allow: / 
User-agent: Adsbot-Google 
Allow: / 
User-agent: Googlebot-Image 
Allow: / 
User-agent: Googlebot-Mobile 
Allow: / 
Sitemap: http://namewebsite.com/sitemap.xml. 

Note: namewebsite ganti sesuai nama website yang anda miliki.

Jika semua sudah siap, di bawah ini adalah cara membuat file robot txt wordpress melalui cpanel yang bisa langsung anda ikuti.

Cara Membuat File Robot txt WordPress di CPanel

a. pertama-tama login ke cpanel anda di
http://namewebsite.com/cpanel , kemudian masukkan nama pengguna dan kata sandi yang sudah anda tentukan.

b. setelah cpanel anda terbuka, klik menu file manager <> kemudian pilih folder public_html.

​
note: setelah melakukan instalasi wordpress biasanya file robot txt belum terdapat pada folder public_html , jadi anda harus membuat file robot txt di dalam folder public_html terlebih dahulu sebagai tempat untuk memasukkan file robot txt yang sudah anda buat sebelumnya, berikut caranya :

– klik tombol  + file  yang terletak pada sebelah kiri atas pada halaman file manager di cpanel anda.

– kemudian beri nama file tersebut  robot.txt <> setelah itu klik  create a new file dan jadilah sebuah file yang sudah siap menampung file robot txt wordpress seperti yang terlihat pada gambar di atas.

c. klik pada file robot txt yang baru anda buat, kemudian klik edit  yang terletak disebelah kanan atas pada halaman file manager di cpanel anda.

d. setelah itu pilih utf-8, kemudian klik edit .

e. silahkan copy paste file robot txt wordpress yang sudah anda tentukan sebelumnya pada tempat yang sudah disediakan.

f. yang terakhir jangan lupa klik save changed

Sekarang website yang anda miliki sudah mempunyai file robot txt.yang siap menjaga file dan data pada setiap halaman yang sudah anda tentukan.

Catatan : file robot txt yang sudah berhasil anda buat akan update atau berubah secara otomatis di semua mesin pencari dalam waktu beberapa hari jika anda sudah mendaftarkan website di google webmaster tool.

Anda juga bisa mengirim sebuah pesan atau memberi tahu pihak mesin pencari google untuk lebih memastikan bahwa anda sudah merubah file robot txt pada website yang anda miliki dengan cara sebagai berikut.

Cara Menambahkan File Robot txt di Google Webmaster Tool

a. Pertama-tama login ke Google webmaster tool

b. Setelah terbuka , klik pada nama website yang sudah anda daftarkan sebelumnya.

c. pilih menu perayapan ~ penguji robot txt.

d. kemudian klik edit file robot txt default (yang lama), setelah itu masukkan file robot txt yang baru anda buat pada kolom yang tersedia.

e. yang terakhir klik kirim

Setelah semua selesai anda bisa melakukan cek di mesin pencari untuk memastikan sekali lagi bahwa file robot txt sudah terpasang dengan cara ketik http://namewebsite .com/robots.txt.

Demikian ulasan artikel saya kali ini tentang Cara Membuat File Robot TXT Di CPANEL Untuk WordPress

Sekian Terima kasih Semoga Bermanfaat.