Toolbox Online

Halaman BerandaAlat PengembanganPembuatan file robots

Pembuatan file robots

 Jalur relatif, tetapi setiap jalur disertakan sebelum："/"
 Biarkan kosong untuk tidak ada, Google untuk format xml, Baidu untuk format html
Mesin pencari umum
Mesin pencari asing
Mesin pencari khusus (robot)
Lainnya (mesin pencari yang tidak konvensional, bahkan bias terhadap jahat)
Silakan simpan hasil berikut ke Notepad dan unggah ke direktori root situs web bernama robots.txt

Apa file robots.txt?

Mesin pencari secara otomatis mengakses halaman web di Internet dan memperoleh informasi halaman web melalui program "laba-laba" (juga dikenal sebagai spider). Anda dapat membuat file teks polos robots.txt di situs web Anda, di mana Anda menyatakan bagian situs web yang tidak ingin diakses oleh laba-laba, sehingga beberapa atau semua konten situs web tidak dapat diakses dan disertakan oleh mesin pencari, atau Anda dapat menentukan mesin pencari hanya untuk menyertakan konten yang ditentukan melalui robots.txt. File pertama yang diakses oleh situs perayap mesin pencari adalah robots.txt.

Silakan jelaskan file robots.txt secara rinci?

  1. Lokasi file

    File robots.txt harus ditempatkan di direktori root situs web. Misalnya, ketika mesin pencari mengunjungi situs web, pertama-tama akan memeriksa apakah file robots.txt ada di situs web. Jika robot robots menemukan file ini, ia akan menentukan ruang lingkup hak aksesnya berdasarkan isi file. Lokasi file robots wordpress belum mengunggah robots.txt di program root situs web wordpress. Ketika mesin pencari dan pengguna mengunjungi file, program wordpress akan secara aktif menghasilkan robots.txt ke mesin pencari dan pengguna; Jika kami mengunggah robots.txt yang ditulis ke program root situs web, pengguna dan laba-laba mesin pencari mengunjungi file yang kami unggah, dan wordpress tidak akan menghasilkan file itu lagi. wordpress hanya menghasilkan file ini jika server tidak dapat menemukan robots.

  2. Format file

    File "robots.txt" berisi satu atau lebih rekaman yang dipisahkan oleh baris kosong (dengan CR, CR/NL, atau NL sebagai terminator), dan setiap rekaman berformat sebagai berikut: "<field>:<optionalspace><value><optionalspace>" dapat menggunakan # untuk komentar dalam file ini, dengan cara yang sama seperti konvensi di UNIX. Catatan dalam file ini biasanya dimulai dengan satu atau lebih baris User-agent, diikuti oleh beberapa baris Disallow, seperti berikut: User-agent: Nilai item ini digunakan untuk menggambarkan nama robot robot mesin pencari. Dalam file "robots.txt", jika ada beberapa catatan agen pengguna, berarti ada beberapa robot yang terikat oleh protokol. Jadi, setidaknya ada satu catatan User-Agent dalam file "robots.txt". Jika nilai item tersebut diatur ke * (wildcard), protokol tersebut berlaku untuk robot mesin pencari apa pun. Dalam file "robots.txt", hanya dapat ada satu catatan seperti "User-agent:*". Disallow: Nilai item ini digunakan untuk menggambarkan URL yang tidak ingin diakses. URL ini dapat menjadi jalur lengkap atau sebagian. URL apa pun yang dimulai dengan Disallow tidak akan diakses oleh robot. Misalnya: "Disallow:/help" tidak mengizinkan mesin pencari untuk/help.html dan/help/index.html, sedangkan "Disallow:/help/" memungkinkan robot untuk mengakses/help.html, tetapi tidak/help/index.html. Setiap catatan Disallow kosong, berarti bahwa semua bagian situs web diizinkan untuk diakses, dan setidaknya satu catatan Disallow harus ada dalam file "/robots.txt". Jika "/robots.txt" adalah file kosong, situs web terbuka untuk semua robot mesin pencari.

  3. Perisai umum

    Blokir halaman privasi, halaman landing latar belakang, halaman cache, direktori gambar, direktori css, halaman template, blokir konten halaman ganda, dan pada saat yang sama memblokir beberapa halaman berkualitas buruk, seperti halaman ruang pengguna semua anggota Golden Net, tautan dinamis dz juga dapat diatur untuk memblokir. Pengaturan melalui perintah Disallow:.