Dari sekian banyak strategi SEO, penggunaan file robots.txt adalah salah satu yang paling unik sekaligus efisien. Tidak seperti strategi lainnya, penggunaan robots.txt langsung membidik cara Google menemukan konten untuk ditampilkan di halaman hasil pencarian.
Bagaimana robots.txt berfungsi dan cara penggunaannya dalam strategi SEO? Pelajari semuanya di panduan berikut ini.
Apa itu File Robots.txt?
Robots.txt adalah file teks yang diletakkan di bagian root pada website. Gunanya adalah memberi instruksi pada bot mesin pencari terkait cara mereka berinteraksi dengan website tersebut.
Agar lebih jelas, Anda harus memahami dulu cara kerja bot Google dalam menemukan dan menampilkan website tertentu di halaman hasil pencariannya.
Mesin pencari seperti Google menemukan website tertentu untuk ditampilkan di halamannya dengan menggunakan fungsi crawling, yaitu penggunaan bot khusus yang “bertugas” menemukan konten spesifik dari sebuah website. Ketika menemukan konten yang tepat berdasarkan parameter (keyword spesifik), mesin pencari akan menampilkan website tersebut.
Dalam strategi SEO, Anda bisa memodifikasi robots.txt untuk mengubah cara bot Google berinteraksi dengan website Anda. Misalnya, Anda bisa mencantumkan sitemap di file robots.txt untuk menemukan konten website dengan lebih mudah atau membatasi munculnya file tertentu dalam hasil pencarian.
Mengapa Menggunakan Robots.txt dalam SEO?
Robots.txt adalah solusi pemanfaatan strategi SEO dari segi teknis, cocok untuk Anda yang memiliki pengetahuan bidang pemrograman. Ada beberapa manfaat dari menggunakan strategi ini, contohnya adalah:
Bisa Langsung Mengarahkan Mesin Pencari
Dengan robots.txt, Anda bisa langsung mengarahkan bot mesin pencari untuk melakukan crawling terhadap halaman tertentu yang diinginkan. Anda tinggal menambahkan teks instruksi agar bot Google, Bing, dan mesin pencari lainnya sukses menangkap konten website.
Bisa Melindungi Halaman Tertentu di Website
Terkait poin sebelumnya, Anda juga bisa melakukan sebaliknya, yaitu mencegah bot mesin pencari untuk menangkap konten tertentu yang sifatnya rahasia. Misalnya, jika Anda memiliki toko online, gunakan robots.txt untuk mencegah mesin pencari menangkap halaman dengan data sensitif seperti formulir transaksi pembayaran serta halaman dashboard akun pembeli.
Dengan robots.txt, Anda juga bisa membatasi akses bot crawling ke halaman yang bersifat rahasia dan hanya terbuka untuk pemilik akses terbatas, seperti halaman administrasi website.
Bisa Menuntun Bot Mesin Pencari ke Halaman Penting
Bagaimana jika ada halaman tertentu yang justru ingin Anda sebarkan lebih jauh lewat mesin pencari? Robots.txt adalah solusi agar halaman tersebut lebih mudah ditangkap bot crawling. Contohnya, pemilik toko online bisa menyebarkan halaman produk website dengan menggunakan instruksi seperti “Allow: /products/”.
Dengan instruksi tersebut, mesin pencari akan segera menemukan halaman penting yang dimaksud, dan lebih banyak pengguna internet akan menemukannya.
Membantu Mengurangi Beban Server
Pernahkah Anda melihat website yang berhenti bekerja akibat overload dari terlalu banyak kunjungan atau pencarian? Gunakan robots.txt untuk mengurangi beban tersebut. Caranya, gunakan instruksi “crawl-delay” untuk menunda proses crawling yang dilakukan bot mesin pencari. Hal ini membantu website agar bisa mengambil jeda sejenak dan server tidak terbebani.
Setelah memahami manfaatnya, yuk, pelajari cara kerjanya secara singkat!
Bagaimana File Robots.txt Bekerja?
Untuk memahami cara kerja robots.txt, Anda harus mengetahui dulu tugas utama dari bot mesin pencari.
Bot dari Google, Bing, dan mesin pencari lainnya memiliki dua tugas utama, yaitu melakukan crawling untuk menemukan konten website serta meletakkan hasilnya di dalam indeks. Hal ini memudahkan pengguna internet untuk menemukan konten khusus sesuai dengan kata kunci yang mereka masukkan.
Bot ini bekerja dengan cara mengikuti rangkaian tautan yang relevan. Hal ini membawanya ke jutaan website, blog, dan konten online lainnya dalam proses yang disebut spidering. Robots.txt adalah semacam penanda agar bot tersebut berhenti untuk membaca file dan melanjutkan proses crawling. Bot tersebut juga akan membaca perintah yang ada di dalam robots.txt untuk menentukan langkah selanjutnya.
Contohnya, jika robots.txt yang ditemukan memiliki instruksi (directives) seperti disallow (tidak mengizinkan), maka bot tidak akan melakukan crawling pada halaman spesifik tersebut sehingga Google dan Bing tidak akan menemukannya. Sebaliknya, jika robots.txt berisi perintah allow, maka bot bisa melanjutkan crawling dan membantu mesin pencari untuk menangkap konten tersebut.
Secara umum, robots.txt merupakan saran atau sugesti untuk bot mesin pencari. Walau Anda tidak bisa mengatur sepenuhnya fungsi bot tersebut, robots.txt membantu mengarahkannya agar website Anda bisa dilacak (atau tidak) oleh mesin pencari.
Contoh Directives (Instruksi) untuk File Robots.txt
Apa saja instruksi atau directives yang bisa Anda gunakan untuk robots.txt? Berikut beberapa contoh yang umum digunakan.
User Agent
User agent adalah instruksi yang berisi nama-nama dari bot milik berbagai mesin pencari. Ketika Anda menambahkan instruksi ini pada robots.txt, Anda memberi sinyal bot apa saja yang diizinkan melakukan crawling terhadap website. Misalnya, jika Anda menggunakan instruksi “User agent: Googlebot”, website Anda hanya akan ditangkap oleh Googlebot.
Contoh yang lebih spesifik adalah penggunaan variasi Googlebot. Misalnya, jika Anda ingin konten tertentu hanya ditangkap oleh Google Images, maka user agent yang Anda gunakan adalah Googlebot-image.
Berikut beberapa contoh user agent populer sebagai instruksi robots.txt.
- Googlebot
- Googlebot-Image
- Googlebot-News
- Googlebot-Video
- Storebot-Google
- Google-InspectionTool
- AdsBot-Google
- Bingbot
- YandexBot
- DuckDuckBot
Seperti yang terlihat, user agent tidak hanya terbatas pada Google dan turunannya (Google Image, Google News, Google Video), tetapi juga iklan Google dan browser lain seperti DuckDuckGo.
Disallow
Disallow merupakan instruksi agar bot tidak mengakses atau melakukan indeks terhadap file atau direktori tertentu. Misalnya, Anda bisa menggunakan disallow untuk mencegah mesin pencari melakukan indeks terhadap halaman admin website, karena sifatnya rahasia. Gunakan “Disallow: /” untuk menandakan bahwa suatu bagian website tidak boleh diindeks, misalnya “Disallow: /admin/
Allow
Allow memberi sinyal bahwa suatu direktori atau file boleh diindeks oleh mesin pencari. Contohnya adalah penggunaan perintah “Allow:/images/” untuk mengizinkan mesin pencari menangkap gambar dan mengakses direktori images.
Sitemap
Instruksi sitemap memudahkan mesin pencari untuk mengindeks website Anda secara lebih efisien. Instruksi sitemap memberi informasi terkait lokasi file sitemap dari website Anda. Isi file sitemap adalah daftar URL yang menjadi identitas lokasi suatu website di dunia maya.
Crawl-delay
Crawl-delay adalah instruksi agar mesin pencari memberikan jeda waktu antara permintaan akses ke website Anda. Misalnya, jika Anda menggunakan instruksi “crawl-delay: 5”, ini berarti ada jeda waktu lima detik di antara permintaan akses lewat mesin pencari.
Sebagai catatan, instruksi robots.txt ini sekarang hanya berlaku untuk Bing dan Yandex, tetapi tidak di Google. Jadi, jika Anda ingin melakukan hal serupa di Google, gunakan Google Search Console.
Sebagai catatan: walau robots.txt bisa untuk mencegah bot melakukan crawling, instruksinya tidak bisa digunakan untuk menghindari proses indeks. Kalaupun dicoba, hasilnya akan berupa pesan “no information is available for this page”, atau informasi yang dicari tidak ditemukan di halaman tersebut.
Solusinya? Anda bisa menggunakan tag noindex, baik lewat meta maupun HTTP response header. Tag noindex bisa digunakan di mesin pencari yang memang mendukung fungsi ini, seperti Google. Agar tag ini berfungsi, pastikan Anda mengizinkan bot mesin pencari untuk melakukan crawling pada website.
Struktur dan Format File Robots.txt
Aturan dasar menulis file robots.txt adalah meletakkannya di root URL website. Contohnya, jika URL website Anda adalah www.sample.com, maka penulisannya menjadi
www.sample.com/robots.txt
Setelah menulis file, Anda menambahkan rincian berupa instruksi yang akan dibaca bot mesin pencari saat melakukan crawling.
Contoh File Robots.txt dengan Tiga Instruksi (Directives)
Sekarang, mari kita lihat contoh penulisan file robots.txt dengan tiga jenis instruksi untuk www.sample.com.
User-agent: Bingbot
Disallow: /admin/
User-agent: *
Allow: /
Sitemap: https://www.sample.com/sitemap.xml
Apa arti ketiga instruksi tersebut? Jika diurutkan dari atas, penjelasannya adalah sebagai berikut:
- User agent Bingbot atau bot dari situs pencari Bing tidak boleh melakukan crawling direktori pada bagian website yang merupakan halaman admin.
- Semua user agents seperti Google, Bing, dan sebagainya boleh melakukan crawling pada website sample.com. Tanda asterisk (*) merupakan sinyal yang merujuk ke semua user agents.
- File sitemap website berada di https://www.sample.com/sitemap.xml
Setelah mengetahui formatnya, Anda pun siap untuk membuat robots.txt sendiri!
4 Langkah untuk Membuat File Robots.txt
Inilah empat langkah mudah membuat file robots.txt sesuai kebutuhan.
Gunakan Text Editor atau Generator
Anda bisa menggunakan alat editing teks atau text generator, bukan word processor. Misalnya, pengguna Windows bisa menggunakan Notepad, bukan Word. Pastikan menyimpan file dalam format UTF-8 encoding dan simpan dengan nama dokumen robots.txt.
Kenapa tidak boleh menggunakan Word atau word processor serupa? Hal ini karena Word berisiko menambahkan karakter yang tidak perlu sehingga merusak susunan file robots.txt.
Tambahkan Instruksi di Robots.txt
Tambahkan instruksi apa saja sesuai kebutuhan. Akan tetapi, informasi yang paling umum untuk dijadikan instruksi (directives) adalah user agent serta direktori atau file yang boleh dan tidak boleh diakses oleh bot.
Pastikan mengetik setiap karakter dengan akurat, termasuk huruf besar atau huruf kecil. Karakter dalam robots.txt sifatnya sensitif sehingga salah ketik satu saja akan menggagalkan perintahnya.
Simpan File Robots.txt di Tempat yang Benar
File robots.txt harus disimpan di bagian root directory di website Anda. Hal ini memudahkan bot mesin pencari untuk menemukannya. Anda bisa minta tolong ke layanan hosting atau website developer untuk melakukannya.
Lakukan Pengujian Terhdap File Robots.txt
Setelah menyimpan file robots.txt, pastikan Anda melakukan uji coba untuk memastikan mereka sudah tersimpan dan berfungsi baik. Caranya adalah mengakses file robots.txt di browser. Misalnya, jika nama website Anda adalah www.sample.com, ketik https://sample.com/robots.txt di browser.
Cek apakah file yang Anda buat sudah tersimpan atau belum. Jika sudah ada, jangan lupa lakukan pengujian. Anda bisa melakukannya secara mudah dan cepat dengan menggunakan test tools dari Google. Cukup dengan memasukkan URL website di halaman test tools, Anda sudah bisa melihat hasilnya secara mendetail.
Robots.txt adalah salah satu cara meningkatkan visibilitas website lewat strategi SEO yang bersifat teknis. Asalkan tahu format dan cara kerjanya, Anda bisa mempengaruhi bot mesin pencari untuk menemukan aspek tertentu dalam website ketika melakukan crawling dan indeks.
Ingin menerapkan strategi SEO seperti ini secara profesional? Gunakan jasa SEO dari Coriate untuk mendapatkan hasil maksimal lewat solusi marketing digital terkini. Kunjungan dan visibilitas website dijamin naik secara organik. Bisnis jadi semakin berkembang dan mudah menghadapi persaingan!
