Penyebab munculnya duplikat konten
Duplikat konten bisa timbul karena settingan engine blog yang kurang pas (meskipun settingan itu punya manfaat lain) seperti akibat adanya paginasi halaman atau penomoran halaman, baik untuk halaman index, archive atau postingan, akibat adanya paginasi komentar atau karena akibat adanya penambahan ekstensi tertentu misalnya karena menggunakan plugin versi mobile, mengaktifkan fitur reply to comments atau nested comments dan lain-lain. Contoh untuk penggunaan plugin versi mobile (MobilePress) di setiap akhir url postingan akan ada penambahan"?postcomment=true" dan di setiap akhir url halaman komentar akan ada penambahan "?comments=true"Duplikat konten juga bisa muncul untuk website atau blog yang bisa diakses dengan awalan www atau tanpa www. Penyebab lain dari munculnya duplikat konten juga bisa karena kesalahan dari user ketika menuliskan misalnya isi deskripsi yang sama dengan postingan lainnya atau menuliskan isi deskripsi yang terlalu singkat (short meta descriptions) atau menuliskan post tag yang sama dengan judul postingan (jika post tag dimasukkan ke dalam index) dan lain-lain.
Kapitaliasi huruf pada URL wordpress juga bisa menyebabkan munculnya duplikat konten (duplikat titel tag) disebabkan karena satu postingan atau satu halaman dengan titel atau judul yang sama tapi bisa diakses dengan bermacam-macam bentuk URL (berbagai variasi antara huruf besar dan kecil). Misalnya URL aslinya
http://domain.com/tips-seo-wordpress.html, URL tersebut bisa juga diakses dan masuk ke dalam index dengan variasi kapitaliasi huruf pada URL tersebut menjadi misalnya : http://domain.com/Tips-Seo-Wordpress.html.Pengaruh duplikat konten dalam SEO
Dalam kondisi tertentu munculnya duplikat konten kadang-kadang tidak terlalu berpengaruh terhadap hasil indek dan SERP di search engine khususnya Google. Dalam hal ini saya pernah mengalaminya (muncul duplikat konten di Google Webmaster), bahkan jumlahnya sampai ratusan, yakni saat terjadi pergantian permalink blog ini (info selengkapnya bisa dibaca di : Cara Setting Permalink WordPress). Walaupun muncul ratusan duplikat konten tapi tidak berpengaruh sama sekali terhadap SERP dan SEO blog ini (mungkin kebetulan). Di sisi lain (idealnya) duplikat konten dan variannya adalah hal yang harus dihindari dan dicegah, sebab untuk jangka panjang sebagian besar webmaster sepakat, hal itu akan berpengaruh terhadap SEO. Google juga menyarankan kepada webmaster dan pengelola website atau blog agar berupaya untuk mencegah dan menghindari munculnya duplikat konten.Cara mencegah (mengatasi) duplikat konten
1. Setting domain anda dengan salah satu pilihan antara menggunakan www atau tanpa www. Selanjutnya anda harus konsisten dalam menuliskan sebuah url antara www dan non www. Untuk wordpress self hosting umumnya menggunakan standard tanpa www. Alternatif lainnya pemilihan www atau non www bisa disetting lewat file .htaccess : Redirect www ke non-www :RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^www.domainanda.com [NC]
RewriteRule ^(.*)$ http://domainanda.com/$1 [L,R=301]
Redirect non-www ke www :RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^domainanda.com [NC]
RewriteRule ^(.*)$ http://www.domainanda.com/$1 [L,R=301]
Dalam kondisi tertentu bisa juga menggunakan fitur Preferred domain yang ada di Google Webmaster Tools (Site configuration » Settings » Preferred domain).
Dalam hal ini kebetulaan saya tidak menggunakan fitur ini alias saya
biarkan default (Don’t set a preferred domain) karena dari awal install
wordpress tidak menggunakan awalan www.2. Menerapkan canonical link untuk postingan atau sebuah halaman. Untuk WordPress versi 2.9 ke atas fungsi canonical sudah ditambahkan secara otomatis. Atau jika belum bisa ditambahkan script berikut ini di file header.php, sebelum kode
< /head> :<link rel="canonical" href="<?php the_permalink() ?>" />3. Menggunakan 301 redirects. Jika kita akan mengalihkan suatu halaman ke halaman lainnya kita bisa menggunakan teknik 301 redirects baik dengan bantuan sebuah plugin atau bisa menggunakan settingan di file .htaccess.
4. Manfaatkan file robots.txt untuk pengaturan halaman atau URL mana yang boleh dindex dan halaman atau URL mana yang tidak boleh dindex.
5. Menggunakan pengaturan robots meta tag yang ditempatkan di bagian header.php (optional). Teknik ini menggunakan semacam conditional tag di mana halaman yang boleh diindex hanya pada halaman home, postingan dan sebuah page atau bisa ditambahkan halaman tertentu misalnya post tag, selain halaman tersebut akan diabaikan (tidak diindex), misalnya halaman search.php, archive.php tidak akan diindex dan lain-lain.
6. Menggunakan bantuan plugin. Beberapa plugin seperti Platinum SEO Pack atau All In One SEO Pack di dalamnya banyak fitur untuk mencegah munculnya duplikat konten misalnya adanya fitur
"Automatically do 301 redirects for permalink changes"
akan mencegah munculnya duplikat konten ketika user berganti model
permalink. Berdasarkan pengalaman, meskipun menggunakan fitur ini, dalam
jangka pendek, duplikat konten tetap akan muncul dan setelah beberapa
bulan duplikat konten baru bisa hilang/bersih.Fitur lainnya yang bisa dimanfaatkan untuk mencegah duplikat konten (menggunakan bantuan plugin) yaitu :
Use noindex for Tag Archives, Use noindex for comment pages of posts (Introduced in wordpress 2.7), Use noindex for comments RSS feeds, Use noindex for all RSS feeds, Use noindex for Search result pages on the site dan lain-lain.Untuk Category Title Format: dan Tag Title Format: juga bisa kita manfaatkan untuk mencegah duplikat konten. Caranya pada bagian kotak sebelah kanan tambahkan kata
"Category" setelah %category_title%, kode keseluruhan akan menjadi %category_title% - Category dan tambahkan kata "Tag" setelah %tag%, kode keseluruhan akan menjadi %tag% - Tag.
Tujuan dari cara ini untuk menghindari munculnya duplikat titel tag
karena misalnya tanpa sengaja kita memasukkan post tag yang sama/mirip
dengan judul postingan. Teknik ini berlaku jika kebetulan kita
menyertakan post tag dan atau category tag ke dalam index mesin pencari.7. Penerapan Lowercase pada URL = Mentransformasi semua karakter pada URL menjadi huruf kecil. Seperti yang saya jelaskan di atas, kapitaliasi huruf pada URL wordpress juga bisa menyebabkan munculnya duplikat konten (duplikat titel tag) disebabkan karena satu postingan atau satu halaman dengan titel atau judul yang sama tapi bisa diakses dengan bermacam-macam bentuk URL (berbagai variasi antara huruf besar dan kecil). Untuk mengatasi hal ini kita harus membuat settingan supaya ketika ada kapitaliasi huruf pada URL, maka secara otomatis akan diarahkan ke huruf kecil (lowercase).
Caranya sebenarnya bisa dilakukan lewat setting file .htaccess, PHP atau disetting lewat server. Namun sayang beberapa kali uji coba (menggunakan berbagai script) yang saya lakukan lewat file .htaccess dan PHP belum berhasil. Ada yang menyarankan bisa disetting lewat pengaturan server, namun sayang ini tidak bisa saya lakukan karena hosting yang saya sewa masih menggunakan shared hosting sehingga sebagai pengguna tidak ada hak aksess untuk konfigurasi server, kecuali kalau menggunakan private Server baru bisa dilakukan. Atau ada yang mau bantu saya? Sudah saya ubek-ubek seluruh blog dalam dan luar negeri belum ada yang menerapkan cara ini. Untuk sementara jika muncul duplikat konten (hanya kadang-kadang) yang disebabkan karena munculnya kapitaliasi huruf pada URL, untuk menghilangkannya saya redirect secara manual menggunakan teknik 301 redirects yang ada di file .httaccess.
8. Memanfaatkan fitur URL parameters di Google Webmaster Tools
Seperti yang saya katakan di atas, duplikat konten bisa muncul akibat adanya paginasi komentar atau karena akibat adanya penambahan ekstensi tertentu misalnya karena menggunakan plugin versi mobile, mengaktifkan fitur reply to comments atau nested comments dan lain-lain. Untuk mengatasinya di samping dengan pengaturan di file robots.txt, kita juga bisa memanfaatkan fitur URL parameters yang ada di Google Webmaster Tools untuk membantu Google dalam mengcrawl sebuah website/blog yang mempunyai beberapa jenis URL tapi sebenarnya isinya sama, atau dengan kata lain fitur URL parameters akan menentukan URL mana yang akan diindex dan URL mana (yang mempunyai parameters tertentu) tidak perlu diindex.
Untuk penjelasannya bisa dibaca di pembahasan tentang URL parameters yang ada di Google Webmaster Tools, atau di postingan teman Facebook saya Faisal Rachmadin yaitu tentang Cara Mengatasi Error Replytocom Di Google Webmaster.
Catatan :
Cara-cara di atas adalah berdasarkan pengalaman pribadi dalam menghapus dan mencegah duplikat konten pada blog wordpress dengan self hosting, untuk platform blog yang lain seperti blogspot dan lainnya mungkin secara teknis akan sedikit berbeda. Beberapa poin di atas mungkin perlu penjelasan atau pembahasan secara khusus supaya lebih mudah dipahami oleh pembaca.