Arama motorları, web sayfalarını tarayan ve dizine ekleyen örümcekler veya botlar olarak da bilinen robotlarla donatılmıştır. Siteniz veya sayfanız geliştirme aşamasındaysa veya hassas içerik içeriyorsa, botların sitenizi taramasını ve dizine eklemesini engellemek isteyebilirsiniz. Tüm web sitelerini, sayfaları ve bağlantıları robots.txt dosyalarıyla nasıl engelleyeceğinizi ve html etiketleriyle belirli sayfaları ve bağlantıları nasıl engelleyeceğinizi öğrenin. Belirli botların içeriğinize erişmesini nasıl engelleyeceğinizi öğrenmek için okumaya devam edin.
adımlar
Yöntem 1/2: Arama Motorlarını robots.txt Dosyalarıyla Engelleme
1. Adım. robots.txt dosyalarını anlayın
Bir robots.txt dosyası, arama motoru örümceklerine sitenizde neye erişmelerine izin verildiğini bildiren düz veya ASCII metin dosyasıdır. Bir robots.txt dosyasında listelenen dosya ve klasörler, bir arama motoru örümcekleri tarafından taranamaz ve dizine eklenemez. Aşağıdaki durumlarda bir robots.txt dosyasına ihtiyacınız olabilir:
- Arama motoru örümceklerinden gelen belirli içeriği engellemek istiyorsunuz.
- Canlı bir site geliştiriyorsunuz ve arama motoru örümceklerinin siteyi taramasına ve dizine eklemesine hazır değilsiniz
- Saygın botlara erişimi sınırlamak istiyorsunuz.
Adım 2. Robots.txt dosyasını oluşturun ve kaydedin
Dosyayı oluşturmak için bir düz metin düzenleyicisi veya bir kod düzenleyicisi başlatın. Dosyayı şu şekilde kaydedin: robots.txt. Dosya adının tamamı küçük harf olmalıdır.
- "s" yi unutmayın.
- Dosyayı kaydettiğinizde “'.txt”' uzantısını seçin. Word kullanıyorsanız, “Düz Metin” seçeneğini seçin.
Adım 3. Tam izin verilmeyen bir robots.txt dosyası yazın
Her saygın arama motoru örümceğinin sitenizi taramasını ve dizine eklemesini "tam izin verilmeyen" bir robots.txt dosyasıyla engellemek mümkündür. Metin dosyanıza aşağıdaki satırları yazın:
Kullanıcı aracısı: * İzin verme: /
Adım 4. Koşullu izin verilen bir robots.txt dosyası yazın
Tüm botları engellemek yerine, sitenizin belirli alanlarından belirli örümcekleri engellemeyi düşünün. Ortak koşullu izin verme komutları şunları içerir:
- Belirli bir botu engelle: yanındaki yıldızları değiştirin kullanıcı aracısı ile birlikte googlebot, googlebot-haberler, googlebot-image, bingobot, veya teoma.
-
Bir dizini ve içeriğini engelleyin:
Kullanıcı aracısı: * İzin verme: /sample-directory/
-
Bir web sayfasını engelle:
Kullanıcı aracısı: * İzin verme: /private_file.html
-
Bir resmi engelle:
Kullanıcı aracısı: googlebot-image İzin verme: /images_mypicture.jpg
-
Tüm resimleri engelle:
Kullanıcı aracısı: googlebot-image İzin verme: /
-
Belirli bir dosya biçimini engelle:
Kullanıcı aracısı: * İzin verme: /p*.gif$
Adım 5. Botları sitenizi dizine eklemeye ve taramaya teşvik edin
Birçok kişi, sitelerinin tamamının dizine eklenmesini istedikleri için, arama motoru örümceklerini engellemek yerine hoş geldiniz istiyor. Bunu başarmak için üç seçeneğiniz var. İlk olarak, robots.txt dosyası oluşturmayı devre dışı bırakabilirsiniz; robot bir robots.txt dosyası bulamadığında, sitenizin tamamını taramaya ve dizine eklemeye devam eder. İkinci olarak, boş bir robots.txt dosyası oluşturabilirsiniz; robot robots.txt dosyasını bulur, dosyanın boş olduğunu anlar ve sitenizi taramaya ve dizine eklemeye devam eder. Son olarak, tam izin verilen bir robots.txt dosyası yazabilirsiniz. Kodu kullanın:
Kullanıcı aracısı: * İzin verme:
6. Adım. txt dosyasını alan adınızın kök dizinine kaydedin
robots.txt dosyasını yazdıktan sonra değişiklikleri kaydedin. Dosyayı sitenizin kök dizinine yükleyin. Örneğin, alan adınız www.alaniniz.com, robots.txt dosyasını şuraya yerleştirin www.alaniniz.com/robots.txt.
Yöntem 2/2: Arama Motorlarını Meta Etiketlerle Engelleme
Adım 1. HTML robotları meta etiketlerini anlayın
Robots meta etiketi, programcıların botlar veya arama motoru örümcekleri için parametreleri ayarlamasına olanak tanır. Bu etiketler, botların bir sitenin tamamını veya sitenin yalnızca bir bölümünü dizine eklemesini ve taramasını engellemek için kullanılır. Bu etiketleri, belirli bir arama motoru örümceğinin içeriğinizi dizine eklemesini engellemek için de kullanabilirsiniz. Bu etiketler, HTML dosyanızın başında görünür.
Bu yöntem, bir web sitesinin kök dizinine erişimi olmayan programcılar tarafından yaygın olarak kullanılır
Adım 2. Tek bir sayfadan botları engelleyin
Tüm botların bir sayfayı dizine eklemesini ve/veya bir sayfanın bağlantılarını takip etmesini engellemek mümkündür. Bu etiket, yayında olan bir site geliştirme aşamasındayken yaygın olarak kullanılır. Site tamamlandıktan sonra bu etiketi kaldırmanız şiddetle önerilir. Etiketi kaldırmazsanız, sayfanız dizine eklenemez veya arama motorları tarafından aranamaz.
- Botların sayfayı dizine eklemesini ve bağlantılardan herhangi birini izlemesini engelleyebilirsiniz:
- Tüm botların sayfayı dizine eklemesini engelleyebilirsiniz:
- Tüm botların sayfanın bağlantılarını takip etmesini engelleyebilirsiniz:
Adım 3. Botların bir sayfayı dizine eklemesine izin verin, ancak bağlantılarını takip etmeyin
Botların sayfayı dizine eklemesine izin verirseniz, sayfa dizine eklenir; Örümceklerin bağlantıları izlemesini engellerseniz, bu belirli sayfadan diğer sayfalara olan bağlantı yolu bozulur. Aşağıdaki kod satırını başlığınıza ekleyin:
Adım 4. Arama motoru örümceklerinin bağlantıları izlemesine izin verin, ancak sayfayı dizine eklemeyin
Botların bağlantıları izlemesine izin verirseniz, bu belirli sayfadan diğer sayfalara giden bağlantı yolu inceliğini korur; Sayfayı dizine eklemelerini kısıtlarsanız, web sayfanız dizinde görünmez. Aşağıdaki kod satırını başlığınıza ekleyin:
Adım 5. Tek bir giden bağlantıyı engelleyin
Bir sayfada tek bir bağlantıyı gizlemek için rel bağlantı etiketi içindeki etiket. Engellemek istediğiniz belirli sayfaya yönlendiren diğer sayfalardaki bağlantıları engellemek için bu etiketi kullanmak isteyebilirsiniz.
Engellenen Sayfaya Bağlantı Ekle
Adım 6. Belirli bir arama motoru örümceğini engelleyin
Web sayfanızdaki tüm botları engellemek yerine, bir botun sayfayı taramasını ve dizine eklemesini engellemek isteyebilirsiniz. Bunu başarmak için meta etiket içindeki “robot”u belirli bir botun adıyla değiştirin. Örnekler şunları içerir: googlebot, googlebot-haberler, googlebot-image, bingobot, ve teoma.
Adım 7. Botları sayfanızı taramaya ve dizine eklemeye teşvik edin
Sayfanızın dizine eklenmesini ve bağlantılarının takip edilmesini istiyorsanız, bir takip izni ekleyebilirsiniz. meta "robot" başlığınıza etiketleyin. Aşağıdaki kodu kullanın:
