- Katılım
- 21 May 2023
- Mesajlar
- 753
- Tepki
- 17
- Puan
- 18
"Arama motoru nelerdir" sorusuna genelde marka isimleriyle yanıt veriliyor. Daha kullanışlı yanıt ise şu: hepsinin sitenize gönderdiği bir otomatik istemci var ve bunları birbirinden ayırmanın standart bir yolu bulunuyor.
Aşağıda otomatik istemcilerin standartta nasıl tanımlandığını, her birinin kendini nasıl tanıttığını, site sahibinin bunlara nasıl kural koyabildiğini ve kuralların nasıl eşleştiğini IETF belgesine bakarak topluyoruz.
Standart neyi düzenliyor?
RFC 9309, Robotları Dışlama Protokolü, amacını açıkça yazıyor: hizmet sahiplerinin, hizmetlerince sunulan içeriğe tarayıcı olarak bilinen otomatik istemcilerin nasıl erişebileceğini, erişebilecekse hangi ölçüde erişebileceğini denetlemesi.
Belge yöntemin 1994'te Martijn Koster tarafından tanımlandığını ve bu belgeyle belirtilip genişletildiğini aktarıyor.
Eklenenler de sayılıyor: protokol için tanım dili, hataların ele alınmasına ilişkin talimatlar ve önbellekleme talimatları.
- Kim için: Hizmet sahipleri.
- Kime karşı: Tarayıcı denen otomatik istemciler.
- Ne sağlıyor: Erişimin denetlenmesi.
Tarayıcılar kendini nasıl tanıtıyor?
Belge her tarayıcının bir adı olduğunu söylüyor: tarayıcılar, ilgili grupları bulmak için ürün belirteci denen kendi adlarını belirliyor.
Adın biçimi de kurala bağlı: ürün belirteci yalnız büyük ve küçük harfler, alt çizgi ve kısa çizgi içerebiliyor.
Belge bu adın nerede görüneceğini de söylüyor: ürün belirteci, tarayıcının hizmete gönderdiği tanımlama dizgisinin bir alt dizgisi olmalı. HTTP söz konusu olduğunda bu, User-Agent başlığı anlamına geliyor.
Tanımlama dizgisinin işlevi de belirtiliyor: tarayıcının amacını açıklamalı. Belgedeki örnekte bu dizgi, tarayıcının amacını anlatan bir sayfaya bağlantı da içeriyor.
Püf nokta' Alıntı:
Kurallar nasıl gruplanıyor?
Ürün belirtecinin işlevi eşleştirme. Site sahibi kurallarını gruplar hâlinde yazıyor ve her grup bir veya daha fazla ürün belirtecine sesleniyor.
Bir tarayıcı siteye geldiğinde kendi belirtecine karşılık gelen grubu buluyor ve o gruptaki kurallara göre davranıyor.
Bunun pratik sonucu, farklı tarayıcılara farklı kural verilebilmesi. Bir tarayıcının belirli bir bölüme erişmesine izin verilirken, diğerine kapatılabiliyor.
Neden bir standarda bağlandı?
Yöntem otuz yıldır kullanılıyordu ama uzun süre resmî bir belirtimi yoktu. Belge bu boşluğu doldurduğunu söylüyor: protokole tanım dili, hata durumlarının ele alınması ve önbellekleme için talimatlar ekliyor.
Hata durumlarının tanımlanması özellikle önemli. Kurallar dosyasına ulaşılamadığında tarayıcının ne yapacağı belirsizse, aynı site farklı tarayıcılarda farklı davranışla karşılaşıyor.
Önbellekleme talimatları da benzer bir sorunu çözüyor: kurallar değiştiğinde bunun ne kadar sürede etkili olacağı öngörülebilir hâle geliyor.
Otomatik istemci yalnız arama motoru mu?
Standardın kullandığı ifade geniş: tarayıcı denen otomatik istemciler. Yani kuralların muhatabı yalnız arama motorları değil.
Aynı yolla siteye gelen başka istemciler de var: bağlantı denetleyicileri, arşivleme hizmetleri, fiyat karşılaştırma robotları, izleme araçları. Hepsi kendi ürün belirteciyle geliyor.
Bu yüzden "arama motorlarına izin veriyorum" demek yeterli olmuyor; kural yazarken hangi belirteçlere seslenildiğini bilmek gerekiyor.
Standardın tanımlama dizgisinin tarayıcının amacını açıklamasını istemesi de bu ihtiyaca bakıyor: siteye gelen istemcinin ne yaptığı, adından ve verdiği bağlantıdan anlaşılabilmeli.
Kural yazarken nelere dikkat edilir?
İlk dikkat noktası kapsam. Bir bölümü kapatmak, o bölümün arama sonuçlarında hiç görünmeyeceği anlamına gelmiyor; protokol erişimi düzenliyor, görünürlüğü değil.
İkincisi hata durumu. Kural dosyasına ulaşılamadığında ne olacağı standartta tanımlı; sunucunun bu dosyayı tutarlı biçimde sunması, davranışın öngörülebilir olmasını sağlıyor.
Üçüncüsü güncellik. Önbellekleme talimatları, yapılan bir değişikliğin ne kadar sürede etkili olacağını belirliyor; kural değiştirip hemen sonuç beklemek yanıltıcı olabiliyor.
Site sahibi için ne anlama geliyor?
İlk sonuç, tarayıcı trafiğinin görünür olması. Sunucu günlüklerinde tanımlama dizgisi kayıtlı olduğu için hangi otomatik istemcinin ne sıklıkla geldiği izlenebiliyor.
İkinci sonuç, kuralın seçici olabilmesi. Bütün otomatik istemcilere aynı davranmak zorunlu değil.
Üçüncüsü sınır: protokol erişimi denetlemenin bir yolu, kimlik doğrulaması değil. Kurallara uymak tarayıcının tercihine bağlı; gizli kalması gereken içeriğin korunması ayrı bir konu.
Arama sisteminin aşamalarını arama motoru yazımızda ele almıştık. Adres değişikliğinin nasıl bildirileceğini 301 yönlendirme yazımızda, bağlantı kalitesini ise backlink yazımızda anlatmıştık.
Sık Sorulan Sorular
Arama motorları neye göre ayrılıyor?
Her birinin kendi otomatik istemcisi ve ürün belirteci var; kurallar bu belirteçlere göre eşleşiyor.
Ürün belirteci nedir?
Tarayıcının ilgili kural grubunu bulmak için belirlediği kendi adı.
Nerede görünüyor?
HTTP'de tanımlama dizgisinin, yani User-Agent başlığının bir parçası olarak.
Farklı tarayıcılara farklı kural verilebilir mi?
Evet. Kurallar gruplar hâlinde yazılıyor ve her grup belirli belirteçlere sesleniyor.
Kurallara uymak zorunlu mu?
Protokol erişimi denetlemenin yolu; uyum tarayıcının davranışına bağlı, kimlik doğrulaması yerine geçmiyor.
Özetle
Arama motorlarını ayırt etmenin standart yolu, her birinin sitenize gönderdiği otomatik istemciyi tanımak. Standart bu istemcilere ürün belirteci adını veriyor ve bu adın tanımlama dizgisinde görünmesini istiyor. Site sahibi kurallarını gruplar hâlinde yazıp her gruba farklı belirteçler atayabiliyor. Protokol erişimi düzenliyor, ama gizliliği sağlamıyor.
Sunucu günlüklerinizde hangi otomatik istemcilerin geldiğine baktınız mı?
Güncelleme: 3 Eylül 2026. RFC 9309 (Robots Exclusion Protocol) kontrol edildi.
Dijital Dünyanıza Yön Veren Pusula
