robots.txt

"Arama motoru nelerdir" sorusuna genelde marka isimleriyle yanıt veriliyor. Daha kullanışlı yanıt ise şu: hepsinin sitenize gönderdiği bir otomatik istemci var ve bunları birbirinden ayırmanın standart bir yolu bulunuyor. Aşağıda otomatik istemcilerin standartta nasıl tanımlandığını, her...