Robots.txt dosyası arama motorlarında bazı tanımlar yapmak için gereklidir. Bu dosya içinde yasaklı sayfalar ve sitemap adresleri yazılabilir. Robots.txt oluşturmak için windows içinde basitçe not defteri kullanılabilir.
Önceki cevap:
Spagetti yapılışı