Kısa cevap
robots.txt, Google’ın sitenizde hangi adresleri tarayabileceğini söyler; bir sayfayı dizinden çıkarmaz, bunun için noindex gerekir. Site haritası ise önemli adreslerinizi listeler ve dizine eklemeyi garanti etmez. Bu rehber ikisini yazma, yayınlama, Search Console’da gönderme ve test etme adımlarıyla anlatır.
Şöyle düşünün: Yeni sitenin yayına alınacağı gün, geliştirici test ortamındaki robots.txt dosyasını canlı sunucuya kopyalıyor. Dosyada iki satır var: User-agent: * ve Disallow: /. Site açılıyor, her şey çalışıyor, ama Google’ın taramasına izin veren hiçbir şey kalmıyor. Bu yazı, robots.txt ve site haritası nasıl hazırlanır sorusunun pratik cevabıdır: iki dosyayı sırayla yazacak, yayınlayacak, Search Console’da gönderecek ve sonucu test edeceksiniz. Sitenin geri kalan teknik kontrolleri teknik SEO kontrol listesinde var; burada yalnızca bu iki dosyaya odaklanıyoruz.
İki dosya, iki ayrı iş
robots.txt (sözlükte tanımı), Google’ın sitenizde hangi adresleri tarayabileceğini bildirir. Google’ın belgesine göre tarayıcılar siteyi taramadan önce bu dosyayı indirip okur. Site haritası ise taranmasını ve aramada görünmesini istediğiniz adresleri listeler. Biri tarama kuralıdır, öteki bir liste; ikisi de bir sayfayı aramadan çıkarmaz ve ikisi de dizine girmeyi garanti etmez.
Bir sayfayı aramadan uzak tutmak istiyorsanız Google’ın belgesi noindex kuralını gösterir. noindex, sayfanın <meta> etiketine ya da HTTP yanıt başlığına yazılır; Google sayfayı tarayıp kuralı okuduğunda sayfayı arama sonuçlarından tamamen çıkarır. Önemli bir ayrıntı var: sayfa robots.txt ile engellenmişse tarayıcı noindex kuralını hiç göremez ve sayfa, örneğin başka sayfalar ona bağlantı verdiği için, sonuçlarda görünmeye devam edebilir. Aynı belge, noindex kuralını robots.txt dosyasına yazmanın Google tarafından desteklenmediğini de söyler.
Adım 1: robots.txt kurallarını yazın
Dosya düz metindir; bir metin editörüyle yazılır ve UTF-8 olarak kaydedilir. Google robots.txt belirtiminde dört alanı destekler: user-agent, allow, disallow ve sitemap. Belge, crawl-delay gibi diğer alanların desteklenmediğini söyler. İşte örnek bir dosya (alan adı örnektir):
User-agent: *
Disallow: /admin/
Disallow: /search
Sitemap: https://www.example.com/sitemap.xml
Kuralların nasıl okunduğunu bilmek, dosyadaki sürprizleri önler:
- Gruplar. Her grup bir
User-agentsatırıyla başlar. Google’a göre bir tarayıcı için yalnızca tek bir grup geçerlidir: adına en çok uyan grup. Adıyla anılan bir grup ile*grubu birleştirilmez. YaniGooglebotiçin ayrı bir grup yazarsanız,*grubundaki kurallar Googlebot için yok sayılır ve gerekenleri o gruba yinelemeniz gerekir. - Varsayılan. Engellenmeyen her adres taranabilir.
- Büyük küçük harf. Alan başlıkları (
Disallowgibi) duyarsızdır, yol değerleri duyarlıdır:/Admin/ile/admin/farklı yollardır. - Joker karakterler. Google
*(sıfır ya da daha fazla karakter) ve$(adresin sonu) karakterlerini destekler. - Çakışma. Google, yol uzunluğuna göre en belirgin kuralı kullanır; kurallar çakışıyorsa en az kısıtlayıcı olanı kullanır.
Aşağıdaki örnek yol uzunluğu ve $ kuralını birlikte gösterir:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
/private/press/ altındaki adresler, daha uzun ve belirgin Allow kuralı nedeniyle taranabilir. .pdf ile biten adresler engellenir; $ adresin sonunu gösterdiği için /dosya.pdf?v=2 gibi bir adres bu kurala girmez. Bir istisna var: /private/press/ altındaki bir PDF, daha uzun olan Allow kuralı kazandığı için taranabilir.
Adım 2: zarar veren satırları ayıklayın
Aşağıdaki tablo, Google’ın belgelerine dayanarak dosyada görmek istemeyeceğiniz satırları toplar; “Ne yapmalı” sütunu bizim önerimizdir.
| Satır | Ne olur | Ne yapmalı |
|---|---|---|
Disallow: / (User-agent: * altında) |
Kök ve altındaki her adres engellenir | Test ortamından kalmışsa kaldırın |
Disallow: /sayfa/ ve beklenti “aramadan çıkar” |
Google içeriği okuyamaz ama adresi snippet olmadan sonuçlarda gösterebilir | Aramadan çıkarmak için noindex kullanın |
Noindex: /sayfa/ |
Google robots.txt içindeki noindex kuralını desteklemez | Kuralı sayfanın meta etiketine ya da başlığına taşıyın |
Crawl-delay: 10 |
Google bu alanı desteklemez | Google için etkisi yoktur; gereksizse kaldırın |
Sitemap: /sitemap.xml |
Google, haritanın tam adres (protokol ve ana makine dahil) olmasını ister | https://www.example.com/sitemap.xml yazın |
Disallow: /includes/ ve içinde stil dosyaları |
Google’ın kendi örnek dosyasındaki yoruma göre bu dosyalar sayfayı çizmek için gerekir | Google’ın örneğindeki gibi Googlebot için Allow yazın ya da engeli kaldırın |
Son satır Google’ın belgesindeki örnek dosyadan geliyor: orada /includes/ bütün tarayıcılara kapatılıyor, ama yorum satırı Google’ın bu dosyalara işleme (render) için ihtiyaç duyduğunu söylediği için Googlebot’a ayrıca izin veriliyor.
Adım 3: yayınlayın ve Google’ın önbelleğini hesaba katın
Dosyanın adı robots.txt olmalı ve sitenin kökünde durmalı. Google belgesine göre dosya yalnızca yayınlandığı ana makine, protokol ve port için geçerlidir; https://example.com/robots.txt dosyası https://shop.example.com/ ya da http://example.com/ için geçmez. Alt klasördeki bir robots.txt geçerli sayılmaz, çünkü tarayıcılar alt klasörlerde dosya aramaz.
Dosya yayında olduğunda şunları bilmeniz gerekir:
- Önbellek. Google robots.txt içeriğini genellikle en çok 24 saat önbellekte tutar; zaman aşımı ya da 5xx hataları gibi yenilenemeyen durumlarda daha uzun tutabilir. Yaptığınız değişiklik Google’a anında ulaşmayabilir.
- Boyut. Google dosya boyutunu 500 KiB ile sınırlar; sınırdan sonraki içerik yok sayılır.
- Hata durumları. 4xx hatalarında (429 hariç) Google dosyanın hiç olmadığını varsayar ve tarama kısıtı olmadığını kabul eder. 5xx hatasında ilk 12 saat siteyi taramayı durdurur, sonraki 30 gün son iyi sürümü kullanır. Yönlendirmelerde en az beş adım izler, sonra dosyayı 404 sayar.
- CMS. Wix ya da Blogger gibi bir hizmet kullanıyorsanız dosyayı doğrudan düzenleyemeyebilirsiniz; bu durumda hizmetin arama ayarlarına bakın.
Yapay zeka botları için ayrı kurallar yazmak istiyorsanız bunun tamamı llms.txt ve yapay zeka botları yazısında ayrıca ele alındı.
Adım 4: site haritasını hazırlayın
Önce ihtiyacınız olup olmadığına bakın. Google, sayfalarınız düzgün bağlanmışsa sitenizin çoğunu genellikle kendisi keşfedebildiğini söyler. Siteniz büyükse, yeniyse ve dışarıdan az bağlantı alıyorsa ya da çok video ve görsel içeriğiniz varsa bir site haritasına ihtiyacınız olabileceğini ekler. Google “küçük” siteyi yaklaşık 500 sayfa ya da daha az olarak tanımlar. Bu büyüklükte, ana sayfadan başlayarak bağlantılarla bütünüyle gezilebilen ve az video ya da haber içeriği olan bir sitenin gerek duymayabileceğini yazar. Wix, WordPress ya da Blogger gibi bir CMS kullanıyorsanız site haritasını büyük olasılıkla CMS zaten üretiyordur. Sitenizdeki bağlantı yapısını site içi bağlantı rehberimizde anlattık; harita onun yerine geçmez.
Google üç biçimi destekler: XML, RSS/Atom ve düz metin. XML en çok bilgi verebilen biçimdir. Temel bir XML site haritası şöyle görünür:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/foo.html</loc>
<lastmod>2026-11-14</lastmod>
</url>
</urlset>
Haritaya ne gireceğine Google’ın belgesine göre karar verin: aramada görmek istediğiniz adresler girer ve bunlar tam, mutlak URL olarak yazılır. Aynı içeriğe birden çok adres götürüyorsa hepsini değil, tercih ettiğiniz standart adresi yazarsınız. Bizim eklediğimiz kural şu: yönlenen, 404 veren ya da noindex taşıyan bir adres haritada yer almamalı; haritanın verdiği mesajla sayfanın verdiği mesaj çelişmemeli.
Sınırlar ve ayrıntılar:
- Boyut. Tek bir site haritası en çok 50 MB (sıkıştırılmamış) ve 50.000 URL taşıyabilir. Fazlası için birden çok harita yazılır ve isteğe bağlı olarak bir site haritası dizini gönderilir.
- lastmod. Google,
lastmoddeğerini tutarlı ve doğrulanabilir biçimde doğruysa kullandığını yazar. Değer, sayfadaki son önemli güncellemeyi yansıtmalıdır; ana içerik, yapılandırılmış veri ya da bağlantı değişikliği önemli sayılır, telif yılı güncellemesi sayılmaz. Her yayında tüm adreslere bugünün tarihini basmak bu ölçüte uymaz; bu yorum bizim. - priority ve changefreq. Google bu iki değeri yok sayar.
- Kodlama ve konum. Dosya UTF-8 olmalı; Google haritayı sitenin kökünde yayınlamanızı önerir.
Sitede birden çok harita varsa bir site haritası dizini hepsini tek dosyada toplar:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://www.example.com/sitemap-yazilar.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.example.com/sitemap-urunler.xml</loc>
</sitemap>
</sitemapindex>
Google, birden çok haritayı ve dizini ayrı ayrı göndermenin her haritanın arama performansını Search Console’da ayrı izlemenize yarayabileceğini belirtir.
Adım 5: Search Console’da gönderin ve raporu okuyun
Google’ın sıraladığı yollar arasında Search Console’daki Site haritaları raporu, Search Console API ve robots.txt içine bir Sitemap: satırı yazmak var. Aynı belge, göndermenin yalnızca bir ipucu olduğunu, Google’ın haritayı indireceğini ya da URL’leri tarayacağını garanti etmediğini yazar. Search Console yardım sayfasına göre raporla göndermek için ilgili mülkte sahip izninizin olması gerekir; yoksa haritayı robots.txt içinde listeleyebilirsiniz.
- Haritayı sitenizde yayınlayın ve adresin giriş istemeden açıldığını kontrol edin.
- Search Console’da harita adresinin canlı URL denetimini çalıştırın; yardım sayfası Sayfa getirme durumunun “Başarılı” olup olmadığına bakmanızı söyler.
- “Site haritaları” raporunu açın, adresi “Yeni site haritası ekle” kutusuna yapıştırıp “Gönder”e basın.
- Haritanın hemen getirilmesi beklenir; listelenen adreslerin taranması ise zaman alabilir ve hepsinin taranması garanti değildir.
Rapordaki durumlar şunlardır (“Ne yapmalı” sütunu yine bizim önerimiz):
| Durum | Anlamı | Ne yapmalı |
|---|---|---|
| Başarılı | Harita getirildi ve hatasız işlendi; adresler taranmak üzere sıraya alınır | Bir şey yapmayın; “Keşfedilen sayfalar” sayısını bildiğiniz adres sayısıyla karşılaştırın |
| Hata içeriyor | Harita getirildi ama en az bir hata var; hatasız ayrıştırılan adresler yine sıraya alınır | Satıra tıklayıp hata listesini okuyun |
| Getirilemedi | Google haritayı alamadı | Yardım sayfasındaki nedenlere bakın: robots.txt engeli, yanlış adres (404), sunucu sorunu |
Raporda yalnızca bu rapor ya da API ile gönderdiğiniz haritalar görünür; robots.txt ile bulunanlar listelenmez. Rapor en çok 1.000 gönderim gösterir. Haritanın adresleri dizine girdi mi diye bakmak için Sayfa dizine ekleme raporunu haritaya göre süzebilirsiniz; Search Console’un genel kullanımı için Google Search Console rehberine bakın.
Adım 6: test edin
Aşağıdaki kontroller yayından sonra on dakikada yapılır:
- Dosyayı tarayıcıda açın.
alanadiniz.com/robots.txtiçeriği göstermeli; 200 durum kodu beklenir. Hata kodu varsa Google’ın nasıl davrandığı Adım 3’teki listededir. - Önemli bir sayfayı URL denetimine yapıştırın. Google’ın noindex belgesi, Googlebot’un aldığı HTML’i ve noindex kuralının görünüp görünmediğini bu araçla kontrol etmenizi söyler. Yardım sayfası, canlı testte Sayfa kullanılabilirliği bölümünde “Taramaya izin verildi mi?” ve “Sayfa getirme” satırlarına bakar; aynı satırlar sayfanın robots.txt ile engellenip engellenmediğini anlamanıza da yardımcı olur (bu uygulama bizim).
- Haritayı açın. Adreslerin mutlak, standart ve açılan sayfalar olduğunu doğrulayın. Haritadaki her adresin durum kodunu bir tarama aracıyla toplu kontrol etmek bizim yöntemimiz. Ücretsiz SEO analiz aracımız da bir sitenin robots.txt ve site haritası dosyalarına bakar.
- Search Console’un robots.txt raporuna bakın. Rapor, Google’ın dosyayı en son ne zaman ve nasıl okuduğunu gösterir; bunu teknik SEO kontrol listesinin 3. adımında anlattık.
- Bir gün bekleyin. Önbellek yüzünden değişikliğin etkisini hemen görmeyebilirsiniz.
Yeni bir sitenin raporlarda nasıl göründüğünü gerçek bir örnekle detmore.tr’nin ilk üç haftası yazısında kaydettik.
Sık yapılan hatalar
- Haritayı silince Google’ın unutacağını sanmak. Yardım sayfasına göre raporda silinen bir harita ya da içindeki URL’ler Google tarafından unutulmaz; ziyareti durdurmak için robots.txt kuralı, dosyayı ya da sayfayı silmek veya noindex kullanılır.
- Haritaya başka bir yerin adreslerini koymak. Yardım sayfası, haritanın bulunduğu dizinden daha üst düzeyde olan ya da farklı alan adındaki URL’lerin “URL’ye izin verilmiyor” hatası verdiğini yazar; haritayı da adreslerin bulunduğu alanın kökünde yayınlayın.
- Haritayı yanlış mülkte aramak. Rapor yalnızca geçerli mülkteki haritaları gösterir;
httpilehttpsya dawwwilewww’suz mülkleri karıştırırsanız gönderdiğiniz haritayı göremezsiniz.
Sık sorulanlar
robots.txt dosyası olmazsa ne olur?
Google’ın belgesine göre 4xx dönen (429 hariç) bir robots.txt, hiç dosya olmaması gibi işlenir ve taramaya kısıt konmadığı varsayılır. Yani dosya zorunlu değildir; yalnızca taranmasını istemediğiniz yollar ya da harita adresi için gerekir.
Küçük bir site için site haritası şart mı?
Google, yaklaşık 500 sayfa ya da daha küçük ve her sayfasına bağlantılarla ulaşılan bir sitenin gerek duymayabileceğini söyler. Yine de göndermenin bir maliyeti yoktur ve rapor haritadaki hataları gösterir; bu bizim önerimiz.
Bir sayfayı Google’dan nasıl çıkarırım?
Sayfanın robots.txt ile engellenmediğinden emin olun ve sayfaya noindex ekleyin. Google’ın belgesine göre noindex kuralını okuyabilmesi için sayfayı taraması gerekir ve yeniden taranması önemine göre aylar sürebilir; acele varsa Google’ın kaldırma belgesine bakın.
SEO hizmetimizin teknik denetimi tarama, dizine ekleme ve site haritasını kapsar; SEO hizmet sayfasından ayrıntıyı görebilirsiniz. Bugün tek bir şey yapacaksanız şunu yapın: tarayıcıda alanadiniz.com/robots.txt adresini açın ve Disallow: / satırı olup olmadığına bakın. Yoksa aynı pencerede sitemap.xml adresini açıp içindeki ilk beş adresin açıldığını doğrulayın.
Kaynaklar
Bu yazı genel bilgi vermek için hazırlandı; hukuki, mali ya da teknik danışmanlık yerine geçmez. Platformlar, kuralları ve mevzuat zamanla değişir; 14 Kasım 2026 tarihinden bu yana değişmiş ya da küçük hatalar içeren bilgiler olabilir. İşinizle ilgili bir karar vermeden önce güncel resmi kaynakları kontrol edin ya da bize yazın.