robots.txt
robots.txt, sitenin kök dizininde duran ve botlara hangi adresleri tarayıp hangilerini taramayacaklarını söyleyen düz metin dosyasıdır. Taramayı yönetir, dizine eklenmeyi tek başına engellemez: taraması kapatılan bir adres, başka sitelerden bağlantı alıyorsa içeriği okunmadan yine de sonuçlarda görünebilir. Dizinden çıkarmak için noindex kullanılır.
- Alan
- SEO
- İngilizcesi
- robots.txt
- Daha fazlası · Rehber
- Teknik SEO kontrol listesi: ücretsiz araçlarla 9 adım
Neden önemli
Tek bir yanlış satır tüm siteyi taramaya kapatabilir. Test ortamından canlıya geçişte kalan bir engelleme en sık görülen hatalardır. Dosya gizlilik aracı da değildir: herkes okuyabilir. Bu yüzden önemli bilgiyi saklamak için değil, taramayı yönlendirmek için kullanılır.
Örnek
Bir firma yeni siteyi yayına alırken test dönemindeki “tüm siteyi engelle” satırını silmeyi unutur. İki hafta sonra organik ziyaret sıfıra yakın düşer. Satır silindikten sonra botlar siteye geri döner ve sayfalar günler içinde yeniden taranır.
Benzer terimler
- noindexnoindex, bir sayfanın arama sonuçlarında gösterilmemesini isteyen yönergedir.
- llms.txtllms.txt, bir sitenin en önemli sayfalarını ve kısa açıklamalarını dil modelleri için Markdown biçiminde özetleyen, kök dizine konan bir dosya önerisidir.
- Başlık etiketiBaşlık etiketi, bir sayfanın HTML’deki title öğesidir.
- Canonical etiketiCanonical etiketi, aynı ya da çok benzer içeriğin birden fazla adreste açıldığı durumlarda arama motoruna hangi adresin asıl sayfa sayılacağını bildiren bağlantı etiketidir.
- Dizine eklemeDizine ekleme, arama motorunun taradığı bir sayfayı işleyip arama sonuçlarında gösterebileceği veritabanına kaydetmesidir.
- Google Search ConsoleGoogle Search Console, bir sitenin Google aramasındaki durumunu gösteren ücretsiz Google aracıdır.
Tanımlar genel bilgi içindir. Bir tanımı eksik ya da yanlış bulduysanız yazın, bir iş günü içinde dönelim. Bize yazın
Yazılarımız
SEO üzerine yazdıklarımızdan; terimin işte nasıl karşınıza çıktığını anlatır.
- 301 yönlendirme nedir, 404 hataları nasıl yönetilir?Taşınan sayfa için 301, kalkan sayfa için 404 ya da 410: kararı nasıl vereceğinizi, Search Console’da 404’leri nasıl ayıklayacağınızı ve işe yarar bir 404 sayfasını anlatıyoruz.
- Ajansa brif nasıl yazılır: tek sayfada 7 başlıkTeklif istemeden önce yazılacak tek sayfalık belge: hedef, mevcut sayılar, hedef kitle, denenenler, kısıtlar, karar verici ve tarih. Şablonu ve gelen tekliflerin karşılaştırılması.
- Canonical etiketi nedir? Yinelenen içerik nasıl çözülürAynı sayfanın birden çok adresten açıldığı sitelerde Google’ın hangi adresi seçtiğini görmek ve tercihinizi doğru sinyallerle bildirmek için adım adım yol.
- Çok dilli web sitesi nasıl kurulur: 6 adımda karar listesiAdres yapısı, dil başına bir adres, dil seçici, çeviri kalitesi, unutulan parçalar ve sürümleri eş tutan iş akışı: kurmadan önce verilecek kararlar sırayla.