llms.txt ve yapay zeka botları: robots.txt nasıl ayarlanır

GPTBot’tan PerplexityBot’a hangi bot ne yapar, engellemek neye mal olur; robots.txt ve llms.txt dosyalarını kendi kararınıza göre yazıp test etmenin adımları.

· 13 dk okumaSEO

Kısa cevap

Yapay zeka botları üç gruptur: eğitim, arama ve kullanıcı adına gelenler. Yapay zeka cevaplarında görünmek için robots.txt’te arama botlarını açık bırakın; eğitimi istemiyorsanız yalnızca eğitim botlarını kapatın. llms.txt erişimi yönetmez, siteyi özetleyen bir öneridir ve robots.txt’in yerini tutmaz.

Bir üretici, ChatGPT’ye kendi sektöründeki tedarikçileri sorar. Cevapta iki rakibinin adı ve sitelerine bağlantı vardır, kendisininki yoktur. Sebep her zaman içerik olmaz: iki yıl önce bir blog yazısından kopyalanmış üç satır ya da CDN panelinde açık unutulmuş tek bir ayar, yapay zeka botlarının siteyi okumasını engelliyor olabilir. llms.txt ve yapay zeka botları konusu iki dosyada toplanır: hangi botun siteyi okuyabileceğini söyleyen robots.txt ve okuyana yol gösteren llms.txt. Bu rehberde botları tanıyacak, kararınızı verecek, robots.txt’i buna göre ayarlayacak ve sonucu test edeceksiniz.

Google tarafındaki tarama ve dizin kontrollerini teknik SEO kontrol listesi yazısında anlattık. Burada yalnızca yapay zeka sistemlerine bakıyoruz.

İki dosya, iki ayrı iş

  • robots.txt sitenin kökünde durur ve tarayıcılara hangi adresleri tarayabileceklerini söyler. Kurallar botun adına (user-agent) göre yazılır. Bir kilit sayılmaz; kurala uymak botu işletenin elindedir. Bu yazıdaki şirketler, botlarının robots.txt ile yönetilebildiğini kendi belgelerinde yazıyor.
  • llms.txt erişim kuralı içermez. Sitenin ne olduğunu ve önemli sayfalarını Markdown biçiminde özetleyen, okuyan sisteme yol gösteren bir dosyadır.

Gerçekten gizli kalması gereken içerik için ikisi de yetmez; o içerik oturum açmanın arkasında durmalıdır.

Yapay zeka botları üç gruba ayrılır

“Yapay zeka botu” tek bir şey gibi konuşulur, oysa üç ayrı iş yapan üç grup vardır. Eğitim botları, modellerin eğitiminde kullanılabilecek içeriği toplar. Arama botları, yapay zeka aramasının cevaplarında gösterilecek siteleri tarar. Kullanıcı adına gelenler ise kendiliğinden gezmez; biri asistana bir soru sorduğunda ilgili sayfayı o an açar. Hangisini kapattığınız, neyi kaybettiğinizi belirler.

Yapay zeka botlarının üç grubu, her gruptaki botlar ve engellemenin bedeli Grup Botlar Engellemenin bedeli Eğitim botları GPTBot, ClaudeBot, Google-Extended, CCBot İçerik model eğitiminde kullanılmaz Arama botları OAI-SearchBot, PerplexityBot, Claude-SearchBot Yapay zeka aramasının cevaplarında görünmezsiniz Kullanıcı adına gelenler ChatGPT-User, Perplexity-User, Claude-User Kullanıcının istediği sayfa açılamayabilir Yapay zeka botlarının üç grubu, her gruptaki botlar ve engellemenin bedeli Grup: Eğitim botları Botlar GPTBot, ClaudeBot, Google-Extended, CCBot Engellemenin bedeli İçerik model eğitiminde kullanılmaz Grup: Arama botları Botlar OAI-SearchBot, PerplexityBot, Claude-SearchBot Engellemenin bedeli Yapay zeka aramasının cevaplarında görünmezsiniz Grup: Kullanıcı adına gelenler Botlar ChatGPT-User, Perplexity-User, Claude-User Engellemenin bedeli Kullanıcının istediği sayfa açılamayabilir
Şekil: Yapay zeka botları üç gruptur ve her grubu engellemenin bedeli başkadır.

Aşağıdaki tablo, en sık karşılaşılan on adı işleteninin kendi belgesindeki tanımıyla özetliyor.

Bot İşleten Ne yapar Engellerseniz
GPTBot OpenAI Üretken yapay zeka modellerinin eğitiminde kullanılabilecek içeriği tarar İçeriğinizin eğitimde kullanılmamasını istediğinizi bildirirsiniz
ClaudeBot Anthropic Model eğitimine katkı sağlayabilecek web içeriğini toplar Sitenin bundan sonraki içeriği eğitim veri setlerinin dışında tutulur
Google-Extended Google Ayrı bir bot sayılmaz; robots.txt’te kullanılan bir denetim adıdır. İçeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarında cevabı dayandırmak (grounding) için kullanımını yönetir Gemini tarafındaki kullanım kapanır; Google Arama’ya dahil edilmeniz ve sıralamanız etkilenmez
CCBot Common Crawl Herkesin erişip inceleyebildiği açık bir web tarama arşivi için tarar Siteniz bu arşive alınmaz
OAI-SearchBot OpenAI Siteleri ChatGPT’nin arama özelliklerinde göstermek için tarar ChatGPT arama cevaplarında gösterilmezsiniz; yalnızca gezinme bağlantısı olarak çıkabilirsiniz
PerplexityBot Perplexity Siteleri Perplexity arama sonuçlarında gösterip bağlantı vermek için tarar; temel modeller için içerik toplamaz Perplexity sonuçlarında görünmeniz riske girer
Claude-SearchBot Anthropic Arama sonuçlarının kalitesini artırmak için içeriği dizine alır Aramadaki görünürlüğünüz ve hakkınızdaki cevabın doğruluğu azalabilir
ChatGPT-User OpenAI Bir kullanıcı ChatGPT’ye ya da özel bir GPT’ye soru sorduğunda sayfayı açar; kendiliğinden tarama yapmaz OpenAI, bu istekleri kullanıcı başlattığı için robots.txt kurallarının geçerli olmayabileceğini yazıyor
Perplexity-User Perplexity Kullanıcının sorusuna cevap verirken sayfayı ziyaret eder Perplexity’ye göre bu bot robots.txt kurallarını genellikle dikkate almaz
Claude-User Anthropic Kullanıcı Claude’a soru sorduğunda siteye erişir Claude, kullanıcının sorusu için içeriğinizi getiremez

CCBot’u eğitim grubunda saymamızın nedeni arşivin herkese açık olmasıdır: yapay zeka geliştirenler de bu arşivden yararlanabilir. Google’ın Arama içindeki yapay zeka özellikleri ise bu tabloda yoktur, çünkü onları ayrı bir bot taramaz. Google’ın belgesine göre yapay zeka Arama’nın parçasıdır ve denetimi Googlebot kurallarıyla yapılır.

Adım 1: Bugünkü durumu görün

  1. Tarayıcıda siteniz.com/robots.txt adresini açın. Alt alan adlarınız varsa (mağaza, blog, destek) her birinin dosyasına ayrı bakın; Anthropic’in belgesi de engelin her alt alan adı için ayrı yazılmasını ister.
  2. Dosyada tablodaki on adı ve tek başına duran Disallow: / satırlarını arayın.
  3. Kuralı kimin, ne zaman, neden eklediğini not edin. Çoğu zaman cevap “bilmiyoruz” olur; bu da kararın hiç verilmediğini gösterir.

Adım 2: Kararı verin

Karar teknik olmaktan çok ticaridir ve üç seçeneğe iner.

Hedefiniz Eğitim botları Arama botları Kullanıcı adına gelenler
Yapay zeka cevaplarında görünmek Açık Açık Açık
Eğitimde kullanılmamak Kapalı Size kalmış Size kalmış
İkisi birden: görünmek ama eğitimde kullanılmamak Kapalı Açık Açık

Üçüncü satır mümkündür, çünkü şirketler bu ayarları birbirinden bağımsız tutuyor. OpenAI’ın belgesi örneği kendisi verir: site sahibi arama sonuçlarında görünmek için OAI-SearchBot’a izin verip GPTBot’u kapatabilir. Tek bedeli Google tarafındadır: Google-Extended’ı kapatmak, içeriğin Gemini uygulamalarında cevabı dayandırmak için kullanımını da kapatır.

Hizmet satan, tanınmak isteyen bir işletme için çoğu zaman ilk ya da üçüncü satır anlamlıdır. Geliri içeriğin kendisinden gelen yayıncılar için hesap farklıdır ve karar hukuk ile gelir modeli birlikte düşünülerek verilir.

Adım 3: robots.txt’i yazın

Hiçbir botu engellemeyecekseniz adlarını yazmanız gerekmez; adı geçmeyen bot genel gruba (User-agent: *) uyar:

User-agent: *
Allow: /
Disallow: /api/

Sitemap: https://www.example.com/sitemap.xml

Botları adıyla yazacaksanız bir kuralı bilmeniz gerekir: bir tarayıcı, dosyada kendisini en belirgin biçimde adlandıran tek gruba uyar ve diğer grupları yok sayar. Google’ın robots.txt belgesi bunu açıkça yazar. Yani adıyla andığınız her grupta, genel gruptaki kısıtları da yinelemelisiniz. Aşağıdaki örnek karar tablosunun üçüncü satırını uygular:

User-agent: *
Allow: /
Disallow: /yonetim/

# Yapay zeka araması ve kullanıcı adına gelenler: açık
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Disallow: /yonetim/

# Model eğitimi: kapalı
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Dosyayı yayına aldıktan sonra sabredin. OpenAI, arama sonuçları için sistemlerinin robots.txt değişikliğine uyum sağlamasının yaklaşık 24 saat sürebildiğini, Perplexity ise değişikliğin yansımasının 24 saate kadar sürebildiğini yazıyor.

Bir de yolda olan ortak sinyal var. Google, IETF’teki AIPREF çalışmasına dayanan ortak eğitim tercihi sinyalini 2027 başında desteklemeyi amaçladığını belgesine not etti. Anthropic de 30 Ekim 2026 itibarıyla “yapay zeka eğitimi istemiyorum” tercihini tanımaya başladığını ve robots.txt’te ClaudeBot’u adıyla anan kuralın bu genel sinyalden öncelikli sayıldığını açıkladı. Bugün için bot adıyla yazılmış kurallar geçerli yoldur.

Adım 4: Botların gerçekten ulaşabildiğini kontrol edin

robots.txt “gel” derken güvenlik duvarı kapıyı kapatıyor olabilir. Sırayla bakın:

  1. Yayındaki dosyayı okuyun. Bazı CDN’ler robots.txt’in başına kendi kurallarını ekleyebilir. Depodaki dosyaya güvenmeyin; tarayıcıda yayındaki adresi açın.
  2. CDN ve güvenlik duvarı ayarlarına bakın. Bot koruması, “yapay zeka botlarını engelle” türü hazır seçenekler ve ülke ya da hız sınırı kuralları bu botları durdurabilir. Perplexity’nin belgesi, Cloudflare’de Bot Fight Mode açıkken özel izin kuralı yazılsa bile botlarının sınamaya takılabileceği konusunda uyarır.
  3. Botun adıyla bir istek gönderin. Komut satırında curl -I -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://siteniz.com/ yazın. 200 yerine 403 ya da bir doğrulama sayfası dönüyorsa, ada göre çalışan bir kural botu engelliyordur. Bu test yalnızca adı sınar; istek sizin IP adresinizden gittiği için IP’ye göre çalışan kuralları göstermez.
  4. Sunucu ya da CDN kayıtlarına bakın. Son haftalarda bu adlarla gelen istekleri ve aldıkları durum kodlarını süzün. Hiç istek yoksa ya da hepsi 403 ise sorun robots.txt’ten önce bir yerdedir.
  5. İzin kuralını IP listeleriyle yazın. OpenAI, Perplexity ve Anthropic botlarının IP aralıklarını yayımlıyor. OpenAI ve Perplexity, görünmek için bu aralıklardan gelen isteklere izin verilmesini öneriyor.

Engellemek istediğinizde de yol robots.txt’tir. Anthropic, IP engellemenin botun robots.txt’i okumasını önlediğini, bu yüzden kalıcı bir çıkış yolu olarak güvenilir olmadığını belirtiyor.

Adım 5: llms.txt ekleyin

llms.txt, Jeremy Howard’ın 3 Eylül 2024’te yayımladığı ve llmstxt.org’da tutulan bir öneridir. Fikir şudur: web sayfaları insanlar için yapılır; menü, betik ve süslemelerin arasından temiz metni çıkarmak bir dil modeli için zahmetlidir. Sitenin kökündeki /llms.txt dosyası kısa bir tanıtım ve ayrıntının durduğu sayfalara bağlantılar verir. Öneriye göre dosya en çok yazılım belgelerinde kullanılıyor; aynı yapı, yapısını ve politikalarını özetlemek isteyen bir işletme için de çalışır.

Biçim bellidir ve sırası sabittir:

  1. Sitenin ya da projenin adını taşıyan bir H1 başlık. Zorunlu olan tek bölüm budur.
  2. Kısa özet içeren bir alıntı satırı.
  3. İsteğe bağlı açıklama paragrafları ya da listeler.
  4. H2 başlıklar altında bağlantı listeleri: her satırda bir bağlantı, ardından istenirse iki nokta ve kısa bir not.
  5. Adı “Optional” olan bölüm, kısa bağlam gerektiğinde atlanabilecek ikincil bağlantılar içindir.

En küçük hâliyle bir örnek:

# Örnek Mobilya

> Örnek Mobilya, ofisler için ölçüye göre masa ve dolap üreten bir atölyedir. Türkçe sayfalar kökte, İngilizce sayfalar /en/ altındadır.

- Çalışma şekli: keşif, ölçü alma, yazılı teklif

## Hizmetler

- [Ofis masaları](https://www.example.com/ofis-masalari/): ölçüye göre üretim, teslim ve montaj
- [Sık sorulanlar](https://www.example.com/sss/): teslim, garanti ve bakım soruları

## Optional

- [Blog](https://www.example.com/blog/)

Sınırlarını da bilmek gerekir:

  • Bir öneridir, standart olarak kabul edilmiş değildir. Hiçbir sistem onu okumak zorunda değildir. Bu yazı için okuduğumuz OpenAI, Anthropic ve Perplexity tarayıcı belgelerinin hiçbiri, botlarını yönetmenin yolu olarak llms.txt’i saymıyor; hepsi robots.txt’i gösteriyor.
  • Google Arama için gerekmez. Google’ın yapay zeka özellikleri belgesi, AI Overviews ve AI Mode’da görünmek için yeni makine tarafından okunabilir dosyalar ya da yapay zeka metin dosyaları oluşturmanız gerekmediğini yazıyor.
  • Eğitimden çok cevap anında işe yarar. Öneri, dosyanın bir ajan kullanıcıya yardım ederken bilgiye ihtiyaç duyduğunda kullanılmasını bekliyor.
  • Erişimi yönetmez. Bir botu durdurmaz, bir sayfayı gizlemez.

Yine de eklemesi kolaydır ve bir işe yarar: sitenize gelen bir ajana işinizi kendi cümlenizle anlatırsınız. Öneri sitesi, Chrome’un Lighthouse aracının ajan odaklı denetimlerinde bu dosyaya baktığını da not ediyor. Testi öneri kendisi tarif eder: bir asistana yalnızca llms.txt dosyanızı verin ve işiniz hakkında sorular sorun.

Detmore’da nasıl kurduk

Kendi sitemizde karar tablosunun ilk satırını seçtik. detmore.tr/robots.txt genel grubu, arama botlarını, kullanıcı adına gelenleri ve eğitim botlarını ayrı gruplar hâlinde adıyla yazar; hepsine site açıktır, yalnızca /api/ kapalıdır ve bu kısıt her grupta yinelenir. Gerekçemiz basit: bir ajansın yapay zeka asistanlarınca tanınması, önerilmesine yardım eder. Sitemiz Cloudflare üzerinden yayınlandığı için paneldeki yönetilen robots.txt ve yapay zeka botlarını engelleme seçeneklerini kapalı tutuyoruz; açık olsalardı bu dosyanın önüne geçerlerdi.

detmore.tr/llms.txt elle yazılmaz. Sayfaları üreten aynı veriden her yayında yeniden üretilir: tek cümlelik tanım, iletişim ve çalışma şeklimiz, ardından hizmetler ve rehberler birer cümlelik özetleriyle, Türkçe ve İngilizce olarak. Yeni bir yazı yayımlandığında dosyaya kendiliğinden girer. Bu tür işleri web ve yazılım ekibimiz sitenin kurulumuna dahil eder.

Sık yapılan hatalar

  • Yıldızla her şeyi kapatmak. User-agent: * altında Disallow: / yalnızca yapay zeka botlarını durdurmaz, Googlebot’u da durdurur. Bu satır çoğu zaman test ortamından kalır; site yenilerken SEO yazısındaki yayın günü kontrollerinden biridir.
  • Tek bir “yapay zeka botu” varmış gibi davranmak. GPTBot’u kapatmak ChatGPT aramasından çıkarmaz; OAI-SearchBot’u kapatmak çıkarır. Bedeli gruba göre değişir.
  • Google-Extended’ı kapatıp Google’ın yapay zeka özetlerinden çıkmayı beklemek. Arama içindeki yapay zeka özellikleri Googlebot kurallarına bağlıdır. Google, Arama’da gösterilen bilgiyi sınırlamak için nosnippet, data-nosnippet, max-snippet ve noindex denetimlerini gösterir.
  • noindex ile Disallow’u karıştırmak. Disallow taramayı durdurur, noindex dizine eklemeyi. robots.txt ile kapattığınız sayfadaki noindex etiketini bot okuyamaz. Bir sayfayı aramadan çıkarmak istiyorsanız taramayı açık bırakıp noindex kullanın.
  • Adlı grupta kısıtları yinelememek. Yalnızca Allow: / yazılmış bir GPTBot grubu, genel gruptaki yasakları o bot için geçersiz kılar.
  • Bayat llms.txt. Kaldırılmış sayfalara giden bağlantılar ve artık vermediğiniz hizmetler, asistanın sizi yanlış anlatmasına yol açar. Dosyayı ya otomatik üretin ya da her yeni sayfa ve her kaldırılan hizmette güncelleyin.
  • Engeli CDN’de unutmak. robots.txt açıkken panelde duran bir bot kuralı sessizce 403 döndürür ve bunu kimse fark etmez.

Botların siteyi okuyabilmesi yalnızca kapıyı açar. Cevaplarda yer almak yine içeriğin işidir: soruya doğrudan cevap veren, kimin yazdığı belli sayfalar. Bunun arama tarafını B2B SEO nedir yazısında anlattık.

Sık sorulanlar

llms.txt eklemek Google sıralamasını etkiler mi?

Google’ın belgesine göre Arama’daki yapay zeka özelliklerinde görünmek için yapay zeka metin dosyaları oluşturmanız gerekmez. llms.txt’i sıralama aracı olarak görmeyin; sitenizi bir ajana kısa yoldan anlatan yardımcı bir dosya olarak ekleyin.

GPTBot’u engellersem ChatGPT’de görünmeye devam eder miyim?

OpenAI’ın belgesine göre evet: GPTBot eğitim içindir, ChatGPT aramasındaki görünürlüğü OAI-SearchBot yönetir ve iki ayar birbirinden bağımsızdır. OAI-SearchBot’a izin verip GPTBot’u kapatabilirsiniz.

robots.txt ile engellediğim bot sayfamı yine de açabilir mi?

Kendiliğinden tarayan botlar için şirketler kurala uyduklarını yazıyor. Kullanıcı adına gelenlerde durum farklıdır: OpenAI kuralların ChatGPT-User için geçerli olmayabileceğini, Perplexity de Perplexity-User’ın kuralları genellikle dikkate almadığını belirtiyor. Kimsenin okumaması gereken içerik oturum açmanın arkasında durmalıdır.

Bugün on dakikada yapabileceğiniz şey şudur: siteniz.com/robots.txt adresini açın, tablodaki on adı tek tek aratın ve bulduğunuz her kuralın yanına “bunu biz mi istedik” diye yazın. Sonra Adım 4’teki komutu bir kez çalıştırın. İkisinden biri sizi şaşırtırsa karar tablosuna dönün; dosyanın geri kalanını ve taramanın bütününü birlikte ele almak isterseniz bu denetim SEO hizmetimizin ilk ayındaki teknik denetimin parçasıdır.

Kaynaklar

Bu yazı genel bilgi vermek için hazırlandı; hukuki, mali ya da teknik danışmanlık yerine geçmez. Platformlar, kuralları ve mevzuat zamanla değişir; 10 Kasım 2026 tarihinden bu yana değişmiş ya da küçük hatalar içeren bilgiler olabilir. İşinizle ilgili bir karar vermeden önce güncel resmi kaynakları kontrol edin ya da bize yazın.

Diğer yazılar

Projenizi
anlatın.

Formu doldurun ya da doğrudan yazın; görüşme gününü birlikte belirleriz.

İlk görüşmeyi Detmore’un kurucusu Deniz Sezer yapar.

İlk görüşme ücretsiz · Bir iş gününde yanıt · 2 ila 3 günde yazılı teklif · NDA hazır

Neye ihtiyacınız var? birden fazla seçebilirsiniz

Ad, e-posta ve telefon zorunludur.

İletişim

Bir iş günü içinde dönüyoruz.