robots.txt Dosyanız Yapay Zekayı Engelliyor Olabilir

Kısaca

• Sitenizin robots.txt dosyası, Googlebot’a hiç dokunmadan GPTBot, PerplexityBot, ClaudeBot ve Google-Extended gibi yapay zeka crawler’larını engelliyor olabilir. ChatGPT, Perplexity, Claude ve AI Overviews içeriğinizi böyle kaçırır. Erişimin AEO içindeki yerini AEO nedir sayfasında bulabilirsiniz.

• En sık hata User-agent: * altındaki bir Disallow kuralının farkında olmadan tüm AI botlarını da kapsamasıdır. WordPress varsayılanları ve eski SEO eklentileri bunu sessizce üretir.

• Sorun trafik kaybı değil görünmezliktir. Bot sitenize giremezse, yapay zeka cevaplarında markanız hiç geçmez.

• Bu rehber hangi botun hangi platformu beslediğini, doğru ile yanlış dosyanın nasıl göründüğünü ve kendi dosyanızı adım adım nasıl denetleyeceğinizi gösterir.

• Kendi denetiminizi yapmak istemezseniz, yazının sonunda ücretsiz bir teknik kontrol seçeneği bulacaksınız.

robots.txt Dosyanız Neden Yapay Zekaya Kapalı Olabilir?

Çoğu site Googlebot’a sonuna kadar açıkken GPTBot, PerplexityBot veya ClaudeBot gibi yapay zeka crawler’larını farkında olmadan engelliyor. Sorun genellikle bilinçli bir kararın sonucu değil, yıllar önce kurulmuş bir şablonun bugünkü botları da kapsamasıdır.

Klasik robots.txt şablonları bu botları tek bir sebeple yakalar. User-agent: * satırının altına yazılan bir Disallow kuralı, adı geçen tüm crawler’lara uygulanır. WordPress varsayılanları, eski SEO eklentileri ve CDN ya da WAF katmanının otomatik ürettiği kurallar bu yıldız işaretini kullanır. Şablonu yazan kişi GPTBot’u aklından bile geçirmedi, çünkü dosya çoğu zaman bu botlar var olmadan önce oluşturuldu. Yapay zeka crawler’ı siteye geldiğinde kendi adına özel bir satır bulamaz ve genel Disallow kuralına takılır.

Bazı durumlarda engelleme daha da doğrudan gelir. Güvenlik odaklı bazı sunucu yapılandırmaları ve bot yönetim araçları, GPTBot ile ClaudeBot’u “istenmeyen trafik” olarak sınıflandırıp otomatik olarak dışarıda bırakır. Yönetici bu kuralı hiç görmez.

Bu bir trafik kaybı değil, bir görünürlük kaybıdır. Googlebot sitenizi tararken sayfa arama sonuçlarında görünür ve tıklama alır. GPTBot engellendiğinde ise ChatGPT sizin içeriğinizi hiç öğrenmez. Kullanıcı yapay zekaya bir soru sorduğunda cevabın kaynağında siz yer almazsınız, rakipleriniz yer alır. AEO açısından mesele sıralamada birkaç basamak değil, cevap katmanında hiç var olmamaktır.

Hangi Bot Hangi Yapay Zeka Platformunu Besliyor?

Her yapay zeka platformu içeriğinizi kendi crawler’ıyla toplar, ve robots.txt’te tek bir satır o botu kapatınca ilgili platformda görünmez olursunuz. Aşağıdaki tablo hangi botun hangi platformu beslediğini ve engellendiğinde neyi kaybettiğinizi gösterir.

Bu botların çoğu birbirinden bağımsız çalışır, dolayısıyla birini engellemek diğerini etkilemez. GPTBot’u kapatan bir kural Perplexity veya Claude’a dokunmaz, ve tersi de geçerlidir. Sorun genellikle User-agent: * altındaki bir Disallow satırının hepsini birden kapsamasıdır.

Google-Extended tablodaki en yanıltıcı satırdır. Klasik Googlebot’tan ayrı bir bottur, ve onu engellemek Google aramasındaki sıralamanızı bozmaz. Buna güvenip Google-Extended’ı bilinçli kapatan siteler, Gemini ve AI Overviews’ta görünürlüğünü kaybettiğini fark etmez. AEO açısından tabloyu okurken hangi platformda öne çıkmak istediğinize göre karar verin, çünkü her satır ayrı bir keşif kanalını temsil eder.

Doğru ve Yanlış robots.txt Nasıl Görünür?

Yanlış örnekte sorunlu satır Disallow: / ifadesidir, çünkü tüm dosya yollarını her bot için erişime kapatır. Doğru versiyonda bu kural kaldırılır veya Allow: / ile açıkça izin verilerek AI crawler’lara sitenizin tamamına erişim tanınır.

En sık gördüğümüz hatalı yapı şuna benziyor. Burada User-agent: * satırının altına yazılan geniş bir Disallow kuralı, GPTBot ve PerplexityBot dahil sitenizi tarayan her botu kapsar.

# YANLIŞ
User-agent: *
Disallow: /

User-agent: GPTBot
Disallow:

# YANLIŞ
User-agent: *
Disallow: /

User-agent: GPTBot
Disallow:

# YANLIŞ
User-agent: *
Disallow: /

User-agent: GPTBot
Disallow:

Doğru yapıda ise her botu adıyla ele alır, taramasına izin vermek istediklerinize açık erişim verirsiniz. Aşağıdaki örnek, AI platformlarını beslemek isteyen bir sitenin nasıl görünmesi gerektiğini gösterir.

# DOĞRU
User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow:

# DOĞRU
User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow:

# DOĞRU
User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow:

Asıl tehlike, kimsenin AI botlarını bilinçli olarak engellemediği durumda ortaya çıkar. Bir eklenti veya CDN kuralı User-agent: * altına yönetim panelini kapatmak için Disallow: /wp-admin/ gibi masum bir satır yazar, ancak aynı blok başka bir dizini de kapatınca AI crawler’lar farkında olmadan o içeriğe erişimini kaybeder.

Bu gizli kural şöyle görünür. User-agent: * bloğundaki Disallow: /blog/ satırı, ChatGPT ve Perplexity’nin cevap ürettiği tam da o içeriği kapatır.

# GİZLİ HATA
User-agent: *
Disallow: /blog/
Disallow: /urunler/

# GİZLİ HATA
User-agent: *
Disallow: /blog/
Disallow: /urunler/

# GİZLİ HATA
User-agent: *
Disallow: /blog/
Disallow: /urunler/

Burada hiçbir yerde GPTBot yazmıyor, ama yıldız işareti onu da kapsadığı için sonuç aynıdır. AI botları o dizinleri tarayamaz.

Doğru mantık, önce User-agent: * altında yalnızca gerçekten gizlemek istediğiniz özel dizinleri kapatmak, sonra AI botlarına açıkça izin vermektir. Yazdığınız her Disallow satırının hangi botları kapsadığını satır satır kontrol ederseniz, bu tür kazaları önlersiniz.

Kendi robots.txt Dosyanızı Nasıl Denetlersiniz?

Denetim üç adımdan oluşur. Önce dosyayı tarayıp AI botlarını engelleyen satırları bulur, sonra bu satırların gerçekten çalışıp çalışmadığını canlı olarak test edersiniz. Aşağıdaki kontrol listesi bu iki işi somut adımlara böler.

1. Dosyaya erişin. Tarayıcınıza alanadiniz.com/robots.txt yazın. Dosya açılmıyorsa ya hiç yoktur, ki bu durumda tüm botlar serbesttir, ya da sunucu 403 döndürüyordur. İkinci durum başlı başına bir sorundur, çünkü botlar dosyayı bile okuyamaz.

2. User-agent satırlarını tarayın. Her User-agent: bloğunu tek tek okuyun ve altındaki Disallow kurallarını not edin. Özellikle GPTBot, PerplexityBot, Google-Extended, ClaudeBot, Applebot-Extended ve Amazonbot isimlerini arayın. Bu botlardan biri Disallow: / ile eşleşiyorsa, o platform sitenizi göremez.

3. User-agent: * bloğunu ayrıca inceleyin. Yıldız işareti tüm botları kapsar, bu yüzden altındaki Disallow: / satırı AI crawler’ları da kapatır. Genel bir engelin altında AI botlarına özel bir izin bloğu yoksa, yıldız kuralı geçerli olur.

4. Canlı test yapın. Statik okuma her zaman yetmez, çünkü CDN veya WAF katmanı robots.txt’in üstüne ek kural koyabilir. Botun gözünden görmek için curl ile user-agent taklit edin:

curl -A "GPTBot" -I https://alanadiniz.com/

curl -A "GPTBot" -I https://alanadiniz.com/

curl -A "GPTBot" -I https://alanadiniz.com/

Dönen HTTP kodu 200 ise sayfa erişilebilir, 403 veya 429 ise bir katman botu engelliyordur. Aynı testi PerplexityBot ve ClaudeBot için tekrarlayın.

5. Doğrulama araçlarıyla teyit edin. Google Search Console’daki robots.txt Tester, Google-Extended kuralınızın nasıl yorumlandığını gösterir. Diğer botlar için OpenAI ve Perplexity’nin yayımladığı resmi IP aralıklarıyla sunucu loglarınızı karşılaştırabilirsiniz. Loglarda GPTBot’tan gelen istekler 403 alıyorsa, engel gerçekten uygulanıyor demektir.

Kırmızı bayrak olan satırlar

Denetim sırasında şu satırlar sizi durdurmalı. Disallow: / bir AI botunun altındaysa, o platform tüm sitenizi görmez. User-agent: * bloğunda Disallow: / varsa ve AI botlarına ayrı izin verilmemişse, hepsi kapalıdır. Disallow: /wp-admin/ gibi masum görünen kurallar sorun değildir, ama Disallow: /blog/ veya Disallow: / gibi geniş engeller içeriğinizin çekirdeğini kapatır.

Yeşil ışık ise nettir. Her AI botu için ayrı User-agent bloğu ve altında ya boş bir Disallow: satırı ya da yalnızca yönetim dizinlerini kapatan hedefli kurallar görüyorsanız, dosyanız AI erişimine açıktır. Test komutu her botta 200 dönüyorsa, denetimi geçtiniz.

Türkiye’de Siteler Yapay Zeka Botlarını Ne Kadar Engelliyor?

Türkiye’deki kurumsal sitelerin kabaca üçte biri, en az bir büyük AI crawler’ını robots.txt üzerinden engelliyor gibi görünüyor. Bu bir gözlemdir, kesin bir sayım değil. Farklı sektörlerdeki sitelerin robots.txt dosyalarını manuel olarak inceleyip GPTBot, ClaudeBot, PerplexityBot ve Google-Extended satırlarını taradığımızda ortaya çıkan bir örüntü.

Engelleme oranı sektöre göre belirgin biçimde değişiyor. E-ticaret ve haber siteleri, içeriklerini korumak istedikleri için AI botlarını en sık kapatan grup. Kurumsal tanıtım siteleri ve hizmet veren KOBİ’ler ise çoğunlukla farkında olmadan engelliyor. Bu sitelerin robots.txt dosyalarında genelde eski bir SEO eklentisinden ya da hazır tema şablonundan gelmiş bir Disallow kuralı duruyor, ve kimse o satırın AI botlarını da kapsadığını fark etmemiş.

Metodoloji konusunda şeffaf olmakta fayda var. İncelediğimiz örneklem rastgele seçilmiş büyük bir set değil, belirli sektörlerden manuel olarak toplanmış sınırlı sayıda site. Yani bu rakamı Türkiye geneli için kesin bir istatistik olarak değil, güçlü bir eğilim işareti olarak okuyun.

Bu tablo, erken hareket eden için somut bir avantaj yaratıyor. Rakiplerinizin önemli bir kısmı ChatGPT ve Perplexity gibi platformlara kapalıyken, doğru yapılandırılmış tek bir robots.txt dosyası sizi bu yanıtların içine sokabilir. Google’da onlarca sayfalık bir rekabet varken, AI yanıtlarında henüz bu kadar kalabalık yok. Robots.txt’inizdeki tek bir satırı düzeltmek, sektörünüzde AI’ya görünen az sayıdaki markadan biri olmanızı sağlayabilir, ve bu pencere herkes fark etmeden önce açık.

robots.txt Düzeltildikten Sonra Ne Yapmalı?

robots.txt dosyanızı düzeltmek AI botlarının sitenize girmesini sağlar, ancak tek başına görünürlüğü garanti etmez. Botlar içeri girdikten sonra ne bulduğu, sizi bir yanıtta kaynak olarak gösterip göstermeyeceklerini belirler.

llms.txt dosyası, hangi sayfalarınızın AI için öncelikli olduğunu tarif ederek crawler’lara yön verir. Yapılandırılmış veri (structured data) ise içeriğinizin ne anlama geldiğini makinelere açık biçimde söyler. Bir botun sayfanızı ham HTML üzerinden okuyabilmesi, yani içeriğin JavaScript arkasına gizlenmemesi de aynı ölçüde önemlidir.

robots.txt düzeltmesi, teknik bir AEO denetiminin yalnızca ilk adımıdır. Erişim izni verdiniz, ama içeriğinizin AI tarafından anlaşılabilir ve alıntılanabilir olması ayrı bir çalışma gerektirir. Bu bileşenlerin tümünü ve nasıl bir araya geldiğini AEO Nedir sayfasında ayrıntılı ele aldık.

Sık Sorulan Sorular

robots.txt AI botlarını engellerse Google ranking’imi etkiler mi? Hayır, GPTBot veya ClaudeBot gibi AI crawler’ları engellemek klasik Google sıralamanızı doğrudan düşürmez, çünkü Googlebot ayrı bir user-agent’tır. Ancak AI botlarını kapattığınızda Perplexity, ChatGPT ve benzeri platformların yanıtlarında hiç görünmezsiniz. Bu, giderek büyüyen bir arama trafiği kaynağını gönüllü olarak terk etmek anlamına gelir.

GPTBot’u engellemek neden hâlâ tercih ediliyor? Bazı yayıncılar içeriklerinin izinsiz model eğitiminde kullanılmasını istemedikleri için GPTBot’u bilinçli olarak engeller. Bu geçerli bir tercih olabilir, ancak çoğu işletme aynı botun ChatGPT’nin canlı arama yanıtlarını da beslediğini fark etmez. AEO’nun ne olduğunu ve bu ayrımın neden önemli olduğunu AEO Nedir sayfamızda daha ayrıntılı anlatıyoruz.

robots.txt düzeltmek ne kadar sürede etkili olur? Dosyayı düzeltmek anında yayına girer, fakat AI botlarının sitenizi yeniden taraması günler ile birkaç hafta arasında sürer. Her platform kendi tarama sıklığıyla çalışır, dolayısıyla Perplexity sizi ClaudeBot’tan önce yeniden ziyaret edebilir. Sayfa güncelleme sıklığınız yüksekse botlar sitenize daha sık döner ve düzeltme daha çabuk yansır.

Tüm AI botlarına izin vermek zorunda mıyım? Hayır, hangi platformlarda görünmek istediğinize göre bot bazında seçim yapabilirsiniz. Örneğin ChatGPT ve Perplexity’ye izin verip Amazonbot’u kapatabilirsiniz, çünkü robots.txt her user-agent’ı ayrı ayrı yönetmenize olanak tanır. Hangi botların sizin sektörünüz için değer taşıdığına karar veremezseniz, teknik AEO hizmetlerimiz bu önceliklendirmeyi sizin adınıza yapar.

Sonuç: Şimdi Ne Yapmalısınız?

Tek bir yanlış satır, sitenizi yapay zeka platformlarına görünmez kılabilir ve bu hatayı düzeltmek çoğu zaman beş dakika sürer. robots.txt dosyanızdaki Disallow: / kuralları GPTBot, PerplexityBot ya da ClaudeBot’u kapsadığında, ChatGPT ve Perplexity gibi araçlar sitenizi kaynak olarak gösteremez.

Kendi dosyanızı bugün açın ve bu rehberdeki adımlarla user-agent satırlarını kontrol edin. Emin değilseniz ya da denetimi bir uzmana bırakmak isterseniz, ücretsiz teknik AEO analizimizle robots.txt dosyanızı ve sitenizin yapay zeka erişilebilirliğini birlikte inceleyelim. Rakiplerinizin çoğu hâlâ kapalıyken, erken düzelten öne geçer.