Yapay Zekâ Tarayıcıları: İzin mi Vermeli, Engellemeli mi?

Yapay zekâ tarayıcılarına dair tavsiyelerin çoğu bunu tek bir karar sanıyor — yapay zekâya izin ver ya da engelle. Tek bir karar değil. Büyük şirketlerin her biri farklı amaçlar için ayrı botlar çalıştırıyor ve bunları engellemenin sonuçları zıt yönlere işaret ediyor.

Bunu yanlış yapmak hem yaygın hem pahalı: alışılmış hata, içeriği eğitimden korumak için adında "AI" geçen her şeyi engelleyip müşterilerinizin okuduğu cevaplardan sessizce çıkmak.

Önemli Çıkarımlar

• OpenAI eğitim için GPTBot'u, arama için OAI-SearchBot'u çalıştırıyor. İkincisini engellemek demek, "OAI-SearchBot'tan çıkarılan siteler ChatGPT arama cevaplarında gösterilmeyecek" demek (OpenAI).
• Anthropic aynı biçimde ayırıyor: eğitim için ClaudeBot, getirme için Claude-SearchBot ve Claude-User (Anthropic).
• PerplexityBot "yapay zekâ temel modelleri için içerik taramakta kullanılmıyor" — o arama tarayıcısı (Perplexity).
• Kullanıcı kaynaklı getirmeler robots.txt'i çoğu zaman yok sayıyor; tasarım gereği ve şirketlerin kendi ifadesiyle.
• robots.txt'te adı geçen bir grup, o ajan için joker grubun yerine geçer, ona eklenmez. Gerçek hataların çoğu burada oluyor.

Tek iş değil, üç iş

Üreticilerin kendi dokümantasyonunu okuyunca üç şirkette de aynı yapı çıkıyor.

Eğitim tarayıcıları. OpenAI'ın GPTBot'u "üretken yapay zekâ temel modellerimizi daha yararlı ve güvenli kılmak için" ve "eğitimde kullanılabilecek içeriği taramak" için kullanılıyor; ona izin vermemek "bir sitenin içeriğinin üretken yapay zekâ eğitiminde kullanılmaması gerektiğini bildirir" (OpenAI). Anthropic'in ClaudeBot'u "eğitimlerine katkıda bulunabilecek web içeriğini toplayarak üretken yapay zekâ modellerimizin yararını ve güvenliğini artırmaya yardımcı olur" (Anthropic).

Arama tarayıcıları. OAI-SearchBot "siteleri ChatGPT'nin arama özelliklerindeki sonuçlarda göstermek için" kullanılıyor ve OpenAI açıkça "OAI-SearchBot'tan çıkarılan sitelerin ChatGPT arama cevaplarında gösterilmeyeceğini" söylüyor. Anthropic'in Claude-SearchBot'u "kullanıcılar için arama sonucu kalitesini iyileştirmek üzere web'de gezinir" ve onu engellemek "sitenizin kullanıcı arama sonuçlarındaki görünürlüğünü ve doğruluğunu azaltabilir". PerplexityBot ise "Perplexity'deki arama sonuçlarında siteleri göstermek ve bağlantılamak için tasarlanmıştır. Yapay zekâ temel modelleri için içerik taramakta kullanılmaz" (Perplexity).

Kullanıcı kaynaklı getirmeler. ChatGPT-User, Claude-User ve Perplexity-User, bir insan o sayfayı gerektiren bir soru sorduğu için sayfayı getiriyor. Anthropic, Claude-User'ı engellemenin "sistemimizin bir kullanıcı sorgusuna yanıt olarak içeriğinizi getirmesini engellediğini ve sitenizin kullanıcı yönlendirmeli web aramasındaki görünürlüğünü azaltabileceğini" belirtiyor.

Yani "yapay zekâ tarayıcılarını engelle" en az üç farklı niyete ayrışıyor ve yalnızca biri eğitimle ilgili.

En pahalıya patlayan hata

Şu: eğitim tarayıcısını engellemek isterken arama tarayıcısını engellemek.

İsimler buna davetiye çıkarıyor. GPTBot ve OAI-SearchBot ikisi de OpenAI, ikisi de "ChatGPT botu" gibi duruyor ve bir forum gönderisinden kopyalanan robots.txt parçası farkı nadiren açıklıyor. Sonuç: engelden önce eğitilmiş modellerin verisinde hâlâ bulunan, ama müşterilerinin okuduğu cevaplarda artık anılmaya uygun olmayan bir site.

Buradan tek bir şey alacaksanız: sizi insanların önüne çıkaran şey arama tarayıcılarıdır. Kullanıcıların giderek cevapta durduğu bir dünyada, cevabın içinde olmak görünürlüğün kendisidir.

robots.txt beklenmedik biçimde davranıyor

robots.txt içinde adı geçen bir grup, o ajan için joker grubun yerine geçer, ona eklenmez — gerçek ve sessiz hataların çoğu buradan çıkıyor.

robots.txt içinde adı geçen bir kullanıcı ajanı grubu, o ajan için joker grubun yerine geçer — ona eklenmez. Yani şöyle bir dosya:

User-agent: *
Disallow: /admin/
Disallow: /internal/

User-agent: GPTBot
Allow: /

GPTBot'u /admin/ dışında tutmaz. GPTBot yalnızca kendi grubunu izler ve kendi grubu her şeye izin verildiğini söyler. Önemsediğiniz her yasak, adı geçen her grubun içinde tekrarlanmalıdır.

Bunu kendi sitemizde yaşadık; robots.txt dosyamızın aynı yasak listesini joker gruba güvenmek yerine her ajanın altında tekrarlamasının sebebi bu.

Biz ne yapıyoruz ve neden

Hepsine izin veriyoruz ve gerekçe ideolojik değil, somut.

Caliency hizmet satıyor, metne erişim değil. İçeriğimiz, bir ajans tutup tutmayacağına karar veren biri tarafından bulunmak için var. Birinin arama sonuç sayfası yerine okuduğu bir cevapta alıntılanmak değer kaybı değil — amacın kendisi. Alternatifin bedeli ise net: kararın artık verildiği yüzeyde bulunmamak.

İşiniz içeriğin kendisini satmaksa bu hesap tersine döner — bir yayıncı, bir eğitim, ücretli bir araştırma ürünü. O zaman eğitim tarayıcıları envanteri alıyordur ve onları engellemek savunulabilir ticari bir karardır; üstelik arama görünürlüğünüze hiçbir şey kaybettirmez, çünkü arama tarayıcıları ayrıdır. Bu ayrımın anlaşılmaya değer olmasının bütün sebebi bu.

Bu yazıyı yazarken kendi dosyamızı güncel dokümantasyona karşı kontrol ettik: Claude-Web ve anthropic-ai yazıyordu — Anthropic'in güncel makalesinde olmayan isimler — buna karşılık orada olan Claude-User ve Claude-SearchBot bizde yoktu. Bozulan bir şey yoktu, çünkü joker grubumuz her şeye izin veriyor. Ama GEO satan bir sitede eskimiş bir liste kötü bir reklam olduğu için güncelledik.

İşe yarar bir varsayılan

Arama tarayıcılarına izin verin. OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Anılıp anılamayacağınıza bunlar karar veriyor. Türkiye'nin en popüler 175 sitesinin bu botları ne kadar engellediğini ChatGPT'de görünmek yazısında ölçtük.

Eğitim tarayıcılarına ilkesel karar verin. GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended. Bunları engellemenin arama maliyeti, izin vermenin arama faydası yok. Size gerçekte sorulan soruyu cevaplayın: bu içeriğin model eğitimine katkıda bulunmasına razı mısınız?

Google-Extended ile Googlebot'u karıştırmayın. Google-Extended içeriğinizin üretken yapay zekâda kullanımını yönetir. Googlebot ise Google Arama'da olup olmadığınızı. Yanlış olanı engellemek, bu dosyada yapılabilecek en pahalı yazım hatasıdır.

Yasaklarınızı adı geçen her grubun içinde tekrarlayın. Yukarıya bakın. Bu hata, bir yönetim yolunu tam olarak tek bir bot için taranabilir bırakır.

Sonra kontrol edin. Kendi robots.txt dosyanızı çekin ve botun okuyacağı gibi, grup grup okuyun. Beş dakikalık bir iş ve kimse yapmıyor.

Yalnızca tarayıcı katmanını değil resmin tamamını istiyorsanız, üretken motor optimizasyonu rehberimiz araştırmanın gerçekte neyi desteklediğini anlatıyor — popüler tavsiyenin ne kadar azının tekrarlanabildiği dâhil.

Kısaca

Tek bir "yapay zekâ tarayıcısı" kararı yok. Bir eğitim kararı, bir arama kararı ve robots.txt'in hiç kontrol edemeyebileceği bir kullanıcı getirmesi kararı var. Hangisinin hangisi olduğunu şirketler yayımlıyor; karışıklık tamamen bizim tarafımızda.

robots.txt dosyanızı tahmin etmek yerine düzgün okuyacak birini isterseniz, bu kısa bir konuşma.