Bu yazıyı yapay zekâ ile özetle Tercih ettiğiniz asistanda bu yazının özetini açın
llms.txt eklemek zararsız ve kolay, ama görünürlük için gerekli değil. Google yapay zekâ özellikleri için böyle bir dosya istemiyor; 7 sitede 3.420 AI bot isteğinin hiçbiri /llms.txt adresine gelmedi. Asıl iş taramanın açık olması ve bilginin sayfada metin olarak bulunması.
llms.txt, sitenin kökünde duran ve siteyi dil modellerine Markdown biçiminde özetleyen bir dosya önerisidir. Resmî bir standart değildir. Google, yapay zekâ özelliklerinde görünmek için böyle bir dosyaya gerek olmadığını yazıyor. Yönettiğimiz 7 sitede bir haftalık kayıtta hiçbir AI botu bu dosyayı istemedi.
llms.txt kimin önerisi ve ne işe yarıyor?
Öneriyi Jeremy Howard 3 Eylül 2024'te llmstxt.org adresinde yayınladı. Amacı, yapay zekâ araçlarının bir siteyi kullanmasına yardım edecek, dil modellerinin kolay okuyacağı bir özet sunmak. Dosya sitenin kökünde /llms.txt adresinde ya da bir alt yolda durabiliyor.
llms.txt robots.txt'nin yerine geçmiyor; önerinin sitesi de ikisinin amacının farklı olduğunu yazıyor. robots.txt hangi botun neyi tarayabileceğini söyler. llms.txt ise içeriği özetler.
Dosyanın biçimi nasıl?
llms.txt bir Markdown dosyası. Önerideki sıra şöyle:
- Sitenin ya da projenin adını taşıyan bir H1 başlığı. Zorunlu olan tek bölüm bu.
- Kısa bir özet içeren alıntı bloğu.
- İsteğe bağlı, başlıksız açıklama paragrafları ya da listeler.
- H2 başlıklarıyla ayrılmış bağlantı listeleri. Her satırda bir Markdown bağlantısı ve isteğe bağlı kısa bir not bulunur.
"Optional" adlı bölüm, bağlam kısaltılacağı zaman atlanabilecek ikincil bağlantılar için kullanılıyor. Öneri, sayfaların .md uzantılı düz metin sürümlerinin de yayınlanmasını öneriyor. Örnek görmek isterseniz bu sitenin llms.txt dosyası firma bilgisini ve ana sayfaların listesini içeriyor.
Google llms.txt'yi kullanıyor mu?
Google'ın yapay zekâ özellikleri ve web siteniz belgesi llms.txt'nin adını hiç anmıyor. Yapay zekâ özetlerinde ve yapay zekâ modunda görünmek için ek bir koşul olmadığını yazıyor. Sayfanın dizinde olması ve aramada snippet ile gösterilebilmesi yetiyor.
"Bu özelliklerde görünmek için yeni makine tarafından okunabilir dosyalar, yapay zekâ metin dosyaları ya da işaretleme oluşturmanız gerekmez." Google Search Central, yapay zekâ özellikleri belgesi
ChatGPT ve Claude bu dosyayı okuyor mu?
OpenAI'ın tarayıcılarını anlatan belge OAI-SearchBot'un ChatGPT aramasında, GPTBot'un model eğitiminde, ChatGPT-User'ın kullanıcı isteğinde çalıştığını yazıyor. Sitelerin bu botları robots.txt ile yönettiğini söylüyor. Botların llms.txt okuduğuna dair bir ifade yok.
Anthropic'in Claude botlarının bu dosyayı okuduğunu söyleyen bir açıklamasını bulamadık. llmstxt.org, OpenAI, Anthropic ve Gemini'nin kendi geliştirici belgeleri için llms.txt yayınladığını not ediyor. Bu, şirketlerin dosyayı yayınladığını gösteriyor; botlarının başka sitelerde bu dosyayı aradığını göstermiyor.
Kendi sitelerimizde ne ölçtük?
Yönetim sistemimiz AI botlarını kullanıcı aracısı (user-agent) adından tanıyıp isteklerini kaydediyor; /llms.txt istekleri de bu kayda giriyor. Ölçüm dönemi 29 Ekim ile 6 Kasım 2026 arası. Yönettiğimiz 7 müşteri sitesindeki AI bot kaydı şöyle:
| Bot grubu | Toplam istek | /llms.txt isteği |
|---|---|---|
| ChatGPT (OAI-SearchBot, ChatGPT-User) | 679 | 0 |
| Claude (ClaudeBot, Claude-User) | 667 | 0 |
| Perplexity | 399 | 0 |
| Google'ın kullanıcı isteğiyle çalışan araçları | 2 | 0 |
| Diğer tanınan AI botları | 1.673 | 0 |
| Toplam | 3.420 | 0 |
Yedi sitenin hepsinde /llms.txt 200 koduyla yayında ve sunucunun önündeki CDN bu adresi önbelleğe almıyor; istek gelseydi kayda düşerdi. Sayılar bot adına göre; adların gerçekten o şirketin sunucusundan geldiği ayrıca doğrulanmadı.
Süre kısa ve siteler yeni taşındı. Bu ölçüm "hiçbir bot bu dosyayı hiçbir zaman okumuyor" demek değil. Bu dönemde siteleri tarayan botların hiçbirinin dosyayı istemediğini gösteriyor.
Eklemeli misiniz?
Eklemek zararsız ve kolay; görünürlük beklentisiyle uğraşmak ise boşa emek. Biz müşteri sitelerinde llms.txt'yi firma bilgisinden otomatik üretiyoruz, ama bunu bir görünürlük işi olarak sunmuyoruz. Yapay zekâ aramalarında işe yarayan, Google'ın da saydığı temel işler:
- Taramanın robots.txt'de, CDN'de ve barındırma tarafında açık olması.
- Önemli bilginin sayfada metin olarak bulunması.
- OAI-SearchBot'un engellenmemesi. OpenAI, bu botu engelleyen sitelerin ChatGPT arama cevaplarında gösterilmediğini yazıyor.
Bu işleri müşteri sitelerinde nasıl yaptığımızı yapay zekâ aramalarında görünürlük sayfamızda anlattık.
Sıkça Sorulan Sorular
llms.txt robots.txt'nin yerine geçer mi?
Hayır. robots.txt botlara neyi tarayabileceklerini söyler ve botlar bu dosyaya bakar. llms.txt yalnız içerik özeti sunar; bir botu engellemez ya da izin vermez.
llms.txt'yi kaldırırsam bir şey kaybeder miyim?
Bilinen bir kayıp yok. Google bu dosyayı istemiyor ve bizim ölçtüğümüz dönemde hiçbir AI botu dosyayı istemedi. Yine de kurması kolay olduğu için kaldırmak için bir neden de yok.
Siteme hangi AI botlarının geldiğini nasıl görürüm?
Sunucu erişim günlüklerinde her isteğin kullanıcı aracısı (user-agent) yazar; GPTBot, OAI-SearchBot, ClaudeBot gibi adları orada arayabilirsiniz. Barındırma paneliniz günlükleri indirmenize izin veriyorsa bu en doğrudan yoldur.
0 Yorum
Yorum Bırak
Yorumunuz, incelendikten sonra yayınlanır.