Tarama ve İndeksleme: Google Siteyi Nasıl Keşfeder?

Google yeni sayfaları nasıl keşfeder?

Web’in merkezî bir kayıt defteri yoktur; hiçbir kurum Google’a “bugün şu sayfalar yayımlandı” diye liste göndermez. Bu yüzden Google, yeni sayfaları kendi başına bulmak zorundadır. Bu keşif işini bir önceki derste tanıdığımız tarayıcı yazılım, yani Googlebotyapar. Googlebot’un bir sayfadan haberdar olmasının üç ana yolu vardır.

Birincisi ve en doğal olanı bağlantıları takip etmektir. Googlebot, daha önce bildiği sayfaları yeniden ziyaret ederken bu sayfalardaki linkleri okur ve listesinde olmayan her yeni URL’yi keşif kuyruğuna ekler. Sitenizin içindeki bağlantılar da bu ağın parçasıdır: ana sayfanızdan veya bir kategori sayfanızdan yeni yazınıza verilen link, Google için “burada yeni bir sayfa var” işaretidir.

İkinci yol XML site haritasıdır. Site haritası, sitenizdeki önemli URL’leri tek bir dosyada listeleyerek Google’a topluca sunar. Özellikle yeni sitelerde, çok sayfalı sitelerde ve iç bağlantısı zayıf sayfalarda keşfi kolaylaştırır. Üçüncü yol ise doğrudan bildirimdir: Google Search Console üzerinden site haritanızı gönderebilir, tek bir URL için de URL denetim aracından indeksleme talebinde bulunabilirsiniz.

Bu üç kanalın ağırlığı sitenin durumuna göre değişir. Yıllardır yayında olan, çok link almış bir sitede Googlebot zaten sık misafirdir; yeni sayfalar çoğu zaman yalnızca iç bağlantılarla, kendiliğinden bulunur. Henüz hiçbir yerden bağlantı almamış yepyeni bir site ise Google’ın gözünde adasız bir haritada durur; keşfedilmesi büyük ölçüde site haritasına ve Search Console bildirimine bağlıdır. Keşif ayrıca bir kerelik bir olay değildir: Googlebot bildiği sayfaları düzenli aralıklarla yeniden ziyaret eder, değişen içeriği fark eder ve her ziyarette yeni linkler toplar. Web’in haritası bu döngüyle sürekli güncel tutulur.

Tarama sıklığı ve render aşaması

Googlebot her siteyi aynı sıklıkta ziyaret etmez ve sabit bir takvimi yoktur. Tarama sıklığını Google kendisi belirler ve bu karar birkaç etkene bağlıdır: sayfanın ne kadar sık güncellendiği, sitenin genel önemi ve otoritesi, sunucunun taramaya ne kadar sağlıklı yanıt verdiği. Sık güncellenen bir haber sitesinin ana sayfası günde defalarca taranabilirken, yıllardır değişmeyen bir sayfa haftalarca ziyaret edilmeyebilir. Aynı site içinde bile sayfalar eşit değildir; ana sayfa ve çok link alan sayfalar, derinlerde kalan sayfalardan daha sık taranır.

Google’ın bir siteye ayırdığı tarama kapasitesine tarama bütçesi denir. Bu kavram asıl olarak on binlerce sayfalık büyük siteleri ilgilendirir; küçük ve orta ölçekli bir sitenin tarama bütçesi sorunu yaşaması nadirdir. Yine de ilke herkes için geçerlidir: Googlebot’un vakti sınırlıdır ve bu vakti kırık linklerle, gereksiz kopya URL’lerle harcatmamak sitenin lehinedir. Googlebot bu konuda nazik bir misafirdir: sunucunuz yavaşlamaya veya hata vermeye başlarsa tarama hızını kendiliğinden düşürür, site toparlanınca yeniden artırır. Sitenizi taramanın yormasından değil, taranmamaktan korkmalısınız.

Taramanın bir de ikinci perdesi vardır: render aşaması. Googlebot bir sayfayı ilk aldığında ham HTML’yi okur; ancak günümüz sitelerinin bir bölümü içeriğini JavaScript ile tarayıcıda oluşturur. Google bu sayfaları güncel bir Chromium ile açıp çalıştırır ve JavaScript’in ürettiği içeriği ancak bu render işleminden sonra görür. Render, ilk taramayla aynı anda gerçekleşmek zorunda değildir; sayfa bir kuyruğa girer ve kaynaklar uygun olduğunda işlenir. Pratik sonucu şudur: içeriği yalnızca JavaScript ile yüklenen bir sayfanın Google tarafından tam görülmesi gecikebilir. Bu konunun ayrıntısı ileri modüllerin işidir; bu aşamada bilmeniz gereken, kritik içeriğin mümkünse ham HTML’de de bulunmasının işi her zaman kolaylaştırdığıdır.

İndeksleme kararı: her taranan sayfa indekslenmez

Tarama ile indeksleme aynı şey değildir ve bu ayrım, bu dersin en önemli cümlesidir: Google’ın bir sayfayı taramış olması, onu arama sonuçlarına alacağı anlamına gelmez.Tarama, sayfayı getirip okumaktır; indeksleme ise sayfanın Google’ın devasa kataloğuna kaydedilmeye değer bulunmasıdır. Arada bir değerlendirme vardır ve her sayfa bu değerlendirmeden geçemez.

İndeksin kendisini dev bir kütüphane kataloğu gibi düşünebilirsiniz. Google bir arama yapıldığında web’i o anda gezmez; önceden okuyup kataloğuna işlediği sayfalar arasından seçim yapar. Bir sayfa bu katalogda yoksa, içeriği ne kadar iyi olursa olsun hiçbir aramada gösterilemez. İndekslenmek bu yüzden sıralamanın ön şartıdır: önce katalogda var olursunuz, sıralama yarışı ondan sonra başlar.

İndeksleme aşamasında Google sayfanın ne anlattığını çözümler: metni, başlıkları, görselleri ve yapılandırılmış veriyi işler. Aynı zamanda sayfayı elindeki milyarlarca sayfayla karşılaştırır. İçerik başka URL’lerdeki içeriğin kopyası veya çok yakın bir benzeriyse, Google bu kümeden tek bir temsilci seçer; buna kanonik sürümdenir. Kanonik seçilmeyen kopyalar ayrıca indekslenmez, yalnızca kanonik sürüme işaret eder. Site sahibi olarak rel=“canonical” etiketiyle tercihinizi bildirebilirsiniz; ancak bu etiket Google için bağlayıcı bir emir değil, güçlü bir öneridir. Google; iç bağlantıları, site haritasını, yönlendirmeleri ve sayfaların benzerliğini birlikte değerlendirir ve gerekirse sizin önerdiğinizden farklı bir kanonik seçebilir.

Değerlendirmenin bir de kalite boyutu vardır. Google, kullanıcıya kayda değer bir şey söylemeyen sayfaları indekse almayabilir: birkaç cümlelik ince içerik, başka kaynaklardan derlenmiş özgünlüğü olmayan metinler, birbirinin neredeyse aynısı olan şablon sayfalar bu gruba girer. İndekslenme bir hak değil, kazanılan bir sonuçtur; Google sınırlı kaynağını, cevap olma ihtimali taşıyan sayfalara ayırır.

İndekslenmeyi engelleyen durumlar

Bir sayfanın dizin dışında kalmasının başlıca nedenleri şunlardır; her birinin ne yaptığını ve Search Console’da nasıl göründüğünü ayırt etmek, teşhisin yarısıdır.

Tablodaki en çok karıştırılan satır, robots.txt satırıdır. robots.txt bir taramakuralıdır, indeksleme kuralı değildir. Googlebot’a “bu adrese girme” der; ama Google o adresin varlığını başka sitelerdeki linklerden öğrenmişse, URL’yi içeriğini hiç görmeden, yalnızca link bilgisine dayanarak dizinde gösterebilir. Yani robots.txt, bir sayfayı arama sonuçlarından gizlemenin aracı değildir; onun doğru işi, tarayıcının vaktini almaması gereken bölümleri (site içi arama sonuçları, filtre kombinasyonları gibi) tarama dışı bırakmaktır. Bir sayfayı sonuçlardan gerçekten çıkarmak istiyorsanız araç bellidir: sayfaya noindex etiketi eklemek veya sayfayı tümüyle kaldırmak.

“URL Google’da görünmüyor” anında ne yapmalı?

Yeni yayımladığınız sayfayı Google’da aratıp bulamamak, site sahiplerinin en bilindik panik anıdır. İlk söylenecek şey şudur: gecikme çoğu zaman normaldir.Keşif, tarama, render ve indeksleme adımlarının tamamlanması yeni bir sayfada saatler de sürebilir, günler veya haftalar da; Google hiçbir sayfa için süre garantisi vermez. Panik yerine teşhis yapmak gerekir ve bunun aracı bellidir: Search Console’daki URL denetim aracı.

Kontrole Google’da site:operatörüyle arama yaparak başlayanlar çoktur; bu yöntem hızlı bir izlenim verir ama kesin sonuç için güvenilir değildir. site: sorgusu her indekslenmiş sayfayı her seferinde listelemeyebilir; sayfanın orada görünmemesi, dizinde olmadığını kanıtlamaz. Kesin cevabı yalnızca Search Console verir, çünkü orada tahmine değil Google’ın kendi kaydına bakarsınız.

URL denetim aracına adresi yapıştırdığınızda Google size sayfanın kendi gözündeki durumunu söyler: URL dizinde mi, en son ne zaman tarandı, hangi kanonik sürüm seçildi, bir engel varsa hangisi. Tablodaki durum mesajlarını burada görürsünüz. Sayfa “keşfedildi, şu anda dizine eklenmedi” diyorsa Google URL’den haberdardır ama henüz sıra gelmemiştir; “tarandı, şu anda dizine eklenmedi” diyorsa sayfa okunmuş ama indekse değer bulunmamıştır ve asıl bakılacak yer içeriğin kalitesidir.

İndekslenmeyi hızlandırmanın meşru yolları vardır; hiçbiri garanti vermez ama hepsi olasılığı ve hızı artırır:

• Site haritanızı güncel tutun:Yeni sayfa yayımlandığında site haritasında yer alsın; harita Search Console’a gönderilmiş olsun.
• Güçlü sayfalardan iç bağlantı verin: Ana sayfadan veya sık taranan bir kategori sayfasından verilen link, yeni sayfanın çok daha çabuk keşfedilmesini sağlar.
• URL denetiminden indeksleme talep edin:Aracın “dizine eklenmesini iste” seçeneği sayfayı tarama kuyruğuna bildirir; öncelik kazandırabilir ama indekslenme sözü vermez.
• İçeriğin indekslenmeye değer olduğundan emin olun: Teknik engel yoksa ve sayfa yine de alınmıyorsa çözüm daha çok talep göndermek değil, içeriği özgünleştirip derinleştirmektir.
• Teknik engelleri temizleyin:Yanlışlıkla kalmış bir noindex, bir robots.txt kuralı veya hatalı kanonik etiketi, en sık rastlanan “görünmezlik” sebepleridir; önce bunları eleyin.

Bir uyarı da kestirme yollar için gerekli: toplu indeksleme vadeden üçüncü taraf servisler ve yapay link ağları, sayfanızı kalıcı biçimde dizine sokmaz; kaliteyle desteklenmeyen hiçbir bildirim, Google’ın değerlendirmesini satın alamaz.

Özet ve sonraki adım

• Google yeni sayfaları üç yoldan keşfeder: bağlantıları takip ederek, XML site haritasından ve Search Console bildirimiyle.
• Tarama sıklığı sabit değildir; güncellenme sıklığına, sitenin önemine ve sunucu sağlığına göre Google tarafından belirlenir.
• JavaScript ile üretilen içerik render aşamasında işlenir ve bu işlem ilk taramadan sonraya kalabilir.
• Her taranan sayfa indekslenmez; Google kaliteyi değerlendirir ve kopyalar arasından tek bir kanonik sürüm seçer.
• robots.txt taramayı engeller, indekslemeyi değil; bir sayfayı sonuçlardan çıkarmanın doğru aracı noindex etiketidir.
• “URL görünmüyor” anında ilk adres Search Console’daki URL denetim aracıdır; teşhis oradaki durum mesajından başlar.

Sayfanız keşfedildi, tarandı ve indekse girdi; peki Google onu kaçıncı sıraya koyacağına nasıl karar veriyor? Sıradaki derste sıralamayı gerçekten etkileyen sinyalleri, yaygın efsanelerden ayırarak inceleyeceğiz.