Arama motoru nasıl çalışır?

World Wide Web'in icadından bir sonraki en büyük icat, Google olsa gerek. Birçoğumuz için internetin ta kendisi olan Google, gazetelerden dergilere tüm internetteki içeriği kolaylıkla bulunabilir bir hale getiriyor. Hatta bazılarımız, site adreslerini bilsek bile bunun yerine sitenin adını Google'da aratma yolunu tercih ediyoruz.

Arama motorlarının en temel aşaması, "crawling" adı verilen web sitelerindeki içerikleri taramaktan ve verilerin analiz edilerek dev veritabanlarında depolanmasından oluşuyor.

Crawling

Crawling adı verilen işlem, arama motorunun web sitelerini ziyaret ederek orada bulduğu her şeyin bir listesini kaydetmesi anlamına geliyor. Bunlar arasında en az sayfa başlığı, resimler, anahtar sözcükler ve diğer sayfalara verilen bağlantılar bulunuyor. Bazı arama motorları, tüm web sayfasını kendi üzerinde depolayabiliyorlar, reklamların, bağlantıların sayfanın neresinde olduğunu tarayabiliyorlar.

Crawling işlemi, otomatik olarak bilgisayarlar tarafından gerçekleştiriliyor. Bu sırada web sitesindeki her sayfa tek tek ziyaret ediliyor, ancak bu işlem bir insanın yapabileceğinden çok daha hızlı yerine getiriliyor. Crawling, sonu olmayan bir işlem, yani arama motorları belirli aralıklarla web sitelerini tekrar tekrar tarıyorlar.

Arama motorunun taradığı web sitelerindeki herhangi bir yeni web sitesine verilen bağlantı, bu yeni web sitesinin de taranmasıyla sonuçlanır. Crawling işlemin sıklığı ve derinliği, siteden siteye değişmektedir.