Bir 'yazılım örümceği', tıpkı sizin gibi Web'de gezinen bir arama motoru tarafından işletilen insansız bir programdır. Her Web sitesini ziyaret ederken, her sitedeki tüm kelimeleri kaydeder (sabit diskine kaydeder) ve diğer sitelere verilen her bağlantıyı not eder. Daha sonra bir bağlantıya 'tıklar' ve başka bir Web sitesini okumaya, dizine eklemeye ve depolamaya gider.
Yazılım örümceği, genellikle ziyaret ettiği her Web sitesinin tüm metnini okur ve ardından çalıştığı arama motorunun ana veritabanına indeksler. Son zamanlarda AltaVista gibi birçok motor, bir sitenin yalnızca belirli bir sayfa sayısına, genellikle toplamda yaklaşık 500 sayfaya kadar dizine eklemeye başladı ve ardından durdu. Görünüşe göre bunun nedeni, Web'in o kadar büyük olması ki, her şeyi endekslemek mümkün değil. Örümceğin kaç sayfa dizine ekleyeceği tamamen tahmin edilemez. Bu nedenle, sitenizdeki önemli anahtar kelimeleri içerenler gibi dizine eklenmesini istediğiniz her önemli sayfayı özel olarak göndermek iyi bir fikirdir.
Bir yazılım örümceği, dünyadaki her kütüphanedeki her kitabın içindekiler tablosunu kesen, onları devasa bir ana dizin halinde sıralayan ve daha sonra hangi metinlerin hangi diğer metinlere atıfta bulunduğu hakkında bilgi depolayan bir elektronik bibliyografya oluşturan elektronik bir kütüphaneci gibidir. Bazı yazılım örümcekleri günde bir milyondan fazla belgeyi indeksleyebilir! Arama motorlarının örümceklerinin sadece iki şey yaptığını anlamak önemlidir:
- Metni indekslerler.
- Bağlantıları takip ederler.
SearchEngineWatch.com tarafından kısa süre önce düzenlenen bir Arama Motoru Stratejileri konferansında, konuk konuşmacılardan biri olan Grantastic Designs'dan Shari Thurow bu noktaya değindi ve önemini göstermek için birkaç kez tekrarladı: 'Arama motorları metni indeksle ve bağlantıları takip et. Metni indekslerler ve bağlantıları takip ederler. Tek yaptıkları bu.'
Onun amacı, arama motorlarının örümceklerinin doğasını anlamak için önemli ve merkezidir. Web sitenizin metni bir grafik içindeyse, arama motorları onu indeksleyemez. Sıralamayı umduğunuz tüm önemli anahtar kelimeleriniz HTML metninde değil, grafiklerde yer alırsa, siteniz sıralama elde edemez. Unutmayın, arama motorları resimleri indekslemez veya resimleri okumaz, metinleri indeksler ve bağlantıları takip ederler. Bu kadar. Görüntülenebilir sayfanızda hiç metin yoksa, anahtar kelime meta etiketinizdeki hiçbir anahtar kelime, sıralama elde etmenize yardımcı olmaz.
Örümceğin sitenizde gördükleri, sitenizin dizininde nasıl listelendiğini belirleyecektir. Arama motorları, bir sitenin alaka düzeyini, arama motorlarının gizli tutmaya çalıştığı karmaşık bir puanlama sistemine dayalı olarak belirler. Bu sistem, anahtar kelimenin sayfada kaç kez göründüğü, sayfada nerede göründüğü ve toplam kaç kelimenin bulunduğu gibi şeylere göre puan ekler veya çıkarır. En çok puan alan sayfalar, arama sonuçlarının en üstünde döndürülür; geri kalanı dipte gömülü, asla bulunamayacak.
Bir yazılım örümceği sitenizi ziyaret ettiğinde, sayfanızdaki diğer sitelere verilen bağlantıları not eder. Herhangi bir arama motorunun geniş veritabanında siteler arasındaki tüm bağlantılar kaydedilir. Arama motoru, hangi sitelere bağlandığınızı ve daha da önemlisi hangilerinin size bağlandığını bilir. Birçok motor, popülerliğin bir göstergesi olarak sitenize verilen bağlantıların sayısını bile kullanacak ve ardından bu faktöre dayalı olarak sıralamanızı artıracaktır.
Telif Hakkı © 2000 iProspect.com
