Robots.txt vebsayta daxil olmağa çalışan botlar (əsasən axtarış motorları) üçün təlimatları olan mətn faylıdır. O, veb-saytınızı yalnız skan edilməsini təmin edir, amma indexlənməsinə birbaşa zəmanət vermir. Veb-saytınızda botların hansı linkləri skan edilməsi və ya bloklanmasını təyin edə bilərsiz. Məsələn, saytınızda foto, video, kateqoriyaları, hər hansı nümunə üçün yaratdığınız səhifəni botların taramasına bloklaya bilərsiz. Robots.txt domenin kök kataloqunda saxlanılır. Botlar sayta daxil olduqdan sonra ilk görəcəyi iş robots.txt faylını axtarıb, oxumaq olur.
Robots.txt faylı necə yaradılır?
Robots.txt faylı, adından göründüyü kimi Windows və ya Mac sistemlərində mouse-u sağ klikləyib, yeni fayl yarat bölməsindən Text Document faylını açıb aşağıda nümunə kimi göstərdiyim mətn sətlərini daxil etməklə yaradılır. Unutmaq lazım deyil ki, faylın adı mütləq robots.txt olmalıdır.
Faylı yaratdıqdan sonra bir necə mətn sətrlərini daxil edərək, axtarış motorlarının botlarını veb-saytınızda gəzməsini təmin edə bilərsiz. Axtarış motorlarında hər hansı məzmun, açar sözü yazılanda botlar milyardlarca linklər arasında oxşar məzmunları tapıb, axtarış edənin qarşısına çıxarır.
Aşağıda qeyd ediyim mətn sətrlərini fayla linkləri allow (icazə vermək), disallow (icazə verməmək, bloklamak) ilə təyin edə bilərsiz.
User-agent: Googlebot
Allow: /
Disallow: /login/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /temp/
Disallow: /search/
Disallow: /test1/*
Sitemap: https://www.yourdomen.com/sitemap.xmlUser-agent: Googlebot – Adından da bildiyi kimi Google botlarının saytı skan edilməsi əmri verir.
Allow: / – Saytın bütün linklərinin botlar tərəfindən skan edilməsinə icazə verir.
Disallow: – Saytın spesifik linklərinin botlar tərəfindən bloklanmasını, yəni botların sayta daxil olduqda həmin linkləri nəzərə almamasını təmin edirik. Bununla istənilən linki bloklaya bilərsiz. Yuxarıda verdiyim nümunə linklərdə saytınıza uyğun hansı səhifə, kateqoriya, şəkil, video, .pdf kimi sənədləri Google-da görünməsini bloklaya bilərsiz. Bütün saytınız Google-da görünsə də Disallow: verdiyiniz bütün əmrlər Google-da görünməyəcək.
Disallow: ilə saytın istənilən linkdə yerləşən məzmunu bloklaya bilərsiz. Məsələn: https://blog.aim.az/wp-content/uploads/images_23.webp bu linkdəki şəklin Google-da görünməsini istəməsəm Disallow: /wp-content/uploads/images_23.webp əmri ilə botlar tərəfindən bloklanacaq. Əsas odur ki, domen adından sonrakı “/” simvolundakı linki Disallow: / əmri ilə bu bloklanmanı edə bilərsiz.
Sitemap: – Rank Math və ya Yoast SEO qoşmalarının avtomatik yaratdığı sayt xəritəsini daxil edirsiz.
Digər axtarış motorlarından bloklamak
Bildiyiniz kimi Google ilə yanaşı bir necə axtarış motorlarının botları var. Siz fərdi şəkildə həmin faylın daxilində boş hissəsində aşağıda göstərdiyim mətn sətrini daxil etməklə, Çin bazarı üçün fəalliyyət göstərən Baiduspider botlarını saytınıza daxil olmasını bloklaya bilərsiz. Həmçinin DuckDuckGo-nun botu olan DuckDuckbot kimi bir necə axtarış motorları botlarını saytlarınızı skan etməsinə və ya bloklanmasını edə bilərsiz.
User-agent: Baiduspider
Disallow: /
User-agent: DuckDuckbot
Disallow: /Robots.txt faylını saytın kök fayllarına necə əlavə edilir?
Faylı yuxarıda göstərdiyim nümunələrlə yaratdıqdan sonra WordPress saytınızın olduğu hostinqin cPanel və fərqli hostinqin öz admin panelində public_html qovluğunun içinə əlavə etmək lazımdır. Əgər veb-saytınız serverə bağlıdırsa, cPanel kimi admin panel yoxdursa və ya hər dəfəsində panelə daxil olmaq istəmirsinizsə, Qoşmalar – Yenisini əlavə et – File Manager qoşmasını yükləyirsiz.
Qoşmanı yüklədikdən sonra sol tərəfdə həmin qoşmaya daxil olub, şəkildə göstərdiyim butona klikləyib, yaratdığınız faylı yükləyirsiz. Şəkildən göründüyü kimi faylın adı mütləq robots.txt olmalıdır.
File Manager qoşması bu kimi xırda məsələlərdə çox köməklik göstərir. Xüsusilə veb-saytınız serverə bağlıdırsa, cPanel kimi panel yoxdursa bu qoşma ilə fayllarda düzəlişlər edə bilərsiz. Növbəti WordPress həllərində bu qoşma üzərindən nümunələr göstərəcəm.
Subdomen olarsa robots.txt faylına ehtiyac varmı?
Bəli ehtiyac var! Subdomen public_html kök faylında yerləşməsinə baxmayaraq fərdi WordPress saytı kimi tənzimlənir. Subdomeni index-lənməsini söndürə və ya botlar tərəfindən taramasını təmin edə bilərsiz. Hazırda oxuduğunuz link aim.az saytının blog.aim.az subdomenidir. Fərdi şəkildə temalar, qoşmalar, səhifələr, bloq yazılar var və digər saytlar kimi eyni prosesləri edirəm.
Qeyd edim ki, public_html kök qovluğu yalnız WordPress sistemində olur və digər saytların ana qovluğu fərqli adlana bilər. İçində təyin etdiyiniz mətn sətrləri olan yaratdığınız faylı developer-ə verdiyinizdə sizin üçün ana qovluğa əlavə edəcəkdir.
