Robots.txt nədir?

Robots.txt vebsayta daxil olmağa çalışan botlar (əsasən axtarış motorları) üçün təlimatları olan mətn faylıdır. O, veb-saytınızı yalnız skan edilməsini təmin edir, amma indexlənməsinə birbaşa zəmanət vermir. Veb-saytınızda botların hansı linkləri skan edilməsi və ya bloklanmasını təyin edə bilərsiz. Məsələn, saytınızda foto, video, kateqoriyaları, hər hansı nümunə üçün yaratdığınız səhifəni botların indexlənməsini bloklaya bilərsiz. Robots.txt domenin kök kataloqunda saxlanılır. Botlar sayta daxil olduqdan sonra ilk görəcəyi iş robots.txt faylını axtarıb, oxumaq olur.

Robots.txt faylı yaratmamısınızsa belə, axtarış motorları hələ də saytınızı indeksləyəcək. Bu fayl olmadan, məzmununuzu indeksləşdirmək üçün bütün işləri botlara buraxırsınız. Botlar həddən artıq əhatəli olduğu üçün, veb-saytınızda digər insanların axtarış nəticələri kimi daxil ola bilmədiyi səhifələri göstərəcəklər.

Robots.txt faylı necə yaradılır?

Robots.txt faylı, adından göründüyü kimi Windows və ya Mac sistemlərində mouse-u sağ klikləyib, yeni fayl yarat bölməsindən Text Document faylını açıb aşağıda nümunə kimi göstərdiyim mətn sətlərini daxil etməklə yaradılır. Unutmaq lazım deyil ki, faylın adı mütləq robots.txt olmalıdır.

Faylı yaratdıqdan sonra bir necə mətn sətrlərini daxil edərək, axtarış motorlarının botlarını veb-saytınızda gəzməsini təmin edə bilərsiz. Axtarış motorlarında hər hansı məzmun, açar sözü yazılanda botlar milyardlarca linklər arasında oxşar məzmunları tapıb, axtarış edənin qarşısına çıxarır.

Aşağıda qeyd ediyim mətn sətrlərini fayla linkləri allow (icazə vermək), disallow (icazə verməmək, bloklamak) ilə təyin edə bilərsiz.

User-agent: Googlebot

Allow: /
Disallow: /login/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /temp/
Disallow: /search/
Disallow: /test1/*

Sitemap: https://www.yourdomen.com/sitemap.xml

User-agent: Googlebot – Adından da bildiyi kimi Google botlarının saytı skan edilməsi əmri verir.

Allow: / – Saytın bütün linklərinin botlar tərəfindən skan edilməsinə icazə verir. Hər bir saytın öz linkləri olduğundan hansı linklərin botlar tərəfindən indekslənməsini təyin edə bilərsiniz. Yuxarıda göstərdiyim nümunələr ümumidir və bütün saytlar üçün eyni qayda deyil.

Disallow: – Saytın spesifik linklərinin botlar tərəfindən bloklanmasını, yəni botların sayta daxil olduqda həmin linkləri nəzərə almamasını təmin edirik. Bununla istənilən linki bloklaya bilərsiz. Yuxarıda verdiyim nümunə linklərdə saytınıza uyğun hansı səhifə, kateqoriya, şəkil, video, .pdf kimi sənədləri Google-da görünməsini bloklaya bilərsiz. Bütün saytınız Google-da görünsə də Disallow: verdiyiniz bütün əmrlər Google-da görünməyəcək.

Disallow: ilə saytın istənilən linkdə yerləşən məzmunu bloklaya bilərsiz. Məsələn: https://blog.aim.az/wp-content/uploads/images_23.webp bu linkdəki şəklin Google-da görünməsini istəməsəm Disallow: /wp-content/uploads/images_23.webp əmri ilə botlar tərəfindən bloklanacaq. Əsas odur ki, domen adından sonrakı “/” simvolundakı linki Disallow: / əmri ilə bu bloklanmanı edə bilərsiz.

Aşağıda göstərdiyim nümunədə * (ulduz) işarəsi o deməkdir ki, www.yoursite.com/test1/ – dən olan bütün linklər axtarış botlarından bloklanacaq.

User-agent: Googlebot

Allow: /
Disallow: /test1/*

Sitemap: – Rank Math və ya Yoast SEO qoşmalarının avtomatik yaratdığı sayt xəritəsini daxil edirsiz.

Digər axtarış motorlarından bloklamak

Bildiyiniz kimi Google ilə yanaşı bir necə axtarış motorlarının botları var. Siz fərdi şəkildə həmin faylın daxilində boş hissəsində aşağıda göstərdiyim mətn sətrini daxil etməklə, Çin bazarı üçün fəalliyyət göstərən Baiduspider botlarını saytınıza daxil olmasını bloklaya bilərsiz. Həmçinin DuckDuckGo-nun botu olan DuckDuckbot kimi bir necə axtarış motorları botlarını saytlarınızı skan etməsinə və ya bloklanmasını edə bilərsiz.

User-agent: Baiduspider
Disallow: /

User-agent: DuckDuckbot
Disallow: /

Yoast SEO ilə robots.txt yaratmaq

Yoast SEO qoşması, WordPress-in ən populyar SEO qoşmasıdır və açar sözləri daha yaxşı əks etdirmək üçün yazılarınızı və səhifələrinizi optimallaşdırmağa imkan verir. Bundan əlavə, məzmununuzun oxunaqlılığını artırmağa kömək edir ki, ziyarətçilər daha xoş vaxt keçirə bilsinlər.

Yoast SEO ilə robots.txt faylı yaratmaq üçün qoşmanı quraşdırıb, aktivləşdirdikdən sonra admin panelindən SEO > Tools bölməsini açın və Fayl Redaktoru üzərinə klikləyin.

Bu keçidə kliklədiyiniz zaman .htaccess faylını redaktə edə biləcəyiniz yeni səhifəyə yönləndiriləcəksiniz. Daha sonra “Create Robots.txt faylı file” bölməsinə klikləyin.

Bu düyməni kliklədiyiniz zaman tabda yeni redaktor görəcəksiniz və siz robots.txt faylını buradan birbaşa redaktə edə bilərsiniz. Unutmayın, Yoast SEO mövcud virtual robots.txt faylını əvəz edən öz standart qaydalarını təyin edir. Hər dəfə yeni qayda əlavə etdiyiniz və ya sildiyiniz zaman dəyişiklikləri robots.txt-də yadda saxla düyməsini klikləməyi unutmayın.

Bu qədər asandır!

Robots.txt faylını saytın kök fayllarına əlavə edilməsi

Faylı yuxarıda göstərdiyim nümunələrlə yaratdıqdan sonra WordPress saytınızın olduğu hostinqin cPanel və fərqli hostinqin öz admin panelində public_html qovluğunun içinə əlavə etmək lazımdır. Əgər veb-saytınız serverə bağlıdırsa, cPanel kimi admin panel yoxdursa və ya hər dəfəsində panelə daxil olmaq istəmirsinizsə, Qoşmalar – Yenisini əlavə et – File Manager qoşmasını yükləyirsiz.

Qoşmanı yüklədikdən sonra sol tərəfdə həmin qoşmaya daxil olub, şəkildə göstərdiyim butona klikləyib, yaratdığınız faylı yükləyirsiz. Şəkildən göründüyü kimi faylın adı mütləq robots.txt olmalıdır.

File Manager qoşması bu kimi xırda məsələlərdə çox köməklik göstərir. Xüsusilə veb-saytınız serverə bağlıdırsa, cPanel kimi panel yoxdursa bu qoşma ilə fayllarda düzəlişlər edə bilərsiz.

WordPress robots.txt faylını test edilməsi

WordPress robots.txt faylınız yaradıldıqdan və yükləndikdən sonra Google Search Console-dan istifadə edərək hər hansı səhvləri yoxlaya bilərsiniz. Bu axtarış konsolu Google-un təklif etdiyi alətlər toplusundan ibarətdir ki, məzmununuzun axtarış motorlarında necə göründüyünü yoxlayasınız. Bu vasitələrdən biri də nəzarətçi kimi tanınan robots.txt yoxlayıcısıdır. Bu alətdən istifadə etmək üçün konsola daxil olduqdan sonra robots.txt Tester bölməsinə klikləyin.

WordPress robots.txt fayl kodunu əlavə edə biləcəyiniz redaktoru görəcəksiniz, onun altındakı Göndər düyməsini klikləyin. Google Axtarış Konsolu sizdən yeni kodu istifadə etmək istəmədiyinizi soruşacaq. Manual olaraq təqdim etmək üçün “Ask Google to Update” üzərinə klikləyin.

İndi platforma faylınızı və səhvləri yoxlayacaq. Hər hansı bir səhv varsa, onları sizə göstərəcəkdir. Ancaq indiyə qədər birdən çox WordPress robots.txt faylı gördüyünüzə görə, faylınız çox güman ki, mükəmməl vəziyyətdə olacaq!

Subdomen olarsa robots.txt faylına ehtiyac varmı?

Bəli ehtiyac var! Subdomen public_html kök faylında yerləşməsinə baxmayaraq fərdi WordPress saytı kimi tənzimlənir. Subdomeni index-lənməsini söndürə və ya botlar tərəfindən taramasını təmin edə bilərsiz. Hazırda oxuduğunuz link aim.az saytının blog.aim.az subdomenidir. Fərdi şəkildə temalar, qoşmalar, səhifələr, bloq yazılar var və digər saytlar kimi eyni prosesləri edirəm.

Qeyd edim ki, public_html kök qovluğu yalnız WordPress sistemində olur və digər saytların ana qovluğu fərqli adlana bilər. İçində təyin etdiyiniz mətn sətrləri olan yaratdığınız faylı developer-ə verdiyinizdə sizin üçün ana qovluğa əlavə edəcəkdir.

Nəticə

Saytınızın görünürlüğünü artırmaq üçün axtarış motoru botlarının ən dəqiq məlumatı indekslədiyindən əmin olmalısınız. WordPress robots.txt faylı bu botların saytınızla necə qarşılıqlı əlaqədə olduğunu dəqiq müəyyənləşdirir. Bu yolla, botlar ziyarətçilərə daha uyğun və faydalı məzmun təqdim edə bilər.