Semalt: როგორ დაბლოკოს Darodar Robots.txt

Robots.txt ფაილი არის ტექსტური ტიპიური ფაილი, რომელიც შეიცავს ინსტრუქციებს იმის შესახებ, თუ როგორ უნდა მოხვდეს ვებ მცოცავები ან ბოტები. მათი გამოყენება აშკარაა საძიებო სისტემებში , რომლებიც გავრცელებულია მრავალ ოპტიმიზებულ ვებსაიტებში. რობოტების გამორიცხვის ოქმის (REP) ნაწილი, robots.txt ფაილი წარმოადგენს ვებსაიტის შინაარსის ინდექსის აუცილებელ ასპექტს, ასევე სერვერს საშუალებას აძლევს, რომ მომხმარებლის მოთხოვნების გადამოწმება მოახდინოს შესაბამისად.

ჯულია ვაშნევა, Semalt უფროსი მომხმარებელთა წარმატების მენეჯერი, განმარტავს, რომ დაკავშირება საძიებო სისტემის ოპტიმიზაციის ასპექტია (SEO), რომელიც გულისხმობს თქვენი ნიშების შიგნით სხვა დომენებისგან ტრეფიკის მოპოვებას. ბმულების გადაცემის გადასასვლელად "დაიცავით" ბმულები, აუცილებელია თქვენს ვებ – გვერდზე ჰოსტინგის სივრცეში ჩართოთ robots.txt ფაილი, რომ იმოქმედოთ როგორც ინსტრუქტორი იმის შესახებ, თუ როგორ მოქმედებს სერვერი თქვენს საიტზე. ამ არქივიდან ინსტრუქციები მოცემულია იმის საშუალებით, თუ როგორ მოიქცევიან ზოგიერთი კონკრეტული აგენტი.

Robots.txt ფაილის ძირითადი ფორმატი

Robots.txt ფაილი შეიცავს ორ მნიშვნელოვან ხაზს:

მომხმარებელი-აგენტი: [მომხმარებლის აგენტის სახელი]

უარი თქვით: [URL სტრიქონი არ უნდა დაიშალოს]

სრული robots.txt ფაილი უნდა შეიცავდეს ამ ორ ხაზს. ამასთან, ზოგიერთ მათგანს შეიძლება შეიცავდეს მომხმარებლის აგენტების და დირექტივების მრავალი ხაზი. ეს ბრძანებები შეიძლება შეიცავდეს ისეთ ასპექტებს, როგორებიცაა: საშუალებას, დისლოკაცია ან მცოცავი შეფერხება. ჩვეულებრივ, არსებობს ხაზის შესვენება, რომელიც ჰყოფს ინსტრუქციის თითოეულ ჯგუფს. თითოეული ნებადართული ან აკრძალვის ინსტრუქცია გამოყოფილია ამ ხაზის შესვენებით, განსაკუთრებით რობოტებისათვის. მრავალჯერადი ხაზით.

მაგალითები

მაგალითად, robots.txt ფაილი შეიძლება შეიცავდეს კოდებს, როგორიცაა:

მომხმარებელი-აგენტი: darodar

უარი თქვით: / მოდული

უარი თქვით: / API

უარი თქვით: / _კომპანიები

ამ შემთხვევაში, ეს არის ბლოკი robots.txt ფაილი, რომელიც ზღუდავს Darodar ვებ crawler– ს თქვენს ვებ – გვერდზე შესვლას. ზემოხსენებულ სინტაქსში კოდი ბლოკავს ვებსაიტის ასპექტებს, როგორიცაა მოდული, API და კომენტარების განყოფილება. ამ ცოდნიდან შესაძლებელია მრავალი სარგებელი მიღწევა რობოტის ტექსტური ფაილის ეფექტურად შესრულებისგან. Robots.txt ფაილებს შეუძლიათ მრავალი ფუნქციის შესრულება. მაგალითად, ისინი მზად არიან:

1. ვებგვერდების გვერდზე ნება დართეთ ყველა ვებ მტვირთავის შინაარსზე. Მაგალითად;

მომხმარებელი-აგენტი: *

უარი თქვან:

ამ შემთხვევაში, მომხმარებლის ყველა შინაარსს შეუძლია ნებისმიერი ვებ – სერვერის ნახვა, რომელსაც ვებსაიტზე მისასვლელად ითხოვენ.

2. კონკრეტული საქაღალდედან კონკრეტული საიტის ბლოკირება. Მაგალითად;

მომხმარებელი-აგენტი: Googlebot

უარი თქვით: / მაგალითად-ქვე-საქაღალდე /

მომხმარებლის აგენტის სახელი Googlebot ამ სინტაქსი Google- ს ეკუთვნის. ის ბოტს ზღუდავს სტრიქონში www.ourexample.com/example-subfolder/ სტრიქონის ნებისმიერ გვერდზე.

3. კონკრეტული ვებგვერდის დაბლოკვა კონკრეტული ვებ-გვერდზე. Მაგალითად;

მომხმარებელი-აგენტი: Bingbot

უარი თქვით: /example-subfolder/blocked-page.html

მომხმარებელთა აგენტი Bing bot ეკუთვნის Bing ვებ crawlers. ამ ტიპის robots.txt ფაილი ზღუდავს Bing ვებ მცოცავის წვდომას კონკრეტულ გვერდზე სტრიქონზე: www.ourexample.com/example-subfolder/blocked-page.

Მნიშვნელოვანი ინფორმაცია

  • ყველა მომხმარებელი არ იყენებს თქვენს robts.txt ფაილს. ზოგიერთმა მომხმარებელმა შეიძლება გადაწყვიტოს მისი უგულებელყოფა. ასეთი ვებ – სერვერების უმეტესობა მოიცავს Trojans და malware.
  • იმისათვის, რომ Robots.txt ფაილი ხილული იყოს, ის ხელმისაწვდომი უნდა იყოს ზედა დონის ვებგვერდზე.
  • სიმბოლოები "robots.txt" მგრძნობიარეა. შედეგად, თქვენ არ უნდა შეცვალოთ ისინი რაიმე ფორმით, ზოგიერთი ასპექტის კაპიტალიზაციის ჩათვლით.
  • "/Robots.txt" არის საჯარო დომენი. ყველას შეუძლია ამ ინფორმაციის პოვნა, როდესაც დაამატებს მას ნებისმიერი URL- ის შინაარსს. თქვენ არ უნდა ჩამოთვალოთ აუცილებელი დეტალები ან გვერდები, რომელთა დაცვა გსურთ.