Robots.txt գեներատոր. կարգավորումների և արդյունքի ուղեցույց

Սկսեք կանոնի նպատակից

robots.txt գեներատորը կազմում է տեքստ, որը նախատեսված է որոնիչների սողալն ու ինդեքսավորումը ուղղորդող կանոններ ներկայացնելու համար։ Այն օգտակար է, երբ պետք է մեկ բաժնում նշել User-agent-ը, ընտրել թույլատրող կամ սահմանափակող ռեժիմ, ավելացնել առանձին ուղիներ, Sitemap-ի արժեք կամ Crawl-Delay-ի արժեք։ Արդյունքը պետք է դիտարկել որպես կազմված տեքստ, որի տողերը դուք կարդում և գնահատում եք ձեր կանոնի նպատակի համատեքստում։

Մինչև լրացնելը որոշեք, թե որ սողացողին է վերաբերում կանոնը և ինչ հասանելիություն եք ուզում նկարագրել։ Եթե User-agent դաշտը չլրացնեք, գործիքը կօգտագործի * արժեքը։ Թույլատրող կարգավորումը հարմար է այն դեպքի համար, երբ արդյունքում պետք է լինի դատարկ Disallow հրահանգ։ Սահմանափակող տարբերակի համար նախապես կազմեք այն ուղիների ցանկը, որոնք պետք է ներկայացվեն առանձին հրահանգներով։

Sitemap-ի և Crawl-Delay-ի դաշտերը լրացրեք միայն այն ժամանակ, երբ համապատասխան տողերը պետք են ձեր կազմվող բաժնում։ Մուտքագրումները նախապես վերանայեք, որովհետև գործիքը դրանք տեղադրում է արդյունքի մեջ՝ սահմանված տողային մշակմամբ։ Կազմված տեքստը ինքնին չի նշանակում, որ այն արդեն կիրառվել է որևէ կայքում։

Լրացրեք և ստուգեք մուտքերը

1. Բացեք գեներատորի դաշտերը և User-agent-ում գրեք այն արժեքը, որի համար պետք է կազմվի կանոնը։ Դաշտը պարտադիր չէ։ Եթե այն դատարկ թողնեք, արդյունքը կօգտագործի *, իսկ առաջին տողում կտեսնեք այդ արժեքը պարունակող User-agent հրահանգը։ Եթե նշում եք այլ արժեք, արդյունքը համեմատեք հենց ձեր մուտքագրած արժեքի հետ։

2. Ընտրեք հասանելիության ռեժիմը։ Թույլատրող տարբերակի դեպքում կազմված տեքստում կավելանա դատարկ Disallow հրահանգ։ Սահմանափակող տարբերակի դեպքում ուղիների դաշտում գրեք յուրաքանչյուր ուղի առանձին տողով, օրինակ՝ /admin և /private/։ Տողերի սկզբի ու վերջի բացատները կհեռացվեն, դատարկ տողերը կանտեսվեն, իսկ մնացած յուրաքանչյուր ուղի կդառնա առանձին Disallow հրահանգ։

3. Սահմանափակող ռեժիմ ընտրելուց հետո ուշադիր ստուգեք ուղիների դաշտը։ Եթե այնտեղ չկա օգտագործելի, ոչ միայն բացատներից կազմված արժեք, արդյունքը կներառի Disallow: / հրահանգը։ Այդ տարբերակը մի շփոթեք կոնկրետ բաժնի ուղու հետ. նախքան ստեղծելը համոզվեք, որ արմատային ուղու սահմանափակումը համապատասխանում է ձեր նպատակին։

4. Եթե անհրաժեշտ է Sitemap-ի տող, համապատասխան դաշտում գրեք ոչ միայն բացատներից կազմված արժեք։ Այդ դեպքում արդյունքին կավելանա դատարկ տող, ապա Sitemap տող՝ տրամադրված արժեքով։ Crawl-Delay-ի դաշտում ոչ դատ

Կարդացեք ստացված տողերը

միայն բացատներից կազմված բովանդակությունը նույնպես կավելացնի Crawl-Delay տողը՝ ձեր տրամադրած արժեքով։ Այս դաշտերում մուտքագրված արժեքների համար առանձին URL կամ թվային իմաստի ստուգում չի նկարագրվում, ուստի նախապես վերանայեք դրանց ձևը և բովանդակությունը։

1. Ստեղծեք տեքստը և կարդացեք այն վերևից ներքև։ Նախ համեմատեք առաջին User-agent տողը ձեր ընտրության հետ։ Այնուհետև հաշվեք Disallow հրահանգները և տեսեք՝ արդյոք յուրաքանչյուր նախատեսված ուղին հայտնվել է առանձին տողով։ Ստուգեք նաև դատարկ տողը, Sitemap-ի արժեքը և Crawl-Delay-ի արժեքը՝ դրանց հայտնվելը կապելով ձեր համապատասխան մուտքերի հետ։

Արդյունքը մեկնաբանեք որպես կանոնների հերթականություն։ Դատարկ Disallow հրահանգը համապատասխանում է թույլատրող կարգավորմանը, իսկ սահմանափակող ռեժիմում մաքրված ոչ դատարկ ուղիները ներկայացվում են առանձին հրահանգներով։ Օգտագործելի ուղիների բացակայության դեպքում / արժեքը ցույց է տալիս գեներացված պահուստային հրահանգը, ոչ թե ձեր մուտքագրած կոնկրետ բաժինը։

Sitemap-ի և Crawl-Delay-ի տողերը դիտեք միայն համապատասխան ոչ դատարկ մուտքագրման արդյունք։ Վերջնական ընթերցման ժամանակ ուշադրություն դարձրեք տառասխալներին, ուղիների ուղղագրությանը, հեռացված բացատներին և տողերի դասավորությանը։ Կազմված բովանդակությունը կարդացեք ամբողջությամբ՝ համոզվելու, որ այն համապատասխանում է ձեր կանոնի նպատակին։

Գործնական օրինակ

Կայքի վարչական և մասնավոր բաժինների համար դուք Googlebot-ին վերաբերող սահմանափակող robots.txt տեքստ եք կազմում՝ երկու առանձին ուղի նշելով։

User-agent դաշտում գրեք Googlebot, անջատեք թույլատրող ռեժիմը, ուղիների դաշտում նշեք /admin և /private/ առանձին տողերով, իսկ Sitemap դաշտում ավելացրեք նկարագրական ոչ դատարկ արժեք։ Հետո համեմատեք տողերի կառուցվածքը սպասվող ձևի հետ։

Արդյունքի կառուցվածքը պետք է ներառի User-agent տող, երկու առանձին Disallow տող, ապա դատարկ տող և Sitemap տող։ Crawl-Delay-ի տող չի լինի, քանի որ այդ դաշտը չի լրացվել։

Սահմանափակումներ

• Գործիքը ստեղծում է robots.txt տեքստ՝ որոնիչների սողալն ու ինդեքսավորումը ուղղորդելու համար, սակայն արդյունքը ինքնուրույն չի երաշխավորում որոնիչի վարքագիծը կամ կանոնի կիրառումը որևէ կայքում։

Հաճախակի սխալներ

• Սահմանափակող ռեժիմում ուղիների դաշտը դատարկ կամ միայն բացատներով լրացնելը ստեղծում է Disallow: / հրահանգ։ Ուղղում՝ գրեք անհրաժեշտ յուրաքանչյուր ուղին առանձին ոչ դատարկ տողով և ստուգեք, որ արմատային ուղին ձեր նախատեսած սահմանափակումը չէ։

Հաճախ տրվող հարցեր

Ի՞նչ է լինում, երբ User-agent-ը չեմ լրացնում։

Եթե User-agent դաշտը դատարկ է, գործիքը կիրառում է * արժեքը, և արդյունքը սկսվում է այդ արժեքը պարունակող User-agent տողով։ Այլ սողացողի համար լրացրեք դաշտը։

Ի՞նչ Disallow է ստացվում առանց ուղիների։

Առանց օգտագործելի ուղու արդյունքը կախված է ռեժիմից. թույլատրող դեպքում հայտնվում է դատարկ Disallow, իսկ սահմանափակող դեպքում՝ Disallow: / հրահանգը։

Ո՞ր դեպքում է ավելանում Crawl-Delay-ը։

Crawl-Delay-ի տողը ավելանում է, երբ դաշտում կա ոչ միայն բացատներից կազմված բովանդակություն։ Տողում օգտագործվում է ձեր տրամադրած արժեքը։