Robots.txt ֆայլի գեներատոր
Ստեղծեք robots.txt ֆայլ որոնողական համակարգերի և ռոբոտների ինդեքսավորումը կարգավորելու համար:
Գործարկել գործիքը
Robots.txt ֆայլի գեներատորը ստեղծում է որոնողական համակարգերի ռոբոտների համար հրահանգների կառուցվածքային տեքստ: Այս ֆայլը օգնում է կարգավորել կայքի էջերի սկանավորումն ու որոնման արդյունքներում դրանց ցուցադրումը: Դուք կարող եք ընտրել կոնկրետ որոնողական ռոբոտ կամ կիրառել կանոնները բոլոր համակարգերի վրա: Գործիքը թույլ է տալիս բացել ամբողջ կայքը հանրային ինդեքսավորման համար կամ սահմանափակել մուտքը դեպի առանձին փակ բաժիններ, օրինակ՝ կառավարման վահանակ, անձնական տվյալների պանակներ կամ ժամանակավոր ֆայլեր: Եթե անջատեք ամբողջական հասանելիության կարգավորումը և նշեք արգելված ուղիները, համակարգը յուրաքանչյուր նոր տողի համար կձևավորի համապատասխան արգելքի տող: Լրացուցիչ կարող եք ավելացնել կայքի քարտեզի հղումը և հարցումների միջև ընկած ժամանակային դադարի արժեքը: Գեներացված տեքստը պատրաստ է պատճենման: Դրանից հետո այն պետք է տեղադրեք ձեր սերվերի հիմնական արմատային պանակում, որպեսզի որոնողական բոտերը կարողանան կարդալ ձեր նշած սահմանափակումները: Եթե արգելված ուղիների դաշտը դատարկ մնա ամբողջական հասանելիությունն անջատելու դեպքում, ծրագիրը կստեղծի արգելք արմատային հասցեի համար՝ փակելով ամբողջ կայքը: Ստեղծված տեքստը ճշգրիտ կերպով արտացոլում է ձեր մուտքագրած պարամետրերը:
Հրահանգներ
- Նշեք որոնողական բոտի անվանումը (User-agent) կամ թողեք աստղանիշը բոլոր բոտերի համար:
- Ընտրեք ամբողջական հասանելիության տարբերակը կամ անջատեք այն՝ առանձին ուղիներ արգելելու նպատակով:
- Մուտքագրեք արգելված ուղիները առանձին տողերով (օրինակ՝ /admin/ կամ /private/):
- Անհրաժեշտության դեպքում լրացրեք կայքի քարտեզի հասցեն (Sitemap URL) և սկանավորման դադարի տևողությունը (Crawl-delay):
- Սեղմեք գործարկման կոճակը և արտագրեք ստացված պատրաստի տեքստը ձեր սերվերում տեղադրելու համար:
Օրինակներ
- Բոլոր բոտերի համար կայքի ամբողջական հասանելիության ապահովում և Sitemap հղման ավելացում: Մուտք՝ User-agent = *, Allow All = միացված, Sitemap Url = https://example.am/sitemap.xml: Ելք՝ User-agent: * Disallow: Sitemap: https://example.am/sitemap.xml
- Առանձին բաժինների արգելափակում բոլոր բոտերի համար: Մուտք՝ User-agent = *, Allow All = անջատված, Disallow Paths = /admin/ /tmp/, Crawl Delay = 10: Ելք՝ User-agent: * Disallow: /admin/ Disallow: /tmp/ Crawl-Delay: 10
ՀՏՀ
Որտե՞ղ պետք է տեղադրել robots.txt ֆայլը կայքում:
Ֆայլը պետք է տեղադրել կայքի արմատային պանակում, որպեսզի այն հասանելի լինի կայքի հիմնական հասցեի վերջում, օրինակ՝ https://example.am/robots.txt:
Ի՞նչ է տեղի ունենում, եթե ամբողջական հասանելիությունն անջատվի առանց ուղիներ նշելու:
Եթե հասանելիությունն անջատված է և որևէ ուղի նշված չէ, գործիքը ստեղծում է Disallow: / հրահանգը, ինչը նշանակում է ամբողջ կայքի սկանավորման արգելք:
Արդյո՞ք robots.txt ֆայլը երաշխավորում է էջերի լիակատար գաղտնիությունը:
Ոչ, robots.txt ֆայլը տալիս է հրահանգներ որոնողական ռոբոտներին, սակայն այն չի հանդիսանում անվտանգության համակարգ կամ գաղտնաբառային պաշտպանություն: