robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Rīks darbojas tieši pārlūkprogrammā un ir gatavs ātrai pārbaudei, neinstalējot programmatūru.
Ievadīto informāciju var nekavējoties notīrīt un pārrēķināt, kas ir noderīgi atkārtotiem maziem uzdevumiem.
Izmantojiet pilnekrāna režīmu, ja nepieciešams vairāk vietas garam tekstam, strukturētiem datiem vai lieliem rezultātu blokiem.
Izveidotajā izvadē ir pieejamas kopēšanas pogas, lai rezultātus varētu atkārtoti izmantot kodā, dokumentos vai atbalsta tērzēšanā.
Lielākā daļa darbību ir deterministiskas: viena un tā pati ievade un opcijas rada vienu un to pašu izvadi.
Sensitīvam saturam dodiet priekšroku vietējiem pārlūka rīkiem un pārskatiet rezultātu, pirms to kopīgojat.