De Gratis robots.txt-bestand generator stelt je in staat om eenvoudig een robots.txt-bestand voor je website te maken op basis van invoer.
robots.txt is een bestand dat in de hoofdmap van je website kan worden geplaatst om zoekmachines te helpen je site beter te indexeren. Zoekmachines zoals Google gebruiken websitecrawlers, of robots, die alle inhoud op je website doorzoeken. Er kunnen delen van je website zijn die je niet wilt dat ze doorzoeken om op te nemen in zoekresultaten voor gebruikers, zoals de beheerderspagina. Je kunt deze pagina's toevoegen aan het bestand om ze expliciet te laten negeren. Robots.txt-bestanden gebruiken iets dat het Robots Exclusion Protocol wordt genoemd. Deze website genereert het bestand eenvoudig voor je met invoer van pagina's die moeten worden uitgesloten.