Den gratis robots.txt-filgenerator gør det nemt at producere en robots.txt-fil til din hjemmeside baseret på input.
robots.txt er en fil, der kan placeres i rodmappen på dit websted for at hjælpe søgemaskiner med at indeksere dit websted mere passende. Søgemaskiner som Google bruger webcrawlere eller robotter, der gennemgår alt indholdet på dit websted. Der kan være dele af dit websted, som du ikke ønsker, at de skal gennemgå for at inkludere i brugersøgeresultater, såsom admin-siden. Du kan tilføje disse sider til filen for at blive eksplicit ignoreret. Robots.txt-filer bruger noget, der kaldes Robots Exclusion Protocol. Dette websted vil nemt generere filen for dig med input af sider, der skal udelukkes.