Robots.txt er en fil på din server, som anviser Google om hvordan den skal bevæge sig rundt på din hjemmeside. For de fleste hjemmesider kan den findes på eksempel.dk/robots.txt. Her kan man blandt andet begrænse hvor hurtigt og ofte robotterne må lande på din hjemmeside, begrænse dem fra at ramme særlige sider eller dele af din hjemmeside samt anvise hvor dit XML sitemap ligger henne.