robots.txt e sitemap

Sem crawler. Você cola as URLs que já tem.