# robots.txt for http://www.noticiasautomotivas.com.br/
# mexi nele em 7 de junho de 2007 pra acabar com problema de duplicated e supplemental, tirando /email e /plugins
# em 19 de maio de 2008, adicionei mais algumas coisas, listadas depois do *?*, tambem duggmirror e archiver
# em 14 de agosto de 2008 adicionei wp-, cache, themes, comments feed e 2005 a 2009
# em 23 de setembro de 2008 tirei 2005 a 2009, porque as paginas de arquivos ja estao com noindex
# em 15 de abril de 2009 deixei o feed ser indexado
# em 9 de abril de 2010 incluí arquivos php

User-agent: *
Disallow: /_private/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /*?*
Disallow: /*.php$
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /carros/
Allow: /fotos-de-carros/
Allow: /fotos-de-motos/

User-agent: duggmirror
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Slurp
Crawl-delay: 10

Sitemap: http://www.noticiasautomotivas.com.br/sitemap.xml