##
## Deshabilitamos que entre en los directorios donde no hace falta
User-agent: *
Disallow: /admin
Disallow: /include
Disallow: /imagenes
Disallow: /images
Disallow: /estilos
Disallow: /proyectos
Disallow: /flash
Disallow: /stats
Disallow: /scripts

## 
## Configuramos para Google

# Pasamos de Google Imagenes
User-agent: Googlebot-Image
Disallow: /*
Allow: 

# Permitimos Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

##
## Configuramos para que solo procese un documento cada 5 segundos de 00 a 07 am
## Las horas son GMT
Visit-time: 2300-0600		
Request-rate: 1/5	

##
## Configuracion de Yahoo
## Un doucmento cada 5 segundos
User-agent: Slurp
Crawl-delay: 5