como bloquear o eliminar paginas con archivos robots.txt

COMO BLOQUEAR O ELIMINAR PAGINAS CON ARCHIVOS ROBOTS.TXT

Hola que tal nuevamente amigos blogueros, en esta oportunidad les voy a comentar todo acerca de los robots.txt , que son muy importantes para bloquear , eliminar o indexar  nuestra pagina web, Sin duda alguna estos simples codigos que estan alojados en la raiz de nuestro dominio son muy utiles para los webmasters , ya que la preocupacion es quedar siempre en los primeros lugares , porque resulta muy rentable.

Ejemplo 1 : talves lo mas comun que siempre veamos en directorio raiz de nuestro dominio sera lo siguiente :

User-agent: *
Disallow:
Este pequeño y simple codigo es establecido por defecto para que toda nuestra pagina sea revisada por los robots de google al momento de pasar por nuestro sitio web.

Ejemplo 2 : para negar el acceso a nuestra pagina web a todos los robots cuando pasen por nuestro sitio tan solo tendremos que hacer lo siguiente 

User-agent: *
Disallow: /

La barra "/" le indica que el directorio raiz de nuestro sitio o web no necesita ser revisada por lo que los robots no la revisaran .

Ejemplo 3 : Si talves lo que queramos es que no revisen las imagenes de nuestro sitio lo que haremos sera lo siguiente .

User-agent: *
Disallow: /images/
Aqui le estamos indicando a los robots que las imagenes del directorio raiz de nuestro sitio no sean revisadas.

Recuerda que es necesario que sepas distinguir entre mayusculas y minusculas ya que los robots son muy sencibles a los cambios.

Ejemplo 4 : Ahora ps bien si tu intencion es que tu sitio sea indexado por todos los robots tendras que hacer lo siguiente

User-agent: *
Allow: /

Nota si aun quieres que tu sitio tambien indexe los RSS de tu web, a la cual tu le has asignado por categorias tendras que hacer lo siguiente

User-agent:*

Allow: /php/rss/deportes.php
Allow: /php/rss/noticias.php

Nota : Todo depende de como tu quieras adaptar tu pagina web , porque tu eres el webmaster , y lo que tu haces es hacer las instrucciones que quieres que se cumplan , siempre y cuando sepas lo que estas haciendo , pero todo es facil cuando aplicas la teoria y luego la practica