21Jul Saliendo de los índices de los buscadores
Cuando decidí terminar mi antiguo blog, quise también sacarlo de los buscadores, no quería que quedasen diseminados miles de resultados en los buscadores que llevaban a un blog cerrado, y que habré movido de ubicación en breve.
El primer paso es sacarlo del todopoderoso Google. Ya hay quien dice que si no estás en google no existes, así que, como precisamente esa era mi intención, dejar de existir para el público, hacia ahí dirigí mis pasos.
Básicamente hay dos acciones a realizar. Una, evitar que los buscadores sigan indexando, y otra, intentar que olviden todo lo que ya han indexado.
La primera acción se consigue con el fichero robots.txt, un fichero que colocado en el directorio raiz de la web, indica a las arañas de los buscadores cómo deben corportarse con nuestro sitio. Así, pues, el primer paso es colocar el fichero con el siguiente contenido:
User-agent: *
Disallow: /
Con esto ya hemos conseguido que los buscadores (todos, como se indica en el User-agent: *) ya no indexen nada de nuestro dominio (deshabilitamos todo a partir de la raiz, es decir, todo el sitio).
El siguiente paso, es eliminar el contenido indexado. Empezamos por google, por ser el más utilizado hoy en día.
Necesitamos tener cuenta en Google y nuestro sitio verificado. Para ello, accedemos a nuestra cuenta y desde ahí vamos a las Herramientas para Webmasters o Webmaster tools. Añadimos nuestro sitio, en caso de no tenerlo aún y lo verificaremos.
Para verificar que el sitio es nuestro, Google nos indicará como proceder, pudiendo elegir entre modificar la cabecera de nuestra página índice añadiendo un campo meta, o bien, subiendo o creando un fichero con un nombre específico.
Hecho este paso, le diremos a google que prosiga con la verificación, con lo que ya habremos demostrar a Google que el sitio es nuestro.
Para no hacerlo eterno, y dada la facilidad con la que se hace, solo nos queda hacer click sobre nuestro dominio y a continuación elegir las Herramientas y dentro de estas, la Eliminación de URL, donde haremos una nueva solicitud de eliminación, pudiendo elegir qué eliminar (el sitio entero, un directorio, páginas o imagenes específicas).
Hecha la solicitud, quedará pendiente hasta que en la siguiente indexación, Google eliminará todo el contenido solicitado de su índice.
Yahoo.
La filosofía es la misma. En este caso accedemos a Yahoo! Site Explorer, donde realizaremos idénticos pasos que los descritos en el caso de Google para verificar nuestro sitio. Una vez verificado, podemos explorar el índice que tiene Yahoo! de nustro sitio, y en los resultados de la exploración junto a los enlaces a nuestro sitio, aparecerá un botón (al pasar el ratón sobre cada fila) que nos permitirá borrar una URL y/o path. Ahí haremos la solicitud, que al igual que en el caso de Google, quedará programada. Comentar que no es necesario borrar uno por uno todos nuestros enlaces. Se pueden utilizar rutas y así se borra todo lo contenido en esa ruta.
Microsoft Live Search.
Hasta el momento, desconozco la forma de salir de este buscador. Parece ser que se puede realizar algún tipo de solicitud al respecto, mediante correo electrónico y un formulario de solicitud genérico de incidencias. No me preocupa sobremanera, puesto que el sitio en cuestión lo cambiaré de ubicación y estará protegido de las arañas de los buscadores. En cualquier caso, un punto negativo para el buscador de Microsoft.
Archive.org
El último sitio del que quería eliminarlo es de archive.org, o “la máquina para viajar atrás en el tiempo”, como se definen. Este sitio mantiene un historial de nuestra web a lo largo del tiempo, pudiendo consultar, por ejemplo, como era el diseño del sitio hace cuatro años. Para sacar nuestro sitio de este particular indexador, basta con el fichero robots.txt descrito antes. La próxima vez que archive.org indexe nuestro sitio, acatará el contenido de dicho fichero y bloqueará nuestro contenido.
Y así, hemos logrado limpiar un poco internet. Seguramente sean muy raros los casos en que alguien quiere hacer desaparecer por completo su sitio, pero seguro que es mucho más común el interés por eliminar una ruta en particular, un fichero, o alguna imagen determinada, y para eso, también nos sirven estas herramientas.
