El Referrer Spam: qué es y cómo controlarlo

  • 21-Abr-2016 23:31:25

internet-spam   El Referrer Spam (spam de referencia) es un fenómeno relativamente nuevo al que en un principio no dimos especial importancia ya que en el peor de los casos nos podía generar una decena de visitas falsas, pero que a día de hoy está contaminando cada vez más las estadísticas de nuestros sitios (especialmente de aquellos con menor cantidad de tráfico) y que ya se ha hecho imprescindible controlar.   A grandes rasgos, llamamos spam de referencia a todas aquellas fuentes de tráfico que se “cuelan” en nuestras estadísticas de Google Analytics sin que tras ellas haya una visita real, sino que se trata de visitas automatizadas que no tienen por objetivo más que intentar que el webmaster acceda al sitio web, generar cookies o visitas para programas de afiliados, etc. Hace tan sólo unos meses eran pocas las referencias que veíamos de este tipo, y podríamos decir que el pionero fue semalt.com, que incluso en su propia web ofrecía amablemente un formulario para solicitar que sus robots dejaran de visitarnos. A día de hoy la cantidad de referencias spam se ha multiplicado exponencialmente, y con ellas las dificultades para bloquearlas; ya no sólo se trata de robots que visitan nuestra web  (aunque siguen siendo la mayoría), sino que también se registran cada vez más llamadas directas a IDs de Google Analytics, que no llegan siquiera a visitarnos ni pueden ser detectadas por el servidor, pero sí que las vemos en Google Analytics.  

¿A qué sitios nos referimos?

  Como decíamos, la variedad de sitios que realizan estas prácticas no deja de aumentar, lo que hace muy difícil conocerlos todos y nos obliga a permanecer alerta y pendientes de cualquier nueva referencia que detectemos con un perfil sospechoso.   Entre los rasgos comunes que suelen tener estas referencias encontramos el porcentaje de rebote de un 100%, un tiempo de permanencia nulo (00:00), y sólo 1 página vista/sesión, aunque últimamente se registran perfiles más variados. En cuanto a las temáticas de estos sitios, los pioneros y los que siguen siendo más abundantes fueron páginas relacionadas con herramientas SEO o desarrollo web, aunque también podemos encontrar sitios pornográficos, tiendas online de dudosa calidad, foros… Incluimos a continuación un listado de algunos de los sitios que detectamos actualmente con mayor frecuencia:  
  • buttons-for-website.com
  • buttons-for-your-website.com
  • openlinkprofiler.org
  • redtube-talk-ga
  • semalt.com
  • webmaster-traffic.om
  • duckduck.go
  • www.Get-Free-Traffic-Now.com
  • www.see-your-website-here.com
  • best-seo-offer.com
  • best-seo-solution.com
  • buy-cheap-online.info
  • googlsucks.com
  • free-share-buttons.com
  • darodar.com
  • ilovevitaly.com
  • 4webmasters.org
  • fiverr.com
  En el caso de las visitas que aparecen a partir de llamadas al ID de Analytics (que ni siquiera registran qué sitio web están visitando) podemos detectarlas también en Google Analytics desde el informe de Referencias seleccionando como dimensión secundaria Nombre de host; normalmente las visitas reales en este campo tendrán el nombre de nuestro dominio, mientras que las visitas spam mostrarán (not set), un nombre de dominio aleatorio o su propio dominio:   Muestra de hosts spam en el informe de referencias  

¿Por qué queremos eliminar estas visitas spam?

  Aunque estas visitas puedan parecer inofensivas, nos interesa eliminarlas por los siguientes motivos:   – Contaminan cada vez más nuestros datos de Google Analytics, concretamente en cuanto al tráfico procedente desde Referencias. Hemos visto casos en que este tipo de visitas ya suponen varios centenares de sesiones mensuales, lo que quizá en un sitio con bastante volumen de tráfico no es relevante, pero para webs con menor cantidad de visitas puede distorsionar considerablemente las estadísticas.   – Los sitios a los que hacen referencia pueden ser trampas para instalar software malicioso en nuestros dispositivos, cookies indeseadas o cualquier otro tipo de práctica fraudulenta que pueden acarrearnos serios problemas (al ver este tipo de sitios en los informes de Analytics, lo más importante es no pinchar!)  

¿Cómo podemos eliminarlas?

  Llegamos a la parte más útil, y también compleja. Ante esta nueva forma de spam se han ido utilizando diversas estrategias para bloquearlas, pero a día de hoy no todas son efectivas. Reflejamos a continuación las opciones existentes, que podrán funcionar en algunos casos y en otros no; será nuestra tarea testear los resultados hasta dar con la solución más efectiva.  

1. Bloquear mediante .htaccess

  Parece la solución más lógica y eficaz: eliminar estas referencias no sólo para que no las veamos en Analytics, sino para que no vuelvan a visitarnos nunca más, bloqueándolas desde nuestro servidor (si es Apache) mediante el archivo .htaccess. Deberíamos añadir cada referencia que queremos bloquear siguiendo este patrón:   # Block Referrer Spam RewriteEngine on RewriteCond %{HTTP_REFERER} ^http://.*redtube-talk.ga/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-website.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openlinkprofiler.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*webmaster-traffic.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*duckduckgo.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*Get-Free-Traffic-Now.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*see-your-website-here.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*semalt.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*darodar.com/ [NC] RewriteRule ^(.*)$ – [F,L]   Completaríamos con los sitios que sean necesarios en cada caso. En el ejemplo se utilizan expresiones regulares ya que con frecuencia estas referencias se van transformando en otras con denominación muy similar para ir esquivando los filtros.   Este método será efectivo sólo para aquellos casos en que se trate de robots que visitan nuestro sitio; en los casos en que se trate de llamadas a nuestro ID de Analytics, ni siquiera existe una visita a nuestra web por lo tanto el servidor no puede bloquear nada, y seguirán apareciendo en nuestro Analytics.  

2. Usar la lista de exclusión de referencia de la propiedad

  Tanto en este caso como en los que describiremos a continuación, actuaremos directamente sobre los datos de Analytics para dejar de ver estas referencias spam, lo que no implica que dejemos de recibirlas. En todos los casos recomendamos hacer los filtros o exclusiones en una vista de pruebas, comprobar si los datos se están filtrando correctamente, y si es así pasarlos a la vista principal. También es recomendable conservar una vista sin filtros o exclusiones, para poder hacer seguimiento de las variaciones en estas referencias, si surgen nuevas y otras van desapareciendo, etc.   Volviendo a este método, podemos configurarlo desde la administración de la cuenta, en Propiedad > Lista de exclusión de referencia:   Lista de exclusión de referencia   Desde ahí podremos ir añadiendo cada dominio que queramos excluir de nuestro tráfico de referencia. Este método sólo funciona con Universal Analytics. Aunque es un método sencillo y algunas veces puede ser efectivo, en la práctica se ha observado que no es del todo fiable, ya que en muchas ocasiones (sobre todo cuando se trata de visitas recurrentes), pasa a contabilizarlas como tráfico directo, con lo que seguimos teniendo la misma contaminación de datos, pero en otro sitio.  

3. Excluir mediante filtros

  A día de hoy este es el método más efectivo y utilizado, aunque sigue sin ser infalible. Se trata de filtrar el tráfico de cada dominio spam, desde la administración de Analytics, en Vista > Filtros. El más recomendado y efectivo que hemos testeado (aunque otros también pueden funcionar) es el filtro de exclusión de tráfico del dominio del ISP:   filtro exclusión tráfico del dominio ISP en Google Analytics   Si tenemos varios dominios spam para excluir (que normalmente los tendremos), en lugar de añadirlos uno a uno también podemos incluirlos en un mismo campo, separando cada dominio mediante barras verticales (|), por ejemplo webmaster-traffic.com|best-seo-offer.com, etc. Podemos utilizar también aquí las expresiones regulares que vimos anteriormente. Como decíamos al principio, aunque hasta ahora había sido el método más recomendado, se están encontrando algunos casos en los que está dejando de funcionar. Como siempre, se trata de testear y comprobar en cada caso lo que responda a lo que necesitamos.  

4. Utilización de segmentos personalizados

  Como último recurso, 100% efectivo aunque en algunos sentidos puede ser menos práctico que los anteriores, tenemos la creación de segmentos personalizados. En este caso no estamos filtrando definitivamente el tráfico para que dejemos de verlo en todo momento en nuestra cuenta, sino que simplemente creamos un segmento o grupo dentro de nuestra cuenta de Analytics en que aislamos estas referencias, y podremos mostrarlas u ocultarlas según nos convenga.   Configuraremos el segmento desde cualquier informe de Analytics, pinchando en la opción Agregar segmento que encontramos en la parte superior. Vamos a crear un segmento a medida, para lo que pincharemos en Crear segmento, y en Opciones avanzadas seleccionaremos Condiciones. Lo nombraremos como queramos, y seleccionaremos las opciones que se observan en la siguiente captura:   crear segmento referencias spam   Una vez que hayamos añadido todas las referencias que queremos excluir mediante condiciones, guardamos y veremos todos nuestros informes con el segmento que acabamos de crear (no hay que olvidar desmarcar el informe Todas las sesiones, que se aplica por defecto).   Como decíamos es una solución 100% efectiva y que incluso puede ser más práctica, al poder ver el tráfico filtrado o no con bastante facilidad. Como inconveniente, al abrir cada nueva sesión en Analytics tendremos que volver a seleccionar el segmento, aunque ya lo tendremos creado y disponible para seleccionar rápidamente, o incluso atajar creando un acceso directo o añadiéndolo a nuestro panel personalizado. Fuente: EV