Haciendo cuantitativo lo cualitativo (y viceversa)

Leo a Javier Godoy sobre las dificultades de medir el Engagement (qué buen post!, por cierto) y estoy dándole vueltas a la combinación de elementos que se tienen en cuenta para valorar un determinado post como de Alto, Medio o Bajo Engagement (valor de entre 0 y 10) en la aplicación que presenta: Post Rank.

Este tema me apasiona, y ya hace dos años realicé un boceto para medir los blogs de La Comunidad de Elpais.com en dónde ya otorgábamos valores cualitativos de 1 a 5 en función de los post, números de post, número de comentarios (post / comments) y tráfico. Proyecto que abandonamos porque resultaba tremendamente laborioso de realizar a medida que este producto de Elpais.com crecía significativamente.

Volviendo al tema. Comenta Javier:

“MI sospresa ha sido que Post Rank si tiene un servicio disponible que creo todos deberíamos instalar. Se trata de un plugin que añade a los lectores disponibles un valor de entre cero y diez que permite identficar, y lo mejor filtrar contenido de calidad”

Al fin y al cabo, perseguimos el objetivo de cuantificar lo cualitativo a través de valores asignados por varios resultados. En este caso, como nos explica Javier, lo hacen de la siguiente manera: (le copio):

# Creación: Cuando creamos contenido partiendo del contenido original
# Crítica: Cuando dejamos un comentario
# Conversación: Cuando el contenido genera comentarios fuera del propio lugar donde se ha publicado (Por ejemplo Twitter)
# Colección: Contenidos que se guardan en favoritos y agregadores de noticias
# Clicks: El modo más pasivo pero que genera vistas al contenido

http://www.postrank.com/postrank (Por si lo quieres leer en ingles, que da algún dato más)

Los números aplicarán una calificación a cada artículo en virtud de los elementos positivos o negativos que puede obtener cada post, cada texto. Sin embargo, estas asignaciones numéricas responden a automatismos programados que no necesariamente tienen que estar en lo cierto. Por ejemplo, no siempre la abundancia de comentarios está relacionada con la calidad del artículo, la generación de debate de alto nivel en torno al documento, etc. En este caso, qué lógica le asigno al valor “Crítica” 1 = + de 10; ó 0 = 1 ó 0.

Voy intentar explicarme y no va a ser nada fácil. Un robot no sabe leer la calidad de una conversación, pero sí cuantificarla. Como mucho, a ese robot le podremos dotar de determinadas variables que aseguren calidad en el debate por procedencia, referencias y autoridad. Pero estará altamente expuesto a perversión por un avispado Community Manager y no sabrá aportar excepciones a la norma que rige el programa de asignación automático.

Mis dudas por partes:

• Creación:

Qué valor le asigno si el debate lo he generado de manera artificial? Imaginemos. Un post de temática ligera sobre un blog que versa sobre “El método Infinitesimal sobre el sistema de Hegel”. Imaginemos que nunca se emplea como referencia. Y un día, un post más ligero genera 6 referencias. Es acaso esta métrica un buen indicador de los intereses de creación del autor del blog? Pensaremos que sí, pero la naturaleza del site dirá lo contrario, ya que es un producto de minorías.

• Crítica:

En el fondo sólo destaco el número de comentarios, no la calidad del debate generado. Cómo le enseño al robot a leer y a apreciar la conversación surgida? El debate de antes sobre los comentarios. El robot sabe leer, pero no entiende lo que lee.

• Conversación:

En este punto sí estamos más cerca de la medición perfecta… aunque hay peros. El primero, la relación del click con elemento publicado en Twitter si está directamente relacionado con la reputación del enlazador. Aquí la viralidad de un artículo o post sí tendría sentido de medición. Aunque podría ser alterable.

• Colección:

Y buscadores? Yo sumaría la relación del artículo con su relación en buscadores: posición, page rank y númro de enlaces, por ejemplo.

En definitiva, me ha parecido una reflexión interesantísima y un producto genial, que sienta las bases de cómo mejorar y avanzar sobre la medición cualitativa del contenido. Estamos más cerca gracias a Page Rank. Y los resultados me han sorprendido mucho, ya que a título personal relizo seguiminto de algunos artí8culos en una especie de Buzz Rankings Audiencias y me cuadraba bastante con alguno de estos resultados:

Seguiremos atentos a este producto. Gracias Javier!!