A Nota ReforLit é um indicador que sintetiza a recepção de uma obra a partir de resenhas e recomendações provenientes de acadêmicos e outras vozes qualificadas, como pastores, autores, instituições e leitores com reconhecida formação ou experiência na área.

A nota não pretende determinar de maneira absoluta a qualidade de uma obra. Ela representa, de forma sistematizada, como o livro é recebido pelas fontes selecionadas pelo ReforLit.

Como a Nota ReforLit é calculada

Cada evidência recebe um valor de 1 a 5 e um peso de acordo com o tipo de avaliação:

• Resenha: peso 2;
• Recomendação: peso 1.

As resenhas recebem peso maior porque normalmente apresentam uma avaliação mais extensa e argumentada da obra. As recomendações também são consideradas, mas representam uma evidência mais breve de sua recepção.

A média ponderada dessas evidências é ajustada por um modelo bayesiano. Esse ajuste reduz oscilações excessivas quando ainda existem poucas avaliações sobre uma obra.

Em que:

• \(N\) é a Nota ReforLit final, apresentada em uma escala de 0 a 10;
• \(v_i\) é o valor atribuído à evidência \(i\), em uma escala de 1 a 5;
• \(p_i\) é o peso atribuído à evidência \(i\);
• \(n\) é o número de evidências consideradas;
• \(\mu_0\) é a média de referência do sistema;
• \(w_0\) é o peso atribuído à média de referência.

A média de referência

O ReforLit utiliza como média de referência o valor 3, correspondente ao ponto central da escala de 1 a 5:

Isso significa que, quando ainda existem poucas evidências sobre uma obra, o sistema parte de uma posição neutra, sem presumir previamente uma recepção positiva ou negativa.

O peso bayesiano

A média de referência recebe peso 3:

Isso pode ser interpretado como o equivalente matemático a três observações neutras de valor 3 antes que as evidências específicas da obra sejam consideradas.

A contribuição inicial da média de referência para o numerador da fórmula é, portanto:

Substituindo esses valores na fórmula geral, obtemos a forma utilizada pelo ReforLit:

À medida que novas resenhas e recomendações são acrescentadas, o peso relativo dessa referência diminui. Dessa maneira, a nota passa progressivamente a refletir as evidências observadas sobre a própria obra.

Quantidade mínima de evidências

Para que uma obra receba uma Nota ReforLit, são necessárias pelo menos 3 evidências independentes.

Essa condição não altera diretamente o cálculo matemático. Ela funciona como um critério mínimo para que a nota seja publicada.

O objetivo é impedir que a avaliação pública de uma obra seja determinada por apenas uma ou duas opiniões isoladas, mesmo quando provenientes de fontes qualificadas.

Uma fonte confiável constitui uma evidência relevante, mas uma única evidência não possui a mesma força que diferentes fontes independentes chegando a conclusões semelhantes.

Exemplo de cálculo

Considere uma obra que recebeu cinco evidências:

• 1 resenha com valor 4;
• 4 recomendações com valores 5, 4, 4 e 4.

Como a resenha possui peso 2 e cada recomendação possui peso 1, temos:

A soma dos pesos das evidências é:

Sem o ajuste bayesiano, a média ponderada das evidências seria:

Convertida para a escala de 0 a 10:

Aplicando a média de referência e o peso bayesiano:

Assim, embora as evidências observadas produzam uma média ponderada equivalente a aproximadamente 8,33, a Nota ReforLit inicial é 7,56.

A diferença ocorre porque o conjunto de evidências ainda é relativamente pequeno. O ajuste bayesiano introduz alguma cautela sem impedir que a recepção positiva da obra apareça na nota.

O que acontece quando surgem novas evidências?

A influência da média de referência é fixa:

Já o peso das evidências reais aumenta conforme novas avaliações são registradas:

Consequentemente, a participação relativa do componente bayesiano no cálculo diminui:

Em outras palavras, quanto maior o número de evidências disponíveis, menor será a interferência da média de referência e mais diretamente a Nota ReforLit representará a recepção observada da obra.

Por que utilizar esse ajuste?

O objetivo do modelo bayesiano não é penalizar livros com poucas avaliações, mas reconhecer que existe diferença entre qualidade da evidência, quantidade de evidências e convergência entre fontes independentes.

As fontes consideradas pelo ReforLit são selecionadas justamente para aumentar a qualidade das informações utilizadas no cálculo. Ainda assim, uma única avaliação não possui a mesma força que várias fontes independentes chegando a conclusões semelhantes.

Por isso, a Nota ReforLit procura equilibrar três elementos:

• o valor atribuído à obra por cada fonte;
• a profundidade do tipo de evidência;
• a quantidade de evidências independentes disponíveis.

O resultado é uma nota que pode se adaptar gradualmente ao crescimento da base de dados: mais cautelosa quando existem poucas evidências e progressivamente mais próxima da recepção observada conforme novas avaliações são adicionadas.