Como estruturar uma avaliação - Apreender

1. Alinhamento inicial

Em relação ao impacto social:

Antes de iniciar um processo de avaliação, é fundamental que o empreendedor tenha clareza sobre os impactos sociais que se propõe a promover. Para tanto, recomendamos que responda as seguintes perguntas:

  1. Quais são as mudanças que minha solução pretende gerar?
  2. Quem são as pessoas envolvidas direta ou indiretamente neste processo de mudança (todos os públicos de interesse)?
  3. Qual a relação de causa e efeito entre a minha solução e as transformações que ela pretende gerar?

Em relação à avaliação do impacto social:

Antes de definir como avaliar o impacto do seu negócio, é importante que o empreendedor assegure a qualidade dessa avaliação. Para tanto, recomendamos que responda as seguintes perguntas:

  1. Utilidade: A avaliação é útil para seus interessados?
  2. Viabilidade: A avaliação consegue ser viabilizada com os recursos disponíveis?
  3. Precisão: A avaliação vai gerar dados precisos e confiáveis?
  4. Propriedade: A avaliação é ética? Respeita as pessoas e seus direitos?
  5. Transparência: A avaliação será plenamente registrada?

Referência: Artigo Avaliação: os cinco padrões da qualidade, de Daniel Brandão, da Move Social

2. Foco da avaliação

Para definir o foco da sua avaliação, o empreendedor deve responder três questões importantes:

  1. O que você quer avaliar?
  2. Que perguntas você tem?
  3. Que indicadores você precisa analisar para que suas perguntas sejam respondidas?

Lembramos que o presente instrumento traz um cardápio sugestivo de indicadores que podem ajudá-lo a responder as questões acima e definir o foco de sua avaliação.

3. Desenho da avaliação

A escolha do desenho da avaliação precisa considerar três aspectos fundamentais: o nível de precisão desejado, o tempo e o investimento disponíveis. Importante destacar que, quanto maior o rigor, maior o tempo e o investimento necessários.

Existem alguns desenhos clássicos de avaliação que o empreendedor pode utilizar como referência para identificar aquele que se ajusta melhor às suas expectativas:

Referências:

Artigo Métricas em negócios de impacto social – Fundamentos, ICE – Instituto de Cidadania Empresarial e Move Social

Os 7 desenhos clássicos de avaliação, Move Social

4. Coleta de dados

Nas avaliações qualitativas, a coleta de dados é realizada por meio de entrevistas, grupos focais e observações, entre outras técnicas afins. Já nas avaliações quantitativas, o principal instrumento de coleta utilizado são os questionários.

O conjunto de indicadores, perguntas avaliativas e escalas propostos por este instrumento podem ser diretamente utilizados na construção de questionários para avaliações quantitativas, além de inspirar roteiros para coleta de dados qualitativos.

A abordagem quantitativa prescinde de definição prévia sobre o público e a amostra que se deseja alcançar na etapa de coleta de dados. Para calcular a amostra que dará maior precisão a sua avaliação, há várias ferramentas de apoio na internet, como a disponibilizada pela Net Quest. Já os questionários podem ser aplicados em papel ou via plataformas digitais como a Survey Monkey, que geram relatórios e facilitam a análise dos resultados.

5. Tabulação e análise dos dados

A etapa de tabulação e análise dos dados exige maior rigor técnico, portanto recomenda-se fortemente que seja realizada com o apoio de especialistas.

6. Comunicação dos resultados

Concluída a etapa de análise, é importante compartilhar os resultados da avaliação com todos os públicos interessados, divulgando com transparência a metodologia utilizada, bem como as conclusões e os aprendizados obtidos.

Para selecionar as estratégias, a linguagem e os instrumentos de comunicação a serem adotados, leve em consideração seu público-alvo. Lembre-se ainda que todo esse esforço só vai valer a pena se as informações geradas pela avaliação forem amplamente acessadas e compreendidas, especialmente pelos atuais e futuros usuários e compradores da sua solução. Portanto, é interessante mapear os possíveis espaços de debate e apresentação das evidências coletadas.

Por fim, recomenda-se que os resultados sejam utilizados no planejamento do negócio, a fim de orientar o que precisa ser mantido, descontinuado ou ajustado para que as soluções que desenvolve possam gerar impactos cada vez mais significativos na educação.