Evaluación de Proyectos Socioeducativos

Técnicas e instrumentos en la evaluación de un proyecto social  

Las técnicas e instrumentos se  utilizan  en una evaluación,  en el cual debe tenerse en cuenta los objetivos de la evaluación, los recursos disponibles y los tiempos establecidos para su desarrollo. 

     

Se caracteriza en investigación cualitativa y cuantitativa:

    

Se obtiene mediante  la evidencia empírica de las acciones realizadas en un proyecto, el evaluador tiene que seleccionar una metodología y diseñar los instrumentos que utilizará para recolectar la información según los objetivos de su evaluación. 

Las técnicas de evaluación se clasifican en dos grandes grupos según el tipo de investigación y análisis que se realiza: 

Técnica  cualitativa es la medición objetiva, que persigue a obtener resultados extrapolables a un grupo específico de la población, mediante la selección de una muestra del mismo, un número estadístico con un significado  de  dicha población, o mediante el estudio de todo el grupo, "censo".   

 

Técnicas cuantitativa. Permite obtener información significativa e inmediata sobre las percepciones y prioridades de las partes interesadas y las condiciones y  procesos que pueden haber afectado el desarrollo de un programa o proyecto, se debe tener en cuenta la existencia de limitaciones en su utilidad, tales como la no representatividad estadística, la subjetividad implícita en la recopilación  de datos, lo que hace difícil generalizar los resultados para la población en estudio.

    

    Premisas principales de cualquier investigación social  

El procedimiento básico para el diseño y desarrollo de una evaluación se presenta  a continuación: 

        

1. Clarificar y definir qué información se espera obtener. 

 

2. Determinar quiénes serán los sujetos de la encuesta, esto implica definir tanto el universo (conjunto de todos los actores que son objetivo de la encuesta).

        

3. Elaborar un cuestionario, en el que se debe construir mediante un formulario de preguntas para tener claro los objetivos a la evaluación, así será mas fácil dirigir la evaluación.

 Para recopilar datos de calidad se han de tener en cuenta las siguientes consideraciones:     

• Observar los problemas que pueden sesgar los resultados durante la recopilación de la información.  
• Centrar el cuestionario en los asuntos clave. 
• Incluir preguntas que permita comparar cuestiones clave antes y después del  proyecto.
• Seleccionar cuidadosamente la cantidad y el tipo de encuestados. 
• Probar previamente el cuestionario o la guía para la encuesta.  
• Asegurarse de tener personal entrenado en la aplicación de las encuestas.

4. Aplicar el cuestionario. Para aplicarlo es necesario contar con un tiempo y un espacio apropiado para que los encuestados puedan responderlo.

        

5. Sistematizar y analizar los resultados. Finalmente, el evaluador deberá sistematizar y analizar los resultados para poder utilizar la información, el tipo de análisis dependerá  del objeto de estudio.  

    

    Técnicas, metodologías e instrumentos de evaluación 

Existen diferentes instrumentos y técnicas que se utilizan para evaluar un proyecto, según se trate de una investigación cuantitativa o cualitativa y algunos autores manejan una tercera clasificación solo por la forma como se ven involucrados los diversos participantes de un proyecto. 

    Técnicas cuantitativas  

      a) Encuestas  

    

La encuesta es un instrumento para recolectar información, ya sea de datos cuantitativos o datos  cualitativos. La encuesta cuantitativa está dirigida a obtener información de gran número de personas, en este caso el cuestionario cuenta con un número limitado de preguntas y de opciones de repuesta, este factor facilita la organización de la información pero también puede generar que se pierdan de vista otras posibles respuestas que se obtienen con las preguntas abiertas.

      b) Medición directa o medición por observación  

La medición directa u observación consiste en recopilar datos de acuerdo a un esquema determinado y es muy utilizada en contextos de proyectos de desarrollo. Para que la medición sea significativa es muy importante determinar de manera previa qué propiedades o características van a considerarse y cuáles son las dimensiones que se  manejan (cuantitativa o cualitativa) puede ser considerada como piloto para reestructurar el protocolo de control.  

    

    Los pasos a seguir en la medición directa son los siguientes:  

• Definición del objetivo a medir mediante esta técnica.  
• Delimitación de las propiedades a recopilar.  
• Construcción de indicadores de resultados cuantitativos.  
• Contraste y sistematización de la información (entre dos grupos, entre dos tiempos, 
• en comparación con una línea base, etc.)  
• Análisis de los datos.

El uso de esta técnica facilita la obtención de datos muy fiables sobre fenómenos o procesos físicos, pero no logra profundizar en las causas que provocan determinada situación.

La medición directa debe ir acompañada por otros modos de análisis más valorativos y cumplir con ciertos criterios entre otros:

1. Definición estricta y concreta de los comportamientos elegidos para ser observados, de tal modo que no quepa incertidumbre sobre la procedencia de recoger o no cierto tipo de acontecimiento
2. Indicación de las condiciones en las que la observación debe realizarse. Se alude al  lugar, al tiempo, a los sujetos observados, a los observadores, a los instrumentos precisos.
3. Posibilidad de un tratamiento cuantitativo, de algún tipo de expresión que sea homogénea con las calificaciones convencionales.
4. Significado y posible inferencia a efectuar sobre lo observado, es decir; la validez de la observación. 
5. El problema de la estabilidad de las valoraciones, su fiabilidad. Es decir que tanto la intervención del observador crea un sesgo a los comportamientos observados.

                c) Técnicas de análisis económico (ACE o ACB) 

Nos permite evaluar la  eficiencia de un proyecto y en este sentido nos permite evidenciar los puntos débiles en  términos de recursos, sobre los que se hace necesario tomar decisiones para su mejora. Con la finalidad de conocer el grado de optimización de los recursos utilizados en la consecución de los objetivos propuestos, esto implica el cálculo de los costos reales.   

 El procedimiento general para el ACB incluye:  

• Confeccionar un flujo de costos. El flujo de costos es una matriz que incluye los gastos de ejecución de un programa. A partir de los datos incluidos en la formulación y programación, se ajustan los valores de acuerdo con la información real y  actualizada a la fecha del análisis.
• Transformar los costos para el período de un año. 
• Construir una matriz de costos reales contra costos programados. La eficiencia en la administración de los recursos de programa o proyecto es una de las características que permiten replicarlo o escalarlo.

    Técnicas cualitativas  

    

            a) Estudios de caso 

El estudio de casos es una investigación de proceso, sistemática y profunda de un caso en concreto. 

El objetivo es contrastar una serie de hipótesis, establecidas previamente, sobre el programa proyecto,  a través de entrevistas y encuestas y es el “contexto” el concepto fundamental del análisis.

    

 Los estudios de caso permiten:   

• Investigar fenómenos en los que se busca dar respuesta a cómo y por-qué ocurren.
• Estudiar un tema o múltiples temas a la vez.  
• Analizar los fenómenos desde múltiples perspectivas y no desde la in-fluencia de una sola variable.
• Explorar en forma más profunda y obtener un conocimiento más amplio sobre cada fenómeno, lo cual permite la aparición de nuevas señales sobre los temas que emergen. 
• Realizar investigaciones a pequeña escala, en un marco limitado de tiempo, espacio y recursos pero con mayor profundidad. 
• Promover el trabajo cooperativo y la incorporación de distintas ópticas profesionales a través del trabajo interdisciplinario.

          b) Entrevistas individuales 

La entrevista es una forma especial de encuentro directo entre el evaluador y el entrevistado. A través de las entrevistas es posible recabar información cualitativa que recupere la perspectiva de los actores sobre distintos tipos de cuestionarios: hechos específicos, procesos, análisis, propuestas, reacciones a las primeras hipótesis de los evaluadores, entre otras. 

    

Para el diseño e implementación de una entrevista es importante esclarecer qué  información se espera obtener: 

• Definir quiénes son los actores clave que brindarán la información relevante. Construir la guía de entrevista. 
• Aplicar las entrevistas. Para realizar una entrevista, es importante establecer una relación de confianza entre entrevistador y el entrevistado. 
• La entrevista que un entrevistador puede realizar en una jornada de trabajo y que es importante que domine algunas técnicas (capacidad de escucha y empatía, control del desarrollo de la entrevista, capacidad de atención etc.)  

             c) Grupos focales  

Es un tipo de entrevista particular en la que se trabaja con un grupo en simultáneo. Se organiza la        interacción entre un conjunto determinado de personas y sobre un tema específico de interés para los participantes del grupo. Esta dinámica grupal es registrada y / o video grabada y luego sistematizada para su análisis. 

    

    Para el diseño e implementación de un grupo foca se recomienda:  

            

        1. Seleccionar el tema y los subtemas que iniciarán y guiarán el grupo focal.

        2. Seleccionar y convocar a los actores que participarán.

        3.Realizar una guía que oriente las intervenciones del moderador.   

        4.Implementar el grupo focal. 

     5.Contar con un moderador que guía al grupo y domina, a la vez, los temas y objetivos de la  evaluación.  

        

                d) Técnica Delphi-panel de expertos 

La técnica Delphi o panel de expertos busca respuestas consensuadas a cuestiones específicas, de acuerdos entre diversas opiniones y percepciones de expertos calificados en los temas a investigar, la condición sine qua non para que se pueda realizar este proceso es la calidad y pertinencia de los profesionales que se convoca.

    

    Los puntos principales para realizar el método Delphi son:

• Seleccionar a los expertos.   
• Pactar modelo de trabajo del panel. 
• Construir consensos. 

Para la evaluación de proyectos esta técnica es especialmente utilizada cuando se tienen resultados de evaluación de los proyectos y se quiere una opinión calificada al respecto.

        e) Análisis Documental  

El análisis documental consiste en la búsqueda de información a través de la revisión de documentos    diversos: bibliografía, estadísticas previamente elaboradas, informes varios o cualquier tipo de material no producido directamente por la evaluación.  El análisis documental es la fuente más económica para conseguir información. Se utiliza la información construida por otros.

En general, se recurre al análisis de datos cuantitativos, pero también puede tratarse  de datos cualitativos y provienen de diversas fuentes:  

• Datos que existen, pero que no están publicados.
• Informes publicados por agencias del gobierno, organismos internacionales, universidades, organizaciones sin fines de lucro o empresas. 
• Informes previos del propio programa a evaluar: informes del proyecto, pero también otros documentos (como artículos, actas de reuniones, etc.).

Para utilizar de forma adecuada la información documental se sugiere: 

    1. Investigar, qué tipo de datos están disponibles y, entre ellos, seleccionar los que más se acercan la información que se busca recopilar.  

    2. Identificar el objetivo para el cual fue producida la información. Esto permite tener en cuenta cuándo cerca o lejos se encuentra de lo que se busca. 

 

    3. Recolectar y de ser necesario, volver a sistematizar los datos obtenidos para el objetivo que se busca.  

    4. Considerar la antigüedad de los datos y la escala del análisis. Es decir, si los datos  fueron producidos en el nivel nacional, regional, provincial o local, y cuánto se acercan o alejan de la escala donde se implementará el programa a evaluar.  

    5. El análisis documental es útil para la estimación de la línea de base de un proyecto.  

    

    Técnicas Participativas

    

La evaluación participativa “Involucra a las partes interesadas del programa o proyecto en el análisis    colectivo y la evaluación del mismo al igual  está centrada en las personas: las partes interesadas y        los beneficiarios del proyecto son actores clave del proceso de evaluación.

Las ventajas de un proceso de evaluación participativo son:

• Promueve la definición de parámetros compartidos de resultado y desempeño.      
• Fomenta la corresponsabilidad. 
• Facilita la confianza entre las partes.
• Crea compromiso entre los involucrados. 
• Fomenta el aprendizaje, la gestión y otras capacidades locales de los beneficiarios

La evaluación participativa es una metodología que supone la participación de la población local, los   organismos de desarrollo y los encargados de la formulación de  políticas, quienes conjuntamente deciden la manera de medir los avances y resultados previstos.

Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios básicos     que los distinguen de los enfoques de evaluación convencionales: 

• Intervención. Desde el diseño del proyecto debe contemplarse la participación e intervención de las personas directamente afectadas por un problema y beneficiarias de la intervención.
• Negociación. Es importante negociar con los beneficiarios qué será monitoreado y evaluado, así como los métodos y las herramientas de recolección de datos.
• Aprendizaje. Es fundamental promover un proceso que sistematice las lecciones aprendidas para lograr mejoras sustanciales en el futuro, lo que requiere tener claramente definido cómo se difundirán las buenas prácticas y su promoción, de manera que el aprendizaje permanezca y sea atractiva a los beneficiarios.
• Flexibilidad. Los proyectos de desarrollo se afectarán por una diversidad de factores  fuera del control de los responsables. 

Los métodos participativos no excluyen la utilización de otros métodos. De hecho, a menudo los           mejores resultados se obtienen combinando diversos métodos y técnicas de evaluación. 

    

Las técnicas participativas pueden fortalecer la autonomía de los beneficiarios de un proyecto                ayudándoles a encontrar ámbitos de responsabilidad y proporcionándoles las aptitudes necesarias         para realizar su trabajo (aritmética, lectura y escritura, entrevistas, cálculo, investigación, etc.).