| 1.3.4. METODOLOGÍA EVALUATIVA DEL PLAN JOVEN II La Junta Rectora del Plan Joven tiene, entre sus funciones, la de efectuar el seguimiento y evaluación de las acciones incluidas en el mismo. Para ello, se ha elaborado un modelo de evaluación que se describe ampliamente en el documento “Manual de evaluación de planes y programas de juventud”. Este modelo se basa en la realización de una serie de acciones tanto a lo largo de la aplicación del Plan como tras la finalización de su vigencia. En función de su fase de desarrollo se llevarán a cabo cuatro tipos de evaluación:
Se tratará de observar el proceso de implantación y el funcionamiento del Plan con el fin de guiar su desarrollo y corregir posibles desviaciones. Esta operación se llevará a cabo a través de un seguimiento continuo y de una evaluación intermedia. 1.1. SEGUIMIENTO A través de la Dirección de Juventud del Gobierno Vasco se canalizará, de forma continuada y sistematizada, la recogida de información sobre el desarrollo de las acciones contempladas en el Plan. Los procedimientos a seguir serán de dos tipos: Recogida de datos sobre el grado de cumplimiento de las acciones. Con una periodicidad anual se solicitará a las instituciones implicadas en el Plan que especifiquen las acciones que se comprometen a llevar a cabo en el marco de las líneas de intervención del Plan Joven II, mediante un protocolo de recogida de datos que se deberá remitir, una vez cumplimentado, a la Dirección de Juventud del Gobierno Vasco. Dicho protocolo, ya utilizado en el seguimiento del Plan I, consta de los siguientes apartados: --- Descripción de las acciones que se prevé
realizar. Una vez finalizado el ejercicio presupuestario anual se solicitará a las mismas instituciones información sobre el grado de cumplimiento de las acciones programadas. En este caso el protocolo de recogida de información consta de los siguientes apartados: --- Acción realizada. Análisis de documentos (normativas, informes y otros documentos técnicos). Este procedimiento se aplicará básicamente a dos tipos de acciones: --- las intervenciones que se refieren a la producción
de documentos, por ejemplo “elaborar materiales curriculares”
o “elaborar estudios”, y En estos casos, además, se analizará el propio documento, con el fin de verificar si se ajusta a lo previsto.
--- el grado de cumplimiento de las acciones de impulso,
coordinación y desarrollo del propio Plan, El informe será remitido a la Comisión Delegada de Asuntos Económicos del Gobierno y a la Comisión de Mujer y Juventud del Parlamento.
Los objetivos de la evaluación intermedia son: --- examinar el diseño del Plan con el fin de verificar
su adecuación o proponer modificaciones, Con el fin de acometer este tipo de evaluación, se llevarán a cabo diferentes actividades en grupos de trabajo formados por representantes de las instituciones implicadas en el desarrollo del Plan, agentes sociales y personas jóvenes, a través de los canales de participación establecidos. Las actividades que se llevarán a cabo se pueden dividir en dos grupos: 1º Un análisis crítico de la información obtenida a través del seguimiento. Se analizarán, como mínimo, los siguientes indicadores de proceso: --- el número de acciones realizadas en comparación
a las programadas, Se valorarán asimismo los principales indicadores de resultados intermedios: --- eficacia: resultados obtenidos con respecto a los programados,
En caso de que los resultados obtenidos difieran de los esperados, se buscarán explicaciones a los desfases existentes en cada una de las áreas. Además de los aspectos cuantitativos, se analizarán otros cualitativos relacionados con las dificultades encontradas a la hora de poner en marcha las acciones, y se establecerán criterios para solucionar los problemas detectados. Se tratarán con especial relevancia las acciones de carácter transversal (interinstitucional e interdepartamental) cuyo desarrollo resulta más complejo debido a que la responsabilidad de su ejecución es compartida por varias instituciones. Por otra parte, caso de producirse, se analizarán las deficiencias del propio sistema de seguimiento a la hora de proporcionar la información solicitada a las instituciones y se propondrán vías de solución. 2º Una revisión del diseño del Plan, es decir, de la definición de objetivos, de la descripción de las líneas de intervención y de las acciones, y de la coherencia entre los objetivos y las acciones. En función del análisis de la información obtenida a través del seguimiento (indicadores de proceso y de resultados intermedios, documentos técnicos e informes) y de las reflexiones en torno a las dificultades encontradas se valorará la posibilidad de reorientar las intervenciones contempladas en el Plan o modificar las prioridades de actuación. Las propuestas de cambio se presentarán a la Junta Rectora del Plan Joven, que decidirá en qué medida se incorporan y se aplican para la segunda fase del desarrollo del Plan. Tanto el análisis de los datos cuantitativos como las conclusiones de las reuniones de los grupos de trabajo interinstitucionales y las decisiones tomadas se plasmarán en un Informe de Evaluación Intermedia.
Durante la última fase de aplicación del Plan Joven II, se llevará cabo un nuevo diagnóstico de la situación de las personas jóvenes; este ejercicio se realizará a través de una revisión de los principales indicadores que reflejan la realidad social juvenil, y de la reflexión de grupos de discusión, con la participación de personal técnico, agentes sociales y personas jóvenes. Se solicitará, asimismo, a las instituciones implicadas en el Plan una valoración de la importancia de las acciones que han llevado a cabo, de su idoneidad para cubrir la correspondiente línea de intervención propuesta en el Plan, de su impacto en el colectivo joven y del grado de implicación del departamento en la aplicación del Plan. En función de las conclusiones de los debates y de las valoraciones, se realizará un análisis del diseño del Plan Joven II, y se examinará la pertinencia de mantener, reorientar o suprimir las acciones contempladas, de introducir nuevas acciones o de modificar las prioridades de actuación.
La evaluación de resultados se realizará en el momento en que finalice la vigencia del Plan Joven II y se centrará en averiguar si se han logrado los resultados buscados, es decir, si las acciones que integran el Plan han producido los efectos deseados. El análisis se llevará a cabo siguiendo los criterios de eficacia, eficiencia, cobertura, utilización de recursos y satisfacción de los usuarios/as con el desarrollo de las acciones. En general, se aplicarán diferentes criterios en función del tipo de acción: --- Si se trata de crear o desarrollar servicios, se estudiará la cobertura, la utilización, y la satisfacción de sus usuarios/as. --- En los casos en los que las acciones se refieran a la aplicación de medidas administrativas o legales, o a la concesión de ayudas económicas, se analizarán los distintos aspectos de la cobertura: la proporción de personas jóvenes que se benefician de las medidas, el conocimiento de dichas medidas por parte de la población objetivo y/o la demanda no cubierta. --- Si se trata de producir documentos (como guías, manuales, estudios o informes) u otro tipo de instrumentos (como bases de datos o servicios de información telemáticos), además de analizar si el contenido del propio producto se ajusta a lo propuesto en el Plan, se estudiará la cobertura y/o la satisfacción de las personas usuarias. --- Las acciones dirigidas a potenciar hábitos o actitudes tienen efectos a largo plazo, por tanto, en una primera fase se deberá controlar si las acciones que se han puesto en práctica (charlas, campañas, material didáctico, etc.) responden al objetivo propuesto y en una fase posterior, la eficacia de dichas intervenciones. Finalmente, se valorará la eficiencia de todas aquellas acciones que representan un coste económico, siempre que sea posible determinar sus efectos. Las técnicas de recogida de información y los procedimientos de análisis de resultados finales serán básicamente los siguientes: --- Análisis de documentos, siempre que los resultados de las acciones puedan verse reflejados en documentos técnicos. Esto ocurre cuando el tipo de actividad es la producción de documentos o la aplicación de medidas. --- Utilización de indicadores de resultados finales, en los casos en que los resultados de las intervenciones pueden reflejarse en datos cuantitativos. Se puede aplicar prácticamente a todos los tipos de actividad, tratando de comparar la situación en el momento de finalización del Plan con la situación anterior o con otras que sirvan de referencia. Se utilizarán como indicadores de resultados tanto los que proponen las instituciones, durante el proceso de seguimiento, como otros elaborados ad hoc tomando como referencia el Manual de Evaluación de Planes y Programas de Juventud. --- Realización de encuestas específicas, siempre que la evaluación de las acciones exija valorar la satisfacción de las personas usuarias, la calidad de la atención o el grado de conocimiento de la intervención por parte de la población general. Estas acciones son las que se refieren principalmente a la creación o desarrollo de servicios, si bien, pueden aplicarse asimismo al resto de las medidas con el fin de conocer la opinión de las personas jóvenes. El análisis crítico de la información recogida junto con las conclusiones y recomendaciones de cara a futuros planes se recogerán en un Informe de Evaluación de Resultados. 4. EVALUACIÓN DEL IMPACTO El objetivo de esta evaluación es analizar las variaciones ocurridas en la situación social de las personas jóvenes y los cambios de actitudes, de hábitos o de conductas, como mínimo dieciocho meses después de la finalización del Plan. Las técnicas y procedimientos de evaluación del impacto del Plan Joven II serán las siguientes: --- Utilización de indicadores de impacto, siempre que éste pueda reflejarse en datos cuantitativos. En este caso será necesario analizar la evolución de los indicadores, es decir, compararlos con la situación anterior a la puesta en marcha del Plan, o contrastarlos con los de otros entornos que pueden servir como referencia. - Realización de encuestas específicas, siempre que se trate de analizar actitudes, hábitos, conocimientos o utilización de aprendizajes adquiridos. - Grupos de discusión, con el fin de conocer la opinión de personas jóvenes, profesionales, personal político, representantes de asociaciones, etc., sobre la eficacia de las medidas aplicadas en cada una de sus áreas. - Análisis de datos procedentes de encuestas periódicas que se llevan a cabo en la CAPV y que contienen información útil para analizar el impacto de determinadas líneas de actuación del Plan Joven. - Integración de cuestiones relacionadas con el Plan Joven en encuestas periódicas. Se estudiará la posibilidad de que, en algunas encuestas que se realizan sistemáticamente en la CAPV, se incluyan ciertas cuestiones con el fin de facilitar la recogida de información sobre aspectos relacionados con el impacto del Plan Joven.
|