Avaluació del projecte d'intervenció social

L’avaluació és un els processos més importants en un projecte d’intervenció social. Sense avaluar, no es pot donar per tancat un projecte, ja que sense els resultats de l’avaluació no és possible saber si la intervenció desenvolupada ha estat profitosa.

Es parla de l’avaluació com a procés i no com a moment. Tot i que és possible destinar a l’avaluació únicament un instant (generalment el final, per saber si s’han assolit els objectius o no), el més recomanable és prendre l’avaluació de manera holística: cal tenir una actitud avaluadora que inclogui tots els aspectes rellevants en un projecte d’intervenció social. Per fer això s’ha d’avaluar en diversos moments del projecte d’intervenció, cal avaluar diversos aspectes (tot i que sempre s’avaluen els objectius del projecte, això és preceptiu) i seguint diverses tècniques que permetin disposar d’una diversitat de resultats per interpretar.

Quan s’engega un projecte d’intervenció social es fa amb l’objectiu general de millorar les condicions de vida d’un individu, grup o col·lectiu o amb l’objectiu de superar una situació d’injustícia. L’avaluació permet conèixer el grau en què aquests objectius s’han acomplert, defensar la bondat de la intervenció i aportar evidències empíriques que justifiquin que aquesta intervenció pot estendre’s a altres contextos amb possibilitats d’èxit.

Per concretar el significat d’aquesta fase d’avaluació s’ha de respondre (Pérez Serrano, 1993) a determinades preguntes:

  • Per a què avaluem?: bàsicament s’avalua per mesurar el grau de pertinença, idoneïtat, efectivitat i eficàcia d’un projecte; prendre decisions al respecte; establir si s’han produït o no conseqüències imprevistes, i acumular informació per definir les intervencions futures.
  • Per què avaluem?: per millorar la intervenció, ja que avaluant es rep informació sobre la marxa del projecte i es poden emprendre actuacions de reforma que el facin més eficaç. També com a mostra de responsabilitat: avaluar implica conèixer on i per a què s’estan destinant recursos que poden ser escassos.

Avaluació de projectes

Abans de començar a determinar quins són els procediments d’avaluació i com s’han de dur a terme, és necessari donar algunes definicions del concepte d’avaluació i la seva interpretació. El concepte d’avaluació és un concepte viu i, tot i que la seva operativització està molt tancada (és a dir, el significat de l’avaluació des del punt de vista de la ciència social està bastant consensuat i és compartit per una gran multiplicitat de professionals), hi ha algunes diferències entre les definicions que donen diversos autors del concepte necessari per a adoptar un o altre punt de vista.

“Avaluar suposa adoptar un conjunt d’estàndards, definir-los, especificar la classe de comparació i deduir el grau amb què l’objectiu és capaç de satisfer els estàndards arribant a un judici respecte al mèrit de l’objecte avaluat […] Avaluar implica establir criteris i aplicar-los per obtenir un judici de valor (la valoració és una condició necessària per a l’avaluació), que s’avalua amb la informació i les apreciacions d’aquells que participen en la intervenció (dissenyadors, aplicadors, patrocinadors, beneficiaris) i que s’avalua per controlar el disseny, el desenvolupament i els resultats d’una intervenció i per a, per descomptat, millorar-los.”

V. Álvarez Rojo et al. (2002). Diseño y evaluación de programas (p. 193-194)

Aquesta és una definició força completa que posa l’èmfasi en un aspecte importantíssim: establir un judici de valor. Avaluar implica en darrera instància explicar si allò que s’avalua és bo o dolent, i és per això que es parla d’un judici de valor. Tot i així, la definició d’Álvarez Rojo i els seus companys també indica dos altres aspectes força rellevants: per un costat, parla de la necessitat de comparar i, per l’altre, de considerar les apreciacions de tots aquells que participen en la intervenció social. El primer aspecte és important, ja que la comparació generalment es produeix entre una situació considerada desitjable (la marcada pels objectius) i la situació real que s’ha assolit amb posterioritat a l’aplicació del projecte al context d’intervenció. Si aquestes dues situacions coincideixen, se suposa que el projecte ha estat un èxit. El segon aspecte és important perquè no oblida els participants (la població diana de la intervenció) i els converteix també en protagonistes del procediment avaluador, vetllant per la seva autonomia i el respecte.

L’avaluació és una activitat científica que acompleix les funcions de rendició de comptes (control dels objectius) i la millora del programa avaluat gràcies a la informació recollida. Però també, i això és força important, la de millora del corpus de coneixements sobre un determinat tema o aspecte de la realitat: aquell sobre el qual s’està intervenint. Des d’aquest punt de vista avaluar:

“És aprofundir en la descripció i explicació dels processos d’intervenció que s’implementen amb la finalitat de promoure la transformació social, i dels resultats que s’obtenen a través d’aquests processos. Per a fer això, en la mesura que la nostra recerca persegueixi identificar les intervencions –polítiques, programes, accions, etc.– més eficaces per a promoure el desenvolupament social, l’avaluador no pot abordar el seu treball sense qüestionar els valors que es posen en joc en cada estratègia orientada cap al canvi social. Això significa que la qualitat del seu treball estarà mediatitzada pel seu compromís en la resolució dels problemes socials (pobresa, marginació, desigualtat, etc.) i en la lluita a favor d’una societat més justa i igualitària.

M. de Miguel (1999). “La evaluación de programas: entre el conocimiento y el compromiso”. A: Revista de Investigación Educativa, vol. 17, núm. 2 (p. 346)

Aquesta definició, malgrat que no reflexiona al voltant de la metodologia d’avaluació, és rellevant perquè posa en valor dos elements bàsics del procés avaluador. En primer lloc, parla del caràcter científic de l’avaluació ja que si cal descriure i explicar correctament els processos d’intervenció i els resultats obtinguts es conclou que això no pot fer-se de qualsevol manera: cal un mètode d’avaluació i aquest mètode ha de donar resultats fidels i contrastables. En segon lloc, parla de la necessitat d’avaluar seguint una finalitat última de progrés social, que, al cap i a la fi, és un dels valors que hauria de guiar la pràctica professional.

Una definició d’avaluació canònica és la d’Ander-Egg. Segons aquest autor, l’avaluació presenta dues grans modalitats: per un costat, pot comprendre’s l’avaluació com la darrera etapa o la fase de tancament de qualsevol procediment i, per l’altre, pot comprendre’s com un procés permanent de control operatiu. Tant des d’un punt de vista com des de l’altre avaluar:

“Consisteix a utilitzar una sèrie de procediments destinats a comprovar si s’han assolit o no les metes i objectius proposats (en un pla, programa o projecte), identificar els factors que han influït en els resultats i formular les recomanacions pertinents que ens permetin prendre decisions amb la finalitat d’introduir les correccions o reajustaments necessaris.”

E. Ander-Egg (1982) Metodología de trabajo social (p.212)

Aquesta definició és de gran utilitat, ja que hi són presents gairebé tots els elements. Per un costat, parla de la necessitat de procediments, fet que implica una certa metodologia de l’avaluació. En un altre lloc (M. Aguilar i E. Ander-Egg, 1992) es completa aquesta definició assenyalant que avaluar és també “una forma d’investigació social aplicada, sistemàtica, planificada i dirigida”, fet que redunda en la necessitat d’una metodologia d’avaluació, que busca obtenir dades suficients que permetin a l’avaluador realitzar un judici de valor sobre un projecte o sobre qualsevol part. En segon lloc, parla de la necessitat d’avaluar els objectius proposats, de tal manera que l’avaluació no és una activitat buida per tancar el projecte, sinó que té una finalitat clara i predeterminada. En tercer lloc, precisa que l’avaluació ha de servir per a prendre decisions, fet que implica que l’avaluació ha de ser útil per a millorar el procés d’intervenció tant dins del mateix projecte com de cara a altres projectes futurs que puguin dur-se a terme.

Una altra definició important és la d’Espinoza:

“Avaluar és comparar en un instant determinat el que s’ha assolit a través d’una acció amb el que s’hauria d’haver assolit d’acord amb una programació prèvia.”

M. Espinoza (1986). Evaluación de proyectos sociales (p. 14)

Aquesta definició du implícits tres elements (Pérez Serrano, 1993). Es parla d’una situació prèvia definida al llarg del procés de programació, especialment a la fase de diagnòstic. Es parla també d’un instant determinat, en present, esdevingut després d’haver dut a terme unes accions programades i executades amb l’ànim de modificar la situació prèvia. I finalment es parla del procés de comparació entre ambdues situacions: si la transformació entre ambdues és de suficient entitat (la magnitud d’aquesta transformació es definirà, igualment, al procés de programació i quedarà reflectida en la redacció dels objectius), se suposa que la intervenció ha acomplert les seves metes.

Finalment, la definició que considerem com a pròpia i que, en la mesura del possible, intenta incloure les principals perspectives és la de Mille:

“L’avaluació és un instrument bàsic per a la presa de decisions que serveix per conèixer i analitzar com es desenvolupa a la pràctica un projecte, per introduir-hi els factors correctors que calguin en el curs de l’acció i per conèixer les raons i els factors que determinen l’èxit o el fracàs dels resultats que es preveien quan es van formular els objectius del projecte. (…) S’avalua per obtenir dades i informació objectiva i fiable que ens permetin emetre un judici de valor sobre els diferents components i etapes del projecte: en la fase d’anàlisi i diagnosi de la situació inicial que el motiva; durant el procés i l’execució de les diferents activitats que el desenvolupen a la pràctica; i en la fase final, en la qual es concretarà en quin nivell s’han assolit els efectes i els resultats que es proposaven per modificar la situació de partença.”

J. M. Mille (2015). Manual d’elaboració i avaluació de projectes (p. 57)

Principis de l’avaluació

L’avaluació com a procés de control basat en una metodologia concreta i ordenada pot acceptar dos grans objectius (E. Ander-Egg, 1982). Per un costat, pot dirigir-se a avaluar el grau de propietat, idoneïtat, efectivitat i eficiència d’un projecte, que equival a dir que s’avaluen els objectius d’intervenció: els resultats i l’impacte a partir del projecte d’intervenció. Però, per l’altre, l’avaluació també pot estar dirigida a facilitar el procés de presa de decisions per a millorar i/o modificar un programa o projecte, fet que dona al procés avaluador un fort pes diacrònic en tant que cal avaluar al llarg de tota la intervenció per poder anar prenent les decisions corresponents i més adients a la marxa del projecte.

Tant en un cas com en l’altre cal estar atents a uns determinats principis d’avaluació:

  • Validesa. Una avaluació és vàlida quan els resultats del que s’encarrega de mesurar són un fidel retrat de la realitat. Per exemple, si un dia que gaudim d’una perfecta salut ens posem un termòmetre i el termòmetre marca trenta-sis graus i mig, amb gran probabilitat serà una mesura vàlida, ja que la temperatura que marca el termòmetre és la temperatura real del nostre cos. Seguint aquest exemple, si el resultat del mesurament de la nostra temperatura fos de quaranta-dos graus segurament ens trobaríem davant d’un mesurament invàlid (en aquest cas perquè l’instrument de mesura probablement té algun defecte o perquè el procediment de mesurament no ha estat l’adequat), ja que el nostre estat de salut és una evidència molt forta que contradiu el resultat de l’avaluació. Davant d’un mesurament que presumim invàlid cal repetir l’avaluació amb un altre instrument o procediment per tal d’assegurar la invalidesa.
  • Fiabilitat. Una avaluació és fiable quan, aplicada per diferents subjectes o aplicada en diferents moments, dona sempre els mateixos resultats. Seguint l’exemple anterior, una avaluació és fiable quan en estat de bona salut obtenim sempre una temperatura al voltant de trenta-sis graus i mig, tot i prendre aquesta temperatura en diferents moments del dia. Una avaluació és també fiable quan diverses persones, tot i disposar de distints instruments, obtenen els mateixos resultats. Per mesurar el grau de compliment dels objectius en un projecte determinat una avaluació no fiable donaria diferents resultats segons la persona encarregada d’avaluar.
  • Objectivitat. Aquest criteri està molt relacionat amb l’anterior principi. És molt important no deixar-se emportar pels prejudicis a l’hora de realitzar una avaluació. L’avaluació ha de ser un reflex de la realitat i no de les nostres preferències. Per aconseguir aquesta objectivitat, l’instrument de mesura és importantíssim: en el cas de l’exemple, si el termòmetre funciona correctament és difícil, per no dir impossible si no hi ha un engany deliberat, soscavar l’objectivitat de la mesura. Però en l’hipotètic cas de voler controlar la salut d’un col·lectiu d’usuaris, i tenint en compte que hi poden haver variables de salut que són d’ordre qualitatiu, com la satisfacció amb la pròpia salut, l’observació de determinats comportaments i actituds, és possible que un avaluador determini que alguns membres o la totalitat del col·lectiu gaudeixen de bona salut mentre que un altre avaluador acabi concloent el contrari. Si això depèn dels punts de vista subjectius dels avaluadors, estaríem davant d’un problema d’objectivitat.
  • Practicitat. S’han de triar models d’avaluació indicats per a allò que es vol avaluar i, sobretot, models o instruments que d’una manera més fàcil i econòmica donin els resultats definits com a necessaris. Amb l’exemple, per controlar la temperatura del cos s’usa un termòmetre ja que és l’instrument adequat, i no pas un altre mètode més sofisticat i més car (suposant que existeixi) ja que els resultats del termòmetre es consideren prou concloents.
  • Oportunitat. L’avaluació es produirà en aquell o aquells moments en què els resultats de l’avaluació siguin útils o significatius per a la intervenció. Per acabar amb l’exemple, s’avalua la temperatura d’algú quan està malalt o quan es volen determinar les seves constants vitals per un motiu determinat (per exemple, perquè ha de sotmetre’s a un esforç important); fer-ho en un altre moment no té sentit i és una pèrdua de temps i recursos.

Avaluació participativa

És preferible fer avaluacions participatives més que no avaluacions dirigides únicament pels professionals. Aquest punt no s’inclou amb la resta de principis d’avaluació perquè els anteriors són preceptius i aquest, la preferència per l’avaluació participativa més que per la dirigida o experta, és únicament recomanable, tot i que aboca una gran quantitat d’avantatges a l’hora de treballar en l’àmbit social.

Vegeu-ho de manera detallada a la taula:

Taula: Avaluació tradicional i avaluació participativa
Avaluació tradicional Avaluació participativa
Qui Experts externs Comunitat, facilitadors, gestors
Què Indicadors preestablerts d’èxit i productivitat Els participants identifiquen els seus propis indicadors d’èxit, els quals poden incloure la productivitat.
Com Centrat en l’objectivitat científica Autoavaluació i mètodes simples adaptats a la cultura del grup
Quan Freqüentment al finalitzar i algunes vegades al llarg del procés Es barreja el monitoratge i l’avaluació fent avaluacions freqüents i petites.
Per què Rendició de comptes, normalment sumativa Atorgar capacitat al grup participant per a iniciar, controlar o modificar la seva acció.
Generalització Objectiu bàsic de l’avaluació. L’aleatorització pot donar suport a la validesa externa de població. El control i manipulació poden limitar la validesa ecològica. L’objectiu està centrat en el canvi i la millora en l’entorn d’aplicació més que en la seva generalització a altres col·lectius o situacions.
Validesa interna Es basa en la manipulació, l’aleatorització i el control; seguint l’enfocament experimental clàssic. Es basa en la triangulació d’informació i en el consens com a validesa intersubjectiva.
Avaluació de l’impacte Impacte com els efectes nets d’un programa, especificant els efectes dels factors externs i del disseny. L’impacte es valora a partir de la percepció social o comunitària dels efectes i de la utilitat del programa d’intervenció.
Font: Apodaca, 1999

En general és força important disposar d’una comunicació fluida amb la comunitat o amb el grup d’intervenció per tal d’obtenir un consens útil respecte a què cal avaluar i amb quins indicadors ha de mesurar-se. Cal adaptar els procediments d’avaluació i incloure determinats processos d’autoavaluació i altres, on pot incloure’s la mirada subjectiva del subjecte d’intervenció. Això no necessàriament va en contra dels principis d’objectivitat i de fiabilitat; ans al contrari, en realitat afavoreix el principi de validesa, però sí que fa més complex el procediment d’avaluació. Per tant, s’ha de planificar acuradament. Normalment una avaluació participativa no es concentra al final del procés ni en moments concrets al llarg de procés d’intervenció, sinó que està present al llarg de tot el procés amb activitats microavaluatives freqüents i múltiples, fet que dona més importància al paper de l’avaluació com a productora de feedback, com a eina per a prendre decisions, que al paper de l’avaluació com a control dels resultats.

Què s'avalua

L’avaluació no és determinar únicament com s’avaluarà sinó què s’avaluarà. Amb anterioritat a l’execució (Pérez Serrano, 1993), cal saber si s’avaluaran els destinataris, les seves necessitats, el disseny del programa, el seu desenvolupament o els efectes produïts. Tot és susceptible de ser avaluat, però això no vol dir que s’hagi d’avaluar tot. Sense dubte els objectius (el seu compliment, els resultats del projecte mesurats d’acord amb la mesura proposada pels objectius marcats) han de ser objecte d’avaluació, però més enllà d’això hi ha altres elements. Es resumeixen en dos grans blocs:

  • Elements de conformitat amb la planificació, que són els elements més tècnics i, entre ells, hi ha inclosos la consecució dels objectius. Aquests elements d’avaluació fan referència a la coincidència entre allò projectat i els resultats del projecte, incloent-hi la durada i els recursos de tot tipus, que també poden estar subjectes a avaluació.
  • Elements de satisfacció personal, que són elements de caire més subjectiu i tenen a veure amb la visió dels professionals sobre la seva feina i sobre els resultats obtinguts, però també sobre la relació entre cost i eficàcia i sobre les relacions establertes entre ells i entre ells i els usuaris.

L’avaluació pot ser global, si s’avaluen totes les àrees d’avaluació, o parcial, si sols se n’avaluen algunes (E. Ander-Egg, 1982). Avaluar de manera global o sectorial té a veure amb l’elecció dels encarregats del projecte i/o de l’avaluació del projecte. Aquesta elecció està condicionada per la utilització dels resultats de l’avaluació (incloent aquí a qui van dirigits aquests resultats, qui ha de llegir l’informe d’avaluació) així com els recursos disponibles per avaluar i la fase d’implementació del projecte. Les dues àrees principals definides per Ander-Egg són:

  • Àrea de coherència interna: inclou l’avaluació de l’estudi diagnòstic, l’avaluació de la fase de programació-disseny, l’avaluació de l’execució del projecte, on s’avaluen els objectius pròpiament dits, l’avaluació de la implementació entesa com a procés, l’avaluació de la idoneïtat de la institució o entitat des de la qual es realitza el projecte i l’avaluació dels procediments utilitzats.
  • Àrea de coherència externa: inclou l’avaluació dels resultats efectius des del punt de vista del context d’intervenció, fet que suposa una visió externa al projecte més que una revisió interna del procés d’intervenció i dels resultats objectius. En realitat suposa més l’avaluació de l’impacte que dels resultats pròpiament dits. Inclou igualment l’avaluació de la coordinació externa del projecte, l’avaluació dels efectes indirectes del projecte i l’opinió dels beneficiaris del projecte.

Funcions de l’avaluació

L’avaluació té diverses funcions complementàries, que són les següents (Pérez Serrano, 1993):

  • Funció diagnòstica. Es troba principalment, tot i que no de manera exclusiva, en una fase inicial del projecte. Es diagnostica la població destinatària, però també si els esforços i recursos que s’han previst per a desenvolupar el projecte són adequats. A partir de la funció diagnòstica de l’avaluació, és possible dissenyar accions correctores abans que s’hagin comès errades rellevants.
  • Funció predictiva. Normalment sol ser una funció avaluadora que és utilitzada en la fase d’aplicació o execució del projecte, tot i que, com l’anterior, no és exclusiva d’aquesta fase. En aquest sentit l’avaluació ens permet avançar esdeveniments. A partir de les dades recollides i de la seva anàlisi és possible preveure la marxa del projecte i anticipar-se a problemes que poden fer-se efectius en el futur, eliminant-los o reduint-ne la importància.
  • Funció orientadora. Està molt relacionada amb l’anterior, ja que permet als responsables del projecte prendre decisions significatives al voltant del seu desenvolupament.
  • Funció de control. És l’avaluació dels objectius pròpiament dita, tot i que també inclou altres possibles aspectes a controlar. En general la funció de control se centra a investigar quins objectius s’han acomplert i en quina mesura. La importància dels criteris d’eficiència i d’eficàcia en l’elaboració i posada en marxa d’un projecte d’intervenció social és vital, però només a partir d’una bona avaluació de control es pot saber l’eficàcia en l’activitat. Una avaluació de control, així, pot avaluar la millora en determinats aspectes rellevants per al desenvolupament social, la reducció d’efectes negatius en aquests aspectes rellevants o si els recursos existents s’han utilitzat de manera òptima en relació amb la consecució dels objectius.

Tipus d’avaluació

És possible avaluar els projectes d’intervenció social des de diferents perspectives o atenent diferents criteris. Hi ha dues classificacions (vegeu Álvarez Rojo et al., 2002) no excloents entre elles. De fet, probablement els diferents dispositius d’avaluació ideats i posats en funcionament accepten la classificació des de les dues perspectives.

Tot i així, hi ha altres criteris (per exemple, segons la funció que acompleix l’avaluació o segons allò que s’avalua) que poden servir per fer una tipologia de l’activitat avaluadora, tot i que hi aprofundirem. També, en relació amb la importància de l’avaluació participativa, hi ha altra classificació (Rubio, 2015) relacionada amb la distància dels professionals respecte del subjecte d’avaluació.

Segons qui avalua

D’acord amb qui és l’avaluador, hi ha diverses possibilitats, que van des de la realització de l’avaluació per part d’aquells que desenvolupen el projecte fins a l’avaluació de tècnics externs:

  • Avaluació interna. L’avaluació la duen a terme persones que han participat en el disseny del projecte o en la seva aplicació. Són els professionals encarregats de liderar i dur a terme el projecte els que s’encarreguen de l’avaluació. L’avaluació interna assegura que aquell o aquells que avaluen coneguin perfectament la naturalesa del projecte i, per altra banda, és més probable que aquests avaluadors estiguin personalment implicats amb la marxa i els resultats del projecte i que, per tant, projectin sobre l’avaluació una mirada subjectiva que pot invalidar-la o mediatitzar-la. Es distingeix l’avaluació interna, duta a terme per persones que pertanyen a l’entitat que executa el programa però no per aquells que directament l’estan aplicant, de l’autoavaluació, on els avaluadors sí que estan directament implicats en l’execució o realització del projecte (E. Ander-Egg, 1982).

Exemple d'avaluació interna i autoavaluació

En l’àmbit educatiu, i com a exemple, una autoavaluació són aquells exàmens que el professor planteja als seus alumnes: el professor, que s’ha encarregat de la docència en una matèria determinada, és qui avalua el progrés dels seus alumnes.

Les PAU (provés d’accés a la universitat) serien una avaluació interna ja que professors que no han participat en la docència dels alumnes, però que sí que formen part del cos de professors del departament, la conselleria o l’òrgan corresponent d’educació són els que s’encarreguen de corregir els exàmens.

  • Avaluació externa. L’avaluació externa la duen a terme persones contractades a aquest efecte. No són professionals en relació directa amb el projecte i, per tant, se suposa que el seu punt de vista tindrà més objectivitat. Un exemple d’avaluació externa, en l’àmbit educatiu, serien les proves del programa PISA: una sèrie de proves estàndard coordinades per l’OCDE que avaluen les competències educatives a diferents països del món.
  • Avaluació mixta. En l’avaluació mixta es conformen equips de professionals interns i externs. Es suposa que aquesta forma d’avaluació és capaç d’esquivar els inconvenients de les dues anteriors sense perdre cap dels seus avantatges. Cal dir, però, que la conformació d’equips mixtos presenta una dificultat afegida: aquests equips han de coordinar-se correctament i han de mantenir relacions estretes de col·laboració i ajuda. En cas contrari, els professionals interns poden pensar que estan sent sotmesos a una fiscalització del seu treball i els externs poden veure’s exclosos o menystinguts alhora que es dificulta o impossibilita la seva feina.
  • Avaluació dels usuaris. Els usuaris sempre poden avaluar el projecte del qual s’estan beneficiant, ja sigui des del punt de vista dels avantatges que estan percebent com des de punt de vista del procés d’intervenció (si se senten escoltats, si se’ls tracta o no amb respecte, si troben que els recursos són els adequats o són suficients, etc.). En tot cas és desitjable, per tal que l’avaluació sigui representativa, que els usuaris del projecte es trobin implicats en el desenvolupament i que coneguin bé els mecanismes d’intervenció. De fet, aquest coneixement pot ser també objecte d’avaluació.

Segons la perspectiva temporal

El moment en el qual es realitza l’avaluació és també d’una gran importància d’acord amb els interessos:

  • Avaluació ex ante o preavaluació. L’avaluació feta abans de la intervenció assimilable al diagnòstic, tot i que no és correspon exactament amb aquesta fase. En aquesta avaluació es vol determinar si la intervenció resulta pertinent, especialment respecte a les necessitats que ja han estat detectades. També és una avaluació que permet estimar l’èxit de la intervenció.
  • Avaluació intermèdia. L’avaluació feta al mateix temps que es va desenvolupant el projecte. Dona dades valuoses sobre la manera com el que s’ha planificat s’ajusta al que s’ha executat. Gràcies a aquesta mena d’avaluació coneixem els progressos del projecte i si és necessari, o no, incloure modificacions, orientant-se en la presa de decisions estratègiques.
  • Avaluació ex post o final. L’avaluació és du a terme una vegada el projecte ha finalitzat i està destinada a comprovar els assoliments del projecte, així com a valorar el procés d’intervenció (per exemple si ha estat eficient, si ha estat flexible, si la logística ha estat l’adequada) una vegada ha finalitzat.

Segons la relació de l’avaluador amb l’objecte avaluat

Des d’aquesta perspectiva de classificació, interessa la possibilitat que el subjecte avaluador estigui implicat amb l’objecte d’avaluació:

  • Distant. L’avaluador, normalment extern, realitza l’avaluació a partir de dades recollides per tercers sobre l’objecte avaluat.
  • Participativa. L’avaluador rep informació directa dels avaluats, que també poden participar en l’elaboració d’algun o tots els instruments d’avaluació. La interpretació de les dades és realitzada pels professionals.
  • Cooperativa. Avaluador i subjecte d’avaluació (persones i/o grups) es posen d’acord en què cal avaluar, els criteris que han de tenir-se en compte i l’elaboració dels instruments. Es defineix també de manera conjunta la metodologia d’avaluació i s’interpreten els resultats de forma col·legiada.
  • Capacitadora o apoderada. L’avaluació la fa el mateix subjecte d’intervenció, que elabora els instruments, defineix la metodologia i interpreta els resultats. Els professionals tenen un paper de guia o acompanyant en un procés que eminentment desenvolupen els usuaris.

Anàlisi del procés d’avaluació

Comprendre l’avaluació com un procés i no com un episodi porta a entendre que aquesta ha de seguir una metodologia planificada i uns procediments que poden variar segons quines siguin les intencions dels avaluadors. Hi ha indicacions concretes sobre com ha de ser aquest procés i quins instruments es poden fer servir.

En qualsevol cas, hi ha altres eixos que cal considerar, tot i que per qüestions d’espai no es desenvolupen aquí.

Es consideren dos grans eixos al voltant dels quals cal dissenyar la metodologia d’avaluació.

  • Eix de metodologia qualitativa o quantitativa: es fan servir les dues tot i que en determinats moments del procés d’avaluació una pot ser preferible a l’altra. Una metodologia quantitativa posa l’èmfasi en la recollida de la informació del món real que pot ser reduïda a números, amb els quals es poden fer operacions matemàtiques. Una metodologia qualitativa es basa en l’anàlisi de relats. Això dificulta la comparació amb altres situacions o contextos, però no sintetitza tant la informació recollida, que aporta més matisos. Ambdues metodologies són utilitzables tant per a l’avaluació de projectes com per a la d’activitats, i tant per a avaluacions realitzades únicament pels tècnics com per a avaluacions participatives. Per tant, no cal limitar l’àmbit de cap d’elles a partir d’estereotips que resulten injustos i falsos: els usuaris poden fer únicament avaluacions qualitatives, ja que no tenen els coneixements tècnics ni les capacitats per entendre les quantitatives; els professionals són els que s’encarreguen de les avaluacions quantitatives, perquè estan preocupats per aspectes burocràtics, acadèmics i/o científics que poden estar allunyats de les necessitats dels usuaris.
  • Eix d’avaluació puntual o avaluació longitudinal: una avaluació puntual suposa avaluar en un moment determinat (o en uns pocs moments). Si únicament es preveu un moment d’avaluació, serà al final del procés d’intervenció (avaluació dels resultats o de l’impacte), mentre que si es determinen diversos moments d’avaluació aquests poden coincidir amb l’avaluació inicial, intermèdia (o intermèdies, si hi ha moments intermedis d’avaluació) i final. En general es recomana que l’avaluació puntual sigui de caire quantitatiu, especialment si es produeix al final del procés d’intervenció. L’avaluació longitudinal és l’avaluació que es produeix al llarg de tot el procés d’intervenció. No s’ha de confondre amb la realització de múltiples avaluacions puntuals. En aquest cas es recomana que l’avaluació sigui qualitativa i pot prendre la forma d’un diari de camp. L’avaluació longitudinal consisteix en un acompanyament valoratiu que pot fer èmfasi en aspectes procedimentals i altres aspectes de satisfacció, tant dels usuaris com dels professionals. En tot cas, també s’ha de centrar, això és preceptiu, en el compliment o no dels objectius definits.

Vegeu com utilitzar els objectius (generals, específics i operatius) en un hipotètic projecte anomenat projecte CONVIU. Els objectius d’aquest projecte són:

  • Objectiu general 1: reduir el nombre d’agressions entre els alumnes de segon de l’ESO
    • Objectiu específic 1.1: utilitzar llenguatge no ofensiu en les relacions socials
      • Objectiu operatiu 1.1.1: aprendre llenguatge no sexista
      • Objectiu operatiu 1.1.2: aprendre llenguatge no discriminador
    • Objectiu específic 1.2: entendre els perjudicis de la conducta agressiva
      • Objectiu operatiu 1.2.1: comprendre les fases de l’agressió
      • Objectiu operatiu 1.2.2: aturar la pròpia conducta agressiva si aquesta apareix
  • Objectiu general 2: millorar les habilitats socials dels alumnes de segon de l’ESO
    • Objectiu específic 2.1: desenvolupar el sentiment d’empatia
      • Objectiu operatiu 2.1.1: entendre els sentiments de les altres persones
      • Objectiu operatiu 2.1.2: actuar de manera empàtica en les pròpies relacions socials
    • Objectiu específic 2.2: expressar els sentiments i les emocions sense ofendre els altres
      • Objectiu operatiu 2.2.1: verbalitzar adequadament els sentiments i emocions
      • Objectiu operatiu 2.2.2: dominar la pròpia frustració quan es produeixi

Instruments quantitatius

El principal instrument d’avaluació és la fitxa o graella de recollida de dades. Es tracta de reduir cadascun dels objectius a diversos ítems que puguin ser observables i mesurables, almenys de manera ordinal. Els objectius generals depenen dels específics, i aquests dels operatius, però tot i que els generals no siguin observables de manera directa han de disposar dels seus propis indicadors. Aquesta fitxa de recollida de dades pot ser de major o menor complexitat: és una elecció de l’equip avaluador. La nostra recomanació és que no sigui tan extensa que la recollida de les dades sigui una tasca feixuga. En tot cas la complexitat de l’instrument de recollida de dades també depèn de la quantitat de recursos humans i tècnics disponibles per a l’avaluació. Cal buscar la funcionalitat de la metodologia i de l’instrument: ha de ser possible avaluar d’acord amb allò previst i els resultats del procés avaluador han de ser útils.

Exemple: graella de dades del projecte CONVIU

Vegeu l’exemple d’un instrument d’avaluació dirigit a avaluar l’objectiu general 1 del projecte batejat com a projecte CONVIU. És un instrument de forta càrrega quantitativa, tot i que les principals categories de resposta són ordinals (accepten l’ordre, però no operacions matemàtiques entre si).

El resultat de les observacions pot consignar-se d’una manera mixta: algunes d’aquestes observacions es refereixen a la recollida de dades objectives enregistrades per part de professors o dels mateixos observadors (nombre d’episodis d’agressions), d’altres es refereixen a impressions subjectives dels mateixos subjectes d’avaluació i d’altres, als resultats de l’observació dels avaluadors, que ha d’haver-se produït al llarg de les activitats programades. En aquest cas els resultats de la fitxa de recollida de dades han de consignar-se a partir de les avaluacions de les activitats:

OBJECTIU GENERAL 1: Reduir el nombre d’agressions entre els alumnes de segon de l’ESO

Nombre d’agressions enregistrades en el període establert: _

Variació en el nombre d’agressions enregistrades respecte el període anterior: _

Valoració de l’alumnat (a través d’una enquesta individual: s’enregistren els resultats mitjans), on 1 és molt poc o molt dolent i 10 és en molta quantitat o molt bo:

Taula: Objectiu 1: reduir el nombre d’agressions
Objectiu 1 12345678910
Agressivitat (percebuda) dels companys
Agressivitat (percebuda) pròpia
Freqüència d’insults a l’aula o al pati
Freqüència d’agressions a l’aula o al pati

Observació (l’avaluador valora cada ítem d’acord als resultats de la seva observació o de la interpretació dels resultats de les activitats):

Taula: Objectiu 1.1: utilitzar llenguatge no ofensiu en les relacions socials
Objectiu 1.1 Sempre Bastant Poc Mai Observacions
Es fa servir llenguatge ofensiu a l’aula
S’insulta als companys
Els insults (quan es produeixen) tenen components masclites o fan referència a qüestions de gènere
Els insults (quan es produeixen) fan referència a aspectes que impulsen les desigualtats (raça, ètnia, llengua, procedència, religió, classe social)
Els insults (quan es produeixen) fan referència a l’aspecte físic

Observació (l’avaluador valora cada ítem d’acord als resultats de la seva observació o de la interpretació dels resultats de les activitats):

Taula: Objectiu 1.2: entendre els perjudicis de la conducta agressiva
Objectiu 1.2 Sempre Bastant Poc Mai Observacions
El professor aconsegueix aturar l’agressió si es produeix
Els companys aturen (o ho intenten) la situació d’agressió
Si hi ha una agressió, posteriorment hi ha una mediació entre els implicats
Els implicats, si hi ha una agressió, reflexionen al voltant de la situació generada
L’alumnat en general, si es produeix una agressióm reflexionen al voltant de la situació generada
L’alumne o alumnes agressors, si existeix una agressió, participen activament en la reparació dels danys causats

Fixeu-vos en diversos aspectes:

  • La graella és l’instrument d’avaluació d’un objectiu general, per això en algunes ocasions la informació que es recull no està recollida de forma directa sinó a través d’observacions indirectes.
  • Com que és un objectiu general, dividit en dos d’específics, cal que hi hagi la referència a ambdós objectius específics en l’instrument d’avaluació.
  • Aquest instrument d’avaluació ha d’anar acompanyat d’unes instruccions o indicacions que expliquin en quines condicions l’objectiu es considera acomplert i en quines no. Per exemple, cal indicar el nombre de SEMPRE, BASTANT, POC o MAI que és necessari a cada graella dels objectius específics per considerar-lo assolit o quina és la reducció del nombre d’agressions enregistrades que es considera acceptable. En cas d’incongruència entre diversos indicadors (per exemple, un dels objectius específics té molt bons resultats i l’altre no o hi ha una gran reducció del nombre d’agressions enregistrades però en la valoració de l’alumnat els resultats són molt negatius), cal també establir quin és l’indicador més important. En darrera instància es pot considerar que l’objectiu s’ha acomplert de manera total o parcial (o amb matisos), però aleshores també cal indicar les formes de superació o no de l’objectiu i quins són els resultats de l’instrument que ens duen a considerar si aquest s’ha acomplert en la seva totalitat o no.
  • Hi ha un apartat de recollida qualitativa de dades (els comentaris), on cal consignar qualsevol informació convenient o necessària que ajudi a interpretar els resultats.
  • Aquest és un instrument típic d’avaluació final (o d’avaluació puntual: se’n pot fer servir un cada cert temps i ajuda a veure l’evolució de la problemàtica) centrat en els objectius. Se’n poden dissenyar d’altres basats en els recursos, en l’actuació dels professionals (nosaltres) al llarg del procés d’intervenció, en el compliment dels terminis, en l’adequació dels espais, etc. Tot és susceptible de ser avaluat.

Instruments qualitatius

Un dels instruments de recollida de dades qualitatives és una versió del diari de camp que es pot anomenar anecdotari. Un instrument qualitatiu transforma la realitat en un o diversos discursos. En realitat, mentre l’instrument quantitatiu redueix la realitat a aspectes quantificables (més fàcilment interpretables però que, a la força, eliminen part de la complexitat d’aquesta realitat), els instruments qualitatius tradueixen la realitat al seu aspecte discursiu: és també una simplificació però d’un ordre menor i, alhora, dificulta el procés d’interpretació dels resultats.

Exemple: graella de dades del projecte CONVIU

Vegeu l’exemple d’un instrument d’avaluació dirigit a avaluar l’objectiu general 2 del Projecte CONVIU:

Anecdotari: OBJECTIU GENERAL 2: Millorar les habilitats socials dels alumnes de segon de l’ESO

Taula: Indicacions
Ítems d’observació Forma com s’ha de consignar les evidències
Les relacions entre els alumnes són fluides L’observació de les activitats: cal fer un resum de com ha anat la o les sessions. Fer èmfasi en si tothom parla amb tothom. Si hi ha alguna persona exclosa, esbrinar per què.
Els alumnes es tracten bé entre ells L’observació de les activitats: cal fer un resum de com ha anat la o les sessions. Descriure els episodis de maltractament.
Els alumnes respecten les seves diferències L’observació de les activitats: cal fer un resum de com ha anat la o les sessions. Descriure els episodis on hi ha un pressió sobre el diferent: què provioca aquest atac; quines són les reaccions entre els implicats. Com reacciona la resta d’alumnat.
L’alumnat coneix el concepte d’empatia L’observació de les activitats: fer un resum dels moments en què s’ha utilitzat el concepte; si són pertinents o no; si està utilitzat de manera correcta.
L’alumnat és capaç d’elaborar una definició pròpia del concepte L’observació de les activitats: fer un resum dels moments en què s’ha utilitzat el concepte; si són pertinents o no; si està utilitzat de manera correcta.
L’alumnat s’expressa adequadament L’observació de les activitats: es consigna si els alumnes fan servir paraules i conceptes adequats que ajuden a explicar la realitat i el context en el qual viuen.
L’alumnat té prou riquesa lèxica en l’àmbit de les emocions L’observació de les activitats: es consigna si els alumnes fan servir paraules i conceptes adequats que ajuden a explicar emocions pròpies i alienes
L’alumnat reconeix les pròpies emocions i les alienes L’observació de les activitats: es consigna si els alumnes fan servir paraules i conceptes adequats que ajuden a explicar emocions pròpies i alienes. Es consigna si l’alumnat es comporta en conseqüència.
L’alumnat s’enfada i/o es frustra amb freqüència L’observació de les activitats: es consignen els moments d’empipament i conflicte, allò que els produeix i les reaccions dels implicats i altres alumnes.
L’alumnat resol correctament el seu empipament i/o les frustracions L’observació de les activitats: es consignen els moments d’empipament i conflicte, allò que els produeix i les reaccions dels implicats i altres alumnes, especialment pel que fa als protagonistes.

En un anecdotari cal recollir la informació rellevant de les activitats desenvolupades. En aquest cas, com que es refereix a un objectiu general, cal fer un relat que inclogui les distintes dimensions en què es pot dividir aquest objectiu. Per fer això es pot comptar amb els resultats de les avaluacions de les activitats. En tot cas, és recomanable que aquestes activitats també comptin amb una part (o amb la totalitat) d’avaluació qualitativa. Es pot escriure sobre qualsevol aspecte del desenvolupament de l’activitat del projecte, però cal fer èmfasi en els ítems d’observació descrits amb anterioritat.

Els ítems d’observació es refereixen a les diferents dimensions o indicadors dels objectius. La redacció de les evidències referides a aquests indicadors és lliure, però hi ha determinats aspectes que s’han de reflectir en la producció final ja que permetran parlar d’un assoliment o no dels objectius.

Cal fixar-se en diversos aspectes:

  • Aquest instrument qualitatiu està basat en un relat, en un relat que construïm nosaltres. Cal construir arguments i cal traslladar-los al llenguatge escrit. Hi ha un treball d’interpretació posterior del text, que és el que dirà si s’han assolit els objectius o no.
  • Altres instruments qualitatius poden estar basats en el relat dels participants. En aquest cas, també cal ser molt curosos amb les indicacions. La producció textual és lliure, però ha d’incloure informació sobre el que es vol analitzar.
  • La interpretació dels resultats és més complexa que en el cas anterior. Així i tot, cal establir en quines condicions es donaran per assolits els objectius i en quines no.
  • La llargada és variable. En observacions que produeixen textos molt llargs es poden fer servir tècniques d’aparença quantitativa (per exemple, quantes vegades apareix referit un determinat fet o un determinat concepte) que ajudin a determinar el pes final.
  • L’instrument està basat en els objectius i, per tant, pren l’aparença d’una avaluació final. En realitat aquesta mena d’avaluació està indicada per a qualsevol moment i és certament útil en moments intermedis o, en forma de diari de camp, per a fer una avaluació contínua. Poden incloure’s ítems d’observació sobre qualsevol aspecte del desenvolupament del projecte: recursos, temps, satisfacció, relació amb els usuaris o les entitats, etc.

Instruments d’avaluació puntual

Poden ser qualitatius o quantitatius, tot i que és més freqüent que siguin quantitatius. Són molt utilitzats al final del projecte i són, igualment, un instrument molt útil per avaluar activitats, especialment si són de curta durada. Poden prendre la forma d’enquestes tant per a usuaris com per a professionals o de formularis de recollida de dades emplenats per professionals i/o avaluadors. Són capaços de mesurar els objectius, així com altres elements tècnics del procés d’intervenció però, en tot cas, no cal negar la seva utilitat a l’hora d’avaluar aspectes vivencials del procés d’intervenció.

Instruments d’avaluació longitudinals

Els instruments d’avaluació longitudinals poden prendre una forma quantitativa, especialment si es compta amb els recursos tècnics adequats que permeten enregistrar la informació en el moment en què es produeix i realitzar una anàlisi estadística complexa a partir d’una gran quantitat de dades. En aquest cas, una avaluació longitudinal permet reconèixer regularitats i patrons que d’altra manera passarien inadvertits.

En tot cas, els instruments d’avaluació longitudinals més freqüents són aquells qualitatius que prenen la forma de diari de camp i que poden ser emplenats tant per tècnics com per usuaris. L’anàlisi d’aquesta informació pot produir-se també de manera diària i dona molta informació al voltant de com està funcionant el procés d’intervenció, no únicament pel que fa a l’acompliment dels objectius sinó també respecte a aspectes que tenen a veure amb les relacions entre els usuaris i els responsables de la intervenció, el funcionament institucional o de l’entitat o entitats que lideren el projecte, la possibilitat que els usuaris estan tenint de fer efectiva la seva participació en l’elaboració i la definició de la intervenció, etc.

Un diari de camp pot estar organitzat quant a la recollida de les dades d’una forma semblant a l’anecdotari. En tot cas, cal deixar clar abans de començar el diari si els temes dels quals cal recollir informació seran els mateixos al llarg de tot el procés i la forma de recollir aquests fets (quines són les evidències així com si les evidències seran les mateixes al llarg de tot el procés d’intervenció).

Suports informàtics en el tractament i l'organització de la informació

És imprescindible comptar, per a l’avaluació de projectes, amb l’ajuda de determinades eines informàtiques. Disposar, almenys, d’un programari de full de càlcul (per exemple, el Microsoft Excel, qualsevol de les seves versions lliures, o les aplicacions de full de càlcul del núvol, per exemple les vinculades als comptes de correu Gmail) ajuda a organitzar la informació quantitativa i tractar-la estadísticament per tal d’obtenir indicadors refinats respecte a la situació avaluada. Normalment en l’avaluació en realitat s’acumulen tota una sèrie d’informacions que per si soles no tenen més rellevància. Aquestes informacions són d’utilitat quan es relacionen i quan poden ser reduïdes a resultats concrets que marquen si un fet social s’ha produït o no i en quina mesura.

Aquesta informació, a més, no únicament ha de ser tractada, sinó que també ha de ser emmagatzemada en condicions de seguretat i privacitat. Així que els suports informàtics són imprescindibles en la tasca d’avaluació.

Una de les principals eines informàtiques per a l’avaluació (i no únicament per a l’avaluació, sinó també per a altres fases de la programació i execució d’un projecte d’intervenció social) és el programa Microsoft Project. Hi ha algunes alternatives de programari lliure que funcionen amb comandaments molt semblants i que tenen funcions similars, per exemple ProjectLibre. El programa Project, en qualsevol de les seves versions (Microsoft o programari lliure), és un planificador de projectes que ajuda a posar ordre i sistematitzar la informació. El programa permet generar informes que poden ser de molta utilitat en l’activitat avaluadora: informes que, per exemple, poden referir-se a la utilització del temps i dels recursos, incloent els econòmics. El programa, igualment, ajuda a determinar l’existència de conflictes en termes de l’assignació de recursos: per exemple, diu si hi ha recursos que estan sent utilitzats en més d’un lloc a la vegada o si, en canvi, hi ha recursos que es podrien estar mobilitzant i que s’està fent.

Un altre aspecte importantíssim a l’hora de parlar dels suports informàtics i de tractament de la informació és allò que té a veure amb les imatges, els àudios i els vídeos. En moltes ocasions la interpretació de la realitat (necessària per a la pràctica avaluadora) es produeix sobre enregistraments audiovisuals. L’emmagatzemament i el tractament d’aquesta informació també ha de fer-se a partir de mitjans informàtics que permetin la manipulació i l’anàlisi de forma àgil.

Elaboració d’informes i memòries

Una vegada completada l’avaluació, és necessari comunicar els resultats. Un dels elements importants de la difusió té a veure amb la necessitat que la difusió dels resultats sigui fàcilment intel·ligible tant per part del públic destinatari com per part del públic general i d’altres professionals que vulguin consultar les activitats.

En el cas de la comunicació dels resultats de l’avaluació, els objectius són semblants: que siguin intel·ligibles per als diversos col·lectius, que siguin fidels a la realitat… Però en general el que es busca amb aquests informes és acabar concloent si el projecte ha tingut èxit o no, i per això poden prendre una dimensió més tècnica que un informe de difusió.

Destinataris de l’informe

El llenguatge està condicionat pel públic a qui es dirigeix l’informe. Aquests informes han d’estar basats en tres aspectes fonamentals (V. Álvarez Rojo et al., 2002):

  • Als responsables polítics (o a altres responsables de gestió i/o finançament): cal tenir en compte que poden no ser experts en la temàtica que es tracta, però que necessiten una certa quantitat d’informació tècnica que els porti a valorar si el projecte d’intervenció ha assolit els objectius i ho ha fet d’acord amb unes característiques que es consideren vàlides.
  • Al públic en general o als usuaris del projecte: cal valorar si, partint de la base d’una avaluació participativa, ha d’estar redactat precisament per aquests usuaris. Sigui com sigui, si els destinataris no tenen grans coneixements tècnics cal assegurar que podran comprendre el missatge. En moltes ocasions és útil en aquesta mena d’informes fer servir un llenguatge periodístic i, de fet, molt sovint aquesta mena d’informes prenen la forma d’una nota de premsa que, després, pot publicar-se a la premsa local.
  • Als tècnics: els informes han de tenir un important pes científic respecte a la ciència social de tal manera que han de demostrar als lectors el compliment dels objectius i el grau en què s’han acomplert aquests objectius. Els informes han de detallar aspectes del procediment i dels resultats d’avaluació que puguin ser replicats per altres tècnics i que permetin la comparació amb altres projectes similars.

Continguts de l'informe

L’informe o la memòria de projecte ha de contenir un resum executiu que inclogui la fonamentació teòrica, les metodologies d’intervenció, els resultats del projecte i una conclusió o judici crític. En un informe de presentació dels resultats d’avaluació cal incloure:

  • Descripció del procés d’aplicació de projecte, fent èmfasi en com s’ha implementat i en quines actuacions prèvies s’han hagut de desenvolupar.
  • Resultats de l’avaluació, presentant les dades obtingudes i interpretant els resultats d’acord amb els models teòrics que han regit l’aplicació del projecte d’intervenció.

Estructura de l’informe

L’informe d’avaluació ha d’incloure una part introductòria en la qual es posa sobre avís el lector de les principals característiques del projecte. Després hi ha d’haver un apartat on es mostren els resultats, agrupats des del punt de vista dels indicadors que permeten donar per bons els objectius o no. Un tercer punt és la discussió dels resultats, i el darrer punt han de ser les conclusions, en les quals es fan noves propostes d’acció i es valora (es fa un judici de valor sumari) l’actuació present.

Gestió de qualitat en els projectes d’intervenció social

Les idees bàsiques d’un model de qualitat (Plataforma d’ONG d’Acció Social, 2008) és que la qualitat és sinònim de bona gestió de l’organització. En aquest sentit, es creu que tota activitat o procés és susceptible de millorar en relació amb el procés mateix o els resultats que obté quan posa el client al centre de l’exigència de la qualitat, implica tota l’organització i no només aquelles parts que es relacionen directament amb clients o usuaris, es basa en la millora contínua o l’optimització, inclou el concepte de “client intern” i fa que l’organització, en general, es dirigeixi cap a l’excel·lència.

Així, un sistema de gestió de la qualitat està centrat en la qualitat i basat en la prevenció i en la idea de millora contínua, apunta a l’èxit a llarg termini i té com a objectiu la satisfacció dels clients de l’organització (usuaris dels projectes d’intervenció social).

Els principis fonamentals de la gestió de la qualitat són:

  • Satisfacció i orientació cap al client
  • Lideratge i compromís de la direcció
  • Participació i implicació dels membres de l’organització
  • Relacions mútuament beneficioses amb col·laboradors i altres parts interessades
  • Gestió per a processos i fets
  • Millora contínua
  • Responsabilitat social de l’organització

El darrer punt, sempre tenint en compte que els projectes són d’intervenció social i que van dirigits a la millora de les condicions de vida de col·lectius o individus vulnerables, pren una importància fonamental.

En general un sistema de gestió de la qualitat busca fer els processos més eficients i eficaços, assolint els objectius amb la menor despesa de recursos i centrant-se en la satisfacció dels usuaris sense oblidar la dels professionals que s’encarreguen de proveir aquests serveis. Es basa en la idea de procés, entès com un conjunt d’activitats relacionades entre si, ordenades d’acord amb una seqüència i que aboquen a un resultat. Aquests processos, que es desenvolupen d’acord amb determinats procediments que han de ser regulats i coneguts, estan subjectes a contínues avaluacions fins que els resultats són els esperats.

El que és important són els resultats. Però es considera que no hi poden haver bons resultats sense la implementació de millores significatives i contínues en els processos. Avaluar aquests processos es fa gràcies a l’elaboració de registres que funcionen com evidències del desenvolupament del procés (és a dir, del procediment) i que són la base des d’on programar i executar les millores.

La norma ONG Calidad (ICONG, 2014) en la seva cinquena versió marca quins han de ser els principis per a les activitats relacionades amb la intervenció social. Assenyala principis d’acció referits a les persones (preservar la dignitat humana, la defensa dels drets i assegurar l’orientació a cada persona), d’altres centrats en l’organització (orientant-se a les parts interessades, posant en valor el voluntariat i la participació, buscant la professionalització dels treballadors del sector i la millora contínua, buscant també l’eficàcia i l’eficiència i ordenant la gestió orientant-se a la missió) i d’altres orientats a la societat (solidaritat, confiança, transparència, rendició de comptes, compromís democràtic i la implicació social).

Avaluació i seguiment en les intervencions per impulsar la igualtat

Més endavant, en aquesta mateixa unitat, hi ha contingut específic per a les qüestions específiques de gènere.

Els principals procediments per assegurar que les intervencions que busquen la igualtat entre homes i dones assoleixen els objectius determinats són una sèrie d’indicadors que han de mesurar-se per entendre si els objectius en termes d’igualtat de gènere s’han assolit o no.

Les desigualtats de gènere són un dels principals vectors de desigualtat a les societats desenvolupades i en vies de desenvolupament. Aquest fet no per ser més conegut és menys rellevant. De fet, tot i que es parla amb freqüència d’aquestes desigualtats en els procediments d’avaluació, en l’execució final pot oblidar-se o obviar-se el fet d’incloure alguna revisió que faci èmfasi a mesurar si el projecte d’intervenció ha tingut algun resultat diferent en relació amb el gènere dels participants i/o usuaris. És necessari avaluar les polítiques i les accions per tal de conèixer els impactes en homes i en dones i, en el cas que això succeeixi, prendre les decisions adequades per tal de subvertir l’existència del desequilibri.

Les propostes d’intervenció han d’anar dirigides a eliminar situacions de desigualtat i injustícia social i les desigualtats de gènere no han de ser oblidades.

Cal avaluar (Moreno et al., 1999):

  • Participació: cal conèixer qui i en quina mesura hi participa. És necessari assegurar la presència de la dona en els espais de presa de decisions. Les dones han d’estar representades tant des del punt de vista individual com des del punt de vista col·lectiu. Si els interlocutors són associacions, partits polítics o entitats, dins d’aquests grups la presència de la dona també ha d’estar assegurada.
  • Recursos: cal avaluar si homes i dones tenen un accés equilibrat als recursos, sigui quina sigui la naturalesa d’aquests recursos. En cas que es comprovi que això no és així, s’ha d’oferir a les dones la possibilitat d’accés a aquests recursos, modificant els aspectes del projecte d’intervenció que siguin necessaris. Cal recordar que un projecte que no asseguri la igualtat de gènere no és un projecte satisfactori ja que està, en realitat, perpetuant un dels eixos de desigualtat més importants a les nostres societats.
  • Normes i valors: no s’han d’assegurar únicament aquells que tenen a veure amb el grup o col·lectiu de la intervenció sinó els propis valors i les pròpies normes (és a dir, els dels professionals). Vivim en un context heteropatriarcal, per tant, hem d’acceptar la presència de múltiples idees, estereotips i prejudicis masclistes que poden condicionar la intervenció. Cal revisar-los per assegurar que la intervenció serà tan igualitària com sigui possible.
  • Drets per fer front a la discriminació: és bo fer una revisió de la situació de la dona abans, durant i després de la intervenció, no únicament pel que fa als drets reconeguts sinó a la possibilitat de fer-los efectius.

Valoració de l’objectivitat

Sempre hi ha la possibilitat que una intervenció social estigui mediatitzada per les creences o la ideologia de qui la impulsa. Això pot esdevenir en qualsevol moment de la intervenció i, per descomptat, també en l’avaluació. Un dels criteris fonamentals per a l’avaluació és la validesa i, amb ella, l’objectivitat. Aquesta exigència es resumeix en el fet que el que ha de mesurar l’avaluador ha de ser un fidel reflex de la realitat, amb independència de si li agrada allò que veu o no.

Una de les maneres d’assegurar aquesta objectivitat és a través dels equips multidisciplinaris. Així, les pròpies opinions i punts de vista queden diluïts entre els d’altres professionals. L’avaluació participativa també ajuda en la recerca de l’objectivitat, ja que ens permet incloure punts de vista que, en l’àmbit social, han quedat ocults en altres ocasions.

En l’avaluació l’objectivitat permet demostrar que el projecte ha tingut èxit. Així, el projecte es pot estendre a altres àmbits o destinataris ja que ha resultat vàlid d’acord amb criteris comparables i demostrables. Tanmateix, no s’ha d’oblidar que la intervenció social és una ciència social aplicada: això comporta algunes dificultats, precisament, en la recerca de l’objectivitat. L’objectivitat no ha de ser entesa com una categoria excloent (de la qual es pot formar part o no), sinó com un territori on viatjar: cal fer esforços per ser objectius en el procés d’avaluació amb el benentès que sempre, o en la major part de les ocasions almenys, es podria haver fet millor.

Per tant, disposar d’una avaluació tan objectiva com sigui possible és una fita cap on s’ha de tendir. Cal revisar els processos d’avaluació per tal d’assegurar que els resultats d’avaluació són fidels retrats de la realitat i en què s’ha aconseguit eliminar la major part de les distorsions dels punts de vista subjectius dels tècnics d’intervenció o del públic destinatari, però sent conscients que a posteriori, una vegada realitzada l’avaluació, pot haver-hi errades que només es poden resoldre en un futur procés d’intervenció.

Anar a la pàgina anterior:
Referències
Anar a la pàgina següent:
Activitats