UNIVERSITATEA DE STAT DIN MOLDOVA Facultatea de Psihologie, Științe ale Educației, Sociologie și Asistență Socială Departamentul Sociologie și Asistență Socială MONITORIZARE ȘI EVALUARE ÎN DOMENIUL SOCIAL ÎN BAZĂ DE EVIDENȚE Ghid metodic Aprobat de Consiliul Calității al USM Chișinău – 2022 2 CZU 378.091:364(075) O-17 Recomandat de Departamentul Sociologie și Asistență Socială și de Consiliul Facultății de Psihologie și Științe ale Educației, Sociologie și Asistență Socială Recenzenți: Camelia GHEORGHE, director de proiect D4I Moldova, Palladium Stela MILICENCO, doctor în sociologie, conferențiar universitar, Universitatea de Stat din Moldova Lucrarea este elaborată în cadrul proiectului „Date pentru Impact (D4I): Valorificarea puterii datelor în beneficiul copilului”, finanțat de Agenția Statelor Unite pentru Dezvoltare Internațională (USAID) și implementat de Palladium în Republica Moldova. Lucrarea este adresată cadrelor didactice, studenților și celor interesați de monitorizare și evaluare în domeniul social în baza de dovezi pentru a lua decizii întemeiate. Conținutul lucrării cuprinde aspecte referitoare la conceptualizarea monitorizării și evaluării, modalități de analiză și vizualizare a datelor, cererea și utilizarea datelor etc. Ghidul este elaborat pentru a susține procesul de predare-instruire-evaluare la Ciclul II Master. ISBN 978-9975-62-491-6 © Oceretnîi A., Bulgaru O., Chira A. 2022 ©USM, 2022 DESCRIEREA CIP A CAMEREI NAȚIONALE A CĂRȚII Oceretnîi, Anastasia. Monitorizare și evaluare în domeniul social în bază de evidențe: Ghid metodic / Anastasia Oceretnîi, Bulgaru Oleg, Chira Aliona; Universitatea de Stat din Moldova, Facultatea de Psihologie, Științe ale Educației, Sociologie și Asistență Socială, Departamentul Sociologie și Asistență Socială. – Chişinău: CEP USM, 2022. – 91 p. Aut. indicaţi pe vs. f. de tit. – Referinţe bibliogr. la sfârşitul temelor. – 92 p.: tab. 50 ex. ISBN 978-9975-62-491-6. 378.091:364(075) O-17 3 Colectivul de autori OCERETNÎI Anastasia, doctor în sociologie, conferențiar universitar, cu experiență de peste 20 de ani în cercetare și expertiză în domeniul social în proiecte UNICEF, USAID, Banca Mondială, GIZ, UNFPA, ILO etc. Domeniile de interes științific: metode de cercetare, analiza datelor, identitate socială, reconcilierea vieții de familie cu cea profesională, securitatea și sănătatea în muncă, educație parentală, cultură, protecția copilului. BULGARU Oleg, doctor în științe fizico-matematice, conferențiar universitar, coordonator, asistent de proiect, expert în proiecte UNICEF, AUF, TEMPUS, USAID, SOROS etc. Domeniile de interes științific: informatică, cercetare sociologică cantitativă, aplicații statistice în cercetarea sociologică, demografie. CHIRA Aliona, doctorand în cadrul Școlii doctorale Științe Sociale și ale Educației a Universității de Stat din Moldova. Domeniile de interes științific: teoria și metodologia cercetării sociologice, fenomene și procese sociale, marketing social. 4 CUPRINS Introducere ................................................................................................ 5 Conținutul orelor de curs Cadrul conceptual al monitorizării și evaluării.................................. 9 Monitorizarea..................................................................................... 16 Evaluarea............................................................................................ 22 Colectarea datelor pentru monitorizare și evaluare............................ 32 Calitatea datelor.................................................................................. 37 Indicatori utilizați în monitorizare și evaluare.................................... 43 Analiza datelor.................................................................................... 54 Cererea și utilizarea datelor................................................................ 57 Reprezentarea datelor pentru sprijinirea procesului decizional.......... 64 Conținutul orelor de seminar Cadrul conceptual al monitorizării și evaluării.................................. 72 Monitorizarea..................................................................................... 73 Evaluarea............................................................................................ 75 Colectarea datelor pentru monitorizare și evaluare............................ 77 Indicatori utilizați în monitorizare și evaluare.................................... 79 Analiza datelor.................................................................................... 82 Cererea și utilizarea datelor................................................................ 84 Reprezentarea datelor pentru sprijinirea procesului decizional.......... 88 Activități de lucru individual..................................................................... 90 Lista temelor pentru teze de master........................................................... 91 5 INTRODUCERE Intervențiile în domeniul social necesită fundamentarea pe date, astfel încât acestea să poată fi implementate în beneficiul unor categorii sociale, să poată fi monitorizate și evaluat impactul acestora. În condițiile în care există o diversitate de situații care impactează în mod diferit populația, se relevă nevoia unei intervenții diferențiate. Activitatea profesioniștilor din domeniul social, în special a asistenților sociali și a sociologilor, implică operarea cu diverse date și informații, care necesită a fi minuțios colectate, prelucrate, analizate și puse la dispoziție factorilor de decizie. În acest context, competența de utilizare a datelor este o competență-cheie importantă în activitatea profesională. Ghidul metodic „Monitorizare și evaluare în domeniul social în bază de evidențe” este elaborat pentru a asigura procesul de predare-instruire-evaluare în cadrul disciplinei cu același titlu. Disciplina respectivă a fost introdusă în planul de studii la Ciclul II Master în rezultatul desfășurării în anul 2022 a evaluării programelor de studii la domeniile de formare profesională a asistenților sociali și sociologilor din cadrul Universității de Stat din Moldova. Studiul a cuprins și analiza practicilor de utilizare a datelor în activitatea profesioniștilor în domeniul asistenței sociale, stabilindu-se o serie de tematici necesare pentru a fi abordate în programele de formare profesională, precum: tehnici de colectare a datelor în domeniul protecției copilului, procesarea și vizualizarea datelor, acuratețea datelor, utilizarea datelor în dezvoltarea documentelor de politici. Concluzia principală a studiului s-a referit la nevoia de fortificare a formării profesionale a studenților de la ambele programe de studii în domeniul colectării datelor de bună calitate, analiza și utilizarea acestora în luarea deciziilor, în contextul în care există o slabă înțelegere a utilizării datelor în activitatea profesională, în mod special în luarea deciziilor în beneficiul beneficiarilor. Astfel, disciplina „Monitorizare și evaluare în domeniul social în bază de evidențe” urmăreşte să contribuie la fortificarea competențelor de procesare, vizualizare și utilizare a datelor în sprijinirea luării deciziilor. În cadrul disciplinei se vor corela aspectele teoretico-metodologice cu cele praxiologice. Studenții vor fi familiarizați cu diverse modalități de reprezentare a datelor, vor opera cu diverse date din domeniul social, vor fi implicați în activități practice care să le permită o mai bună înțelegere a utilizării datelor în luarea deciziilor. Disciplina își propune formarea următoarelor competențe profesionale, prezentate în Tabelul 1. 6 Tab.1. Competențe specifice și finalități de studiu ale disciplinei Competenţe specifice Finalităţi de studiu 1. Desfășurarea diagnozei sociale privind situaţia în domeniul oferirii unor servicii de calitate, managementului instituţional ş.a. a) a proiecta și desfășura studii de evaluare. 2. Monitorizarea și evaluarea programelor și serviciilor sociale în corespundere cu legislația în domeniu și în bază de evidențe, în vederea integrării inovațiilor. a) a înțelege specificul monitorizării și evaluării în domeniul social; b) a cunoaște instrumentele și tehnicile utilizate în monitorizare și evaluare; c) a proiecta și desfășura studii de evaluare; d) a vizualiza și analiza datele de monitorizare și evaluare. 3. Dezvoltarea abilităţilor de cooperare cu subiecţii implicaţi (segmente-ţintă de audienţă, organizaţii partenere etc.) în soluţionarea problemelor la nivel central şi local. a) a comunica eficient datele monitorizării și evaluării. 4. Aplicarea metodelor şi tehnicilor de comunicare, negociere şi sensibilizare a opiniei publice privind problemele sociale ale populaţiei. a) a vizualiza și analiza datele de monitorizare și evaluare; b) a identifica date relevante pentru a reliefa dimensiunile unei probleme sociale; c) a comunica într-un limbaj accesibil datele studiilor de evaluare și a monitorizării pentru a putea fi utilizate în luarea de decizii întemeiate. 5. Dezvoltarea serviciilor sociale în baza evidențelor prin accesarea fondurilor şi a resurselor comunitare pentru persoanele şi grupurile sociale marginalizate sau excluse social. a) a înțelege utilitatea și modalitățile de utilizare a datelor studiilor de evaluare în domeniul social; b) a formula decizii în baza datelor (evidențelor). 7 Disciplina este inclusă în planul de învățământ, fiind cuantificată cu 5 credite ECTS cu următoarea repartizare a orelor (a se vedea Tabelul 2). Tab.2. Repartizarea orelor Ore total: E v a - lu a re a E C T S Total inclusiv Curs Seminar Lucru individual 150 20 20 110 ex 5 Ghidul metodic „Monitorizare și evaluare în domeniul social în bază de evidențe” este adresat cadrelor didactice, studenților disciplinei, dar și celor interesați de tematica monitorizării și evaluării în domeniul social. Structura ghidului cuprinde introducere, conținutul orelor de curs și orelor de seminar, cerințe pentru activitățile individuale ale studenților, lista temelor pentru teze de master. Tematicile abordate în cadrul ghidului sunt în concordanță cu curriculum- ul disciplinei, repartizate în corespundere cu Tabelul 3. Tab.3. Repartizarea numărului de ore pe tematici Nr. Tema Număr de ore curs Număr de ore seminar 1. Cadrul conceptual al monitorizării și evaluării 2 2 2. Monitorizarea 2 2 3. Evaluarea 2 2 4. Colectarea datelor pentru monitorizare și evaluare 4 2 5. Calitatea datelor 2 - 6. Indicatori utilizați în monitorizare și evaluare 2 2 7. Analiza datelor 2 4 8. Cererea și utilizarea datelor 2 2 9. Reprezentarea datelor pentru sprijinirea procesului decizional 2 4 TOTAL 20 20 Conținuturile sunt prezentate într-o formă succintă, care reflectă esența fiecărei unități. Autorii au propus o serie de subiecte de autoevaluare, sarcini de lucru individual și exerciții care să permită consolidarea cunoștințelor și competențelor studenților. Totodată sunt prezentate strategii și forme de organizare a activității didactice, menite să faciliteze organizarea și desfășurarea lecțiilor de seminar. 8 CONŢINUTUL ORELOR DE CURS 9 TEMA 1. CADRUL CONCEPTUAL AL MONITORIZĂRII ȘI EVALUĂRII Obiective de referință: La nivel de cunoaștere și înțelegere: - să definească noțiunile de evaluare și monitorizare; - să determine obiectivele evaluării și monitorizării. La nivel de aplicare: - să stabilească deosebirile dintre monitorizare, evaluare, audit, inspecție și control; - să identifice avantajele monitorizării și evaluării. La nivel de integrare: - să argumenteze rolul monitorizării și evaluării în planificarea strategică. Termeni cheie: monitorizare, evaluare, control, planificare strategică, inspecție, audit. Conținutul temei: Definiții ale evaluării și monitorizării. Diferențe dintre monitorizare, evaluare, audit, inspecție, control. Obiectivele monitorizării și evaluării. Utilitatea monitorizării și evaluării în domeniul social. Legătura dintre planificare strategică, monitorizare și evaluare. Definiții ale evaluării și monitorizării. Conceptul de evaluare își are originea în științele sociale și face referire directă la cercetarea de evaluare ca formă a cercetării sociale. Cercetarea de evaluare este apreciată ca fiind la fel de veche ca și cercetarea socială însăși, din considerentul că ori de câte ori oamenii au instituit o reformă socială pentru un anumit scop, au acordat atenție consecințelor sale, chiar dacă nu au făcut-o într- un mod deliberat. Or, exact acest fapt reprezintă chintesența cercetării evaluative - procesul prin care se determină dacă o intervenție socială a produs efectul dorit. În ultimii ani, domeniul cercetării de evaluare a devenit foarte popular, datorită solicitărilor de a evalua o intervenție socială planificată, fapt care a determinat dezvoltarea mai multor variațiuni în intențiile cercetării evaluative. Chiar dacă cea mare parte din cercetarea de evaluare se referă la evaluarea programului sau evaluarea rezultatului (determină dacă o intervenție socială 10 produce rezultatul intenționat), destul de frecvent sunt utilizate și studiile de evaluare a necesităților (identifică existența și răspândirea unei probleme), studiile de monitorizare (generarea unui flux continuu de informații despre un anumit subiect de interes) și studiile cost-beneficiu sau cost-eficacitate (determină dacă rezultatul unui program poate să fie justificat prin costul acestuia). Succesul și performanța implementării unei intervenții în domeniul social, oricare ar fi ea: politică, strategie, program, proiect sau servicii sociale – sunt asigurate prin studiile de monitorizare și de evaluare care oferă informații sub formă de dovezi și evidențe necesare în procesul de planificare eficientă a activităților, alocarea resurselor și asigurarea durabilității acestora. Din acest considerent, alocarea resurselor pentru anumite strategii, programe și proiecte este condiționată de includerea unui capitol destinat monitorizării și evaluării, care permite estimarea eficienței resurselor alocate și impactul intervențiilor asupra grupului țintă. În linii generale, studiile de evaluare și monitorizare se referă la măsurarea schimbării reale, în raport cu obiectivele declarate, și la aprecierea faptului dacă eforturile pentru dezvoltare și investițiile au fost valoroase sau eficiente din perspectiva costurilor. Monitorizarea și evaluarea sunt utilizate uneori în mod eronat interșanjabil, cu toate că distincțiile dintre ele sunt semnificative. Monitorizarea vizează cu precădere procesul de implementare, în timp ce evaluarea se concentrează mai degrabă asupra efectelor implementării, intenționate sau neintenționate. Astfel, monitorizarea presupune un proces care furnizează informații în flux continuu pentru îmbunătățirea din mers a implementării și asigură utilizarea ulterioară a acestora de către echipa de management pentru a evalua efectele intervenției și impactul acesteia. Evaluarea se bazează pe datele și informațiile generate de sistemul de monitorizare ca o modalitate de analiză și măsurare a rezultatelor și impactului intervenției. Semnificația termenilor de monitorizare și evaluare este explicitată mai în detaliu de definițiile acestora. Monitorizarea reprezintă procesul de identificare și urmărire a indicatorilor de performanță și de revizuire a implementării proiectului. Este un proces continuu pe durata proiectului, care implică observarea de rutină și înregistrarea activităților care sunt desfășurate. De obicei, monitorizarea necesită un sistem care poate colecta date privind aspectele proiectului care poate fi corelat cu obiectivele și rezultatele prestabilite. Acesta are ca scop evaluarea progresului activităților proiectului. Sistemele de monitorizare permit ca informațiile colectate să fie utilizate în luarea deciziilor pentru îmbunătățirea performanței proiectului sau programului. 11 Caseta 1. Definiții ale monitorizării Organizația pentru Cooperare și Dezvoltare Economică - Grupul de experți al Comitetului de Asistență pentru Dezvoltare (OCDE-CAD) menționează că monitorizarea este un proces continuu „care utilizează colectarea sistematică de date privind indicatorii specificați, pentru a oferi managementului și principalelor părți interesate ale unei intervenții de dezvoltare, în curs de desfășurare, indicații privind gradul de progres și atingerea obiectivelor, și progresul în utilizarea fondurilor alocate”. 1 Comisia Europeană notează că monitorizarea este colectarea, analizarea și utilizarea sistematică și continuă a informațiilor în scopul managementului și luării deciziilor. Scopul monitorizării este de a obține performanța eficientă și eficacitatea unei operațiuni. Monitorizarea oferă, în timp util, un „sistem de avertizare timpurie”, care permite „intervenția adecvată, dacă un proiect nu respectă planul”. 2 Monitorizarea demonstrează dacă intrările/resursele programului sunt utilizate în mod eficient și dacă acestea conduc la rezultatele așteptate ale programului. De exemplu, un program conceput pentru a crește gradul de conștientizare și pentru a reduce stigmatizarea cu privire la violența asupra partenerului/ei într-o comunitate va dori să monitorizeze: nivelul resurselor cum ar fi fondurile, timpul personalului și materialele utilizate; desfășurarea activităților programului; și rezultatele, ca de exemplu de câte ori lucrătorii au vorbit la întâlnirile comunității. Modificările identificate în nivelurile de performanță așteptate vor sesiza managerii de program asupra posibilelor probleme.3 Evaluarea este colectarea sistematică de informaţii despre activităţile, caracteristicile şi rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce nesiguranţele, pentru a spori eficacitatea şi a lua deciziile oportune în legătură cu programele respective. 4 1 A se vedea: OECD. Glossary of Key Terms in Evaluation and Result Based Management. Paris: OECD, 2002. p. 22. Disponibil pe: https://www.oecd.org/dac/evaluation/dcdndep/39249691.pdf 2 A se vedea: European Commission. Monitoring and Evaluation. Disponibil pe: https://ec.europa.eu/neighbourhood-enlargement/funding-and-technical-assistance/monitoring- and-evaluation_en 3 A se vedea: Bloom, Sh.S. Violence against Women and Girls. A Compendium of Monitoring and Evaluation Indicators. Measure Evaluation. 2008. p.22. Disponibil: https://www.measureevaluation.org/publications/pdf/ms-08-30.pdf.html 4 A se vedea: Patton, M. Q. Qualitative Research and Evaluation Methods. SAGE Publication. 2002. p.23. https://www.oecd.org/dac/evaluation/dcdndep/39249691.pdf https://ec.europa.eu/neighbourhood-enlargement/funding-and-technical-assistance/monitoring-and-evaluation_en https://ec.europa.eu/neighbourhood-enlargement/funding-and-technical-assistance/monitoring-and-evaluation_en https://www.measureevaluation.org/publications/pdf/ms-08-30.pdf.html 12 Caseta 2. Definiții ale evaluării Ea. Babbie - evaluarea reprezintă o formă de cercetare aplicată realizată cu intenția de a avea un efect în lumea reală. 5 P.H. Rossi, H.E. Freeman, M.W. Lipsey - evaluarea programelor presupune utilizarea unor metode științifice pentru a măsura implementarea și rezultatele programelor, în scopul luării deciziilor. 6 G. Mățăuan - evaluarea constituie utilizarea procedurilor de cercetare socială pentru investigarea sistematică a eficacității programelor de intervenție socială, adaptată la mediul lor politic și organizațional și menită să informeze acțiunea socială în moduri care să îmbunătățească condițiile sociale. 7 Prin urmare, evaluarea este utilizată pentru a demonstra cât de eficiente au fost programele în atingerea țintelor și a rezultatelor lor. Datele utilizate pentru evaluarea programului sunt extrase dintr-un număr de surse diferite, cum ar fi: indicatorii programului, colectarea periodică de date din sondaje sau studii speciale. Informațiile din evaluările programului pot fi utilizate pentru a revizui practicile programului, pentru a obține rezultatele dorite, precum și pentru a raporta donatorilor. Evaluările programelor necesită finanțare, planificare și timp. Deoarece se bazează pe date de calitate în măsurarea indicatorilor-cheie, sistemul monitorizare și evaluare folosit în program trebuie să fie solid. Diferențe dintre monitorizare, evaluare, audit, inspecție, control. Cheia unei înțelegeri corecte a conceptelor de evaluare și monitorizare constă în diferența dintre sistematic și continuu, pentru că evaluarea este un proces sistematic dar secvențial – realizată în anumite momente din parcursul unui program, pe când monitorizarea este un proces continuu de colectare a datelor în timpul implementării unui program. Totodată, evaluarea și monitorizarea se disting și de alți termeni care, deși se referă la activitățile de supraveghere din domenii înrudite, au un caracter și un rol distinct. Monitorizarea: Activitate continuă de urmărire a procesului de implementare a unei strategii, a unui plan, program sau proiect în raport cu niște termene stabilite. Monitorizarea oferă informații privind derularea procesului de implementare și operațiile specifice acestuia. Evaluarea: Activitate periodică de măsurare a relevanței unei strategii, plan, program sau proiect, a eficacității, eficienței și impactului acestuia 5 A se vedea: Babbie, Ea. Practica cercetării sociale. Iași: Polirom, 2010. p.474. 6 A se vedea: Rossi, P.H., Freeman, H.E., Lipsey, M.W. Evaluation: a systematic approach, Sage Publications. 1999. p.20. 7 A se vedea: Mățăuan, G. Evaluarea programelor sociale. București: Editura Expert, 1999. p.61. 13 față de obiectivele stabilite, precum și a durabilității rezultatelor obținute. Evaluarea poate duce la modificări ale strategiei, planului, programului sau proiectului. Auditul: Verificarea prevederilor financiare ale unui proiect şi a măsurii în care acestea sunt îndeplinite în conformitate cu criteriile legale şi financiare specifice. Auditorii Comisiei Europene atribuie termenului de audit o sferă mult mai largă de semnificaţii: verificarea necesităţii proiectului, a măsurii în care activităţile şi rezultatele proiectului sau programului justifică investiţia financiară, a existenţei şi vizibilităţii în practică a unei plus-valori generate de proiectul sau programul respectiv. Inspecția: Examinare generală a unei unități organizaționale, probleme, practici sau serviciu pentru a stabili măsura în care organizația aderă la standardele normative, bunele practici sau alte criterii, și pentru a formula recomandări pentru îmbunătățire sau acțiuni corective. Este adesea efectuată atunci când există un risc perceput de nerespectare a standardelor. Controlul: Aprecierea tendințelor performanțelor și compararea cu obiectivele urmărite, cu rezultatele parțiale și cu noile așteptări referitoare la proiect. Distincte, dar în același timp interconectate și complementare, monitorizarea și evaluarea constituie un dialog privind dezvoltarea și progresul în domeniul social între toate părțile interesate, pentru că au ca obiective principale: 1) demonstrarea în fața donatorilor, contribuabililor, beneficiarilor și partenerilor de implementare că acțiunile, cheltuielile și rezultatele sunt cele convenite sau așteptate; 2) furnizarea de informații necesare pentru coordonarea resurselor umane, financiare și materiale angajate în proiect sau program și pentru îmbunătățirea performanței; 3) furnizarea de informații pentru a fundamenta stabilirea și ajustarea obiectivelor și strategiilor; 4) consolidarea capacității și încrederii beneficiarilor, personalului de implementare și partenerilor pentru a iniția și implementa în mod eficient inițiativele de dezvoltare. Obiectivele monitorizării și ale evaluării. Utilitatea monitorizării și evaluării în domeniul social. Utilitatea monitorizării și evaluării constă în: 1) oferirea de informații asupra progresului proiectului; 2) posibilitatea actorilor relevanți să învețe unul din experiențele celuilalt, în funcție de expertiză și cunoștințe; 3) generarea de rapoarte care contribuie la asigurarea transparenței în utilizarea resurselor și la 14 responsabilizarea celor implicați, permițând împărtășirea mai facilă a lecțiilor învățate și bunelor practici; 4) identificarea erorilor și sprijinirea procesului de rectificare și îmbunătățire; 5) oferirea unei baze pentru testarea ipotezelor de lucru; 6) furnizarea unei modalități de a evalua relațiile și eficiența parteneriatelor dintre implementatori, beneficiari și factorii de decizie; 7) asigurarea memoriei instituționale; 8) oferirea unei baze solide pentru strângerea de fonduri și influențarea politicilor din domeniile de intervenție. Legătura dintre planificare strategică, monitorizare și evaluare. Monitorizarea și evaluarea sunt parte integrată a ciclului oricărei politici, strategii, program, plan de acțiuni, fiind legate de toate celelalte faze ale acestuia: analiza situației și identificarea problemei (diagnoza problemei), elaborarea obiectivelor de dezvoltare, elaborarea strategiei de implementare și a planului de acțiune, implementarea lor. Modul în care este identificată și definită problema orientează întreaga intervenție și, implicit, monitorizarea și evaluarea acesteia. Prin urmare, relația între monitorizare, evaluare și procesul de planificare strategică este foarte puternică. Pe de o parte, tot ceea ce a fost planificat (obiective strategice, activități, durată, termene limită, buget, metode) poate fi supus monitorizării și evaluării. Pe de altă parte, evaluarea ex-ante (evaluarea impactului potențial al intervenției) și cea intermediară poate modifica prin concluziile sale oricare dintre aspectele planificate. Teoretic, între evaluare și planificare există o relație operațională conform căreia o evaluare ex- ante trebuie realizată înainte de orice pas nou al procesului de planificare. Monitorizarea procesului de implementare a activităților proiectului este, la rândul său, vitală, pentru că asigură informațiile necesare luării deciziilor rapide sau urgente, impuse de schimbările contextului, schimbări care pot fi determinate de diverse evenimente sau factori neprevăzuți, cu consecințe la nivelul structurilor relevante și a obiectivelor planificate. Sarcini de autoevaluare 1. Analizați monitorizarea și evaluarea prin prisma cercetării evaluative. 2. Identificați diferențele dintre monitorizare, evaluare, inspecție, audit și control. 3. Enumerați beneficiile monitorizării și evaluării pentru domeniul social. 4. Explicați legătura dintre planificarea strategică, monitorizare și evaluare. 15 Lista bibliografică 1. BABBIE, Ea. Practica cercetării sociale. Iași: Polirom, 2010. ISBN: 978- 973-46-1274-1. 2. BARASA, E.O. M&E Fumdamentals. LAP LAMBERT Academic Publishing. 2020. ISBN: 978-620-2-67658-8. 3. Guidance Document on Monitoring and Evaluation. Concepts and Recommandations. 2014. Disponibil: https://ec.europa.eu/regional_policy/sources/docoffic/2014/ working/wd_2014_en.pdf 4. Guidelines for Project Monitoring and Evaluation. 27 November 2020. Disponibil: https://afocosec.org/wp-content/uploads/2021/11/G-2-20R- Project-M_E-Guidelines Effective-on-20201127.pdf 5. Handbook on Monitoring and Evaluating for Results. UNDP Evaluation Office, 2002. Disponibil: https://www.betterevaluation.org/en/resources/guide/handbook_ monitoring evaluation_for_results 6. Handbook on planning, monitoring and evaluating for development results. UNDP. 2009. Disponibil: http://web.undp.org/evaluation/ handbook/documents/english/pme-handbook.pdf 7. Hotărârea Guvernului nr. 802 din 28.10.2011 cu privire la instituirea Inspecției sociale. În: Monitorul Oficial, nr. 187-191, art. 881, 04.11.2011. 8. IOM Monitoring and Evaluation Guidelines. 2021. Disponibil: https://publications.iom.int/books/iom-monitoring-and-evaluation-guidelines 9. Monitoring and Evaluation: Definition, Process, Objectives, Differences. Disponibil: https://www.iedunote.com/monitoring-and-evaluation 10. Monitorizare și evaluare în economia socială. Manual de intervenție. București: Editura Expert, 2011. ISBN: 978‐973‐618‐282‐2. Disponibil: https://phoenix-proiect.ro/wp/wp- content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala .pdf 11. Monitorizarea și evaluarea activităților cu tinerii. Ghid pentru tineri și profesioniști care lucrează cu tinerii. Chișinău 2006. Disponibil: https://drepturilecopilului.md/files/ publications/GHID_1profes_2006_FINAL_New.pdf https://ec.europa.eu/regional_policy/sources/docoffic/2014/%20working/wd_2014_en.pdf https://ec.europa.eu/regional_policy/sources/docoffic/2014/%20working/wd_2014_en.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf https://publications.iom.int/books/iom-monitoring-and-evaluation-guidelines https://www.iedunote.com/monitoring-and-evaluation https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://drepturilecopilului.md/files/%20publications/GHID_1profes_2006_FINAL_New.pdf https://drepturilecopilului.md/files/%20publications/GHID_1profes_2006_FINAL_New.pdf 16 12. Project/programme monitoring and evaluation (M&E) guide. 2011. Disponibil: https://www.evaluation.bg/en/system/files/ifrc_2011_me- guide.pdf 13. TOARTĂ, V., GHEORGHE, C. Examinarea și utilizarea datelor pentru luarea deciziilor în beneficiul copilului. Ghid metodologic, 2022. Disponibil: https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid- metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf 14. UNAIDS. Basic Terminology and Frameworks for monitoring and evaluation. Disponibil: https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance 15. UNAIDS. Glossary Monitoring and Evaluation Terms. Disponibil: https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance TEMA 2. MONITORIZAREA Obiective de referință: La nivel de cunoaștere și înțelegere: - să stabilească domeniile de aplicare a monitorizării; - să identifice aspectele care pot fi supuse monitorizării. La nivel de aplicare: - să analizeze particularitățile procesului de monitorizare; - să determine esența studiilor de monitorizare; - să identifice modul de monitorizare a riscurilor de implementare. La nivel de integrare: - să conceptualizeze un plan de monitorizare; - să propună măsuri de diminuare a riscurilor în baza datelor de monitorizare. Termeni cheie: monitorizare, proces, risc. Conținutul temei: Aplicabilitatea monitorizării. Cele 6 întrebări/aspecte ale monitorizării. Procesul de monitorizare: planificare, implementare, raportare. Riscurile de implementare și monitorizarea acestora. https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance 17 Aplicabilitatea monitorizării. Cele 6 întrebări/aspecte ale monitorizării. Monitorizarea reprezintă activitatea continuă de urmărire a procesului de implementare a unei strategii, a unui plan, program sau proiect, din raționamentul că în acest demers sunt implicați mai mulți actori sociali (comunități, instituții, organizații, grupuri sociale, persoane) cu motivații și interese diferite, cu priorități proprii - activitățile cărora necesitând a fi monitorizate continuu în vederea coordonării lor. Monitorizarea, de regulă, vizează trei direcții care corespund celor trei componente ale procesului de implementare a unei strategii, program, proiect etc.: activitățile desfășurate (process), modul de utilizare a resurselor (input) și atingerea țintelor intermediare, sub formă de produse (output). Scopul principal al monitorizării este de a ajuta organizațiile să reflecte asupra activităților pe care le organizează, să aprecieze eficiența lor și să determine ce schimbări sunt necesare în procesul de management (a se vedea Figura 1). Fig. 1. Componentele unui program/proiect de intervenție Monitorizarea înseamnă observarea și înregistrarea regulată a activităților organizate în cadrul unui proiect sau program. Ea presupune un mecanism, cu un sistem de tehnici de colectare sistematică și periodică de date, în vederea identificării schimbărilor care se produc în cadrul proiectului în timpul implementării. Finalitatea procesului de monitorizare constă în oferirea donatorilor, partenerilor, beneficiarilor și altor persoane interesate a feedback- ului cu privire la progresul proiectului în curs de implementare. Având în vedere componentele programului care sunt supuse monitorizării, se disting mai multe tipuri de monitorizare: - Monitorizarea procesului (activității) urmărește utilizarea intrărilor (input) și resurselor, progresul activităților și obținerea produselor. 18 Aceasta examinează modul în care sunt realizate activitățile - eficiența în timp și resurse. Este adesea realizată împreună cu monitorizarea conformității și oferă informații utile pentru evaluarea intervenției. - Monitorizarea conformității asigură concordanța implementării programului/proiectului cu reglementările donatorilor și rezultatele așteptate, cu cerințele privind granturile și contractele, cu reglementările și legile guvernamentale locale și standardele etice. - Monitorizarea contextului urmărește cadrul în care funcționează proiectul/programul, în special a confirmării ipotezelor de lucru și monitorizării riscurilor care s-ar putea materializa sau a altor factori neașteptați. Contextul ce este monitorizat se referă la contextul politic, instituțional și de finanțare care afectează proiectul/programul. - Monitorizarea beneficiarilor urmărește percepțiile beneficiarilor asupra unui proiect/ program, și anume satisfacția acestora, reclamațiile formulate, implicarea în derularea activităților, modul în care au fost tratați, accesul la servicii și resurse, și experiența lor generală despre schimbare. - Monitorizarea financiară contabilizează costurile pe input și activitate în cadrul unor categorii predefinite de cheltuieli. Este adesea realizată împreună cu monitorizarea conformității și a procesului. Având în vedere rolul fiecărui tip de monitorizare, se poate conchide asupra particularităților generale ale procesului de monitorizare: caracterul permanent, ținerea evidenței evoluției programului și menținerea supravegherii, documentarea și analiza progresului racordat la activitățile planificate ale programului, focalizarea pe resursele, activitățile și produsele programului, considerarea relevanței continuării activităților programului pentru soluționarea problemei, raportarea activităților programului care au fost implementate și raportarea rezultatelor imediate care au fost atinse. Fiindcă monitorizarea se concentrează pe performanța proiectului/ programului este necesară adoptarea unei metodologii adecvate care să permită măsurarea progreselor. Aceasta presupune stabilirea: întrebărilor de cercetare, care să reprezinte aspectele supuse monitorizării; a indicatorilor de monitorizare a progresului; a metodelor de colectare și analiză a datelor; a persoanelor responsabile de realizarea monitorizării; a frecvenței de colectare a datele; a modalității de utilizare a rezultatelor monitorizării. Cele șase întrebări esențiale de la care trebuie să pornească procesul de monitorizare sunt: 19  Care este menirea activității sau a proiectului? (Care este principalul grup țintă si beneficiarii direcți ai activității/proiectului? Ce schimbări sau îmbunătățiri își propune activitatea/proiectul să aducă grupului țintă și beneficiarilor? Cum contribuie activitatea/proiectul la schimbările dorite? Ce intervenții folosește?)  Ce aspecte ale proiectului sau ale activității acestuia ar putea să nu primească răspuns prin aplicarea monitorizării clasice?  Care sunt nevoile de monitorizare ce nu sunt satisfăcute de sistemul actual de monitorizare al activității/proiectului?  Cine va folosi datele de monitorizare?  Cum vor fi folosite datele?  Ce întrebări specifice necesită răspuns? 8 Aceste întrebări/aspecte pot fi folosite și pe post de ghid pentru direcționarea procesului de monitorizare. Procesul de monitorizare: planificare, implementare, raportare. Procesul de monitorizare este constituit din trei etape operaționale succesive aflate în raport de determinare: planificarea monitorizării, implementarea monitorizării și raportarea rezultatelor. Planificarea monitorizării include următoarele activități: stabilirea logisticii necesare; formarea echipei de monitorizare; elaborarea unui plan și program detaliat de monitorizare; stabilirea indicatorilor la nivel de activități și produse și a metodologiei de monitorizare bazate pe scopul și obiectivele proiectului/programului. Implementarea monitorizării vizează: verificarea performanței proiectului în baza indicatorilor stabiliți; elaborarea analizelor statistice și descriptive despre progresele înregistrate; realizarea cercetării de teren cu toate grupurile de beneficiari pentru a evalua progresul proiectului; colectarea și stocarea datelor; elaborarea unei baze de date; colectarea informațiilor suplimentare; monitorizarea riscurilor; raportarea. Ultima etapă – raportarea rezultatelor monitorizării – este o etapă majoră din cadrul monitorizării proiectelor. Ea este precedată de analiza datelor colectate, elaborarea constatărilor, identificarea progreselor dar și a insucceselor și explicitarea lor, și prezentate într-un raport de monitorizare. Raportul este apoi transmis echipei de implementare a proiectului și donatorilor. Echipa de implementare și principalii parteneri vor examina periodic rapoartele de 8 A se vedea: USAID. Six Questions to Help Identify Your Monitoring and/or Evaluation Need. Disponibil: https://usaidlearninglab.org/sites/default/files/resource/files/six_simple_questions_blank- 6162017.pdf https://usaidlearninglab.org/sites/default/files/resource/files/six_simple_questions_blank-6162017.pdf https://usaidlearninglab.org/sites/default/files/resource/files/six_simple_questions_blank-6162017.pdf 20 monitorizare, constatând progresul proiectului/ programului. În funcție de aceste rezultate se vor lua decizii cu privire la proiect. Riscurile de implementare și monitorizarea acestora. O prea mare concentrare pe monitorizarea continuă poate implica și riscuri, cum ar fi: crearea unei anumite rigidități a acțiunii – actorii sociali pot inventa modalități prin care să folosească indicatorii de monitorizare astfel încât activitățile „să arate bine pe hârtie” sau să fie refractari la noi oportunități sau alternative. Astfel, instituția nu învață din propriile greșeli, revizuindu-și modul de lucru pentru implementarea corespunzătoare a activităților planificate, ci face în așa fel încât lucrurile să arate bine în rapoarte. În aceste situații, funcția monitorizării de a oferi un feedback cu rol corectiv se diminuează considerabil. Pe de altă parte, există și o categorie de riscuri care ar trebui să fie anticipate în perioada de planificare a proiectului, de exemplu în matricea cadrului logic. Pentru aceste riscuri se realizează un plan de monitorizare, astfel încât evoluția lor să fie supravegheată și controlată. Itemii monitorizați în acest plan sunt: riscul, impactul acestuia, probabilitatea de apariție, strategia de abordare a riscului, persoana responsabilă de monitorizarea riscului, timpul care s-a scurs de la prima identificare a riscului, ultima actualizare a situației și situația la zi. În ceea ce privește strategia de abordare a riscurilor, se cunosc trei tipuri: - Transfer: cea mai bună abordare a unor riscuri este aceea de a le transfera unei părți terțe. - Toleranță: când costul oricărei măsuri de contracarare a riscului este mai mare decât beneficiul câștigat, atunci răspunsul poate fi toleranța. - Tratament: scopul tratării riscurilor nu este neapărat acela de prevenire, ci mai degrabă de menținere a riscului la un nivel acceptabil. Monitorizarea trebuie privită ca un instrument de management, și nu ca un mecanism de control, fiindcă are rolul de „sistem de avertizare timpurie” care permite luarea de măsuri corective pentru atingerea obiectivelor proiectului. Principalul obiectiv al sistemului de monitorizare este măsurarea continuă a progresului proiectului, urmărind aspecte precum managementul achizițiilor, utilizarea resurselor, dar și beneficiile pentru grupul-țintă. 21 Sarcini de autoevaluare 1. Explicați necesitatea monitorizării resurselor/investițiilor proiectului, implementării activităților și produselor obținute. 2. Descrieți tipurile de monitorizare utilizate în cadrul unui proiect/program. 3. Argumentați necesitatea celor șase întrebări pentru inițierea procesului de monitorizare. 4. Întocmiți un plan de monitorizare pe o temă aleasă. 5. Identificați riscurile care însoțesc procesul de monitorizare și implementarea unui proiect/program, precum și modalitatea de a le gestiona. Lista bibliografică 1. COJOCARU, Ig., CUCIUREANU, Gh., ŢURCAN, N. Cadrul metodologic pentru evaluarea proiectelor și programelor de cercetare-dezvoltare în Republica Moldova. Chișinău: Institutul de Dezvoltare a Societății Informaționale, 2014. ISBN: 978-9975-3020-1-2. 2. Expert monitorizare, evaluare, impact și sustenabilitate a proiectelor. Suport de curs. Disponibil: http://www.anfp.gov.ro/R/Doc/2015/Proiecte/ Instruire Aplicata/ 26.11/ Manual%20Modul%203%20-%20Expert%20evaluare.pdf 3. Guidance Document on Monitoring and Evaluation. Concepts and Recommandations. 2014. Disponibil: https://ec.europa.eu/regional_policy /sources/docoffic/2014/ working/wd_2014_en.pdf 4. Guidelines for Project Monitoring and Evaluation. 27 Novermber 2020. Disponibil: https://afocosec.org/wp-content/uploads/2021/11/G-2-20R- Project-M_E-Guidelines Effective-on-20201127.pdf 5. Handbook on Monitoring and Evaluating for Results. UNDP Evaluation Office, 2002. Disponibil: https://www.betterevaluation.org/en/resources/guide/handbook_ monitoring evaluation_for_results 6. Handbook on planning, monitoring and evaluating for development results. UNDP. 2009. Disponibil: http://web.undp.org/evaluation/ handbook/documents/english/pme-handbook.pdf 7. Managementul proiectelor. Monitorizarea și evaluarea proiectelor. Bălți, 2013. Disponibil pe: http://adrnord.md/public/files/brosuri/Brosura_Managementul proiectelor _2013.pdf http://www.anfp.gov.ro/R/Doc/2015/Proiecte/%20Instruire%20Aplicata/%2026.11/%20Manual%20Modul%203%20-%20Expert%20evaluare.pdf http://www.anfp.gov.ro/R/Doc/2015/Proiecte/%20Instruire%20Aplicata/%2026.11/%20Manual%20Modul%203%20-%20Expert%20evaluare.pdf https://ec.europa.eu/regional_policy%20/sources/docoffic/2014/%20working/wd_2014_en.pdf https://ec.europa.eu/regional_policy%20/sources/docoffic/2014/%20working/wd_2014_en.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf http://adrnord.md/public/files/brosuri/Brosura_Managementul%20proiectelor%20_2013.pdf http://adrnord.md/public/files/brosuri/Brosura_Managementul%20proiectelor%20_2013.pdf 22 8. Monitorizare și evaluare în economia socială. Manual de intervenție. București: Editura Expert, 2011. ISBN: 978‐973‐618‐282‐2. Disponibil: https://phoenix-proiect.ro/wp/wp- content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala .pdf 9. Monitorizarea și evaluarea activităților cu tinerii. Ghid pentru tineri și profesioniști care lucrează cu tinerii. Chișinău 2006. Disponibil: https://drepturilecopilului.md/files/ publications/ GHID_1profes_2006_ FINAL_New. pdf 10. Project/programme monitoring and evaluation (M&E) guide. 2011. Disponibil: https://www.evaluation.bg/en/system/files/ifrc_2011_me- guide.pdf 11. TOARTĂ, V., GHEORGHE, C. Examinarea și utilizarea datelor pentru luarea deciziilor în beneficiul copilului. Ghid metodologic, 2022. Disponibil: https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid- metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf TEMA 3. EVALUAREA Obiective de referință: La nivel de cunoaștere și înțelegere: - să distingă obiectivele urmărite prin evaluare; - să stabilească aspectele care pot fi supuse evaluării; - să determine particularitățile tipurilor de evaluări. La nivel de aplicare: - să identifice finalitatea evaluării; - să aplice criteriile de evaluare în cazuri concrete; - să stabilească specificul evaluării de impact; - să stabilească rolul cadrului de monitorizare și evaluare. La nivel de integrare: - să conceptualizeze un plan de evaluare; - să proiecteze o evaluare la o tematică de interes; - să identifice rolul standardelor de evaluare a serviciilor sociale în dezvoltarea acestora prin monitorizarea în timp a acestora; https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://drepturilecopilului.md/files/%20publications/%20GHID_1profes_2006_%20FINAL_New.%20pdf https://drepturilecopilului.md/files/%20publications/%20GHID_1profes_2006_%20FINAL_New.%20pdf https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf 23 - să argumenteze valoarea și limitele evaluării. Termeni cheie: evaluare, teoria schimbării, cadru de monitorizare și evaluare, design. Conținutul temei: Obiectivele evaluării. Tipuri de evaluări. Proiectarea unei evaluări. Tipuri de design. Criterii de evaluare. Procesul de evaluare. Standarde de evaluare. Utilizarea rezultatelor evaluării în domeniul social. Cadrul de monitorizare și evaluare a unui document de politici publice în domeniul social. Obiectivele evaluării. Termenul de evaluare provine din latinescul evalesco, evalescere, evaliu care se traduce prin a se întări, a căpăta putere, a putea, a se dezvolta, a valora, a prevala. 9 Verbul a evalua se înrudește cu ale verbe precum: a aprecia, a estima, a examina, a cântări, a judeca, a măsura, a nota, a valoriza, fără ca între ele să existe o sinonimie completă. Această paleta de echivalenți ai evaluării se datorează, în principal, diferitelor abordări și definiții ale termenului de evaluare care au variat de-a lungul anilor. În vremuri mai vechi, evaluarea a fost asociată în mod obișnuit cu evaluarea performanțelor în raport cu obiective clar definite sau efectuarea de teste bazate pe norme sau efectuarea de experimente controlate. În anii 1970, evaluările cheie erau considerate cele bazate pe raționamentul profesional. Ulterior, a existat o credință tot mai mare că evaluările utile sunt cele care oferă informații de calitate pentru luarea și evaluarea deciziilor. Așa se face că actualmente există mai multe accepțiuni ale noțiunii de evaluare în funcție de scopurile și obiectivele urmărite și metodologiile aplicate: evaluarea ca nivel de atingere a obiectivelor programului; evaluarea ca instrument managerial și instrument de decizie; evaluarea ca modalitate de îmbunătățire a programului/proiectului; și evaluarea ca instrument de judecare și valorizare. Definiția, care integrează toate aceste accepțiuni într-un tot unitar, susține că evaluarea constă în utilizarea procedurilor de cercetare socială pentru investigarea sistematică a eficacității programelor de intervenție socială, adaptată la mediul lor politic și 9 A se vedea: Clipa, O. Modalități de evaluare în învățământul universitar. Iași: Editura Universității „Alexandru Ioan Cuza”, 2008, p. 60. 24 organizațional și menită să informeze actorii sociali despre modurile prin care să îmbunătățească condițiile sociale. 10 Evaluarea este o examinare riguroasă și independentă, la un anumit moment, a unei intervenții în curs de implementare sau finalizate, pentru a determina măsura în care aceasta este capabilă să își atingă sau și-a atins obiectivele și rezultatele planificate sau dacă o schimbare poate fi atribuită acelei intervenții. Componentele proiectului/programului supuse evaluării sunt: rezultatele și impactul. Scopul evaluării constă în analiza informațiilor colectate prin sistemele de monitorizare și furnizarea de explicații pentru apariția unor eventuale inconsecvențe privind: atingerea obiectivelor, utilizarea resurselor, atingerea indicatorilor cu privire la grupul țință , schimbările generate de implementarea programului. Obiectivele evaluării sunt determinate de: oferirea suportului în luarea deciziilor cu privire la activitățile, politicile, strategia de realizare a proiectelor curente sau viitoare; demonstrarea angajamentului și responsabilității față de donatori, parteneri, beneficiari; obținerea informațiilor despre ce merge bine, ce nu merge bine și de ce; verificarea și îmbunătățirea calității proiectului; identificarea strategiilor de succes care ar putea fi extinse, multiplicate, repetate; modificarea strategiilor ineficiente; aprecierea efectelor/beneficiilor intervențiilor din cadrul proiectului; oferirea partenerilor și altor persoane interesate a oportunității de a se exprima asupra rezultatelor obținute și calității proiectului; justificarea/validarea proiectului în fața donatorilor, partenerilor, beneficiarilor, publicului; elaborarea recomandărilor pentru îmbunătățirea programelor/proiectelor. 11 Evaluarea poate să ofere răspuns la următoarele întrebări: 1) Care sunt întrebările cercetării de evaluare la care trebuie să se răspundă? 2) Cine sunt principalii factori interesați din program? 3) Ce tipuri de resurse și intrări sunt necesare pentru implementarea programului? 4) Ce structuri și procese sunt în vigoare pentru implementarea programului? 5) Ce activități sunt desfășurate prin program? 6) Care sunt rezultatele anticipate ale programului? 7) Ce factori contextuali pot afecta programul? 8) Care sunt barierele sau provocările în implementarea programului? 9) Există o rentabilitate a investiției pentru program? Tipuri de evaluări. 10 A se vedea: Mățăuan, G. Evaluarea programelor sociale. București: Editura Expert, 1999. p.61. 11 A se vedea: Monitorizarea și evaluarea activităților cu tinerii. Ghid pentru tineri și profesioniști care lucrează cu tinerii. Chișinău, 2006, p.17. Disponibil: https://drepturilecopilului.md/files/publications/GHID_1profes_2006_FINAL_ New.pdf https://drepturilecopilului.md/files/publications/GHID_1profes_2006_FINAL_%20New.pdf 25 Începând cu deceniul șase al secolului al XX-lea, odată cu apariția programelor sociale ca instrument al politicilor sociale, au fost dezvoltate o multitudine de tipuri de evaluare, care grupate după anumite criterii se prezintă astfel: În funcție de componentele programului/proiectului evaluate se disting: - Evaluarea procesului - presupune un plan sistematic, concentrat pentru colectarea datelor, pentru a determina dacă modelul de program este implementat așa cum s-a intenționat inițial și, dacă nu, cum diferă operațiunile de cele planificate inițial. Această evaluare colectează, de asemenea, informații despre percepțiile părților interesate referitoare la program. - Evaluarea rezultatelor - examinează cât de bine un proiect a atins rezultatele pe care și le-a stabilit la început. În general, este o evaluare sumativă a programului (vedeți definiția mai jos) care poate fi utilizată pentru a face recomandări pentru îmbunătățirile viitoare ale programului sau a unui nou program. - Evaluarea impactului - analizează efectul pe termen lung pe care un program l-a avut asupra participanților și părților interesate ale proiectului. Măsoară rezultatele, dar și schimbările care au fost produse de acele rezultate. În funcție de momentul realizării evaluării proiectelor, programelor sau politicilor se deosebesc: - Evaluarea ex-ante presupune un demers care analizează contextul în care urmează să se implementeze o intervenție și impactul potențial al acesteia. Se realizează în scopul de a obține o prognoză cu privire la modul în care un program va funcționa și dacă va produce efectele dorite . - Evaluarea intermediară se desfășoară în timpul executării unui proiect/program. Ea are drept scop analiza procesului de implementare, în vederea îmbunătățirii sale, și utilizează în mod principal rezultatele monitorizării completând, dacă este cazul, cu date colectate suplimentar, informațiile despre gradul de realizare a obiectivelor și atingerea rezultatelor pe termen scurt, modul de respectare a calendarului de implementare, încadrarea în buget, gradul de utilizare a celorlalte resurse, factorii care influențează implementarea. Acest tip de evaluare este vital pentru corecția și revizuirea în timp real a planului de acțiune și activităților. - Evaluarea finală se efectuează imediat după finalizarea implementării proiectului/ programului. Ea vizează analiza proiectelor/programelor din perspectiva rezultatelor obținute comparativ cu obiectivele inițiale și urmărește cuantificarea rezultatelor acestora, analiza calitativă și cantitativă a 26 performanțelor, însușirea unor lecții pentru îmbunătățirea managementului proiectelor, programelor sau politicilor. - Evaluarea ex-post este realizată la o anumită perioadă de timp după finalizarea proiectelor, programelor sau politicilor sociale (de obicei, 1-3 ani). Ea se concentrează pe aprecierea impactului intervențiilor și a durabilității acestora. În funcție de conținut există două tipuri principale de evaluare: - Evaluarea de proces sau evaluarea formativă este centrată în principal pe modul de implementare și de administrare a programului/proiectului. Are ca scop creșterea calității și îmbunătățirea programului evaluat. - Evaluarea de impact sau evaluarea sumativă urmărește consecințele programului/ proiectului și are ca scop aprecierea rezultatelor și impactul proiectului. În funcție de obiectivele evaluării, criteriile de evaluare și datele disponibile, pentru a evalua orice proiect, program sau politică publică pot fi aplicate două tipuri de evaluare: evaluarea bazată pe teorie și evaluarea contrafactuală. 12 - Evaluarea bazată pe teoria schimbării pornește de la ideea că orice intervenție planificată este determinată de teoria, explicită sau implicită, a schimbărilor pe care urmează să le producă, prin abordarea unor nevoi sau probleme, cu o serie de resurse și activități, într-un context dat, în vederea obținerii unor efecte și rezultate, dar și a unui impact durabil. În acest context, evaluarea bazată pe teoria schimbării testează legăturile logice și practice dintre elementele componente ale acesteia: nevoi, resurse, activități, factori de sprijin și perturbatori, rezultate imediate și durabile. Metodele de cercetare și evaluare calitative și cantitative sunt utilizate pentru acest demers, iar combinarea lor într-un mix metodologic este recomandabilă. - Evaluarea contrafactuală reprezintă o modalitate de evaluare a impactului prin aplicarea unor metode de cercetare experimentale sau cvasi- experimentale și utilizarea de instrumente econometrice și statistice. Proiectarea unei evaluări. Tipuri de design. Pentru a evalua efectele intervenției, desing-ul cercetării de evaluare poate fi proiectat, în funcție de obiectivele stabilite, după unul dintre următoarele modele: - Design experimental: utilizat pentru a determina dacă un program sau o intervenție este mai eficientă decât procesul curent. Implică repartizarea 12 A se vedea: Raport final. Dezvoltarea unei Comunități de Evaluare Profesioniste în România, 2009. Disponibil pe: https://www.mfinante.gov.ro/static/10/Mfp/evaluare/Raport_final.pdf https://www.mfinante.gov.ro/static/10/Mfp/evaluare/Raport_final.pdf 27 aleatorie a participanților într-un grup experimental sau de control. Acest tip de design este adesea considerat a fi standardul de aur în raport cu care sunt judecate alte proiecte de cercetare, deoarece oferă o tehnică puternică pentru evaluarea cauzei și efectului. - Design cvasi-experimental: nu are o componentă de atribuire aleatorie, dar poate implica compararea unui grup experimental cu un grup similar care nu participă la program. Metodele cvasi-experimentale sunt folosite pentru a estima efectul unui program, politici sau intervenții atunci când experimentele controlate nu sunt fezabile. - Design non-experimental: nu implică un grup de comparație. Proiectele non-experimentale pot include studii pre- și post-intervenție fără grup de control sau comparație, abordări de studiu de caz și abordări numai post-intervenție. Caracteristica cheie a unui design non-experimental este lipsa unui grup de control. Deși studiile de evaluare neexperimentale sunt susceptibile să producă constatări acționabile cu privire la rezultatele programului, cele mai bune practici și îmbunătățirea performanței, ele nu pot controla factorii externi care ar putea influența rezultatele, cum ar fi factorii contextuali ai comunității sau prejudecățile de selecție. Criterii de evaluare. Evaluarea se organizează pe următoarele criterii, care de fapt constituie și nucleul evaluării: - Relevanța – constată dacă obiectivele strategice abordează problemele socioeconomice din societate și nevoile grupurilor-țintă. Relevanța este cel mai des examinată în etapa de evaluare ex-ante, dar și de evaluarea intermediară. - Eficiența - analizează relația dintre resursele investite și produsele obținute, constată dacă aceleași produse din punct de vedere al calității, cantității și oportunității puteau fi generate cu resurse mai puține sau dacă mai multe produse puteau fi obținute cu aceleași resurse. Accentul principal al eficienței ține de determinarea nivelului optim de valorificare a resurselor pentru generarea cantității și calității scontate a produselor. - Eficacitatea - evaluează măsura în care rezultatele obținute au contribuit la atingerea obiectivelor planificate ale intervenției. - Impactul – este valoarea adăugată, efectele pe termen lung create de intervenție asupra grupurilor țintă sau publicului larg, comparativ cu situația de referință. Impactul este măsurat în studiul de evaluare ex-post, dar și ca subiect al unei evaluări separate. - Durabilitate - asigură evaluarea probabilității ca rezultatele și beneficiile generate să continue după finalizarea intervenției. Durabilitatea abordează 28 aspecte ca responsabilizarea în continuare a factorilor decidenți, existența capacităților instituționale și manageriale etc. Procesul de evaluare. Procesul de evaluare se realizează în trei pași: 1) planificarea evaluării; 2) implementarea sau efectuarea evaluării; 3) raportarea rezultatelor. În etapa de planificare a evaluării se stabilesc aspectele de logistică (responsabil, echipă, termeni de referință, buget, termen etc.) și se elaborează planul evaluării care include: întrebările de evaluare, design-ul evaluării, matricea de evaluare ce include indicatorii care vor fi evaluați, sursele de date și metodele prin care vor fi colectate și analizate informațiile, o schiță a resurselor necesare la fiecare etapă a evaluării, responsabilitățile membrilor echipei de evaluare, calendarul evaluării. Implementarea evaluării include următoarele activități: elaborarea și pre-testarea instrumentelor de colectare a datelor; colectarea datelor, prelucrarea și analiza datelor, formularea constatărilor. Faza de raportare se referă la elaborarea raportului de evaluare ce include o descriere a obiectivelor, scopului și metodologiei de evaluare, descrierea principalelor constatări însoțite de dovezi, pe criterii de evaluare (relevanță, eficacitate, eficiență, impact, durabilitate, după caz), formularea de recomandări practice pe termen scurt, mediu și lung, detalierea practicilor bune și lecțiilor învățate. Standarde de evaluare. Utilizarea rezultatelor evaluării în domeniul social. În evaluarea proiectelor/programelor se va urmări respectarea următoarelor standarde principale: - Utilitate. Evaluările trebuie să fie utile și utilizate. - Fezabilitate. Evaluările trebuie să fie realiste și gestionate într-un mod rezonabil și rentabil. - Etica și legalitatea. Evaluările trebuie să fie efectuate într-o manieră etică și legală, cu o atenție deosebită pentru bunăstarea celor implicați și afectați de evaluare. - Imparțialitate și independență. Evaluările trebuie să ofere o evaluare cuprinzătoare și imparțială, care să ia în considerare punctele de vedere ale tuturor părților interesate. - Transparență. Activitățile de evaluare trebuie să reflecte o atitudine de deschidere și transparență. - Precizie. Evaluările trebuie să fie precise din punct de vedere tehnic, oferind suficiente informații despre metodele de colectare, analiză și interpretare a datelor, astfel încât valoarea sau meritul acestora să poată fi determinate. - Participare. Părțile interesate trebuie consultate și implicate semnificativ în procesul de evaluare atunci când este fezabil și adecvat. 29 - Colaborare. Colaborarea între partenerii operativi cheie în procesul de evaluare îmbunătățește legitimitatea și utilitatea evaluării. Cadrul de monitorizare și evaluare a unui document de politici publice în domeniul social. Modul în care un program colectează, analizează și raportează datele sunt descrise într-un mod sistematic în planul/cadrul de monitorizare și evaluare - instrument care permite sistematizarea informației necesare atât în cazul monitorizării, cât și a evaluării programelor/politicilor publice. Un cadru de monitorizare și evaluare bine întocmit va ajuta la implementarea corectă a programului/proiectului, va ghida procesul în vederea atingerii obiectivelor și va descrie cum se va demonstra eficiența intervențiilor. Acest instrument este compus din cinci elemente, care sunt analizate în baza relaţiei „dacă – atunci” de la stânga la dreapta. 13 Fig.2. Cadrul de monitorizare și evaluare a unui document de politici publice 13 A se vedea: Ghid privind monitorizarea și evaluarea participativă a serviciilor sociale destinat organizațiilor societății civile. Chișinău, 2019, p.40 30 Sarcini de autoevaluare 1. Încadrați schematic tipurile de evaluare corespunzător componentelor intervenției. 2. Analizați pașii procesului de evaluare. 3. Argumentați necesitatea respectării criteriilor și standardelor de evaluare în procesul evaluării unei intervenții sociale (politică, strategie, program, proiect, servicii sociale). 4. Întocmiți un plan de evaluare pentru un proiect în domeniul social. Lista bibliografică 1. BABBIE, Ea. Practica cercetării sociale. Iași: Polirom, 2010. ISBN: 978- 973-46-1274-1. 2. Cadrul metodologic pentru evaluarea proiectelor și programelor de cercetare-dezvoltare în Republica Moldova. Chișinău, 2013. Disponibil: https://idsi.md/files/file/ Cadrul_metodologic_Glosar_final.pdf 3. CIOCAN, L. Ghid privind monitorizarea și evaluarea participativă a serviciilor sociale destinat organizațiilor societății civile. Chișinău: „Print Caro” SRL, 2019. 4. Expert monitorizare, evaluare, impact și sustenabilitate a proiectelor. Suport de curs. Disponibil: http://www.anfp.gov.ro/R/Doc/2015/Proiecte/InstruireAplicata/26.11/ Manual%20Modul%203%20-%20Expert%20evaluare.pdf 5. Guidance Document on Monitoring and Evaluation. Concepts and Recommandations. 2014. Disponibil: https://ec.europa.eu/regional_policy/sources/docoffic/2014/ working/wd_2014_en.pdf 6. Guidelines for Project Monitoring and Evaluation. 27 November 2020. Disponibil: https://afocosec.org/wp-content/uploads/2021/11/G-2-20R- Project-M_E-Guidelines Effective-on-20201127.pdf 7. Handbook on Monitoring and Evaluating for Results. UNDP Evaluation Office, 2002. Disponibil: https://www.betterevaluation.org/en/resources/guide/handbook_ monitoring evaluation_for_results https://idsi.md/files/file/%20Cadrul_metodologic_Glosar_final.pdf http://www.anfp.gov.ro/R/Doc/2015/Proiecte/InstruireAplicata/26.11/%20Manual%20Modul%203%20-%20Expert%20evaluare.pdf http://www.anfp.gov.ro/R/Doc/2015/Proiecte/InstruireAplicata/26.11/%20Manual%20Modul%203%20-%20Expert%20evaluare.pdf https://ec.europa.eu/regional_policy/sources/docoffic/2014/%20working/wd_2014_en.pdf https://ec.europa.eu/regional_policy/sources/docoffic/2014/%20working/wd_2014_en.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://afocosec.org/wp-content/uploads/2021/11/G-2-20R-Project-M_E-Guidelines%20Effective-on-20201127.pdf https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results https://www.betterevaluation.org/en/resources/guide/handbook_%20monitoring%20evaluation_for_results 31 8. Handbook on Planning, Monitoring and Evaluating for Development Results. UNDP. 2009. Disponibil: http://web.undp.org/evaluation/ handbook/documents/english/pme-handbook.pdf 9. Managementul proiectelor. Monitorizarea și evaluarea proiectelor. Bălți, 2013. Disponibil: http://adrnord.md/public/files/brosuri/Brosura_Managementul proiectelor _2013.pdf 10. Monitorizare și evaluare în economia socială. Manual de intervenție. București: Editura Expert, 2011. ISBN: 978‐973‐618‐282‐2. Disponibil: https://phoenix-proiect.ro/wp/wp- content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala .pdf 11. Monitorizarea și evaluarea activităților cu tinerii. Ghid pentru tineri și profesioniști care lucrează cu tinerii. Chișinău 2006. Disponibil: https://drepturilecopilului.md/files/ publications/GHID_1profes_2006_FINAL_New.pdf 12. Project/programme monitoring and evaluation (M&E) guide. 2011. Disponibil: https://www.evaluation.bg/en/system/files/ifrc_2011_me- guide.pdf 13. ROSSI, P.H., FREEMAN, H.E., LIPSEY, M.W. Evaluation: a systematic approach, Sage Publications. 1999. ISBN: 0-7619-0894-3. 14. STUFFLEBEAM, D.L., CORYN, Ch.L.S. Evaluation Theory, Model and Applications. San Francisco: Jossey-Bass AWiley Brand. ISBN 978-1-118- 87032-7. 15. TOARTĂ, V., GHEORGHE, C. Examinarea și utilizarea datelor pentru luarea deciziilor în beneficiul copilului. Ghid metodologic, 2022. Disponibil: https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid- metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf 16. UNAIDS. Basic Terminology and Frameworks for monitoring and evaluation. Disponibil: https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf http://web.undp.org/evaluation/%20handbook/documents/english/pme-handbook.pdf http://adrnord.md/public/files/brosuri/Brosura_Managementul%20proiectelor%20_2013.pdf http://adrnord.md/public/files/brosuri/Brosura_Managementul%20proiectelor%20_2013.pdf https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://phoenix-proiect.ro/wp/wp-content/uploads/2019/09/Monitorizare-si-evaluare-in-economie-sociala%20.pdf https://drepturilecopilului.md/files/%20publications/GHID_1profes_2006_FINAL_New.pdf https://drepturilecopilului.md/files/%20publications/GHID_1profes_2006_FINAL_New.pdf https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.evaluation.bg/en/system/files/ifrc_2011_me-guide.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.unaids.org/en/dataanalysis/monitoringandevaluationguidance 32 TEMA 4. COLECTAREA DATELOR PENTRU MONITORIZARE ȘI EVALUARE Obiective de referință La nivel de cunoaștere și înțelegere: - să determine tipurile de date cu care se operează în procesul de monitorizare și evaluare; - să stabilească utilitatea datelor; - să identifice spectrul de metode care pot fi aplicate în colectarea datelor în monitorizare și evaluare; - să releve utilitatea fiecărei metode în colectarea datelor. La nivel de aplicare: - să elaboreze instrumente de colectare a datelor de monitorizare și evaluare. La nivel de integrare: - să argumenteze utilitatea instrumentelor de colectare a datelor și limitele acestora. Termeni-cheie: date, clasificarea datelor, surse de date, metode de colectare a datelor, instrumente de colectare a datelor. Conținutul temei: Tipuri de date utilizate în monitorizare și evaluare. Surse și furnizori de date. Metode de colectare a datelor. Instrumente de colectare a datelor. Tipuri de date utilizate în monitorizare și evaluare. a) După modul de exprimare – date calitative (valori exprimate prin cuvinte) și date cantitative (valori exprimate numeric). b) După modul de obținere – date primare (date generate pentru prima dată de către cercetător prin eforturi directe și experiență, în special în scopul de a aborda problema sa de cercetare; sunt cunoscute și sub numele de date de „prima mână” sau date brute), date secundare (date la „mâna a doua” care sunt deja colectate și înregistrate de orice persoană, alta decât utilizatorul, într-un 33 scop, care nu are legătură cu problema curentă de cercetare) și date derivate (date obținute în urma procesului de transformare a datelor primare). 14 c) După modul de colectare – date rutiniere (colectate în mod continuu în timpul procesului de monitorizare) și date nerutiniere (colectate pentru un scop specific și care nu au o anumită periodicitate). 15 Surse și furnizori de date. - cercetări statistice (surse de date primare și derivate): anchete sociale, observații, experimente, sondaje, interviuri individuale și de grup etc.; - surse administrative (surse de date secundare): legislație națională și internațională, publicații guvernamentale, rapoarte ale ministerelor, înregistrări interne ale organizațiilor din administrația publică centrală și locală, date statistice și publicații ale Biroului Național de Statistică etc.; - alte surse și furnizori de date (surse de date secundare): site-uri web, cărți, articole din reviste, rapoarte și studii ale organizațiilor neguvernamentale etc. Metode de colectare a datelor: - analiza documentară – metodă de investigație sociologică care urmărește obținerea, selectarea, compilarea, organizarea, interpretarea și analiza informațiilor despre un obiect de studiu din surse documentare, precum cărți, studii, cercetări, rapoarte de monitorizare, documente de arhivă, publicații periodice (ziare, reviste), înregistrări audiovizuale etc.; - ancheta (socială) – metodă de investigație întemeiată pe diferite tehnici de culegere și de prelucrare a datelor/informației calitative și/sau cantitative, în scopul analizei situației sociale și economice a persoanelor, familiilor, grupurilor sau comunităților, având rol de diagnostic social; - sondajul (de opinie) – cercetare (în particular, a opiniilor indivizilor) al cărei scop este ca, pe baza rezultatelor prelucrării datelor cantitative obținute pe eșantion, să se estimeze, folosind principiile teoriei probabilităților, parametrii corespunzători ai colectivității totale. Sondajul reprezintă o tehnică a metodei anchetei sociologice; - interviul – conversație sau dialog între două persoane cu obiective predefinite, în care una dintre ele joacă rolul de intervievat, iar alta – cel de intervievator. Acest dialog poate avea scop informativ sau de cercetare, prin care se colectează informații sau date specifice, de regulă calitative; 14 A se vedea: Diferența dintre datele primare și secundare. Disponibil: https://invatatiafaceri.ro/diferente/diferenta-dintre-datele-primare-si-secundare/ 15 A se vedea: Examinarea și utilizarea datelor pentru luarea deciziilor în beneficiul copilului. Ghid metodologic. Data for Impact, USAID, 2022, p.12. Disponibil: https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic- examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid-metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf 34 - discuția de tip focus grup – interviu cu mai multe persoane (de regulă 6-8 persoane) care au anumite caracteristici comune și care furnizează date/informații calitative într-o discuție ghidată, pentru a ajunge la înțelegerea cât mai bună a temei discutate; - observația – metodă de cercetare exploratorie sau descriptivă, utilizată pentru culegerea de date primare calitative și/sau cantitative, privitoare la persoane, obiecte, fenomene în cazul în care cercetătorul nu comunică direct cu subiecții, obiectele sau situațiile supuse investigației; - povestea vieții – metodă de cercetare calitativă care permite colectarea unor informații despre esența subiectivă a întregii vieți a unei persoane. Debutează printr-un interviu înregistrat, este transcrisă și se finalizează printr-o poveste fluentă, redată doar cu cuvintele persoanei care o narează. Aceasta folosește o metodologie ce este transferabilă între discipline și de la un cercetător la altul. Interviul de acest tip este singura metodă de a privi viața în ansamblu și de a efectua un studiu în profunzime al vieții indivizilor; - micro-narațiunea – relatare a unor întâmplări, într-o succesiune temporală de momente. Instrumente de colectare a datelor. Chestionarul – instrument de bază pentru colectarea datelor prin metoda anchetei sociologice, reprezentând un set de întrebări care au ca scop colectarea datelor necesare atingerii obiectivelor cercetării. Orice chestionar are trei obiective importante: trebuie să transforme informațiile de care va fi nevoie într-un set de întrebări la care să răspundă subiecții; trebuie să motiveze și să încurajeze respondentul să se implice în comunicare și să coopereze; trebuie să minimizeze riscul apariției erorilor de înțelegere a întrebărilor; Ghidul de interviu –listă care conține un set de întrebări structurate, semistructurate sau nestructurate, care au fost pregătite în prealabil, pentru a servi ca un ghid pentru intervievatori, cercetători și investigatori în colectarea de informații sau date despre un anumit subiect sau problemă. Ghidul va fi folosit de către intervievator, care îl va completa cu răspunsurile primite în timpul interviului propriu-zis; Ghidul/protocolul pentru facilitarea unui focus grup – set de întrebări deschise, ordonate logic, începându-se cu întrebări mai generale și continuându- se cu întrebări specifice, detaliate. Prin aceste întrebări se urmărește să se afle părerile participanților despre o anumită temă. Important este să se țină cont și de întrebările suplimentare care pot să apară în legătură cu tema discutată, legate de obiectivele studiului. Se recomandă ca numărul întrebărilor la care se solicită 35 răspunsuri să nu fie prea mare – optim 7-10 întrebări care să fie bine alese și formulate cu claritate în prealabil; Ghidul/fișa de observație – formular prin care se înregistrează direct calitățile fenomenului observat în mediul său natural. Datorită complexității și varietății realității sociale, nu există instrumente de cercetare universal valabile, standardizate. Fiecare cercetător este obligat să-și construiască propriile instrumente de lucru, potrivit obiectivelor urmărite, resurselor disponibile și particularităților domeniului investigat; Ancheta socială – instrument de colectare a datelor despre familie și copii. Se efectuează pentru a clarifica situația, a determina sarcinile de lucru, a întocmi un program de intervenție și pentru a oferi asistență familiei/copiilor. De regulă, este structurată pentru a colecta date despre familie, situația materială, situația sănătății, relații între membrii familiei, locuință, concluzii și propuneri; Formularele statistice – formular standardizat de culegere a datelor statistice; „Jurnalele de bord” – notițe, însemnări, înregistrări, filmulețe etc., prin care cercetătorul își poate contura o vedere de ansamblu asupra situației, grupului etc. de cercetat, surprinse prin trăsăturile lor: locuri, oameni, obiecte, evenimente, activități, comportamente, reacții etc.; Fișa de sesizare – formular de sesizare a cazului suspect de violență, neglijare, exploatare, trafic al copilului (aprobată prin Hotărârea Guvernului nr. 270 din 08.04.2014); Registrele cu date administrative – baze de date administrative din diferite domenii; Formularele de înregistrare a participanților la cursurile de instruire – tabele, în care se înregistrează numele participantului la cursuri și un șir de date suplimentare despre el, după necesitate (adresa, număr telefon, instituție etc.). Sarcini de autoevaluare 1. Clasificați și descrieți datele utilizate în evaluare și monitorizare. 2. Numiți și descrieți câteva surse și câțiva furnizori de date din domeniul social. 3. Enumerați și descrieți metodele de colectare a datelor. 4. Caracterizați instrumentele de colectare a datelor. 5. Elaborați un minichestionar și un ghid de interviu pentru a colecta date despre o temă propusă de profesor. 36 Lista bibliografică 1. AGABRIAN, M. Analiza de conținut. Iași: Polirom, 2006. 2. ATKINSON, R. Povestea vieții. Iași: Polirom, 2006. Disponibil: https://alingavreliuc.files.wordpress.com/2010/08/handbook-2-qualitative- methodology.pdf 3. BABBIE, E. Practica cercetării sociale. Iași: Polirom, 2010. 4. BLAXTER, L., HUGHES, C., MALCOLM, T. How to Research. Open University Press, 2010. 5. BRYMAN, A. Social Research Methods. Oxford: Oxford University Press, 2001. 6. BULGARU, O. Aplicații statistice în cercetarea sociologică. Chișinău: CEP USM, 2018. 7. Cercetarea documentară. Disponibil: https://ro.about- meaning.com/11033347-documentary-research 8. CHELCEA, S. Metodologia cercetării sociologice. Metode cantitative şi calitative. București: Economică, 2004. 9. COJOCARU, Ş. Metode apreciative în asistență socială. Ancheta, supervizarea și managementul de caz. Iași: Polirom, 2005. 10. CULIC, I. Metode avansate în cercetarea socială. Iași: Polirom, 2004. 11. DESCOMBE, M. The Good Research Guide. For small-scale social research projects. Open University Press, 2010. 12. De SINGLY, F., BLACHET, A., GOTMAN, A., KAUFMAN, J. C.. Ancheta și metodele ei: chestionarul, interviul de producere a datelor, interviul comprehensiv. Iași: Polirom, 1998. 13. FLICK, U. An introduction to qualitative research. Sage Publications, 2009. 14. JUPP, V. (coord.) Dicționar al metodelor de cercetare socială. Iaşi: Polirom, 2010. 15. KRUEGER, R.A., CASEY, M.A. Metoda focus grup. Ghid practic pentru cercetarea aplicată. IaşiIași, 2005. 16. MARSHALL, C. Designing qualitative research. Sage Publication, 1999. 17. Metode de lucru in asistenta sociala. Disponibil: https://www.qdidactic.com/bani-cariera/management/asistenta- sociala/metode-de-lucru-in-asistenta-sociala191.php 18. Monitorizarea și evaluarea activităților cu tinerii. Chișinău, 2006. Disponibil pe: https://alingavreliuc.files.wordpress.com/2010/08/handbook-2-qualitative-methodology.pdf https://alingavreliuc.files.wordpress.com/2010/08/handbook-2-qualitative-methodology.pdf https://ro.about-meaning.com/11033347-documentary-research https://ro.about-meaning.com/11033347-documentary-research https://www.qdidactic.com/bani-cariera/management/asistenta-sociala/metode-de-lucru-in-asistenta-sociala191.php https://www.qdidactic.com/bani-cariera/management/asistenta-sociala/metode-de-lucru-in-asistenta-sociala191.php 37 https://drepturilecopilului.md/files/publications/GHID_1profes_2006_FINAL _New.pdf 19. MUCCHIELLI, A. Dicționar al metodelor calitative în științele sociale și umane. Iași: Polirom, 2002. 20. PERETZ, H. Metodele în sociologie: observația. Iași: Polirom, 2002. 21. Programul de interviu: definiție, tipuri, șabloane și sfaturi. Disponibil: https://virtualmich.com/ro/programul-de-interviu-defini%C8%9Bie-tipuri- %C8%99abloane-%C8%99i-sfaturi/ 22. SILVERMAN, D. Interpretarea datelor calitative. Metode de analiză a comunicării, textului și interacțiunii. Iași: Polirom, 2004. 23. Surse de date pentru măsurarea excluderii sociale a populației. Disponibil: https://slideplayer.com/slide/14971730/ 24. TUTTY, L.M., ROTHERY, M.A., GRINELL, R.M. Cercetarea calitativă în asistența socială. Faze, etape și sarcini. Iași: Polirom, 2005. TEMA 5. CALITATEA DATELOR Obiective de referință La nivel de cunoaștere și înțelegere: - să descrie dimensiunile calității datelor. La nivel de aplicare: - să propună în cazuri concrete modalități de asigurare a calității datelor. La nivel de integrare: - să argumenteze importanța asigurării calității datelor în domeniul social; - să identifice riscurile neasigurării calității datelor. Termeni-cheie: date de calitate, asigurarea calității datelor, dimensiuni ale calității datelor. Conținutul temei: Importanța asigurării calității datelor. Dimensiuni ale calității datelor: validitatea, fiabilitatea, comprehensivitatea, precizia, actualitatea, integritatea, confidențialitatea. Strategii de asigurare a calității datelor în domeniul social. https://drepturilecopilului.md/files/publications/GHID_1profes_2006_FINAL_New.pdf https://drepturilecopilului.md/files/publications/GHID_1profes_2006_FINAL_New.pdf https://virtualmich.com/ro/programul-de-interviu-defini%C8%9Bie-tipuri-%C8%99abloane-%C8%99i-sfaturi/ https://virtualmich.com/ro/programul-de-interviu-defini%C8%9Bie-tipuri-%C8%99abloane-%C8%99i-sfaturi/ https://slideplayer.com/slide/14971730/ 38 Importanța asigurării calității datelor. Calitatea datelor (data quality) – caracteristică ce arată gradul de adecvare a datelor pentru utilizare. În general, datele sunt considerate a fi de înaltă calitate dacă sunt potrivite pentru utilizarea prevăzută în operațiuni, luarea deciziilor și planificare (date care îndeplinesc pe deplin cerințele utilizatorului). De asemenea, datele sunt considerate a fi de înaltă calitate dacă reprezintă corect realitatea la care se referă. Aceste două viziuni pot intra adesea în conflict, chiar și atunci când același set de date este utilizat cu un scop comun. Datele de calitate sunt cheia pentru luarea unor decizii corecte și informate. Și în timp ce toate datele au un anumit nivel de „calitate”, o varietate de caracteristici și factori determină gradul de calitate a datelor (de înaltă calitate versus calitate scăzută). În plus, unele diferitele caracteristici ale calității datelor vor fi probabil mai importante decât altele pentru diferiți factori interesați din cadrul organizației. Dimensiuni ale calității datelor. - validitatea datelor – proprietate a datelor de a fi exacte și de a măsura ceea ce se propune a fi măsurat. Datele măsoară ceea ce sunt puse să măsoare. Validitatea ajută la minimizarea erorilor până la o anumită limită, la care impactul unei astfel de erori este deja neglijabil. - fiabilitatea datelor – proprietate a datelor de a fi măsurate și colectate în mod consecvent în toate locațiile. Datele sunt colectate într-o anumită ordine, pe baza unui protocol sau alt document care reglementează procesul de colectare a datelor. - comprehensivitatea datelor – proprietate a datelor de a fi colectate comprehensiv, complet; - precizia datelor – apropierea valorii măsurate a datelor de valoarea lor adevărată; - actualitatea datelor – proprietate a datelor de nu a fi învechite, suficient actualizate; - integritatea datelor – proprietate a datelor de a fi suficient protejate de părtinire sau manipulare din motive politice sau personale. Datele trebuie protejate de posibile interpretări greșite sau manipulări (de exemplu, din cauza intereselor politice sau financiare ale terților). - confidențialitatea datelor – proprietate a datelor de a fi păstrate în conformitate cu standardele naționale și/sau internaționale; nediseminarea datelor cu caracter personal ale beneficiarilor, în special numele, prenumele, datele de naștere, adresele și alte date personale ale clienților/beneficiarilor. 39 Accesul la orice date cu caracter personal trebuie protejat (parolă la deschiderea unui fișier electronic, program, calculator). Calitatea datelor descrește din cauza: - erorilor de introducere (în scopul prelucrării automatizate); - formularelor de raportare inconsecvente; - lipsei procedurilor standardizate de colectare; - pierderilor de date; - întârzierilor de raportare; - raportărilor greșite sau lipsei acestora; - insuficientei instruiri a personalului care colectează datele; - lipsei de conștientizare a personalului ce colectează datele asupra importanței calității datelor pentru procesul decizional. Strategii de asigurare a calității datelor. Colectarea datelor de înaltă calitate poate fi o provocare. De exemplu, problemele de calitate a datelor pot apărea atunci când o organizație încearcă să integreze sisteme de date în diferite departamente sau în aplicații, implementează un software nou sau al cărei personal introduce manual datele. Ele pot apărea și din cauza faptului că organizația nu are instrumentele sau procesele adecvate de colectare și stocare a datelor. Cu toate acestea, există lucruri pe care organizațiile, inclusiv și cele din domeniul social, le pot face pentru a contribui la îmbunătățirea Implementarea unui plan de colectare a datelor: pentru asigurarea calității datelor colectate este necesar elaborarea și implementarea unui plan de colectare a datelor. În acest plan se indică tipul de date de care este nevoie pentru realizarea obiectivelor formulate și metodele de colectare și gestionare a datelor. De asemenea, se definesc rolurile personalului implicat în colectarea datelor și se stabilește modul de comunicare între subdiviziunile organizației în chestiuni legate de date. Este important ca planul de colectare a datelor să prevadă evitarea confuziilor/neînțelegerilor și să permită măsurarea progresului nivelului calității datelor. Stabilirea standardelor de calitate a datelor: este necesar de a crea niște standarde de calitate a datelor, care vor fi folosite pentru a determina ce date trebuie păstrate, care date pot fi omise și care trebuie corectate. Ar fi necesar ca personalul implicat în gestionarea datelor să fie de acord și să înțeleagă aceste standarde. Acest fapt va asigura coerența în întreaga organizație/echipă. Crearea unui plan pentru corectarea datelor: este necesar de a stabili reguli pentru corectarea datelor. Aceste reguli ar trebui să definească cine 40 este responsabil pentru corectarea datelor și metodele pe care ar trebui să le folosească pentru a le remedia. Planificarea integrării și distribuirii datelor între subdiviziuni: este necesar de a crea un plan pentru integrarea și distribuirea datelor în diferitele subdiviziuni din cadrul organizației. Probleme de calitate a datelor apar adesea în acest proces, deoarece copierea datelor, editarea manuală sau trimiterea lor către diferite platforme software creează oportunități de modificare. Crearea de planuri concrete pentru integrarea/transmiterea datelor poate ajuta la evitarea acestor probleme. Stabilirea obiectivelor pentru colectarea continuă a datelor: este important de înțeles, că îmbunătățirea calității datelor nu este o sarcină unică. Asigurarea calității datelor necesită un efort continuu. Documentarea problemelor legate de calitatea datelor poate ajuta la acest efort continuu, astfel asigurându-se că greșelile nu se repetă. Accentul ar trebui să se pună pe îmbunătățirea continuă a planului de colectare a datelor. Aplicarea tehnologiilor de gestionare a datelor poate face ca asigurarea calității datelor să fie mult mai eficientă și mai simplă. Acest lucru permite integrarea datelor, astfel încât să se poată obține o imagine completă a domeniului cercetat, să se analizeze cât mai rapid datele, astfel ele să fie utilizate cât mai eficient. Strategii de asigurare a calității datelor în domeniul social. Există câteva abordări ale domeniului social. Pe de o parte, el include un șir de organizații care oferă populației condiții de muncă și odihnă, este angajat în dezvoltarea fizică, educația și ocrotirea sănătății indivizilor. Pe de altă parte, domeniul social este un grup demografic al populației care diferă ca vârstă, gen, alte criterii de personalitate, astfel incluzând copii, adolescenți, vârstnici, pensionari, bărbați, femei, persoane cu dizabilități etc. O a treia abordare, universală, definește domeniul social ca domeniu de activitate al oamenilor uniți în diverse comunități sociale. Ținând cont de aceste abordări, este clar că domeniul social reprezintă o sursă enormă de date de toate tipurile, care pot fi folosite, după prelucrare, în diferite scopuri: de la descrierea domeniului până la argumentarea deciziilor de modificare a lui. Astfel, strategii de asigurare a calității datelor în domeniul social nu diferă esențial de strategiile generale de asigurare a calității datelor, care includ: 1. Pentru sursa de date: - Definirea surselor de date primare pentru fiecare indicator. - Elaborarea atentă a formularelor de colectare a datelor / registrelor. 41 - Elaborarea și documentarea instrucțiunilor de colectare și înregistrare a datelor, după care – organizarea instruirii personalul asupra: • formularelor și registrelor standard; • completării formularelor / registrelor; • rolurilor și responsabilităților la toate nivelurile. 2. Pentru procesul de colectare a datelor: - Elaborarea și documentarea instrucțiunilor/instruirea personalul asupra: • rolurilor și responsabilităților la toate nivelurile în procesul de colectare a datelor; • termenelor de raportare specifice; • gestionării datelor lipsă, contorizării duble, datelor care au scăpat monitorizării etc.; • politicii de stocare și practicilor de arhivare. - Verificarea regulată dacă sunt urmate instrucțiunile de colectare a datelor. - Asigurarea că toate necesitățile de colectare, introducere și analiză a datelor sunt satisfăcute (registre, formulare, calculatoare). - Identificarea ce e de făcut dacă trebuie efectuate modificări ale procesului de colectare a datelor sau dacă există probleme de colectare a datelor. - Efectuarea verificărilor la fața locului în timpul procesului (se verifică dacă sunt cazuri de introducere incompletă a datelor, transcriere incorectă, înregistrări inconsecvente). 3. Pentru colaționarea/verificarea datelor: - Dezvoltarea listelor de verificare și aprobărilor ca parte a supervizării de sprijin. - Crearea unui format electronic care să includă un proces de verificare a datelor de către persoane care nu sunt implicate în introducerea datelor. - Eșantionarea aleatorie a datelor și verificarea lor. - Asigurarea că problemele sunt raportate și documentate, rezolvate și comunicate înapoi la sursa problemei. - Oferirea de îndrumări pentru transcrierea corectă în bazele de date sau formularele agregate. 4. Pentru analiza datelor: - Asigurarea că sunt utilizate tehnici de analiză corespunzătoare pentru datele în cauză. - Comunicarea tuturor ipotezelor care afectează interpretarea datelor. - Executarea diverselor teste pentru a căuta neconcordanțe și valori extreme. 5. Pentru prezentarea și interpretarea datelor: 42 - Sintetizarea rezultatelor pentru publicul corespunzător / beneficiarii datelor. - Menținerea / respectarea integrității în raportare. - Protejarea confidențialității în rapoarte / prezentări. - Oferirea de feedback părților interesate și solicitarea contribuției acestora la interpretare, ședințe de examinare a datelor. Sarcini de autoevaluare 1. Ce se înțelege prin calitatea datelor/informației? 2. De ce este importantă calitatea datelor? 3. Prin ce se caracterizează calitatea datelor? 4. Explicați fiecare dimensiune a calității datelor. 5. De ce depinde calitatea datelor? 6. Cum poate fi asigurată calitatea datelor și, în particular, a datelor din domeniul social? Lista bibliografică 1. 10 Tips on how to improve data quality. Disponibil: https://www.collibra.com/us/en/blog/10-tips-on-how-to-improve-data-quality 2. 12 Things You Can Do to Improve Data Quality. Disponibil: https://firsteigen.com/blog/12-things-you-can-do-to-improve-data-quality/ 3. Best Practices for Improving Data Quality. Disponibil: https://www.ovaledge.com/blog/best-practices-for-improving-data-quality 4. BODI, D.C. Managementul calității serviciilor sociale. În: MUNTEAN, A., SAGEBIEL, J. Practici în asistența socială. România și Germania. Iași, 2007, p.41-50. 5. BRUMĂ (MANCAȘ), M. Improving the quality of social services as a social welfare indicator. In: Journal of Mediation and Social Welfeare, vol.1, 2019, p.33-41. 6. BULGARU, O. Aplicații statistice în cercetarea sociologică. Chișinău: CEP USM, 2018. 7. Ce este calitatea datelor? Disponibil: https://mariakaniyouths.org/ro/%C3%8Enscrie%C8%9Bi-v%C4%83-la- newsletterul-nostru/ https://www.collibra.com/us/en/blog/10-tips-on-how-to-improve-data-quality https://firsteigen.com/blog/12-things-you-can-do-to-improve-data-quality/ https://www.ovaledge.com/blog/best-practices-for-improving-data-quality https://mariakaniyouths.org/ro/%C3%8Enscrie%C8%9Bi-v%C4%83-la-newsletterul-nostru/ https://mariakaniyouths.org/ro/%C3%8Enscrie%C8%9Bi-v%C4%83-la-newsletterul-nostru/ 43 8. Data Quality. Disponibil pe: https://www.measureevaluation.org/our- work/data-quality.html 9. Ghid de indicatori calitativi de monitorizare și evaluare a calității serviciilor sociale. Disponibil: https://mmuncii.ro/j33/images/Documente/MMPS/Rapoarte_si_studii_MMP S/DPSS/2019_-_SRSS_-_Componenta2_- _Evaluarea_functionarii_si_eficacitatii_serviciilor_sociale_-_1.pdf 10. ILIEȘ, L. Managementul calității totale. Cluj Napoca, 2003. Disponibil: https://www.crest.ro/bibliografie/crest%20bibliografie%20cursuri%20nr.43.p df 11. Metodologie de monitorizare continuă a calității îngrijirii în instituțiile ce furnizează servicii de îngrijire de lungă durată. Disponibil: https://mmuncii.ro/j33/images/Documente/Familie/2019_PSCD- 3_Monitoriz-evaluare_calitate_ingrijire.pdf 12. TOARTĂ, V., GHEORGHE, C. Examinarea și utilizarea datelor pentru luarea deciziilor în beneficiul copilului. Ghid metodologic, 2022. Disponibil: https://www.data4impactproject.org/wp-content/uploads/2022/05/Ghid- metodologic-examinarea-si-utilizarea-datelor_WP-22-252-D4I-RO.pdf TEMA 6. INDICATORI UTILIZAȚI ÎN MONITORIZARE ȘI EVALUARE Obiective de referinţă: La nivel de cunoaştere şi înţelegere: - să definească indicatorul social; - să stabilească tipurile de indicatori utilizați în monitorizare și evaluare; - să determine elementele constitutive ale indicatorului; - să stabilească caracteristicile „indicatorului bun”. La nivel de aplicare: - să identifice factorii care determină alegerea indicatorilor; - să analizeze în ca