Κεφάλαιο 2 Θεωρητικοί προσανατολισμοί αξιολόγησης προγραμμάτων/ Ιστορική αναδρομή Έλενα Χριστοφίδου και Πέτρος Πασιαρδής
2.1
Εισαγωγικά – Ορισμός Αξιολόγησης Προγραμμάτων
Κατά περιόδους, οι υπεύθυνοι για τη χάραξη πολιτικής, οι χρηματοδότες των διάφορων οργανισμών, οι φορολογούμενοι και οι διάφοροι υπάλληλοι προγραμμάτων ήθελαν να διαχωρίσουν τα αποτελεσματικά κοινωνικά προγράμματα από τα μη αποτελεσματικά, ώστε να έχουν στους οργανισμούς τους τα καταλληλότερα προγράμματα, με απώτερο στόχο την ενίσχυση της αποτελεσματικότητας του οργανισμού. Για να γίνει αυτός ο διαχωρισμός έπρεπε να δοθούν απαντήσεις στα ακόλουθα ερωτήματα: • Ποια είναι η φύση του προβλήματος; Πού εντοπίζεται, ποιους επηρεάζει, πώς τους επηρεάζει, πόσοι έχουν επηρεαστεί; • Τι είναι αυτό που εντοπίζεται στο πρόβλημα και στις επιδράσεις του, το οποίο να αιτιολογεί τη διαφοροποίηση του προγράμματος ή την ανάπτυξη ενός καινούριου. • Ποιες παρεμβάσεις αναμένεται να απαμβλύνουν το πρόβλημα σε σημαντικό βαθμό; • Σε ποια άτομα πρέπει να γίνει άμεση παρέμβαση, ώστε να επιλυθεί το πρόβλημα; • Η παρέμβαση είναι αποτελεσματική, ώστε να επιτευχθούν οι επιθυμητοί σκοποί και αποτελέσματα; • Το κόστος λειτουργίας του προγράμματος είναι λογικό σε σχέση με την αποτελεσματικότητα και τα ωφελήματα του προγράμματος;
48
Αξιολόγηση προγραμμάτων και προσωπικού στην εκπαίδευση
Ερωτήματα όπως τα προαναφερθέντα αποτέλεσαν το έναυσμα για να αναπτυχθεί εμπεριστατωμένα η θεωρία για την αξιολόγηση προγραμμάτων, η οποία πέρασε από διάφορες φάσεις, οι οποίες και θα μελετηθούν στη συνέχεια του κεφαλαίου (Rossi, Lipsey & Freeman, 2004). Σε γενικές γραμμές, η αξιολόγηση προγραμμάτων θα μπορούσε να οριστεί ως η διαδικασία αποτίμησης της αξίας ενός προγράμματος με βάση συγκεκριμένα, μετρήσιμα, αντικειμενικά κριτήρια, ώστε να βελτιωθεί το πρόγραμμα (διαμορφωτική αξιολόγηση) ή να ληφθούν αποφάσεις για τη συνέχιση, αναδιαμόρφωση, επέκταση ή διακοπή του προγράμματος (τελική αξιολόγηση) (Δημητρόπουλος, 1998^ 1999^ Fitzpatrick, Sanders & Worthen, 2004^ Mark, Henry, & Julnes, 1999^ Stake, 2000^ Stufflebeam, 2001). Η αξιολόγηση προγραμμάτων θα μπορούσε να εστιάσει τόσο στα αποτελέσματα του προγράμματος (πρώτης και δευτέρας τάξης), όσο και στο σχεδιασμό του προγράμματος, στον τρόπο λειτουργίας και στις διαδικασίες που ακολουθούνται στο πρόγραμμα, στο πώς διατίθενται οι διάφορες υπηρεσίες και στην αξιολόγηση της απόδοσης του προγράμματος, καθώς και στην αξιολόγηση της ανάγκης για την ανάπτυξη ενός νέου προγράμματος (Rossi et al., 2004). Ο Provus (1971), ένας από τους κορυφαίους ερευνητές στο χώρο της αξιολόγησης, ορίζει την αξιολόγηση προγραμμάτων ως τη διαδικασία κατά την οποία: • Καθορίζονται τα πρότυπα κριτήρια του προγράμματος • Καθορίζεται η σχέση μεταξύ της εφαρμογής του προγράμματος και των πρότυπων κριτηρίων • Αξιοποιούνται οι πληροφορίες που προκύπτουν, είτε για να διαφοροποιηθεί το πρόγραμμα, είτε για να διαφοροποιηθούν τα κριτήρια.
2.2 2.2.1
Ιστορική Αναδρομή και Επίδραση της Αξιολόγησης στην Κοινωνία Πρώτες μορφές επίσημης αξιολόγησης.
Στο δημόσιο τομέα η πρώτη μορφή επίσημης αξιολόγησης εντοπίζεται το 2000 π.Χ., όταν οι Κινέζοι αξιωματούχοι διενήργησαν επίσημες, δημόσιες εξετάσεις για να αξιολογήσουν την ικανότητα των αιτητών για εξασφάλιση θέσης στην κυβέρνηση. Στην εκπαίδευση, ο Σωκράτης χρησιμοποιούσε τους προσωκρατικούς διαλόγους, ως ένα είδος αξιολόγησης και εκμαίευσης γνώσης από το συνομιλητή του, ως μέρος της όλης μαθησιακής διαδικασίας. Ωστόσο, πέρασαν
Θεωρητικοί προσανατολισμοί αξιολόγησης προγραμμάτων/Ιστορική αναδρομή
49
αρκετοί αιώνες από τότε για να εδραιωθεί πραγματικά η επίσημη μορφή της αξιολόγησης, αφού στο προσκήνιο, για τη λήψη κοινωνικών και εκπαιδευτικών αποφάσεων, κυριαρχούσαν οι θρησκευτικές και οι πολιτικές πεποιθήσεις (Fitzpatrick et al., 2004). Οι Cronbach et al. (1980), θεωρούν ότι η άνοδος των κοινωνικών επιστημών το 17ο αιώνα ήταν ο προάγγελος για την απαρχή της επίσημης μορφής αξιολόγησης. Συγκεκριμένα, οι αυξημένοι θάνατοι σε μια κοινωνία, η ανάπτυξη επιδημιών και η αύξηση του πληθυσμού, οδήγησαν στην εμφάνιση της ανάγκης για καταγραφή αυτών των στοιχείων ως επίσημης μορφής αξιολόγησης, η οποία έδωσε και τα πρώτα στοιχεία στατιστικής ανάλυσης. Ωστόσο, κατά το 1700 μ.Χ. η επίσημη μορφή αξιολόγησης δεν περιορίστηκε μόνο σε ποσοτικές μεθόδους στατιστικής, αλλά όπως αναφέρουν οι Rossi και Freeman (1985), αυτή την περίοδο είχαν εφαρμοστεί και ποιοτικές μέθοδοι επίσημης αξιολόγησης στο χώρο των κοινωνικών επιστημών. Επιπρόσθετα, οι Rossi και Freeman αναφέρουν την περίπτωση ενός Άγγλου καπετάνιου, ο οποίος ανάγκασε το μισό από το πλήρωμά του να καταναλώνει φρούτα και το άλλο μισό πλήρωμά να ακολουθεί τη δίαιτα που ακολουθούσε συνήθως. Μέσα από αυτό το πείραμα αποδείχτηκε ότι η κατανάλωση φρούτων ήταν σημαντικός παράγοντας αποφυγής της ανάπτυξης της ασθένειας σκορβούτο.
2.2.2 Αξιολόγηση προγραμμάτων: 1800-1940. Κατά τη διάρκεια του 18ου αιώνα η δυσαρέσκεια που προέκυψε από τα εκπαιδευτικά και τα κοινωνικά προγράμματα στη Μεγάλη Βρετανία πυροδότησε την αναδιαμόρφωση στον τρόπο αξιολόγησης των οργανισμών, με τη χρήση των αποτελεσμάτων από την ήδη υπάρχουσα έρευνα ως πρωταρχικών μέσων, προτού οι αξιολογητές προβούν σε οποιεσδήποτε κρίσεις και εισηγήσεις για αλλαγή. Αυτό υπήρξε το έναυσμα για την ανάπτυξη συστημάτων αξιολόγησης στα σχολεία της Αγγλίας και της Ιρλανδίας. Αυτά τα συστήματα αξιολόγησης, τα οποία ισχύουν σε κάποιο βαθμό μέχρι και σήμερα, στηρίζονται σε εξωτερικούς, επίσημους αξιολογητές και σε αυτά υιοθετείται η επίσημη μορφή της αξιολόγησης (όπως είναι για παράδειγμα, η αξιολόγηση OFSTED στο αγγλικό εκπαιδευτικό σύστημα). Στις Ηνωμένες Πολιτείες Αμερικής (ΗΠΑ) την ίδια περίοδο, η εκπαιδευτική αξιολόγηση διαφοροποιήθηκε κάπως από αυτή στη Μεγάλη Βρετανία, λόγω κυρίως μιας αξιολόγησης που διενεργήθηκε για πρώτη φορά στη Μασαχουσέτη το 1845 και το 1846^ η συγκεκριμένη αξιολόγηση έγινε μέσω γραπτών, τυπωμένων δοκιμίων σε διάφορα θέματα. Η χορήγηση αυτών των δοκιμίων στους μαθητές απο-
Κεφάλαιο 4 Μοντελοποίηση προγραμμάτων / Τεχνική δομημένη ιεραρχική ανάλυση Μάριος Στυλιανίδης και Πέτρος Πασιαρδής
4.1
Η Τεχνική της Μοντελοποίησης ή της Δομημένης Ιεραρχικής Ανάλυσης
Η αξιολόγηση προγραμμάτων αποτελεί σύμφωνα με τον Πασιαρδή (1996) μια συστηματική εξέταση των διάφορων προγραμμάτων σχεδιασμένη με τέτοιο τρόπο, ώστε να εντοπίζει τι λειτουργεί και τι όχι. Μια τέτοια εξέταση μας επιτρέπει να δούμε τη γενική εικόνα ενός εκπαιδευτικού προγράμματος και παράλληλα μας παρέχει έναν αντικειμενικό τρόπο για να αξιολογήσουμε τις επιμέρους πτυχές αυτού του προγράμματος και να βελτιώσουμε τη λειτουργία και την αποτελεσματικότητά του. Αυτό επιχειρείται και με την τεχνική της μοντελοποίησης ή της δομημένης ιεραρχικής ανάλυσης που θα εξετάσουμε αναλυτικά στη συνέχεια. To μοντέλο της δομημένης ιεραρχικής ανάλυσης (structural hierarchical decomposition) ή η προσέγγιση της μοντελοποίησης προγραμμάτων (program modeling), όπως είναι διαφορετικά γνωστό, προτάθηκε και εφαρμόστηκε από τον Αμερικανό Gary Borich, καθηγητή στο University of Texas at Austin (Borich & Jemelka, 1982^ Borich & Klinzing, 1984^ Borich & Nance, 1988). Οι βάσεις της προσέγγισης αυτής βρίσκονται στη γενική θεωρία των συστημάτων (συστημική θεωρία) και στην αξιολόγηση που είναι προσανατολισμένη προς τη λήψη συγκεκριμένων αποφάσεων αναφορικά με τη λειτουργία του προγράμματος (Πασιαρδής, 1996). Η δομική ανάλυση συνιστά ουσιαστικά μια αξιολογική διαδικασία η οποία χρησιμοποιείται για να κατανοηθεί πλήρως πώς ένα συγκεκριμένο εκπαιδευτικό πρόγραμμα πρέπει να δομηθεί ή με ποιο τρόπο το πρόγραμμα αυτό θα φέρει τα επιθυμητά αποτελέσματα. Έτσι χρησιμοποιείται η γλώσσα των σχε-
104
Αξιολόγηση προγραμμάτων και προσωπικού στην εκπαίδευση
διαγραμμάτων μέσα από την οποία επιχειρείται να παρουσιαστούν σταδιακά και να περιγραφούν με ακρίβεια όλες οι λεπτομέρειες που σχετίζονται με το πρόγραμμα. Επίσης, η προσοχή εστιάζεται στις σχέσεις μεταξύ των διάφορων συστατικών στοιχείων και παρέχεται μια κοινή ορολογία που μπορεί να χρησιμοποιηθεί τόσο από τους σχεδιαστές των προγραμμάτων όσο και από αυτούς που θα αναλάβουν την εφαρμογή ή την αξιολόγησή του. Τα τελικά μοντέλα που δημιουργούνται μπορούν σύμφωνα με τους Borich και Jemelka (1982) να αξιοποιηθούν για να: 1. σκεφτεί κάποιος με ένα ορθολογικά δομημένο τρόπο για ένα πολύπλοκο πρόγραμμα 2. μεταφέρει κάποιος, με παραστατικό τρόπο, έννοιες σχεδιασμού και προγραμματισμού σε νομοθέτες, χρηματοδότες, εφαρμοστές του προγράμματος, αξιολογητές και συμμετέχοντες στο πρόγραμμα 3. βεβαιωθεί κάποιος για τη λειτουργικότητα και την ποιότητα ενός προγράμματος τη στιγμή που το πρόγραμμα βρίσκεται στο στάδιο του σχεδιασμού 4. μπορεί κάποιος, πιο εύκολα, να κατευθύνει την ανάπτυξη ενός προγράμματος 5. προσδιοριστούν τα επίπεδα και τα κριτήρια με βάση τα οποία θα κριθεί η αποτελεσματικότητα ενός προγράμματος. Η μοντελοποίηση που επιχειρείται δημιουργεί τελικά μια συνολική εικόνα του προγράμματος μέσα από μια σειρά σχεδιαγραμμάτων, το καθένα από τα οποία συνοδεύεται με σύντομα σχόλια που επεξηγούν τα κυριότερα σημεία του προγράμματος ή της εκπαιδευτικής διαδικασίας που βρίσκονται υπό αξιολόγηση. Έτσι, επιτυγχάνεται μια εννοιολογική αναπαράσταση του προγράμματος η οποία κινείται από το πλέον γενικό επίπεδο στο επίπεδο της λεπτομέρειας που χρειάζεται για την εφαρμογή του προγράμματος. Με τον τρόπο αυτό προκύπτουν τα βασικά δομικά συστατικά του προγράμματος και προσδιορίζονται οι βασικές κατευθύνσεις της αξιολόγησης, ώστε να επιτευχθεί στο τέλος μια ολική κρίση για το πρόγραμμα (Στυλιανίδης, 2002). Η ολική αυτή κρίση μπορεί να προκύψει μόνο ως αποτέλεσμα της πλήρους κατανόησης των συνθετικών μερών του προγράμματος, ώστε να συγκεντρωθούν τα απαιτούμενα αξιολογικά δεδομένα για την εκτίμηση του ρόλου και της επάρκειας κάθε συνθετικού μέρους ξεχωριστά. Συνεπώς, σύμφωνα με την προσέγγιση αυτή η αξιολόγηση είναι μια διαδικασία ανάλυσης ενός προγράμματος σε μέρη και κρίσης καθενός από τα μέρη του προγράμματος, ώστε να προκύψει μια συνολική κριτική σύνθεση (Δημητρόπουλος, 2007).
Εναλλακτικές προσεγγίσεις-Μοντέλα στην αξιολόγηση προγραμμάτων
105
Υιοθετώντας ουσιαστικά την αρχή ότι «μια εικόνα αξίζει περισσότερο από χίλιες λέξεις» στην προσέγγιση αυτή χρησιμοποιείται αρχικά ένα απλό ορθογώνιο κουτί και μερικά βέλη για να επισημανθούν τα βασικά χαρακτηριστικά του προγράμματος, και συγκεκριμένα: (α) η δομή του προγράμματος και η διαδικασία, (β) οι διασυνδέσεις μεταξύ των δραστηριοτήτων του προγράμματος και των αποτελεσμάτων, (γ) οι σχέσεις μεταξύ των αξιών και των αποτελεσμάτων του προγράμματος και (δ) οι σχέσεις μεταξύ του προγράμματος και του περιβάλλοντος (Borich & Jemelka, 1982).
4.2 Δύο Βασικοί Κανόνες στην Περιγραφή των Προγραμμάτων Η προσπάθεια για γραφική απεικόνιση και περιγραφή των πιο πάνω χαρακτηριστικών ακολουθεί δύο απλούς, αλλά βασικούς κανόνες. Ο πρώτος κανόνας αναφέρει ότι για να δηλωθεί οποιαδήποτε συναλλαγή του προγράμματος (δραστηριότητα, διαδικασία ή γεγονός) χρησιμοποιείται ένα ορθογώνιο κουτί. Η συναλλαγή αυτή για να ενεργοποιηθεί και να αποκτήσει σημασία προϋποθέτει συγκεκριμένες εισροές ή εισδοχές (παριστάνονται πάντοτε με βέλη που εισέρχονται από τα αριστερά), περιορισμούς (βέλη που πιέζουν πάντα από πάνω προς τα κάτω) και αποτελέσματα (βέλη που εξέρχονται του κουτιού από τα δεξιά), όπως παρουσιάζεται στο Διάγραμμα 4.1.
Διάγραμμα 4.1. Τα Βασικά Στοιχεία του Προγράμματος
Στο πιο πάνω διάγραμμα οι εισροές μπορούν να αντιπροσωπεύουν οτιδήποτε χρησιμοποιείται από το πρόγραμμα ή από τη δραστηριότητα, όπως για παράδειγμα πελάτες ή μαθητές, δοκίμια, προσωπικό, χρόνος, αίθουσες διδασκαλίας κτλ. Οι περιορισμοί περιγράφουν οτιδήποτε μπορεί να περιορίζει τη δραστηριότητα, όπως χρηματοδότηση, προτεραιότητες του προγράμματος, ανατροφοδότηση για τα αποτελέσματα, ό,τι μπορεί να μετριάσει ή να περιορίσει τα αποτελέσματα κτλ. Τα αποτελέσματα μπορεί να είναι όλα όσα παράγονται ή είναι αποτέλεσμα της δραστηριότητας, βελτιωμένη εικόνα των μαθητών ή των
106
Αξιολόγηση προγραμμάτων και προσωπικού στην εκπαίδευση
πελατών, ψηλότερα ποσοστά απασχόλησης, μαθητές με μια συγκεκριμένη δεξιότητα κτλ. Ο προσδιορισμός των συγκεκριμένων εισροών, των περιορισμών και των αποτελεσμάτων δείχνει με ποιο τρόπο συνδέονται μεταξύ τους οι δραστηριότητες μέσα σε ένα πρόγραμμα. Αυτό φαίνεται στο Διάγραμμα 4.2 που ακολουθεί στην επόμενη σελίδα.
Διάγραμμα 4.2. Οι Σχέσεις μεταξύ των Δραστηριοτήτων
Ο δεύτερος βασικός κανόνας σε αυτή τη διαδικασία γραφικής απεικόνισης και περιγραφής του προγράμματος αναφέρει ότι η οποιαδήποτε συναλλαγή του προγράμματος (δραστηριότητα, διαδικασία ή γεγονός), που μπορεί όπως είδαμε να παρασταθεί με ένα ορθογώνιο κουτί, μπορεί να αναλυθεί στα συστατικά της στοιχεία. Συνεπώς, οποιαδήποτε τέτοια συναλλαγή μπορεί να προσεγγιστεί ως ένα συστατικό μέρος ενός ευρύτερου συστήματος, όπως απεικονίζεται στο Διάγραμμα 4.3. Το γράφημα αυτό μας επιτρέπει να δούμε τις διασυνδέσεις μεταξύ των διάφορων στοιχείων του προγράμματος ή του ίδιου του προγράμματος σε σχέση με ένα ευρύτερο σύστημα στο οποίο αυτό μπορεί να ανήκει. Με τον τρόπο αυτό τα εκπαιδευτικά προγράμματα παρουσιάζονται ιεραρχικά ξεκινώντας από πάνω προς τα κάτω. Οι λεπτομέρειες του προγράμματος
Εναλλακτικές προσεγγίσεις-Μοντέλα στην αξιολόγηση προγραμμάτων
107
Πηγή: Borich & Jemelka (1982). Διάγραμμα 4.3. Τα Συστατικά Στοιχεία των Συναλλαγών
εισάγονται σταδιακά έτσι ώστε να παρουσιάζονται όλα τα επιμέρους στοιχεία χωρίς ταυτόχρονα να χάνεται η γενική εικόνα του προγράμματος ως συνόλου. Το πρώτο σχεδιάγραμμα ξεκινά με την παρουσίαση του προγράμματος στο πιο γενικό του επίπεδο και ακολουθεί στη συνέχεια ο προσδιορισμός των επιμέρους συστατικών στοιχείων, όπως φαίνεται πιο κάτω με το συγκεκριμένο παράδειγμα του προγράμματος μουσειακής αγωγής που παρουσιάζουμε.
4.3
Τα Τέσσερα Βασικά Χαρακτηριστικά της Τεχνικής
4.3.1 Συναλλαγές Οι συναλλαγές ή δραστηριότητες (transactions) του προγράμματος είναι προσχεδιασμένες παρατηρήσιμες ενέργειες που παράγουν μετρήσιμες αλλαγές στη συμπεριφορά ή την κατάσταση των εμπλεκομένων στο πρόγραμμα (Πασιαρδής, 1996). Οι δραστηριότητες αυτές πρέπει να έχουν τη δυνατότητα να επιφέρουν τις επιθυμητές αλλαγές στους συμμετέχοντες και παράλληλα πρέπει να είναι συγχρονισμένες με τα άλλα συστατικά μέρη του προγράμματος. Ακολούθως, οι δραστηριότητες του πρώτου επιπέδου ανάλυσης αναλύονται σε άλλες επιμέρους δραστηριότητες οι οποίες οδηγούν σε μια λεπτομερέστερη ανάλυση του προγράμματος κ.ο.κ. Η διαδικασία αυτή συνεχίζεται μέχρι που μια εκπαιδευτική δραστηριότητα να μην μπορεί να αναλυθεί περαιτέρω.
Κεφάλαιο 9 Επίπεδα αξιολόγησης προγραμμάτων και καθοδηγητικές αρχές για αξιολογητές Ανδρέας Τσιάκκιρος και Πέτρος Πασιαρδής
9.1
Εισαγωγικά
Είναι γεγονός πως όταν αναθέτουμε σε κάποιο επαγγελματία με αναγνωρισμένα προσόντα τη διεξαγωγή μιας μελέτης ή έρευνας, αναμένουμε ότι θα συμμορφώνεται με τον κώδικα συμπεριφοράς του συγκεκριμένου επαγγελματικού σώματος. Η αξιολόγηση αποτελεί μια σκόπιμη, εφαρμοσμένη κοινωνική έρευνα που στόχο έχει την επίλυση πρακτικών προβλημάτων, που μπορεί να περιλαμβάνει και άλλες λειτουργίες-σκοπούς, όπως για παράδειγμα τη βελτίωση μιας υφιστάμενης κατάστασης στο πλαίσιο της διαμορφωτικής αξιολόγησης ή τη λήψη απόφασης για τη διακοπή ή τη συνέχιση ενός προγράμματος στο πλαίσιο της συγκριτικής/τελικής αξιολόγησης. Ως εκ τούτου, ο αξιολογητής θα πρέπει να εμπλακεί σε διάφορους ρόλους που συχνά μπορεί να δημιουργήσουν διφορούμενες και αλληλοσυγκρουόμενες προσδοκίες. Ο αξιολογητής, για παράδειγμα, μπορεί να μη συμφωνεί με τους σκοπούς μιας δεδομένης προγραμματικής παρέμβασης ή να διαφωνεί με τον τρόπο με τον οποίο η διοίκηση εφαρμόζει ένα πρόγραμμα (Owen & Rogers, 1999). Γι’ αυτό, ο αξιολογητής και ο οργανισμός θα πρέπει να καταλήξουν από την αρχή σε συμφωνία για τις ηθικές αρχές που θα διέπουν την αξιολόγηση και ο αξιολογητής θα πρέπει να έχει ξεκάθαρη κατανόηση του ρόλου του σε μια δεδομένη κατάσταση˙ αν αυτό δε γίνει από τα πρώτα στάδια, τότε θα πρέπει να αποσύρεται.
9.2
Κώδικες Συμπεριφοράς
Τα τελευταία χρόνια η ανάπτυξη κωδίκων συμπεριφοράς ή πρακτικής αποτελεί ένα σημαντικό θέμα στο επάγγελμα της αξιολόγησης, αφού οι διαδικασίες
218
Αξιολόγηση προγραμμάτων και προσωπικού στην εκπαίδευση
και οι μέθοδοι που ακολουθούνται πρέπει να είναι επαγγελματικά και δεοντολογικά αποδεκτές. Πολλές είναι οι χώρες που έχουν ασχοληθεί με το συγκεκριμένο θέμα ανάμεσα στις οποίες η Αυστραλία, ο Καναδάς, καθώς και οι Ηνωμένες Πολιτείες Αμερικής (ΗΠΑ), στις οποίες έχει αναπτυχθεί και η περισσότερη δραστηριότητα. Στο πλαίσιο, λοιπόν αυτού του κεφαλαίου θα γίνει ειδική αναφορά στα επίπεδα που πρέπει να διέπουν την αξιολόγηση προγραμμάτων, καθώς και στις καθοδηγητικές αρχές που πρέπει να έχουν υπόψη τους οι αξιολογητές. Οι Owen και Rogers (1999) υποστηρίζουν ότι οι κώδικες συμπεριφοράς αποτελούνται γενικά από ένα σύνολο επιπέδων πρακτικής. Το κάθε επίπεδο μπορεί να θεωρηθεί ως μια αρχή η οποία συμφωνείται από κοινού με τα άτομα του επαγγέλματος και η οποία όταν επιτευχθεί αυξάνει την αμεροληψία και την ποιότητα της συγκεκριμένης πρακτικής. Οι κώδικες συμπεριφοράς θα πρέπει να γνωστοποιούνται στους εμπλεκόμενους από το στάδιο της διαπραγμάτευσης και ο αξιολογητής θα πρέπει να τηρεί τις υποσχέσεις που δίνει αναφορικά με την ανωνυμία και την εμπιστευτικότητα. Ταυτόχρονα, οι αξιολογήσεις που περιλαμβάνουν ομάδες ελέγχου θα πρέπει να εξετάζονται προσεκτικά για πιθανούς ηθικούς κινδύνους, ενώ ο αξιολογητής θα πρέπει πάντοτε να θυμάται ότι το να λέει την αλήθεια είναι ένα επικίνδυνο και επίπονο έργο, αλλά αυτό είναι που θα πρέπει να κάνει στο τέλος της ημέρας (Chelimsky, 1995). Παράλληλα, ο αξιολογητής θα πρέπει να γνωρίζει πως μεταξύ του και των υπευθύνων των προγραμμάτων που αξιολογούνται μπορεί να υπάρξει σύγκρουση, γιατί από τη μια η φήμη και η καριέρα του αξιολογητή εξαρτάται από την παροχή έγκυρων και αξιόπιστων πληροφοριών και από την άλλη η φήμη και η καριέρα των ατόμων είναι συνυφασμένη με την προσφορά πετυχημένων προγραμμάτων (Owen & Rogers, 1999). Για το λόγο αυτό ο αξιολογητής θα πρέπει να είναι πολύ προσεκτικός στις κρίσεις στις οποίες προβαίνει, ώστε να διατηρείται μια σχετική ισορροπία που να αφήνει όλους τους εμπλεκόμενους φορείς ικανοποιημένους, χωρίς αυτό να σημαίνει πως πρέπει να γίνεται οποιαδήποτε παραχώρηση ή να δέχεται παρεμβάσεις όσον αφορά στην ποιότητα της εργασίας του. Οι Morris και Cohn (1993) θέλοντας να δείξουν τη σημασία της ύπαρξης κώδικα συμπεριφοράς στο χώρο της αξιολόγησης προγραμμάτων προχώρησαν στη διεξαγωγή έρευνας στην οποία ζητούσαν από τους συμμετέχοντες, οι οποίοι ήταν αξιολογητές, να δηλώσουν τα ηθικά προβλήματα που συναντούσαν πιο συχνά στην εργασία τους, καθώς και το μοναδικό πιο σοβαρό ηθικό πρόβλημα που αντιμετώπισαν. Τα βασικά συμπεράσματα της εργασίας τους περιλαμβάνουν τα ακόλουθα:
Επίπεδα αξιολόγησης προγραμμάτων και καθοδηγητικές αρχές για αξιολογητές
219
• Σχεδόν 65 τοις εκατό των ερωτηθέντων δήλωσαν ότι αντιμετώπισαν ηθικά προβλήματα στην εργασία τους. • Τα ηθικά προβλήματα ήταν πιο πιθανό να παρουσιαστούν σε εξωτερικές αξιολογήσεις. • Τα ηθικά προβλήματα ήταν πιο πιθανό να σχετίζονται με τη διαδικασία και την αξιολόγηση των αποτελεσμάτων, παρά με την έρευνα που σχετιζόταν με την ανάλυση αναγκών ή την ανάλυση κόστους-αποτελεσματικότητας. • Οι αξιολογητές που είχαν υπόβαθρο στην εκπαίδευση ήταν λιγότερο πιθανό να αντιμετωπίσουν ηθικά προβλήματα, παρά οι αξιολογητές που είχαν υπόβαθρο σε άλλους επιστημονικούς κλάδους. Παράλληλα, τα περισσότερα προβλήματα εντοπίζονταν στη φάση διαχείρισης των δεδομένων μετά τη συλλογή τους και περιλάμβαναν: • Συγκρούσεις για την παρουσίαση των αποτελεσμάτων, όπως πιέσεις για αλλαγή της παρουσίασης, ή απροθυμία πλήρους παρουσίασης των αποτελεσμάτων επειδή αυτά βρίσκονταν σε ασυμφωνία με τις προσδοκίες του πελάτη. • Διαφωνία αναφορικά με την αποκάλυψη των αποτελεσμάτων όπως συζητήσεις για την κυριότητα και τη διάχυση της τελικής έκθεσης. • Παρερμηνεία ή κακή χρήση της τελικής έκθεσης όπως απόκρυψη των αποτελεσμάτων από τον πελάτη ή έλλειψη ενημέρωσης του πελάτη για τα αποτελέσματα. Με βάση τα αποτελέσματα της έρευνάς τους, οι Morris και Cohn (1993) προχώρησαν στην ετοιμασία ενός σύνθετου «πορτρέτου» του εφιάλτη ενός αξιολογητή: ο πελάτης ενημερώνει τον αξιολογητή κατά τη διάρκεια της αρχικής τους συνάντησης ότι είναι πολύ σημαντικό να φανεί το πρόγραμμα ότι έχει πολύ σημαντικές επιδράσεις στους συμμετέχοντες. Αργότερα, και όταν τα αποτελέσματα δείχνουν ότι οι επιδράσεις του προγράμματος δεν είναι τόσο θετικές όσο περίμενε ο πελάτης ασκεί πίεση να μεγεθυνθούν τα καλά αποτελέσματα και να υποβαθμιστούν τα αρνητικά. Στο σημείο αυτό ο πελάτης αμφισβητεί το δικαίωμα του αξιολογητή να συζητεί τα αποτελέσματα με άτομα εκτός του οργανισμού, θέμα το οποίο ο αξιολογητής θεωρούσε ότι είχε ξεκαθαρίσει κατά τη διάρκεια της φάσης του συμβολαίου. Τέλος, μετά που υποβάλλεται η τελική έκθεση, ο αξιολογητής ανακαλύπτει ότι ο πελάτης δεν την έχει κοινοποιήσει σε άλλους εμπλεκόμενους φορείς ή άτομα, ενώ δε φαίνεται να χρησιμοποιεί τα αποτελέσματα ή τις εισηγήσεις της αξιολόγησης για τη λήψη αποφάσεων που αφορούν στο πρόγραμμα.