Coates&Richardson: Az alapképzésben végzettek tanulmányi eredményeineknemzetközi mérése

Az alapképzésben végzettek tanulmányi eredményeinek nemzetközi mérése1 Hamish Coates és Sarah Richardson Australian Council of Education Research, Ausztrália

Ez a tanulmány azon magyarázatokat, törekvéseket, feltevéseket és módszereket vizsgálja, amelyek a tanulmányi eredmények nemzetközi értékelését alakítják: a Gazdasági Együttm ködési és Fejlesztési Szervezet (OECD) Fels oktatási Tanulmányi Eredmények Vizsgálatának (AHELO) megvalósíthatósági tanulmánya. A cikk els része elemz , feltárja azon formálódó magyarázatokat, alakuló összefüggéseket és a normatív perspektívákat, amelyek az értékelést alkotják. A megvitatás áttekinti a tudományos és gyakorlati kihívásokat, amelyek a tanulmány értékelése során felmerülnek, és amelyeket nemzetközi keretek között tesztelnek, amire válaszul felvázol ötleteket és újításokat. A befejezésben egy a tanulmányt visszatükröz javaslatot tesz arra, hogy ahhoz hogy a Gazdasági Együttm ködési és Fejlesztési Szervezet meghatározott helyet foglaljon el a globális fels oktatásban, ennek a kezdeményezésnek bizonyítottan megvalósíthatónak kell lennie.

Bizonyíték alkotása a tanulás fejlesztésére Ez a tanulmány megvitatja az alapképzésben résztvev diákok tanulmányi eredményei nemzetközi vizsgálatának kifejlesztésére és értékelésére folyamatban lev munkát. A kutatás szemszögéb l nézve, megvizsgálja a magyarázatokat, törekvéseket, feltevéseket és módszereket, amelyek a Gazdasági Együttm ködési és Fejlesztési Szervezet (OECD), a Fels oktatási tanulmányi eredmény mérésének (AHELO) megvalósíthatósági vizsgálatát alakítják (OECD, 2011a).2 Kiugró összefüggéseket és kutatási alapokat vizsgál illetve feltár egy irányadó nézetet, amely a fejl dést és értékelést irányítja.

Majd a cikk a technikai alátámasztásokra és újításokra fókuszál, és módszertanilag néz a megoldásokra, amelyek a kihívásokra és összefüggésekre válaszul fejlesztettek ki és teszteltek.

Befejezésként áttekinti a szükséges következ lépéseket, hogy bebizonyítsa ezen vizsgálat elméleti és gyakorlati megvalósíthatóságát. Bevezet ként szolgál egy nagyon összetett és sok réteg tanulmányhoz, amelynek potenciálisan jelent s következménye lehet világ szerte a fels oktatásban.

AZ OECD 2006-ban javasolta a nemzetközi tanulmányi eredmények vizsgálat elkezdését (Ischinger, 2006). 2007 és 2009 között tárgyalásokon részletesebben kifejtették az ötletet, amely jóváhagyta az eljárásmódot és a tanulmányi szükségletet az összehasonlító betekintés létrehozására nemzetközi szinten. Az alapokat és a szükséges újításokat megadva, a résztvev k elfogadták, hogy amíg az ilyen vizsgálat technikailag lehetséges, mégis szükséges egy megvalósíthatósági tanulmány végzése miel tt elkezdik a teljes kör vizsgálatot.

Az AHELO megvalósíthatósági tanulmányt 2010-ben kezdték meg, és 2012 végére tervezik befejezését. A tanulmány általános célkit zése meghatározni, hogy „vajon nemzetközi kontextusban tudományosan és gyakorlatilag megvalósítható-e objektív adatok gy jtése a végz s alapképzésben 1

2

Eredeti tanulmány: Coates, H.& Richardson, S. (2011) An international assessment of bachelor degree graduates’ learning outcomes. Higher Education Management and Policy, 23 (3) 51-69.

Ez a munka a tagországok és a következ szervezetek és alapítványok által lett létrehozva: Lumina Alapítvány az Oktatásért, Compagnia di San Paolo, Svéd Nemzeti Ügynökség az Oktatásért, Fel oktatási Alapító Tanács Angliáért (HEFCE), Gulbenkian Alapítvány, Riksbankens Jubileumsfund, Ír Fels oktatási Hatóság (HEA), és Spencer Alapítvány. A project irányelvének a meghatározását az OECD végezte a tagországok nevében. 230 fels oktatási intézmény 35000 diákja 16 országban m ködik együtt ebben a vállakozásban. A munka magába foglalja a országos központokat a résztvev országokban, nemzetközi szakért i csoportokat és a fels oktatásban érintettek széles körét.

45

tanulók képességér l, arra hogy használják, alkalmazzák és cselekedjenek a tudásuk és érvelésük alapján” (OECD, 2010a). Az OECD és AHELO nemzetköz szakért i csoportja vezetése alatt, nemzetközi ügynökségek konzorciuma fejleszti és validálja az általános, gazdasági és mérnöki tanulmányi eredmények tesztjeit.

AHELO újító összefogást tükröz az oktatási felmérés és irányelv kutatás között. A következ módszertani áttekintés hasznos bevezetést nyújt a cikk hátralev részére. A politikai döntéshozók és intézeti vezet k támogatásával, a tanulmány a teszt fejleszt k és vizsgálati szakért k közös munkájával kezd dött hogy meghatározzák azon tanulmányi eredményeket, amelyekkel a különböz szakterületeken lev diákoknak rendelkeznie kellene az alapképzés végére. Fejleszt i szakért kkel és érintettekkel dolgoztak, hogy olyan vizsgálati eszközöket tervezzenek, amelyek feltérképezik ezeket a kimeneteket. Ahogy kés bb tárgyaljuk ebben a cikkben, ezek a vizsgálati eszközök min ségi és pszichometriai validáció, nyelvi fordítás, kulturális adaptáció és független ellen rzés összetett folyamatán mennek keresztül, ahhoz hogy biztosítsák az azonos fogalmak mérését a különböz nyelveken. A tesztek diákok és oktatók egészítették ki illetve intézeti kérd íveket terveztek arra hogy demográfiai és kontextuális információk gy jtsenek. A résztvev országok országos igazgatói felel sek a rendszer szint tevékenységek irányításáért és folyamatos képzésben és támogatásban részesülnek. A diákok 2012 els felére osztották be a teszt letételére. Ez után a teszt átmegy egy szigorú pszichometriai modellezésen és értékelésen, hogy következtetéseket nyújtson a diák tanulás nemzetközi vizsgálatának érvényességr l, hatékonyságról és jelent sségér l. Az eredményeket a intézeteknek és résztvev rendszereknek jelentik, végül nemzetközi beszámolók sorozatát készítik el.

Az összefüggések és magyarázatok formálása AHELO-t akkor dolgozták ki, amikor a fels oktatásra nyomás nehezedik a több teljesítmény vizsgálat végzésére. Sok magyarázat létezik erre, nem utolsósorban az arra való törekvés, hogy jobban megértsük a b vül ágazat átláthatóságát, hatékonyságát, változatosságát, termelékenységét és felel sségre vonhatóságát. Ezen széles kereteken belül hasznos áttekinteni a f el futárokat és magyarázatokat, amelyek elhelyezik és kisegítik a tanulmányt. Természetesen számos motiváló er emelkedik a fels oktatás fölé: az egyik kimondottan er s ösztönz er az érdekl dés hogy többet tudjunk a magasan képzett egyénekr l és azok vándorlásáról világ szerte. A következ elemzésnek szerényebbek a céljai és széles skálájú kutatásra és irányelv fejlesztésre koncentrál a fels oktatásban.

AHELO visszatükrözi az tradicionális egyetemi hozzáállásnak az alapvet változását a végz s kimenetek min ségének a biztosításához. Hagyományosan a tanulmányi eredmények meghatározása és vizsgálata az egyetemek bels ügye volt, különböz módon árnyalt a szabályozó szervezetek, szakmai szervek, más oktatási rendszer tagjai és a gazdaság mint egész interakciója által. De jelek vannak arra hogy egy növekv rendszerben a tradicionális egyetemi megközelítés,hogy meghatározzuk, értékeljük és ellen rizzük az tudományos normákat nem elegend arra hogy általánosítható adatokat teremtsük arról hogy a végz sök mit tanultak és mire képesek (AQUA, 2009; Coates, 2010; Ewell, 2009; Ikenberry and Kuh, 2009; Salmi, 2009, Spellings, 2006;VSA, 2009). Ez nem meglep , mivel ezen megközelítések az elit rendszerekhez lettek tervezve inkább mint a széles keretekre. Módszereket kifejleszteni annak mérésére, hogy a diákok mit tudnak és mire képesek, valamint intézetek közötti kimenetek összehasonlítására, számos más formális ellen rzéssel és értékeléssel együtt egy olyan tapasztalati alapot adhat, amit a különböz érdekelt felek használhatnak nem utolsó sorban az intézmények és karok - a diplomások kompetencia meghatározásának alátámasztására.

Az utóbbi pár évtizedben megnövekedett nemzetközi „értelmiségi vándorlás” ráirányítja a figyelmet a min ségbiztosítás tradícionális formáinak meger sítésére és kiterjesztésére. Az USA gyakorlatára építve, úgy mint az 1980-as évek közepén min ségbiztosítási rendszerek alakultak ki világ szerte, amelyek lényegében önvizsgálat, kollegális vélemény és nyilvános jelentés három fázisú modelljén alapultak (Vught és Westerheijden, 1993). Ez a folyamat nyilvánvalóan nemzetközi összehasonlítás 46

kérdéséhez vezetett és direkt és indirekt módon a min ségbiztosítási folyamatok alapot teremtettek jelent s mennyiség benchmarking számára. Az er s min ség kultúra és közösség fejl dése fontos el zménye az AHELO-nak, azonban a bemenetekre és folyamatokra való fókuszálás rámutatott a lehet ségre- és valójában a szükségességére- hogy összehasonlító információkat fejlesszenek ki, arról hogy a diákok valójában mit érnek el. A közösség igényei egy jobban összehangolt min ségbiztosításért kiáltanak, Massaro (2010, p25) például, azzal érvel, hogy „ most sürg s a mértékegységek kifejlesztése arra hogy mérjük a színvonalat és kimeneteket néhány értékes példát használva kiindulópontként”.

Természetesen sok az intézetek, rendszerek és nemzetközi hálózatok által létrehozott min séggel összefügg adat létezik. A diákok elkötelezettségér l gy jtött adatok, például számos országban fontos vitákat gerjesztett a tanulási folyamatokról és kimenetekr l. Hasonlóan, tanulmányok sokasága méri a diák elégedettséget az oktatási szolgáltatásokról. Az ilyen adatok hasznos betekintést nyújthatnak, f leg amikor kapcsolatban vannak a kimenetek korrelációjával, azonban a gy jtött adatok természetüknél fogva szubjektívek és inkább a tanulmányi folyamatokra koncentrálnak, mint a tanulmányi eredményekre. A vizsgálati együttm ködések, úgy mint a Egyesült Királyság Orvosi Iskolai Tanács Vizsgálati Szövetsége (MSC-AA, 2011) vagy az Ausztrál Orvosi Vizsgálati Együttm ködés (ACER, 2011) egy lépéssel el rébb halad a tanulmányi eredmény adatok szolgáltatásával, amelyek a helyi összefüggéseken felül általánosíthatóak. Végezetül, ilyen kezdeményezéseket hivatalos célból alakították ki, kérdéses ezek alkalmassága és megfelelése küls kezdeményezésre való használatra. Számos országos megközelítés létezik a kimenetek vizsgálatára (Nusche, 2008), azonban csak kevés az ami átíveli a országos korlátokat. Ezért különösen fontos alapja az ilyen tanulmányoknak, mint az AELO-nak a álladnó tudományág vagy intézeti információ gy jtése a tanulmányi eredményekr l, amely hatályában nemzetközi és potenciálisan átfogó. A globális osztályozás sokasága bizonyítja a rendszerek, intézetek és egyének igényét a nemzetközileg összehasonlítható adatokra arról, hogy az egyetemek mit értek el. Kiemelked kezdeményezések közé tartoznak a Times Fels oktatás (TSL Education, 2010), a Shanghai Jiao Tong „világ szint egyetemek indexe” (CWCU, 2010) és a US News and Word Report Legjobb Egyetemek (US News, 2010). Millió másikkal együtt, ezek a fejlesztések egy „osztályozó mozgalmat” indítottak, amely nagy mértékben kiélezetten koncentrál az adat vezérelt intézetek közötti összehasonlításra. Mind az osztályozások és a körülöttük folyó viták egyaránt közvetlen sugallatok az AHELO számára, mivel rávilágítanak annak szükségletére, hogy a létez mértékegységek hiányosságait pótolják. Az adatok hiánya tanulásról, a tudományos kutatással való megszállottság, az intézetek egészére való koncentrálás és az intézet típusok összes rítése helyet és szükséget teremt a tanulmányi eredményeket összehasonlító adatokra.

A legszignifikánsabb próbálkozás az uralkodó osztályozások számos korlátjának legy zésére az UMultirank program (CHERPA-Network, 2010). U-Multirank több értelemb l is egy természetes társ programja az AHELO-nak, arra törekszik hogy növelje az információ érvényességét,hatáskörét, változatosságát és áttekinthet ségét a fels oktatásban.

Az Európán belüli eljárás változásból ered , Tuning Folyamat (Tuning Association, 2011) egy másik fontos sugallat az intézetek közötti tanulmány vizsgálatokra. 2000-t l kezd d en „Tuning” egy folyamat, amely a diploma eredmények leírását és sorba állítását foglalja magába. Az ösztöndíjas közösségekkel dolgozva, Tuning visszatükrözi annak szükségességet hogy az egyetemek megtartsák az egyedi küldetésüket, együttesen meghatározott kereteken belül. A munka mostanra kiterjedt egész amerikára és a föld más területeire, fontos el feltételt nyújt az AHELO számára, mivel a tanulmányi eredmények megvitatására ösztönöz, bátorítja az ösztöndíjasokat, hogy megfontolják a tanterv és képzés összehasonlításokat valamint a gyakorlat nemzetközi egységességét hozza létre. 2008-ban és 2009-ben Tuning közvetlen adatokat szolgáltatott az AHELO számára, alap munkán keresztül amellyel feltérképezte a tágabb tanulmányi eredményeket a kiválasztott gazdasági és mérnöki területeken (Tuning Association, 2009a, 2009b.) Áttekinthet kezdeményezések, úgy mint az U-Multirank és Tuning, más széles skálájú kezdeményezések mellett, fontos ösztönz i az AHELO-nak és az általánosabb irányvonalakat 47

tükrözik. Az elitb l a tömegbe való elmozdulás - és bizonyos országokban az általános felé - a fels oktatási rendszerek megsokszorozták azon érintettek számát,akik a fels oktatási kimenetek iránt érdekl dnek. A fels oktatás már nem korlátozódik az elit képzésre, hanem a népesség nagyobb rétegeinek a képzéséért felel s. Nagyobb érdekl dés és alaposabb vizsgálat - ennél fogva nagyobb áttekinthet ség - elkerülhetetlen következménye ennek a növekedésnek. Amíg úgy t nik hogy a legfontosabb információ a fels oktatásról, a nyilvános adatok, arról, hogy a tanulók mit tudnak és mire képesek mégis sok rendszerben hiányosak.

Ez a kép felvázolja a kulcsfontosságú irányzatokat,amelyek a diákok tanulmányi eredményeinek általánosítható adatainak gy jtését alakítja. Ahogy ez mutatja, jelent s alapok léteznek, de eddig a munka a fels oktatás azon részeire koncentrált, amelyeket viszonylag könny összehasonlítani, úgy mint a intézeti szerkezeteket, képzési folyamatokat és képzés összetételt. Az intézeti és tárgy specifikus teljesítmény feltárása a diák tanulásnak mélyen gyökerezik. Mégis jobban betekintve, a tanulás összehasonlítása a különböz intézmény típusok és küldetések között egyre növekv fontossággal bír egy olyan környezetben, ahol a diák és diplomás vándorlás folyamatosan növekszik és ahol járható megoldásokat találnak az egyetemes fels oktatás fent tartására. Az el bb említett fejlesztések és kezdeményezések ellenére, szükség van a diák tanulmányi eredmények precíz és általánosítható mérésére, amely az intézetek és országos rendszerek között összehasonlítható. A megfelel en m köd AHELO-nak meg van a lehet sége arra hogy ezt az rt kitöltse, amely számos lefolytatott projekt által létrehozott termékeny talajon fejl dik az elmúlt évtizedekben.

Törekvések és vezet alapelvek A tanulási kimenetekr l szóló információk gy jteménye egy intézeti szinten ösztönz széles skálájú újításnak is tekinthet . Az AHELO vizsgálati tervéb l kiindulva (OECD,2010b) az itt kidolgozott „vezet alapelvek” ennek a célnak a szempontjából lettek megalkotva. Ezek az alapelvek szándékosan el re mutatóak és törekv ek. Arra szolgálnak hogy alapvet betekintést nyújtsanak, a fels oktatási tanulmányi eredmények lehetséges vizsgálatának mikéntjér l. Bár meglehet, hogy ez nagyra tör , az el zetes tanulmányok hiányában ezek pozitív irányadó keretet nyújtanak, amelyen belül az újítás és értékelés folytatódhat. Alapvet en, a fejleszt munka egy feltevésen alapszik, amely szerint lehetséges egy nemzetközi felmérés kivitelezése a végz s diákok képességeir l, hogy hogyan használják, alkalmazzák és cselekednek a tudásuk és okfejtésük alapján. Ez viszont új módszerek és technikai szabványok létrehozását jelentheti a fels oktatás kutatás számára. Ez azt jelenti hogy a politikai döntéshozók, intézet vezet k, tanárok és diákok bevonhatóak, hogy a vizsgálati folyamatokat és eredményeket értékes információként lássák az oktatásban. Ez arra utal, hogy az intézetek lépéseket tehetnek,hogy az eredményeket fejl dés-irányú változássá alakítsák, az ipar és a kormány vezet k új lehet ségeket láthatnak a végz sök képességeinek a vizsgálatában és a nemzetközi oktatás hasznot húzhat az új adat forrásból. Ami még ennél is fontosabb, ez arra utal hogy a tanulmányi eredmény adatok a fels oktatás megértéséhez jelent s, hatékony és további eszközöket nyújthatnak.

A nemzetközi kiterjesztés életbe vágó az AHELO és OECD számára, remélve, hogy a tanulmányi kimenetek összehasonlító adata er s hatással lesz az intézeti banchmarkingra. Egyszer en megkérni az intézeteket, hogy részt vegyenek egy nemzetközi felmérésben egy olyan üzenetet sugároz, hogy k részei egy nemzetközi globális tudás közösségnek. Többdimenziós jelentéseket szolgáltatva az intézeteknek, kihangsúlyozza a nemzetközi tanulás hálózatokat illetve az országok közötti tudás áramlást. A tanulók és a végz sök el nyt szerezhetnek a nemzetközileg érvényes kimenetekr l szóló jobb információkból. A kimenetekr l készített megbízható információ, olyan mély betekintést nyújthat, amit a leend diákok fel használhatnak a tanulmányi döntéseikhez. Bármilyen mértékadó teljesítmény visszajelzés a tanulóknak és végz söknek, betekintést nyújt számukra és a leend munkáltatók, mesterképz intézetek számára, ami el segítheti a széles kör mozgást és elhelyezést.

Mint egy vezérelv az értékeléshez, azt feltételezi, hogy a fels s diákok tanulása és teljesít képességének a mérése a fels oktatási gyakorlatban egy rutin tényez vé fog válni. Az ilyen

48

mér eszközök információt nyújtanak, amelyek kiegészítik a hagyományos akadémiai teljesítmény méréseket, és megkönnyítik a továbbtanulás és szakmai gyakorlat fejl dését. Ugyanakkor, ez az információ az intézeteknek és karoknak kiindulópontot nyújthat, amivel szemben felmérhetik saját céljaik és gyakorlatuk hatékonyságát.

Ahhoz, hogy értéket adjunk és elkerüljük az uniformitást, - ami veszélyes lehet - az ilyen felméréseknek a tudás mérés fölé kell emelkednie. Ezen teszteknek a diákok érvelésre való képességét összetett és gyakorlati módon, valamint készségek és szaktudások hatékony használatát különböz helyzetekben kell mérniük. A felméréseknek kifinomultaknak kell hogy legyenek és alkalmazkodniuk kell a gondolkodás formáihoz és a szakmai munkához, amelyet a legtöbb végz s alkalmaz. A módszerek széles körét kell alkalmazniuk, hogy egy kiegyensúlyozottabb fels oktatási min ség képet teremtsenek, és bevonják azokat, a képességekbe amelyeket mind az oktatók és mind a szakemberek elismernek, mint egy fontos tényez t a sikeres képzéshez-képességek, mint az együttm ködés és csapatmunka, szóbeli és írásbeli kommunikációs készségek, kreatív és elemz képességek és vezet i készség. Fontos figyelembe venni a tudományágakat amelyen belül a diákok tanulnak illetve a szakmai élet interdiszciplináris jellegét. Az ilyen vizsgálatok kifejlesztése újításokat kíván. Új szerkezetek meghatározását kívánja, adatok és rendszerek fejlesztését, hogy megragadja a magas szint okfejtést továbbá a hasznos és értelmes módon történ jelentést.

Versenyz er k által egyre növekv módon vezetett ágazatban, elengedhetetlen hogy az AHELO serkenti amit Vught és Kaiser (2008) változatosság és változékonyságként nevezett. A létez osztályozások az U-Multirank kivételével (CHERPA-Network, 2010) a függ leges intézeti változatosságára koncentrálnak és képtelenek kezelni az elvi változatosságot (Marginson és van der Wende, 2007). Multidimenzionális megközelítések kifejlesztésével, amelyek a standardizált intézeti osztályozás fölé emelkednek, a tanulmányi eredményekr l szerzett információnak meg van a képessége arra, hogy tájékoztasson és hangsúlyozza az egyes intézetek eltér küldetését és autonómiáját, valamint a kés bbi er feszítéseket a teljesítmény javítására.

Bizonyítékokon alapuló folyamatos fejl dés táplálása egy er s vezet elv. Statisztikai adatok gy jtése és jelentése, attól függetlenül, hogy milyen újszer ek és érdekesek, ritkán elegend k az azonnali intézeti vagy rendszer változáshoz. Ezért hogy sikeres visszajelzést adjunk intézeteknek, rendszereknek, érdekelteknek, az AHELO–nak szélesebb terveket kell megragadnia, hogy elkötelezze az intézeteket, tanárokat és diákokat a tényeken alapuló változásra. A széles skálájú intézeti vagy képzés szint vizsgálatok nehezen kapcsolhatók a gyakorlathoz, hacsak nincsenek világos stratégiák felállítva hogy segítsék a vezet ket, tanárokat és diákokat, ahhoz hogy elérjék és használják az információkat (Coates és Seifert, 2010). Olyan stratégiák nélkül, amelyek értelmezhet módon kapcsolják a beszámolókat a rendszerek, intézetek és egyének számára, nehéz mozgósítani az embereket a változás irányába. Ezért egy áthidaló kapcsolat stratégia, amely összekapcsolja az egyéneket és intézményeket, tudományágakat és karokat, vezet ket és rendszereket, az AHELO lényege kell hogy legyen. Valójában, egy vizsgálati folyamatban való részvétel önmagában egy hasznos élménynek kell hogy legyen.

Kihívások és újítások AHELO sui generis még gyerekcip ben jár. A sikeresség érdekében, az ilyen fajta újításoknak fontos tudományos és gyakorlati kihívásokat kell feltárniuk és leküzdeniük– sok közülük ismeretlen és váratlan. Minden intézményre, kultúrára, és tudományágra érvényes értékelést készíteni, azt jelenti, hogy figyelembe kell venni olyan tényez ket, mint intézeti sokféleség, nemzeti fels oktatási rendszerek közötti különbségek, szelektivitás – amely rendszerek és intézmények velejárója -, valamint programok hossza és tartalma közötti különbségek. Egyéb szinten figyelembe veend szempont, hogy hogyan motiváljuk a diákokat és intézményeket a részvételre, valamint a kulturális és nyelvi sokszín ségre. A cikk hátralev része lényegében módszertani leírás. Feltárja a fejl dési kihívásokat és újításokat vázol fel, amelyek az értékelés elindítását kezdeményezik.

49

A részvétel változása: a vitatottról átlagosra való áttérés Ahhoz, hogy egy ilyen nagy globális ágazat bekapcsolódjon egy új típusú adatgy jtésbe, amely az oktatási ipar lényegét érinti, egy jelent s vállalkozás. Nagy mennyiség munkára van szükség a filozófiai, politikai és történelmi szkepticizmus megértésére, valamint az érintettek inspirálására, hogy a tanulási adatokat a fels oktatás jöv jét meghatározó tényez nek lássák. Bár a globális törekvések növekv fogékonyságot teremtenek az AHELO-ra addig mégis számottev munkára van szükség, annak elvi alapjait a szervezeti és oktatási valósággal összekapcsolni. Ezt a feladatot komplikálja a felfogóképesség, igényérvényesítés, ami az általános tudományos értékelést akadályozza- sokkal inkább mint segíti- intézményi vagy kari gyakorlat, autonómia vagy tapasztalatok. Tisztán az információ megléte magába rejti a visszaélés lehet ségét, de ez a kockázat csökkenthet okos tervezéssel, valamint az adatok és jelentések használatának szabályozásával. Valójában, ahogy a kés bbiekben tárgyaljuk, a jól elkészített beszámolóknak komoly lehet ségük van a fels oktatási intézmények és a rendszer újítások segítésére, hogy fejl dni, és reagálni tudjanak az eléjük kerül kihívásokra.

2006 óta az AHELO újítói ( politikai vezet k, technikai szakért k) kapcsolatba kerültek az els felhasználókkal ( résztvev minisztériumok, intézetek, érintettek, és szakért k). A bekapcsolódott országok száma 2008-tól 2011 végére 7-r l 16-ra n tt, a potenciálisan résztvev intézmények száma így 70-r l 230-ra emelkedett. A technikai kidolgozás folyamatába 2010 óta szervezetek és egyének százai kapcsolódtak be. Ahhoz, hogy az AHELO megvalósítható legyen, tovább kell növekednie és vezet ket, tanárokat, diákokat bevonnia az adatgy jtés folyamatába. A globális fels oktatási rendszer még szélesebb kör bevonása a megvalósíthatósági tanulmány hatályán túl nyúlik. Mégis korai jelek mutatnak arra, hogy ez talán lehetséges, az elvi alapok kérdésér l és a módszertanról folytatott tárgyalásokon 2006 óta bekövetkezett figyelemre méltó elmozdulásokat tekintetbe véve. Végtére is a felvételiztetésben és a kutatásban már létez mérési módszerek meglétével, lehetséges elképzelni egy olyan kultúrát, amelyben a tanulmányi eredmények szervesen beépülnek a fels oktatás rendszerébe.

Az ilyen reformhoz vezet változások bekövetkezése, nagymértékben függ a rendszer befogadóképességét l. Bár az AHELO-t független ügynökségek vezetik és fejlesztik, mégis a résztvev országok nemzeti központjai jelent s felel sséget vállalnak a kivitelezésben. Az országokon belül sokféle szerkezeti formát használnak az oktatás mérésének képességével rendelkez ket és fels oktatási irányelvek szakért it egyaránt bevonó intézetek létrehozására. A megvalósíthatósági tanulmányban résztvev országok egyharmada a nemzeti m ködtetést kormányhoz kapcsolódó kutatási ügynökségeken keresztül, másik egyharmad egyetemi kutatási központokban végzi. A maradék országokban a nemzeti központokat kutatási ügynökségekhez, min ségügyi cégekhez vagy egy fels testülethez telepítették. A nemzeti központokat változatos módon finanszírozzák és irányítják, valamint küls szakért ket vesznek igénybe szakfordításra, elégedettségi tanácsadásra, és elemzésre. A központok együttesen új megközelítési módokra világítanak rá, amelyek a fels oktatáson belül széles skálájú értékelési munkához vezetnek. Felhívják a figyelmet új intézményi szerkezetek, szakmai hálózatok, és kutatási központok felbukkanására.

Általános és speciális kiegyensúlyozása A speciális és általános közötti feszültség kezelése a kultúrákon, nyelveken, tudományágakon, programokon,nemzeteken,tantárgyakon,intézeti korlátokon átível kutatás többek között az egyik legnagyobb kihívás. Ahhoz, hogy az értékelés érvényes legyen, a hatályos helyi összefüggések mérésén és jelentésén túl, megfelel en általánosnak kell lennie, hogy így lehet vé tegye az összehasonlítást. Egy ilyen kutatás számára elengedhetetlen, meghatározni, kezelni, vagy megoldani a speciális és általános között feszül ellentétet. Sok területen lehetséges már kipróbált modellek használata, még ha ezek újak és kevésbé gyakoriak is a fels oktatásban. Más esetekben, újító feltevések, látásmódok és tervezési megoldások szükségesek.

50

Például figyelemre méltó mennyiség tudás áll rendelkezésre a nyelvi és kulturális összehasonlíthatóság meghatározásának módszereir l. Olyan tanulmányokból, mint PISA ( OECD, 2011b), és TIMMS (IEA, 2010) lehetséges átvenni és adaptálni az iskolai szint kutatások bizonyított módszereit az AHELO számára. Röviden, az angol nyelv tesztek egy „kett s fordításon” mennek keresztül a résztvev országokban, amelyek két függetlenül dolgozó szakfordító bevonásával, két különböz fordítást eredményeznek. Ezeket a fordításokat ezután „egyeztetik”, mely folyamat során, a téma szakért i, és nyelvészek átnézik a fordításokat és mindegyikb l az er sebb megtartásával egy kombinált változathoz jutnak. Az általános készségek kivételével, az egyeztetett fordítást függetlenül hitelesítik, mely folyamat magába foglalja szakmai és nyelvi szakért k által végzett további ellen rzést, hogy a fordított anyag biztosan optimális legyen az adott nemzeti környezetben. Még akkor is ha fordításra nincs szükség, az angol nyelv változat egy szigorú adaptációs és hitelesítési folyamaton megy keresztül az optimális nemzeti változat létrehozására. A részletes több lépcs s kivitelezés biztosítja, hogy a lefordított felmérések nyelvileg és kulturálisan megegyezzenek az eredeti változatokkal, a nemzetközi diák teljesítmény megbízható mérését segítik el .

Természetesen nagy jelent sséggel bír az érthet ség elérése a vizsgálat kimeneteknél. A Tuning” folyamatok kombinálása a felméréseket végz tudósok által használt módszerekkel, olyan ellen rzési kereteket létesítenek, amelyek gyakorlati és szilárd megoldásokat nyújtanak. Az AHELO-ban a teszt fejleszt k felhasználnak újabb fejlesztéseket (például, Tuning Szövetség 2009a,2009b; Min ségbiztosítási Ügynökség, 2006), amelyek az elvárt kompetenciákat határozzák meg. Ezzel ellentétben ezen kompetenciák elhelyezkedését például véve a szakképzési hierarchiában, a felhalmozott tudás egyszer visszaadásánál többet foglalnak magukba, és arra sarkalják a diákokat, hogy gondolkodó készségeiket aktivizálják a való élet problémáinak megoldására (OECD, 2003). A vizsgálat fejleszt k szorosan együttm ködnek a világ minden tájáról származó szakmai vizsgálati szakért kb l álló tanácsadó csoportokkal, hogy megállapítsák a kulcs fontosságú tudásokat és ezeket vizsgálati keretben összegezzék. Ezeknek a kereteknek a céljai, hogy egy szigorú vázat nyújtsanak a vizsgálati feladat fejlesztésének az irányításához és a teszt fejleszt képesek bemutatásához, ahhoz hogy a vizsgálati feladat leképezze a vizsgálati kereteket.

Amikor a fejleszt k a kimenetekre koncentrálnak nem szükségszer összehangolni a programokat, tantervet vagy a neveléstant, de fontos marad számításba venni az oktatási szerkezet, a források és megközelítések különböz ségeib l ered következményeket. Például a speciális mérnöki feladatkört olyan módon kell vizsgálni, amely visszatükrözi a tantervben, intézeti kultúrában és a küldetésben való megjelenését, úgy mint a tanítást alakító ismeretelméleteket. Ez egy jelent s pont, amelyet meg kell említeni, hogy elkerüljük a nem tárgyhoz tartozóságot vagy hogy átessünk a tudományos aprólékosságba vagy relativizmusba. Ez olyan módszereket és értékelési stratégiákat kíván, amelyek kiegyensúlyozzák gyakorlati, filozófiai és tudományos megfontolásokat. A mérési tudomány szabványain keresztül sok mindent be lehet bizonyítani. Más bizonytalanságok megoldhatók a széles skálájú konzultációk és szakmai felülvizsgálat által. A különböz gyakorlati megoldások szükséges kompromisszumokkal járnak.

A tudományos mintavételi stratégia A jól tervezett, alkalmazott és szabályozott mintavételi megközelítés jelent s bármilyen nemzetközi oktatási vizsgálatban. A statisztikai becslés erejét és érvényességét nem lehetséges biztosítani annak a szabályozása nélkül, hogy ki és hány ember vesz részt a tesztben-még post hoc statisztikai kiegyenlítéssel sem. Egy ilyen nemzetközi vizsgálatot, mint az AHELO-t ez a követelmény számos módon kihívás elé állítja: amíg a mintavétel technikai alapjai már megalapozottak, addig a fels oktatás mérésben eddig nem alkalmazták ezeket (a TEDS megemlítend kivételét l eltekintve (IEA,2011)), bizonytalan átalakítás lehet az, hogy szükséges illetve különböz hagyományok és példák még nem léteznek.

51

Egy olyan alkalmas mintavételi stratégia kifejlesztése, amely megfelel egyensúlyt hoz létre a technikai , gyakorlati és anyagi megfontolások között egy fontos szempontja az AHELO-nak. A megvalósíthatósági tanulmány megszorításain belül a mintavételi stratégia arra törekszik, hogy elegend számú véletlenszer en kiválasztott a tesztet önkéntesen letev részvev egyéneket vagy csoportokat biztosítson. A résztvev egyének a teszt itemek rétegzett véletlenszer mintájával kerülnek kapcsolatba, amelyek az adott vizsgálati eszköz részletes leírásában megadott tartalomra és szerkezetre lettek kidolgozva. Egyfajta kifinomult módszertani érveléssel alátámasztva, amely beszámol az iskolai szint értékelésekr l (OECD, 2009), a minta egyszer módon kifejlesztett, ami alkalmazható rendszer és intézeti összefüggésekben. Egy ellen rzött és átruházott megközelítés használatos, amiben országos központok és nemzetközi szakért k megegyezésre jutnak a nemzeti hozzáállásról; az országos központok az intézeti koordinátorokkal együttm ködve hoznak példákat, eredménynek majd nemzetközi ellen rök érvényesítik és biztosítják a résztvev összehasonlíthatóságát. A technikák és alkalmazásaik jól begyakoroltak az iskolai szint vizsgálatokban, azonban ezek érvényessége az AHELO-ban attól függ, hogy vajon lehetséges-e a megcélozott diákok bevonása a nem kötelez oktatásban. Jelent s elemzésre lesz szükség, különös tekintettel a különböz referencia hiányában, ahhoz hogy meghatározzuk, hogy vajon a mintavétel szilárd és védhet teljesítmény értékelést teremt-e.

Az összetett kognitív válaszok meghatározása Amíg a jól tervezett összetett kiválasztásos teszt kérdések az összetett való életbeli gondolkozást mérhetik, addig az érvelésnek több továbbfejlesztett változata van, ami jobban méri az olyan feladatok használatát, amelyek a diákoktól írásos vagy rajzos módon szerkesztett válaszokat várnak el, sokkal inkább mint el re meghatározott lehet ségekb l választást. Az ilyen „felépített válasz feladatok” alkalmazása automatizált vagy manuális értékelés használatát teszi szükségessé. Az érvényes és hatékony megközelítések tervezése a pontozásos felépített válasz feladatokhoz egy másik terület, amely módszertani újításokat követel. mintavétellel, az AHELO-hoz szükséges pontozásos módszerek többségét (ha nem összességét), változatos és széles skálájú összefüggésekkel fejlesztették ki és tesztelték. Az AHELO plusz szempontokat ad, azonban, ugyanannyira amennyire állandóságot követel a nehéz és összetett kognitív tárgyaknál, számos oktatási, kulturális és tudományági összefüggéseket keresztez. Az adatok, amelyek a diákok által felépített válaszokból származnak, használhatatlanok hatékony pontozási stratégiák, m veletek és min ségi ellen rzés nélkül. Ha ugyanazt a választ másképp pontozzák a különböz pontozók vagy akár ugyanaz a pontozó egy kis id beli eltéréssel, a megbízhatóság látja kárát, ami cserébe az érvényességet és az eredményeket fenyegeti.

Ezt a kihívást észben tartva, a pontozási módszereket úgy tervezték, hogy lefektették a szükséges technikai alapelveket egy nagy, kialakult és változatos összefüggésben. Minden ország választ egy rangid s akadémikust gazdasági, mérnöki vagy általános szakértelemmel vezet pontozónak , aki a pontozókkal együtt egy szigorú technikai és gyakorlati képzésen vesz részt. Ez a képzés módszertani elemzést és adják válaszok referencia összehasonlítását tartalmazza a résztvev országokból, a részletes tesztfejleszt k által létrehozott utasításokkal. Ez a folyamat lehetségessé teszi megtárgyalását annak, hogy hogyan állapítsák meg a pontokat a különböz válaszokra, és a vezet pontozóknak lehet séget ad hogy teljesen elmerüljenek a diák válaszok számszer ségének a bonyolultságába. Ugyanakkor, bármilyen nyelvi és kulturális különbség megvilágosítható és megnevezhet , helyet ad a nemzetközi következetességnek. Az országos pontozás el tt, a pontozás vezet k országos pontozó csapatot toboroznak és képeznek ki. A pontozást standardizált online eszközökkel vezénylik le, a vezet pontozók közelr l ellen rzik más pontozók munkáját, hogy biztosítsák az egyéni és nemzeti állandóságot valamint véletlenszer en ellen rzik a pontozott válaszokat, hogy meghatározzák a pontozó hitelességét.

52

Az AHELO-ban gondosan tervezett pontozási módszerek ellenére, fontos megjegyezni hogy a fels oktatásban tanuló diákok tesztválaszainak pontozási módszerei nemzeti határokon keresztül a technikai fejl dés korai szakaszában vannak. Tanulhatunk a széles skálájú nemzeti vizsgálatokból, de sok mindent kell még létrehozni az AHELO élete során, illetve újító megoldásokra lesz szükség a pontozási folyamat során felmerül problémák megoldására. A felépített válasz feladatok pontozásában különös kihívások rejlenek kultúrákon és nyelveken keresztül, amelyekben nem csak a szintaxis, szókincs és az írás sokféle, hanem különbségek vannak a kommunikáció elfogadott megközelítései és az érvelés természete és leírása között.

Beszámolók, amelyek bevonják a résztvev ket és el segítik változást Az AHELO-hoz hasonló tanulmányokat nem azért végeznek, hogy statisztikai becsléseket hozzanak létre, hanem hogy eredményes reformhoz vezessenek. Meglehet hogy a legnagyobb kihívás, amivel az AHELO szembe néz, az a résztvev k bevonása a bizonyíték alapú változásba. A vizsgálat igazi értéke és eredménye nem csak a beszámolók olvasásából ered, hanem a feladatok tervezésére és szerkesztésére alakult nemzetközi közösségek alapításából, a vizsgálatokban való részvétel illetve az egyének, intézetek és rendszerek növekedését segít eredmények felhasználásából. Egy globálisan átfogó tanulmányban amelyben a vizsgálati ciklus éveket ívelhet át, fontos lehet séget adni a bekapcsolódásra. A hatékony bekapcsolódás dönt , a tanulmány reformra való hatására.

A tanulmány hozzáállása a munka minden szakaszába bevonja a résztvev ket. Például a következ módokon: •

az érintettek tanácsadó csoportja - a fels oktatás érintettjeinek széles csoportját tartalmazza (fels oktatási intézmények egyesülete, diák és tanári egyesületek, min ség biztosítási ügynökségek, szakmai szervezetek és üzleti csoportok-bekapcsolódtak a munkába a kezdetekt l, a tervezés alakításában, fejl désben és felülvizsgálatban.

•

a megvalósíthatósági tanulmány megszorításain belül, a keret és teszt fejlesztésben szakért k és tanárok százait vonták be a tanulásról felépített megbeszélésekbe.

•

a tesztek mellett, összetett kérd íveket fejlesztettek ki az intézeti képvisel k és tanárok bevonására az adatgy jtésbe, és annak biztosítására, hogy az elemzések és az értékelések a helyi összefüggésekkel összhangban legyenek

•

nemzetközi vizsgálatban való részvétel magába rejti a lehet séget a résztvev országok, intézetek, tanárok és diákok számára, hogy ez egy valóban kellemes élmény legyen

•

amíg tiszteletbe tartjuk a szükséges titkosságot és adatvédelmi megszorításokat, a beszámolókat úgy tervezték, hogy a lehet legátláthatóbbak és informatívak legyenek.

•

a résztvev országok támogató mechanizmusokat alapítottak hogy segítsenek a rendszereknek és intézeteknek meghatározni, hogy hogyan értelmezzék a beszámolókat a diagnózis, monitorozás és fejl dés céljaira.

Összegzésként, remélhet hogy az AHELO egy fontos új betekintést képes teremteni a fels oktatás f szempontjaiba. Ugyanakkor, a fels oktatás nagy és növekv területén csak az els kísérleti lépések történtek meg. Jelent s munkát fog igényelni az AHELO-t összekapcsolni a létez harmonizáció, osztályozással és besorolási gyakorlatokkal, hogy meghatározzuk a tágabb stratégiai jelent ségét az ilyen vizsgálatoknak és hogy a finanszírozáson, szabályozáson és a min ségi ügynökségeken belül kapacitást hozzunk létre. Er feszítéseket igényel az intézeti kapacitás növelése a kimeneti adatok kezelésére és megértésére, a diákok és szüleik segítése a fels oktatásról szóló információk jobb

53

megértésére, és a felbukkanó kutatási közösségek támogatása, amelyek módszertani és tudományos érdekl déssel támasztják alá az alkalmazott munkát.

Kezdeti benyomások és er söd alapok Ez a cikk bevezetést ad azon er feszítésekr l, amelyeket az alapképzés tanulmányi eredmények nemzetközi értékelésének a létrehozására történtek: olyan munka, amely a fels oktatás f bb szempontjait érinti. Tanulmányozza az összefüggéseket, amelyek a kutatást vezetik és módszertani újításokat követelnek a megvalósítható eredmény érdekében. A távlatait és potenciális jelent ségét tekintve ez a cikk csak egy rövid áttekintést tud nyújtani err l az összetett és sok rét kutatásról. 2012 végére, várható hogy világ szerte 230 intézet diákjától és tanárától lesz adat gy jtve és ezután – számos más adatforma mellett - egy több szempontos elemzésnek és áttekintésnek lesz alávetve. Csak ezek után lehetséges értékelni a tanulmányi eredmények mérésének megvalósíthatóságát kultúrákon keresztül, valós, megbízható és gyakorlati módokon. Tanulmány kezdetén fejlesztett értékelési keret (GESK,2010c) azokat a tulajdonságokat fekteti le, amelyeket egy megvalósítható nemzetközi vizsgálat megkövetel. Az eszközök tekintetében szükséges lesz minden vizsgálat számára - mérnöki, gazdasági és általános készségek - hogy visszatükrözze a nemzetközi megállapodást az érintett területekr l és arról amit azoknak fontos mérniük. M ködési szempontból az eszközöknek tükrözniük kell az érintett szakterület szellemét és szándékát, ezért szükséges lesz a nemzetközi egyetértés biztosítása hogy a diák, tanár és intézményi kérd ívek megragadják azon fontos összefüggéseket, amelyek a fels oktatási tanulmányi eredményeket alakítják. A sikeres kivitelezés érdekében, a vizsgálatnak gyakorlatiasnak és módszertanilag szilárdnak, országok, kultúrák, nyelvek és intézetek között általánosítottnak kell lennie. Az is szükséges lesz, hogy hatékonyan kapcsolódjon a rendszerekhez, intézetekhez, karokhoz és véletlenszer en kiválasztott diákok mintájához, sikeresen és állandó módon legyen megvalósítva országokon, nyelveken és kultúrákon keresztül, általánosítható módon legyen pontozva és úgy legyen jelentve hogy a rendszereket és intézeteket összekapcsolja.

Ahogy ez a cikk mutatja, ez a munka számos változatos és serkent kutatási folyamat háttere ellenére is halad. Nélkülözhetetlen ehhez a munkához, hogy a nemzetközi ügynökségek sokasága egyre növekv érdekl dést mutat az együttm ködésre a fels oktatási kimenetek jobb megértése és fejlesztése érdekében. Elengedhetetlen az érvényes és megbízható vizsgálati források és folyamatok teremtése. Tartalmaznia kell, tanácsadó és technikailag szilárd vizsgálati keretek és vizsgálati eszközök teremtését, vizsgálati anyagok hatékony alkalmazását, min ségileg biztosított és hatékony végrehajtási módszerek használatát, hasznos információkkal szolgáló adat termékek és beszámolók termelését. A többdimenziós és multidiszciplináris irányvonal befogadása elengedhetetlen a fejl dés és változatosság elérésére. A titkosság és a biztonság egyértelm en a tesztelés része, azonban ennek egyensúlyban kell lennie az átláthatósággal. Világos hogy az anyagi bizonytalanság idején minden nemzetközi szándékú újításnak megfizethet nek és elérhet nek kell lennie.

A tanulás a fels oktatás lényege és a tanulmányi eredményekr l szóló adat az érdekeltek széles rétegei számára fontos. Jelent s munkára lesz szükség, hogy a kimeneti vizsgálatokat össze tudjuk kapcsolni a létez harmonizációkkal, osztályozásokkal és besorolási gyakorlatokkal. Szükséges a finanszírozás, szabályozás és min ségi ügynökségek között nemzeti befogadóképességet létrehozni és növelni a kapacitást a nemzetközi közösségeken belül a kimeneti adatok kezelésére és megértésére.

Id vel segít munkára lesz szükség a diákok és szüleik számára a fels oktatás új információinak jobb megértéséhez. Több kutató közösség jelenik meg hogy alátámassza a végzett munkát módszertani és tudományos vizsgálattal. A jelenlegi kutatás fontos új betekintést nyújt a fels oktatásba. Ugyanakkor csak az els kísérleti lépéseket mutatja ezen a jelent s és feltörekv területen.

54

Szerz k Hamish Coates, PhD (corresponding author) Australian Council for Educatinal Research (ACER) 19 Prospect Hill Road 3124 Camberwell VIC Australia E-mail: coatesh@acer.edu.au

Sarah Ricardson, PhD Australian Council for Educatinal Research (ACER) 19 Prospect Hill Road 3124 Camberwell VIC Australia E-mail: ricardsons@acer.edu.au

Köszönetnyilvánítás Hamis Coates az AHELO programigazgatója, és Sarah Richardson a nemzetközi munkát vezeti.

Végtelenül hálásak számos kollégájuknak, akik tanácsokat adtak a kutatással és ezzel a cikkel kapcsolatban.

A bemutatott kutatáshoz nem használtak fel semmilyen anyagi támogatást.

55

Referenciák ACER (Australian Council of Educational Research) (2011), Australian Medical Assessment Collaboration, www.acer.edu/amac,accessed 1 July 2011.

AUQA (Australian Universities Quality Agency) (2009), Setting and Monitoring Academic Standards for Australian Higher Education: A discussion paper, AQUA, Melburne.

CWCU (Center for World Class Universities) (2010), Academic Ranking of World Universities 2010, www.arwu.org/ARWU2010.jsp, accessed 3 March 2011.

SHERPA- Network (2010), Design and Testing the Feasibility of a Multi- dimensional Global University Ranking, www.u-muktirank.eu, accessed 20 September 2011.

Coates, H. and T. Seifert (2010), ”Linking assessment for Learning, Improvement, and Accountability”, Quality in Higher Education, Vol. 17, No. 2, pp. 179-195.

Ewell, P. (2009), ”Stuck on Student Learning”, in Measuring Up 2008: The National report Card on Higher Education, The National Centre for Public Policy and Higher Education, San Jose.

IEA (International Association for the Evaluation of Educational Achievment) (2010), Trend in International Mathematics and Science Study (TIMSS), www.iea.nl/timss_2011.html, accessed 1 September 2011.

IEA (2011), Teacher Education and Development Studí in Mathematics (TEDS-M-2008), www.iea.nl/teds-m_2008.html, accessed 1 September 2011.

Ikenberry. S. and G. Kuh (2009), More Than You Think, Less Than We Need: Learning Outcomes Assessment in American Higher Education, Indiana University, Bloomington.

Ischinger, B. (2006), ” Higher Education for Changing World”, OECD Observer, pp. 255.

Maringson, S. and M. van der Wende (2007), Globalisation and Higher Education, OECD Publisning.

Massaro, V. (2010), ” Cui bono? The relevance and impact of quality assurance”, Journal of Higher Education Policy and managment, Vol. 32, No. 1, pp. 17-26.

MSC-AA (Medical Scholls Council Assessment Alliance) (2011), London medical School Council, www.medschools.ac.uk/MSC-AA/Pages/default.aspx, accesed 1 September 2011.

Nusche, D. (2008), Assessment of learning Outcomes in Higher Education: A Comapartive Review of Selected Practices, OECD unclassified document, www.oecd.org/dataoecd/13/25/40256023.pdf, accesed 3 June 2008.

OECD (Organizational for Economic Co-operation amd Development) (2003), The Definition and Selection of Key Competencies (DeSeCo): Executive Summary, www.oecd.org/dataoecd/47/61/35070367.pdf, accesed 12 February 2010.

OECD (2009), PISA 2009 Technical Report, www. oecd.org/document/19/0,3746,en_2649_35854621_48_577747_1_1_1_1,00.html, accesed 1 September 2011.

OECD (2010a), Roadmap for the OECD Assessment of Higher Education Learning Outcomes (AHELO) Feasibility Study, www.oecd.org/dataoecd/50/50/41061421.pdf, accessed 7 July 2011.

56

OECD (2010b), AHELO Assessment Design, www.oecd.org/officialdocuments/displaydocumentpdf/? cote=edu/imhe/ahelo/gne(2010)17&doclanguage=en, accessed 7 July 2011.

OECD (2010c), AHELO Feasibility Study www.oecd.org/officialdocuments/displaydocumentpdf/? cote=edu/imhe/ahelo/gne(2010)18&doclanguage=en, accessed 15 July

Analysis

Plan,

OECD (2011a), OECD AHELO, www.oecd.org/edu/ahelo, accessed 1 September 2011.

OECD (2011b), OECD PISA, www. pisa.oecd.org, accessed 1 September 2011.

Quality Assurance Agency (2006), Subject Benchmark Statement: Engineering, www.qaa.ac.uk/Publications/InformationAndGuidance/Pages/Subject-benchmark-statementEngeneering-.aspx, accesed 2 October 2008.

Rogers, E. M. (2003), Diffusion of Innovations, Free Press, New York.

Salmi, J. (2009), ” The Growing Accountibility Agenda in Tertiary Education: Progress or Mixed Blessing?”, Education Working Paper Series, No. 16, the Word Bank, Washington, p. vii.

Spelling, M. (2006), A Test of Leadership, US Department of Education, Washington.

TSL Education (201), World University Rankings 2011, www.timeshighereducation.co.uk/worlduniversity-rankimgs, accessed 10 June 2011.

Tuning Association (2009), A Tuning- AHELO Conceptual Framework of Expected/Desired Learning outcomes in Engineering, www.oecd.org/edu/ahelo, accessed 1 September 2011.

Tuning Association (2011), Tuning Educational www.unideusto.org/tuningeu/home.html, accessed 25 March 2011.

Structures

in

Europe,

US News and World Report (2011), Best Colleges, www.usnews.com/education, accessed 28 September 2011.

Van Vught, F. A. and F. Kaiser (2008), Mapping Diversity: Developing a European Classification of Higher Education, CHEPS, Eschede Van Vught, F. A. and D. F. Westerheijden (1993), Quality Managment and Quality Assurance in European Higher Education: Methods and Mechanism, Commission of the European Communities, Luxembourg.

VSA (Voluntary System of Accountability) (2009), Voluntary System of Accountability, www.vluntarysystem.org, accessed 1 February 2009.

57