自 序
1994 年，正值我退伍後進入研究所碩一的求學階段，當時修 習吳靜吉老師的心理學課程，在他精采而風趣的引導下開啟對創造 力的認識，那是我最早接觸創意與創造力的時期。後來輾轉進入 大學任教，並以教育評鑑作為研究興趣及主軸。10 年後，2004 年 冬天，我赴美國鹽湖城參加比較與國際教育年會 (CIES)，某晚偶 然逛進一間二手書局，在眾多舊書中看到 Patton 的著作＂Creative Evaluation＂，當下以 10 塊錢美金購得，評鑑與創意結合的想法 也開始在我心中引燃。又 10 年，時間匆匆已至 2014 年，我剛好完 成這本書，＂10＂這個數字如此戲劇而巧合的演變不禁讓我預想， 如果再過 10 年，到了 2024 年，我是否還需要繼續提倡創意與創 造力對落實評鑑本質與實務的重要？ 教育評鑑因有濃厚「績效責任」的特質，很容易和考核或獎懲 畫上等號，不僅對受評單位或人員形成壓力，也造成制度公平性與 合理性的質疑。綜觀國內目前評鑑推動，也較偏重績效責任導向， 故總能引發諸多批評且不曾間斷，特別在推動實務與技術上的爭辯 往往會比理論上的探索複雜許多。面對挑戰，教育工作者不斷推陳 出新，致力於評鑑制度的修正與改變，也確實漸漸縮短了評鑑理念 與實務技術上的差距。不過進一步思考，如果這修正與改變能不僅 及於「事」，而能擴及至「人」，個人評鑑觀念與素養提升對評鑑 工作的「進化」一定會更有幫助，這一切就可以從跳脫「評鑑等於 績效」的框架開始。創意是思考與實踐的歷程，是督促個人開放及 持續成長的動力，現階段教育評鑑亟需要「事」與「人」同步的改 變與發展。 I
教育評鑑：創意取向
為能有系統的闡述想法，本書大致可分成理念篇與實務篇， 前三章以探索理念為主，後六章在評鑑實務中融入創意的應用。第 一章再探教育評鑑理論與取向的發展，協助我們回顧歷史脈絡以再 次檢視評鑑本質與目的；第二章引入創意與創造力的理念，探討創 造力重要的理論，並提出創意符合評鑑本質的論述；第三章為教育 評鑑創意取向理念的主要說明，提出歷程、人員，文化情境三面向 與九原則的整合性看法；第四章至第六章則檢視評鑑歷程的三個階 段，並以創意理念來提醒實務的運作；由於評鑑人員是評鑑精神落 實的重要因素，故第七章與第八章聚焦於評鑑人員的創意特質與培 訓；第九章則探討營造創意的評鑑文化與情境的重要；第十章為總 結及展望。 個人在藝術大學服務，發現不少同僚及藝術家真的很有創意， 也很勇於挑戰現況並嘗試新的想法。不過如果說創意是藝術家的專 屬名詞，我可能不會同意，因為和他們相處的經驗告訴我，他們不 僅重視創意，也願意以理性的態度去尋求順利與完美；而一般人只 要願意有創意，我們也能透過學習讓自己兼具理性與感性的思維， 和你是否是藝術家完全沒有關係。在北藝大待了 14 個年頭，不敢 說我因耳濡目染而變的有創意，但至少我學會以更開放的態度去面 對事物和挑戰。這其實也就是本書的最主要目的，提醒我們願意嘗 試對評鑑觀念與態度做正向的改變，從運用自己的創意開始去思考 評鑑的問題與發展。 本書能夠順利完成出版，首先要感謝科技部的專案補助；其 次，特別感謝本書撰寫及出版過程中，給予諸多指導及審查意見的 教育先進前輩們，因為您們的斧正提點，啟發了我更多的思考和學 習；回顧身旁，也要感謝最親愛家人一路走來的陪伴和支持。因為 II
幫助的人太多，受限篇幅無法逐一感謝，謹能在此一角致上最高的 謝意。最後，個人知識與能力有限，難免會有許多思路不周之處， 還望讀者及諸位先進們包涵及指正。 如果本書能夠引發或深化教育行政與心理跨域知識間的交互 探索，甚至激起教育評鑑浩瀚知識中的一片漣漪，那麼對我而言下 個 10 年還會有甚麼巧合出現，就顯得不那麼重要了。
於關渡 國立臺北藝術大學 2015 年 1 月 30 日
III
CONTENTS 自序 .......................................................................................... I
第一章 教育評鑑理論與取向的發展 ..................................1 【序曲】教育評鑑是全民運動 .........................................2 第一節、評鑑理論與取向的重要性及發展 ......................4 第二節、評鑑理論與取向的分類 .................................. 10 第三節、評鑑理論與取向的發展趨勢 ........................... 31
第二章 教育評鑑與創意 ................................................. 35 【序曲】燈下找鑰匙 ..................................................... 36 第一節、評鑑為何需要創意 ......................................... 39 目 錄 V
教育評鑑：創意取向
第二節、創意與創造力的定義 ..................................... 47 第三節、創意與創造力的內涵 ..................................... 52 小結 ............................................................................ 65
第三章 教育評鑑創意取向的基本理念 ............................ 69 【序曲】賣梳子給和尚 ................................................. 70 第一節、創意取向的定義 ............................................ 72 第二節、創意取向的內涵與原則 .................................. 74
第四章 創意取向的評鑑歷程：評鑑規劃階段.................. 95 【序曲】 ...................................................................... 96 第一節、確認評鑑目的 .............................................. 100 第二節、釐清與界定主要問題 ................................... 104 第三節、選擇與建立評鑑模式 ................................... 109 第四節、規劃評鑑設計與流程 ................................... 112 目 錄 VI
第五章 創意取向的評鑑歷程：評鑑實施階段................ 117 【序曲】達文西的繪畫論 ............................................ 118 第一節、適當的評鑑人員 .......................................... 119 第二節、發展評鑑工具與標準 ................................... 121 第三節、決定與進行資料蒐集 ................................... 133 第四節、評鑑資料分析 .............................................. 147
第六章 創意取向的評鑑歷程：評鑑結果階段................ 151 【序曲】薑是老的辣 ................................................... 152 第一節、彙整並做出評鑑結論 ................................... 153 第二節、撰寫評鑑報告與呈現 ................................... 157 第三節、後續結果的運用 .......................................... 164 第四節、評鑑結果呈現實例—以教師評鑑為例 ....... 168
目 錄 VII
教育評鑑：創意取向
第七章 評鑑人員的創意特質 ........................................ 175 【序曲】善意的負擔 ................................................... 176 第一節、評鑑人員的能力與特質 ................................ 177 第二節、創意特質的實證研究設計 ............................ 186 第三節、實證分析與討論 .......................................... 188 第四節、結論與建議 ................................................. 207
第八章 創意策略與評鑑人員培訓 ................................. 213 【序曲】正常的雌珠雞 ............................................... 214 第一節、創意形成的策略 .......................................... 215 第二節、國內評鑑人員培訓現況 ................................ 227
目 錄 VIII
第九章 創意取向的評鑑文化與情境.............................. 245 【序曲】謝絕入班觀課 ............................................... 246 第一節、組織的評鑑文化 .......................................... 248 第二節、創意取向的評鑑文化 ................................... 254 第三節、組織學習與創意 .......................................... 260
第十章 教育評鑑創意取向的未來與展望....................... 275 【序曲】美德的總和 ................................................... 276
參考書目 ............................................................. 293
目 錄 IX
第四章
創意取向的評鑑歷程： 評鑑規劃階段
教育評鑑：創意取向
【序曲】
「 沒 有 任 何 一 件 事 物 比 想 出 一 個 新 創 意， 更 能 令 人 拍 案 叫 絕。」 「沒有任何一件事物比看到一個新創意發揮作用，更令人感到 欣慰。」 「沒有任何一件事物比發現一個符合要求的新創意，更能有所 作為。」 引自江麗美 譯（2000）。嚴肅創意。de Bono, E. 原著，頁 22。
教育評鑑是一個系統化的歷程，在評鑑過程中從確定評鑑目 的開始，到評鑑結果的產出與運用，都必須預先進行規劃，從大處 著眼並小處著手，才能滿足評鑑實務的需要，確實達成評鑑目的。 Weiss 認為評鑑歷程要完整的規劃，必須能夠考量到各面向與各階 段工作的實質內容，並且具有循環的概念，才能不斷的適應調整， 讓各個部分都能夠配合起來，成為一致且具說服力的評鑑（王麗雲 主譯，2014）。創意取向評鑑在起始規劃時，評鑑規劃者應基於專 業知識，參考創意取向的原則規劃出適合評鑑目的與受評對象的設 計；在評鑑實施時，則要能符應評鑑情境與問題提出適合的問題解 決建議，故在評鑑時，沒有一件事情比發現能讓受評對象受用的創 意與問題解決策略，更能有實質的貢獻。因此好的評鑑是經過個人 與團體貢獻智慧與深思熟慮後的產物，要能確認目標、發現問題、 發展工具、蒐集有用資訊，以提供完整有意義的結果與建議。 96
第四章、創意取向的評鑑歷程：評鑑規劃階段
一 個 完 整 的 評 鑑 歷 程 涵 蓋 眾 多 事 務，Worthen 與 Sanders （1987）將方案評鑑的步驟分成「規劃階段」與「實施階段」；「規 劃階段」主要的工作流程包括：確認評鑑需求與責任、設定範圍分 析評鑑內容、選擇並定義評鑑問題與參考標準、規劃資料蒐集與分 析的方式、發展評鑑管理機制等。「實施階段」的主要工作流程則 為：處理評鑑時的政治議題與人際關係、蒐集與分析評鑑資訊、報 告並利用評鑑資訊，以及進行後設評鑑等。Fink（1995）更進一步 具體說明方案評鑑的步驟與流程，共分成六個階段，整理如下： （一）提出主要與方案相關的問題 提出問題是判斷方案推動成效的首要步驟。通常這些問題包 括： 1. 方案達成目的或目標的程度究竟為何？ 2. 不論是個人或團 體，所有方案參與者的特徵或特性為何？ 3. 哪些方案參與者或團 體對方案有決定性的影響？ 4. 方案參與者或團體對方案影響的持 久性為何？ 5. 哪些策略或活動對方案的影響最大？ 6. 方案的目標 與策略對其他互動關係人的合適程度為何？ 7. 方案推動的成本及 其效益關係為何？ 8. 政治或社會環境的變動對方案結果的影響為 何？ （二）建構方案評鑑標準 建構評鑑標準主要的目的是提供方案成效的資訊與證據，是教 育評鑑者判斷方案價值的重要依據。因此明確定義出最適合評估方 案的標準，對教育評鑑者來說是一種相當大的挑戰。理想上，這些 方案評鑑標準最好是能夠測量的、可觀察的，具有操作型的定義， 並且可信度也要高，也就是評鑑標準的信度與效度都必須兼顧。 97
教育評鑑：創意取向
（三）設計評鑑方式並選擇參與者 方案評鑑者必須選擇參與評鑑的對象，包括團體（單位或學 校）與個人，並針對他們的特性設計主要的評鑑方式。通常方案評 鑑者在設計符合評鑑情境的方式時，以下這些問題必須先行考量： 1. 有多少評估與測量必須進行？ 2. 何種時機必須進行何種評估與 測量？ 3. 有多少團體或個人必須納入評鑑的範疇？ 4. 如何選擇這 些必須納入評鑑的團體或個人？ （四）蒐集相關訊息 任何評鑑都必須蒐集相關的資訊，以提供評鑑者作為價值判 斷的基礎。而以方案評鑑而言，評鑑相關訊息的蒐集必須是有計畫 而整體性的進行。因此資訊蒐集時最好能夠先考量以下一系列的工 作：1. 待評估的變項，像是具體策略、行為表現、態度等，必須能 夠清楚的定義。2. 選擇或創造出適合的評估與測量方式。3. 說明評 估與測量方式的信度（一致性）與效度（精確性）。4. 有效安排好 評估與測量的細節。5. 確定評估與測量的計分方式。 而一般評鑑訊息或相關資料的來源大致包括：相關文獻或紀錄 的查閱、自我調查或評鑑的測量問卷、面談與座談、成就測驗、觀 察紀錄、一些已出版或未出版的相關文獻等等。 （五）分析資料 關於評鑑資料的分析，我們必須注意分析方式的適合程度。通 常會考量幾個關鍵因素：1. 評鑑標準或評鑑問題的特徵與其核心價 值，是否能夠透過資料分析而看出端倪？ 2. 評鑑資料的變項該如 98
第四章、創意取向的評鑑歷程：評鑑規劃階段
何呈現？是以精確的數字或是文字說明？ 3. 評估與測量的次數應 為多少？ 4. 資料的信度與效度。 （六）結果報告 評鑑的結果報告就是針對方案評鑑的運作結果進行說明，當 然包括判斷的結果與優缺點闡述。在報告的內容上會說明評鑑的目 的、評鑑標準建構歷程、評鑑方式與設計、資料蒐集、取樣與分析、 評鑑結果與討論、建議、以及評鑑的限制等等。而評鑑報告可用報 告書、口頭說明、專題論文等方式呈現。 綜合前述觀點與實務資料，可歸納出評鑑工作的內容及階段流 程至少包括以下 10 項：1. 確認評鑑目的；2. 釐清與界定主要問題； 3. 選擇與建立評鑑模式；4. 規劃評鑑設計與流程；5. 組成適當的評 鑑人員；6. 發展評鑑工具；7. 決定資料蒐集方式；8. 蒐集與分析資 料；9. 做出評鑑結論並撰寫評鑑報告；10. 評鑑結果後續運用。本 章將依循前面發展出評鑑創意取向的原則，來檢視評鑑歷程中各階 段任務，並將評鑑歷程依規劃、實施、結果三階段的順序提出創意 取向的觀念與想法，發展「創意取向評鑑歷程」的實務，此三階段 分別為； 一、評鑑規劃階段：包括確認評鑑目的、釐清與界定主要問題、 選擇與建立評鑑模式、規劃評鑑設計與流程等重要議題。 二、評鑑實施階段：包括組成適當的評鑑人員、發展評鑑工具 （標準或指標）、決定資料蒐集方式、資料分析等議題。 三、評鑑結果階段：包括做出評鑑結論、撰寫評鑑報告與後續 結果運用等議題。 99
教育評鑑：創意取向
本章就先探討創意取向的評鑑規劃階段，而評鑑實施及結果階 段的內容則留到下二章再行說明。
第一節、確認評鑑目的 評鑑的推動是一項頗為複雜的歷程，在不同階段與不同時機都 會有許多工作細節必須經過事前的規劃與設計，才能順利推動並獲 得大多數互動關係人的認同。在評鑑規劃階段，確認評鑑目的是評 鑑規劃者或決策者的首要工作。確認評鑑目的主要意義在於讓評鑑 規劃者了解委託人（或機構）推動評鑑的真正目的為何。因為惟有 確實了解委託人的根本用意，才能規劃出最適切的評鑑工作內容， 提供符合評鑑目的的資訊與建議。 通常評鑑有二個主要的目的，一在評估績效表現，另一則是促 進方案或專業發展，績效評估容易使人感到緊張與壓力，判斷結果 也不容易被認同；專業發展則較無威脅，能獲得多數受評者接受。 不過現實的狀況是，會對方案或機構運作感興趣的人士，通常會是 評鑑經費的贊助單位，或是上級單位，他們總是希望了解方案或機 構如何運用經費、究竟完成了甚麼工作，以及如何提供讓社會大眾 滿意的服務等問題，所以我們較常面對的評鑑還是以評估績效表現 為多，就算是經費贊助或上級單位有時也會將專業發展列為評鑑主 要訴求，但在重要性上絕對比不上對績效表現的重視，績效表現還 是國內現階段推動評鑑的主要目的。 大多數的評鑑重視績效表現，但評鑑規劃者在確認評鑑目的 時還是常會遇到目標曖昧不明的狀況，其中一個原因可能是來自委 100
第四章、創意取向的評鑑歷程：評鑑規劃階段
託人表面的說詞和真正的理由不一致，評鑑目的就不容易明確地釐 清，因為這背後可能涉及許多「政治上」的意圖與折衝，雖然不至 於如第一章評鑑取向所述是受到操弄的公關授意、政治控制等五類 型的「假評鑑」，但無形中會增加評鑑規劃者在確認評鑑目的上的 難度。此外，也可因為某一項評鑑目的特別重要，而相對削弱其他 次要目的，這些結果都也很容易讓評鑑目的淪為形式上的宣告，反 而成為評鑑過程與報告書中最不受到重視的部分。評鑑目的僅具形 式的現象很容易發生，國內許多評鑑計畫書中的評鑑目的，就常常 被戲稱為「作文」，既無法呈現真實目的，也不足以做為規劃的導 引，已喪失確認評鑑目的的意義。 我們以這幾年推動的大學校院師資培育評鑑為例，根據 103 年 大學校院師資培育評鑑辦法中規定，其評鑑目的共有七條，如下所 示（財團法人高等教育評鑑中心基金會，2014）： 一、瞭解大學校院師資培育單位（以下簡稱培育單位）之行政 運作、教師教學與學生學習之成效，以確保師資培育優質化。 二、引導各校各師資類科之資源整合，提升培育單位辦學品 質，獎優汰劣，並建立退輔機制。 三、鼓勵培育單位發展專業特色與內涵，提升多元師資培育之 品質，切合專業理念與教育現場之實際需求。 四、協助各培育單位依據教師專業內涵分析辦學績效，建立自 我改善機制。 五、瞭解學生所具備教師專業表現及核心能力之程度。
101
教育評鑑：創意取向
六、促進各校師資職前教育教師在教師專業實務之跨領域研究 合作，發揮培育單位的教育研究能量。 七、研擬改進評鑑程序及標準，並提供未來教育行政機關擬定 政策之參考。 由於「未通過」的師資培育機構會遭受停止辦理的處分，而「有 條件通過」也會面臨核減原核定師資培育名額之百分之三十，故師 資培育評鑑被認為是國內所有校務或機構評鑑中「會咬人」的評鑑 之一，評鑑目的除了例行性的品質保證需求外，另一個主要目的普 遍被認為是少子女化壓力下，削減師資培育機構與師資生名額的方 法。因此雖然訂有其他的評鑑目的，像是第三條，「鼓勵培育單位 發展專業特色與內涵，…」，可提升不同大學的師資培育特色；或 是第六條，「促進各校師資職前教育教師在教師專業實務之跨領域 研究合作，…」，可鼓勵大學進行校內、外跨系所或跨領域的交流 合作，提升師資生學習視野等目的，就相對的不會受到特別關切與 重視。 此外，六個評鑑項目中有些評鑑指標被列為「關鍵指標」， 代表每一個評鑑項目的關鍵指標都必須核定為通過，該項目才能評 定為通過，因此各校為了達成關鍵指標的要求，會盡力提供客觀數 據，這就很容易淪入數量與表象的追求，勢必遭受更多責難與批 評。例如：以項目四「教師素質及專業表現」來看，關鍵指標之一 是「專（兼）任教師員額、聘任方式與學經歷」，學校必須讓專任 教師員額達規定數量，就常常發生專任師資員額搬動等表面上的因 應之道，主聘先從系所搬至中心，評鑑後再搬回系所。此種效應會 讓原有其他第一到第七項立意良善的評鑑目的，因為一個評鑑目的 102
第四章、創意取向的評鑑歷程：評鑑規劃階段
（第二條的退場機制）及一個關鍵指標太過重要，相對被忽視，雖 然不至於說不會達成，但會削弱這些目的規劃的美意，非常可惜。 師資培育評鑑結果的懲罰涉及減招甚至關閉，讓受評單位成員 感受到工作權的危機。就其角度來看，懲罰過重讓評鑑目的幾乎就 等於關門條款，高度重視形式與實質上的績效表現，受評者的壓力 與排斥可想而知，其他有關專業成長的評鑑目的難免被冷落。創意 取向重視評鑑的真實性原則，強調的是評鑑能真實反應評鑑目的， 並滿足實際需求。評鑑規劃者要先與評鑑委託人充分溝通，接著了 解受評者的需求，在評鑑一開始階段就連結起委託人與受評者，尋 求並建立最佳共識，才可能讓每個評鑑目的都確實可行，非僅是形 式上的作文，也非僅著重某一特定目的。後續各階段的評鑑流程， 也會有目標性的規劃，並設計出符合的策略方法。評鑑目的若等於 關門或落日條款，會稀釋其他目的的達成程度，任何形式的工作執 行都必須能彰顯出評鑑目的真實性，評鑑規劃者能夠依目的規劃出 適合的評鑑內容，即為真實性評鑑的首要意義。 如果評鑑者、決策者，與受評者間無法就評鑑目的達成共識， 那麼工作規劃的方向就不會明確，增加評鑑規劃的難度，在結果上 則幾乎不可能獲得大多數人滿意與接受。如此一來評鑑應該暫停， 不適合往下進行，避免因單方堅持與操之過急而產生反效果。 Scriven（1972）為了避免因所訂定的評鑑目標過於狹隘，以 及過 份重 視 目標演 繹 的限制， 曾 提出「 無 目 標 評 鑑 」（goal-free evaluation）模式，主張評鑑者應刻意避免了解與討論評鑑目標， 僅單純的作實際效果的評鑑。當外部評鑑者愈不清楚評鑑目標與規 劃，就愈能夠聚焦於現場所發生的一切事物，並針對實際現象去蒐 103
教育評鑑：創意取向
集資訊以發現真實結果。此觀點雖因為不需要了解目標多少會影響 結果達成的評估，不過無目標的精神可提醒我們更重視評鑑的真實 現象與情境，不因單一目標窄化或混淆實際的效果。Scriven 自己 也說，無目標評鑑和有明確目標的評鑑可以一起使用，更有創意及 開放的推動，可由不同評鑑者分別進行，採混合設計的方式消彌因 目標訂定不佳所產生的不明確與限制。
第二節、釐清與界定主要問題
所謂的問題，指的是個體面對特定情境時，無法立即或有效 的 反 應， 因 此 產 生 了 問 題（D’Zurilla & Goldfried, 1971）。 一 般 對問題的定義可分成兩種型態，第一種是可以有清楚定義（welldefined）的問題，這些問題通常有固定的內容與規則，像是數學 解題，可依循既定的公式與思維逐步找出解決的方法；第二種是不 能清楚定義（ill-defined）的問題，此些問題不會有固定的思考規 則可依循，問題的線索與走向都不甚明確，有賴解題者設法找出解 決之道，所以第二種問題就會需要解題者發揮創意以求問題有效解 決。Newell & Simon（1972）則更詳細的依問題的結構化程度，將 問題分成三種類型，分別是「結構化問題」、「半結構化問題」， 以及「無結構化問題」（引自江美惠，2005），如表 4-1。
104
第四章、創意取向的評鑑歷程：評鑑規劃階段
表 4-1 依結構化程度分類的問題類型
定義
特性
結構化問題
半結構化問題
無結構化問題
目的及訊息明確， 可採用過去慣用或 有固定規則的解決 方法。
目的及訊息較不清 楚，解題需要思考 較多元的策略，並 透過修正以符合需 求。
目的及訊息模糊不 清，解題需要多 元及不受限制的策 略，問題不具有單 一或標準的答案。
1. 解決策略通常有 一個最佳答案， 且可以預測。
1. 解決策略通常不 只有一個。
1. 解決策略不只一 個，且不容易預 測。
2. 聚斂性。 3. 問題的初始訊息 常常是解題的重 要部分。
2. 聚斂性。 3. 解題需要蒐集更 多的訊息。
2. 多方面的目標與 解決方法。 3. 解題需要蒐集眾 多的資訊。
資料來源：修改自江美惠（2005），創造性問題解決教學方案對資優學生創 造力及問題解決能力影響之研究，頁 29。
問題雖依結構化程度分成三類，不過結構化高與低之間是一種 連續性的概念，實際上也並不需要清楚的劃分，因為某些結構化程 度高的問題，也有可能依解題的實際情況而有開放性的需求，端視 提問者與解題者的需求位置。但不論面對何種類型的問題，在問題 解決之初，都必須先釐清問題的重點何在，並將問題界定清楚，以 確保接下來問題解決的走向不至於偏離重點。 所以在確認評鑑目的後，評鑑規劃者即可透過評鑑目的來了解 方案走向，再由評鑑目的衍生出數個評鑑問題。由評鑑目的演繹出 評鑑問題的由上而下邏輯架構如圖 4-1 所示。在發展評鑑問題時可 以參考從 5 個「W」的角度切入以檢視目的，包括「目的用意是甚 麼？」、「如何達成目的？」、「誰是相關人員？」、「達成目的 105
教育評鑑：創意取向
的時機？」，以及「達成目的的情境？」等，由此些問題逐漸釐清 評鑑的需求、範圍，及確認評鑑各層面的主要內涵。透過釐清目的 並界定評鑑問題，能對所面對的情境有更好的理解，特別是具爭議 性及關鍵性的問題。
評鑑目的 1
評鑑問題 1-1
評鑑問題 1-2
評鑑目的 2
評鑑問題 1-3
評鑑問題 2-1
評鑑問題 2-2
圖 4-1 評鑑目的與評鑑問題關係圖 資料來源：研究者自繪
為了協助確實釐清評鑑問題，創意取向主張評鑑規劃者應多 運用創新的思惟或方式，例如嘗試設計受評者需求及主要問題調 查表，在評鑑前提供受評者或互動關係人採匿名的方式填寫，如 表 4-2。表中第一列屬於填答者背景說明，第一題主要在了解受評 對象的背景與特色，第二題則讓填答者自我檢視與評估問題所在， 第三題則請填答者提出他認為應受評的重點。問卷採質性的文字說 明，調查題目不用太多，此設計一方面希望能求得填答者較有省思 性與較深入的意見，另一方面也讓受評者與互動關係人有機會表達 需求與看法，尊重其意見及對評鑑過程的參與，而評鑑者則可獲得 106
第四章、創意取向的評鑑歷程：評鑑規劃階段
更豐富的背景資訊，了解實際問題所在，設計出兼顧多方需求與目 的的評鑑規劃。 表 4-2 評鑑需求及主要問題調查表 角色
職稱：
主要工作內容： 1. 您對機構
方案
人的了解為何？有何特色？請簡述之。
說明： 2. 您認為機構
方案
人的主要問題何在？
說明： 3. 請列出您認為最需要評鑑的人
事
物，並簡述原因。
最需受評： 理由：
其他補充說明：
資料來源：研究者自繪
需求及主要問題調查表可運用於確認評鑑目的與問題，當問 題界定清楚後，評鑑者也可同時開始思考問題解決的策略。早在 1920 年代，Wallas（1926）就曾經提出問題解決的四個步驟，包 107
教育評鑑：創意取向
括 準 備 期（preparation）， 為 資 料 蒐 集 階 段， 並 將 新、 舊 知 識 整 合；醞釀期（incubation），即為潛意識的心智活動時期；顯現期 （illumination），發現並提出可行的解決策略，以及最後的驗證期 （verification），將頓悟出的策略付諸實現，並驗證成果。後來經 過許多學者的持續研究，也發現問題解決過程幾乎就環繞著準備、 界定、構思、醞釀、豁朗、決定、驗證、評估等步驟。從這些內容 和程序來看，和創意與創造力的思考歷程非常相近，都需要歷經一 段了解與探索，再選擇與驗證結果，故問題解決的歷程其實就是需 要創意發想的歷程，創意取向則非常重視問題解決。Osborn（1963） 就 認 為 問 題 解 決 過 程 中 主 要 是「 觀 念 創 造 」（idea-creation） 與 「觀念評鑑」（idea-evaluation）的交互運用過程（引自劉聰穎， 2002），他提出的問題解決步驟如下； （一）考量問題各方面的特性。 （二）選擇可先行解決的子問題。 （三）構思並多方蒐集有用的資訊。 （四）選擇最適用的資訊。 （五）預先思考所有可能的問題解決想法。 （六）選擇最適用的問題解決想法 （七）想像所有可以採用的驗證方式。 （八）選擇最適用的方式以進行驗證。
108
第四章、創意取向的評鑑歷程：評鑑規劃階段
（九）預想所有可能遇到的偶發事件。 （十）確定最後的答案。 上述步驟中的第（一）項是屬於觀念創造，鼓勵多方考量問題 的各個面向，第（二）項則是屬於觀念評鑑，要選擇可先行解決的 問題；第（三）項又是觀念創造，要多方蒐集有用的資訊，第（四） 項則又回到觀念評鑑，要選擇最有效用的資訊。再繼續往下可看出 步驟中的（一）、（三）、（五）、（七）、（九）項是屬於觀念 創造，而第（二）、（四）、（六）、（八）、（十）項則屬於觀 念評鑑，如此交互運用擴散性與聚斂性思考，發揮創造力，以求問 題的最佳解決策略。
第三節、選擇與建立評鑑模式
至於評鑑模式就是評鑑時所採用的取向或形式，當代評鑑模式 的發展已在第一章中略有介紹，評鑑者在規劃一個評鑑活動時，可 參考較成熟的評鑑模式，擷取其精神或方法，運用至評鑑實務。例 如在進行校務評鑑規劃時，我們可以依據 CIPP 模式的四階段進行 規劃，也可選擇認可制（accreditation）做為規劃的參考。若從創 意的多元取向原則來看，由於評鑑過程是充滿複雜性與不確定性的 應用歷程，常常不會固定的遵循單一評鑑模式的規範，所以評鑑模 式在規劃時要思考如何讓評鑑更具彈性，吸納各個模式的優勢，以 「複合取向」的概念取代單一模式；或者是以一個取向或模式為主 軸去統整其他模式，在實務操作上就是以一個成熟的評鑑模式為核 109
教育評鑑：創意取向
心，再融入評鑑或其他領域的理論，參考實際需求與其他取向的特 徵，直接修正成適用的模式。 此外，評鑑模式的選擇也最好能顧及創意取向重視人員參與 互動的原則。通常評鑑的執行是由行政機關或委託人委由專業評鑑 團隊或評鑑專家來推動，所以評鑑模式的選擇權就會在評鑑團隊的 決策者。以目前國內的現況來看，大部分的評鑑決策者不會一個人 就逕自決定評鑑模式，通常會透過評鑑團隊或邀請領域專家，採集 思廣益的方式討論以發展評鑑模式，以求決策歷程的專業與可信。 不過就如同先前所述，評鑑的創意取向不僅重視專家的集思廣益， 其實更強調深度互動與學習的重要。評鑑決策者除了透過專家蒐集 對模式的專業建議外，其實可以更主動的詢問其他面向的互動關係 人。最主要是因為就算他們不具有評鑑理論與模式的知識，但因為 他們都是評鑑的互動關係人，對評鑑都有一定程度的需求與興趣， 他們可以根據對評鑑的了解，提出經驗性的看法。如果這些看法具 有邏輯性，甚至來自他們自身專業的見解，就能提供決策者更多元 而跨域的思考與建議，很可能有助於評鑑模式的修正。再者，從一 開始決定評鑑模式時就能擴大與互動關係人的交流，開啟相互學習 之餘也能增進彼此互動機會，有利於日後評鑑推動過程中更深度的 互動。因此，重視評鑑模式的多元取向，及擴大參與者開放性的互 動經驗，對於互動關係人評鑑素養及組織評鑑文化的建立也會有所 助益。 我們以臺北市 102 至 106 學年度國小校務評鑑為例，實施的原 則和內容基本上依循上一輪（96 至 100 學年度）校務評鑑，包括 評鑑目的、實施對象、評鑑組織、評鑑委員（含教學訪視教師）、 110
第四章、創意取向的評鑑歷程：評鑑規劃階段
自我評鑑、訪視評鑑的流程，以及追蹤評鑑等，調整的幅度不會太 大。其中改變較大者如評鑑指標雖仍維持十個向度，但項目名稱與 內容均有調整，例如上一輪的「資訊規劃與執行」向度，本輪已經 融入「校園環境與教學設備」等向度中；性別平等教育則放置於「學 校領導與行政管理」向度下。此外，自我評鑑則要求學校每年均需 進行並保存檔案資料，更強調學校應透過自我評鑑以形成性評鑑隨 時自我檢核的精神。 不過其中最大的改變應在評鑑結果之處理方式，前一輪以「認 可制」為主要的規劃模式，評鑑結果分成「通過」與「待改善」。 現在則依學校辦學績效改採「等第制」，依成績優劣分成「一等」、 「二等」、「三等」、「四等」、「五等」，評鑑委員經討論後， 依預先規劃好的認可要素（即評鑑結果處理之規準），對受評學校 十個向度的表現給予等第判定。並將評鑑各向度的結果與臺北市優 質學校評選項目產生連結，評鑑向度與評選項目相容且成績均達一 等者，直接推薦參與「臺北市優質學校評選」複選，做為校務評鑑 表現優良學校的獎勵與運用（臺北市政府教育局，2002）。此改變 可看出此次評鑑基於認可制的精神，在結果評定上更細分成五個等 第，混合了認可制與等第制的設計理念，希望學校不僅是通過辦學 品質的基本門檻，還能夠更進一步追求優質卓越，呈現出因教育環 境改變與政策的需求，而選擇與建立更適合現階段臺北市國小校務 評鑑的規劃模式。
111
教育評鑑：創意取向
第四節、規劃評鑑設計與流程
評鑑設計與流程指的是評鑑實施過程中各個步驟與工作要項的 安排，主要內容大致包括；哪些設計有助於回答評鑑問題、哪些步 驟是評鑑過程所必備、怎樣的流程可以順暢地進行評鑑…等。創意 重視產品的獨特性與適當性，因此如果把評鑑設計視為評鑑規劃的 初期產品，那麼評鑑設計就必須非常的「功能導向」，設計要有足 夠的適當性，以能「解決問題」為最高依歸，透過特定的設計與流 程安排，讓評鑑目的與問題能適當地獲得最佳答案。若回顧教育評 鑑的發展歷程，一般在評鑑設計上大致可分成量化與質化兩種設計 的取向。
一、評鑑設計的取向
（一）量化設計 傳統以來，方案評鑑設計的取向是較偏於量化與科學導向的， 因為評鑑具績效考核的功能，對客觀性與可操作性的訴求較高，因 此評鑑規劃者慣用實證典範的精神，先設定出目的與預期成果，接 著定義並發展與目的結果相關的評鑑標準或指標，再蒐集相關資訊 與數據，透過系統而結構化的歷程完成評鑑工作。評鑑規劃者希望 能蒐集所有與互動關係人相關的資料，並使用統計技術確認所關切 變項間的相關與特徵，最好是透過結構性的實驗假設，讓評鑑結果 能有強而有力證據以提升信度與效度。因此不論實驗設計、問卷調 查、觀察、訪談等方式，都必須藉由標準化的工具來蒐集評鑑資訊，
112
第四章、創意取向的評鑑歷程：評鑑規劃階段
再將所蒐集到的資訊轉換成一系列有意義的數值，不同的僅是資料 被數字化程度上的差異，而最後則期待形成評鑑客觀而公正的結 論。大抵而言，採用量化設計的邏輯順序與步驟大致如圖 4-2 所示。
選定問題
提出假設
定義變項
研究設計
蒐集資料
分析資料
發現結論
結果報告
圖 4-2 方案評鑑量化設計的步驟 資料來源：研究者自繪
由於量化的設計具有結構性、精確性、客觀性等特質，且透過 理論的建立演繹出有系統的測量，因此問卷調查與實驗設計（或者 說準實驗設計較為適當）受到方案評鑑者廣泛的應用。不過為了能 確實掌握研究對象與歷程，資料蒐集常受限於工具發展的品質，對 受評者的現象有時僅是表面的探索，欠缺更深入的了解；而要將複 雜多變的實務現況以簡化或標準化的方式調查並呈現，也不是一件 容易的工作，如何發掘內隱知識及現象表面下的問題，是評鑑採用 量化設計上所面對的最大挑戰。 （二）質化方法 相較於量化設計，在社會科學的研究方法中，質化的研究重視 的是自然情境的探究，強調在特定情境脈絡下參與者如何發展價值 的建構。質化的設計常採用訪談（團體或一對一進行）與田野觀察， 評鑑者可以較詳細的深入了解受評者現況，較鉅細靡遺探討存在的 113
教育評鑑：創意取向
現象與問題，企圖去貼近受評者的實際經驗，以獲得更真實的分析 資料。質化研究一開始並不一定需要以理論發展出架構，通常在確 定方向與提出問題後，會以歸納式的方法去彙整所蒐集到的意見， 經記錄分析後建立初步的結果，若資訊不足或需修正原有問題，則 再重複蒐集資訊並分析歸納，當資料經歸納逐漸聚歛後，最後形成 理論或通則。採用質化設計的順序與步驟大致如圖 4-3 所示。
選定方向
提出問題
蒐集記錄資料
分析歸納 可循環歷程 不需循環
歸納結論
結果報告
圖 4-3 方案評鑑質化設計的步驟 資料來源：研究者自繪
從圖 4-3 可看出質化研究實施過程中可允許規劃者分析後因新 想法產生而修正原有問題，直到問題歸納出結論。因此質化研究重 視評鑑者、受評者、互動關係人間與情境交互作用的關係，認為這 些互動關係才是評鑑的「真實面」，才能深入問題核心，而非僅是 簡化後的表向。 上述說明可簡單做個結論，量化與實驗的方法大多透過理論 的建立演繹出有系統的測量；而質化與自然的方法多是在特定情境 脈絡下參與者如何歸納與價值建構。因此，一項評鑑工作可能同時 包含量化與質化的運用。Patton（1997）就認為評鑑的發展已呈現 114
第四章、創意取向的評鑑歷程：評鑑規劃階段
一個趨勢，會先在探索性的嘗試下從歸納法中找出重要的問題和變 項；再運用演繹的假設考驗，確認探索的發現結果；然後再回到歸 納分析，以尋找相對抗的假設和非預期或非測量的因素。教育評鑑 涉及人為的價值判斷，而判斷的基準在於評鑑者是否能夠蒐集到充 沛而真實的資訊。量化與質化設計各有其優缺點與限制，評鑑創意 取向的原則強調多元、彈性、真實性，期望評鑑者不必因為遷就單 一方式而過於保守，要重視資料的完整性與真實性，能依實際需求 兼採質化與量化的混和設計，就是最適合評鑑設計。
二、設計與流程的彈性 由於評鑑現場實務上的需要，創意取向評鑑傾向採混合設計 的方法進行，而在評鑑步驟與流程安排上，也應盡量保留修改的彈 性。一般而言，為了讓評鑑工作能順利進行，在評鑑規劃階段一定 會先對整個步驟與流程有預設的藍圖，從目的、問題焦點、參與人 員、抽樣策略、資料蒐集方式、時程安排、完成報告，到申覆追蹤， 會清楚的規劃出階段性的流程，以方便評鑑人員及互動關係人有所 依循。不過創意取向重視評鑑真實性、情境導向，與符應需求動機， 所以很可能因為開始運作及實地訪視後，這些原則會使得原先既定 的設計、步驟與流程，產生窒礙或不適當。如此一來，就必須適度 修正原有設計與流程，使之符合評鑑實際需要，評鑑者對評鑑方 案的變化與調整必須具有較高的容忍度，對評鑑專業的掌握度也要 高。亦即，欲讓設計與流程實用而具有彈性，有賴於開放、對不明 情況較高的容忍度，以及可信賴的專業能力與分析態度。不過，若 評鑑的主要目的在評估績效表現，評鑑結果需要高度的客觀性與公
115
教育評鑑：創意取向
正性，那麼已規範好的評鑑設計與流程就不適合有太大的變動。因 為對組織或方案績效結果的判定，程序上的完備與正義非常重要， 否則無法獲得公眾的信賴。評鑑設計與流程的彈性還是必須在評鑑 目的與實用性上產生妥協，才是創意取向的本意。 表 4-3 是評鑑設計時可運用的檢核工具，可協助評鑑規劃時更 仔細的預先思考，列出所有必須考慮的選項，以利實際執行時需彈 性修正時的參考。 表 4-3 評鑑設計與流程的檢核重點 檢核重點
需考慮的選項
評鑑的主要目的 績效責任、專業發展、知識生產、混和目的 評鑑的對象 評鑑委員
組織、學校、個人、方案、單一事件、混和對象 評鑑 訪視委員的資格、專業程度、人數、研習、 行前會議
評鑑資料蒐集方 量化資料、質化資料、混合型資料 式 資料分析取向或 量化方式（實驗設計、問卷等）、演繹、質化方式 方式 （訪談、現場觀察等）、歸納、混和設計 評鑑階段
評鑑階段與其順序、各階段內容及安排、自我評鑑 實施方式、訪視評鑑實施方式
評鑑期程
開始與結束期程、預先準備時間、評鑑有效期間、 固定或不定時實施
評鑑資源
人力、物力、經費、時間
評鑑倫理
委員專業倫理、訪談知會與同意、保密與保護程度
實地訪評
時間調查、參與人員、工作安排、流程合理性
其他評鑑實務
政治介入、參與者意見、說明會辦理、後設評鑑
資料來源：研究者自繪
116