Course evaluation improvement

若要將教學意見調查由紙本改為 線上施測，如何才能令人信服， 並達到協助教學與學習的效果？ 顏聖紘 生物科學系

今日(5/3)討論之重點    

本學期先後進行紙本與線上採施測的疑慮 實施線上施測必然要面對的問題 但是施測成功率高又怎麼樣？問題真的在此嗎？ 疑慮與建議

對線上施測作業的疑慮  根據「國立中山大學102學年度第2次教學意見調查委員會 會議紀錄」所顯示，課務組已經就線上施測的各項考量進 行說明與整理。其中包含回應當時有教師提出的質疑(例如 學生本身不認真憑什麼給老師打分數)、如何維持資訊品質 (也就是信度)、如何維護學生隱私、如何考量班級規模、 歷年平均得分及獎勵、精進追踪、學生會彙整學生對網路 化施測意見、及各邁向頂尖大學及台灣綜合大學系統現行 作法。  本人也閱讀過去相關會議的記錄及與會代表的建議，也支 持應該朝無紙化以及精簡人事成本，還有提高答題率方向 著手。

對線上施測作業的疑慮  質疑： (1) 課務組應說明為何挑選mean±SD前後20%的課程列入初 期實施對象，因為一般教師無法理解為什麼自己的課程被 挑選，前後20%所代表的意義究竟是什麼？當SD小時代表學 生評價穩定。但穩定也可能意謂著一樣爛，或一樣好。因 此老師收到通知時會感到困惑。 (2) 挑選出受測課程後，應該先挑選人數相對較多的課程。 如此一來就只需要在學期末做一次施測，但全班各有50%同 學進行紙本與線上施測。這樣就能達到有意義的比較效果。 否則當學習經驗有差異時，就算是同一批人再做一次，兩 筆數據都沒有比較基礎。

對線上施測作業的疑慮  質疑：

針對第一點，課務組說明在上學期其實已經挑選出”SD大”，也就是評價不穩定的課程進 行施測，所以本學期以這樣的方式參照對應。

(1) 課務組應說明為何挑選mean±SD前後20%的課程列入初 期實施對象，因為一般教師無法理解為什麼自己的課程被 挑選，前後20%所代表的意義究竟是什麼？當SD小時代表學 生評價穩定。但穩定也可能意謂著一樣爛，或一樣好。因 此老師收到通知時會感到困惑。 (2) 挑選出受測課程後，應該先挑選人數相對較多的課程。 如此一來就只需要在學期末做一次施測，但全班各有50%同 學進行紙本與線上施測。這樣就能達到有意義的比較效果。 否則當學習經驗有差異時，就算是同一批人再做一次，兩 筆數據都沒有比較基礎。 針對第二點，課務組瞭解這樣的施測的確會有試驗設計上的問題，但是因為上學期已經這樣做了，所以 這學期只好照著做 (但因為教師疑慮可能產生有效樣本偏低該如何解決呢？)

對線上施測作業的疑慮  此外，教務長說明，重點在於填答率。如果線上填答率很 差，就得不到有意義的數據。受測課程教師的權益也很有 可能受損。但是使用誘因來增加填答率似乎並非正途。有 老師認為紙本施測比較能確定學生出席。但是出席率就必 然該學生能給予有建設性的回饋有關聯嗎？ 所以當教學意見調查搞到讓老師不信賴，覺得是學校設計出來整老師，還和升等綁在一起，而學生也不 認為教學意見調查能夠改善課程品質，而課務組也需要設想到所有可能出現的負面狀況時，教學意見調 查的實施必然在某些環節出了問題，而不只是施測方式的問題。

線上施測必然要面對的問題  技術上應該怎麼做？中山大學的基礎建設夠好嗎？ (1) 開發網頁讓學生可以拿手機掃QR Code就進入填寫？ (2) 集中到電腦教室去？ (3) 只要把問題做成powerpoint就好？ (4) 只能在網頁上做，還給很長的期限，還怕學生忘記？

 如何增進填答率？ (1) 加分？ (2) 抽獎？ (3) 選課優惠？ (4) 可讓學生看見好老師被鼓勵，糟糕老師不再教那門課？

填答率高又怎麼樣？問題在此嗎？  我在4/29晚間在facebook上發布一個簡單問卷，想要收集 各校學生與老師對這個議題的看法。  我只問六個問題，分別是：

 請問你認為問卷調查題目的數目在幾題以上就讓你失去 耐性，讓你開始亂填(或填一樣的答案)  請問你會在乎問卷題目的品質嗎？例如獨立性、關聯性、 因果性？  請問使用紙本施測時你是否每次都到？  如果把紙本施測改成線上施測，你是否會覺得更沒義務 去填？而這樣是會拉低填答率造成施測失敗的  如果擔心使用線上教學意見調查會讓學生忘記填，那種 方式可以增加學生答題意願？  你認為教學意見調查還有什麼需要改進的地方嗎？例如 如何提高問卷的意義，還有線上填答率。

結果  問卷在5/2晚間10點關閉。 共收集到來自36個大學412 份回應。來自中山大學的 回應有102份。

國立海洋大學 國立台灣大學 國立台北教育大學 台北市立大學 國立台北科技大學 實踐大學 台灣師範大學 東吳大學 國立陽明大學 台北醫學大學 國立宜蘭大學 國立東華大學 國立中央大學 國立清華大學 國立政治大學 東海大學 逢甲大學 靜宜大學 國立中興大學 中國醫藥大學 國立暨南大學 國立彰化師範大學 樹德科技大學 國立虎尾科技大學 南榮科技大學 國立嘉義大學 國立中正大學 國立台南大學 海軍官校 成功大學 國立中山大學 高雄醫學大學 高雄師範大學 屏東科技大學 台東大學

結果  科系分布如何？各學院都有。

結果  先看前五個問題的回應  請問你認為問卷調查題目的數目在幾題以上就讓你失去 耐性，讓你開始亂填(或填一樣的答案)

看不出來有顯著的差異 (一般學生都已經長期歷經 >50題的單選題了不是嗎？)也就說這些題數並沒有 超過一般施測的總題數，或許還沒有到令人失去耐 性的地步。

結果  請問你會在乎問卷題目的品質嗎？例如獨立性、關聯性、 因果性？

還好，多數學生似乎還是有點在意問題品質的，雖 然比例不算超高。

結果  請問使用紙本施測時你是否每次都到？

使用紙本施測時也有相當近1/3的學生不到，所以 紙本施測就真的可以保證好的問卷回收率嗎？然後 有高達近1/3的學生不想填的時候，就算使用紙本， 其回饋會是有意義的嗎？

結果  如果把紙本施測改成線上施測，你是否會覺得更沒義務 去填？而這樣是會拉低填答率造成施測失敗的

約一半一半，也就是施測方式和填報的比例沒有什 麼關聯性。

結果  如果擔心使用線上教學意見調查會讓學生忘記填，那種 方式可以增加學生答題意願？

有52.2% (32.8 + 19.4)的人看來是主動積極願意填寫教學意見調查，但其 中32.8%的人認為老師平常就應該要與班級與良性互動。此外9.2%的人認為 技術層面做好就可以促進填報率。也有11.9%的同學認為自己需要被提醒。 然而辦抽獎這種會影響施測結果的方法還有19.4%的人支持，顯示人性啊還 是不能被忽視的。

結果

這個圖顯示的是”如何提高線上填答率”的建議。選課優惠與課程有實質的改善佔了近 50%。老師的教學、開放結果供查詢、操作介面改進、填了才能看自己的成績、或降低題 目的數目都數於有建設性的作法。

 最後一個問題：你認為教學意見調查還有什麼需要改進的 地方嗎？例如如何提高問卷的意義，還有線上填答率。

結果

至於對教學意見調查的整體觀感，多數學生與老師認為不同課程應該要有不同設計，指標 與問題意義不明，應該增加開放性問題，降低同質性高的問題，以選課優惠鼓勵填答是否 讓問卷效力打折？問題無法反應課程品質，不應該出現”模稜兩可的選項”，都是大宗問 題。而這些建議不限國立、私立，或是否為五年五百億的頂大學生。顯然是很普遍的問題。

疑慮與建議  改善問卷品質優先性遠高於把紙本改成線上施測，若維持 這麼多沒有意義的問題，改成線上也無法促進學生的填寫 慾望。  不管是那一型的課程都有33題。其中只有10題是被採計 在教學意見調查分數的。但是那10題的品質很差啊。看 不出來對促進教學技巧、學生的知識品味、師生互動與 持續學習有什麼關係。表現優異和獲異良多之間沒有重 疊嗎？為什麼可以是兩個獨立選項？希望可以重新檢討 這些題目，第一弄清楚目的，第二區隔功能，第三要有 合理的邏輯  如果其它一堆題目都不列入計算，為什麼還要浪費時間 填寫？目的只是在幫老師或學生發生紛爭時留下記錄嗎？ 若問題精確而且變少，就有助於線上化。

疑慮與建議  問卷是如何產生的？教務處應該要明確說明理念、脈絡與 實際的考量。不要拿”以前都這樣做我們接著做”來回應， 這樣就沒有革新可言。  雖然目前的施測題目中有部份來自老師自填的教學大綱 下方的教學目標，但所佔比例還是太低。如果教學意見 調查所問的問題，就是回應教師自訂的教學目標，那麼 每一個老師比較能自行為施測結果負責，因為目標是他 自訂的。而在技術上，從課程大綱直接拉出來變成線上 施測的題目，也比較客製化，有利於線上施測設計。  但是，課程大綱下方的教學目標非常虛幻，國際視野啊， 山海精神都很虛幻，不夠務實。那個部份可以先檢討嗎？  現行的問卷中，來自教師自己勾選的項目和學校統一規 定的項目間有可能發生理念與規模的衝突，因此學生普 遍反應無法理解。

疑慮與建議  同學認為看不見課程改進的可能，爛課一樣亂上，分數若 沒有低到非常低，學校也不便介入，所以懶得填寫。  是否能讓學生在匿名的情況下，可以直接在單一入口網 中直接回覆同學建議(或抱怨)，讓學生知道老師有看到 意見，而且有具體回覆？而老師對學生的回覆也可以視 為整體教學成效的參考。如果教學意見調查很差，也不 回覆，那就有問題。教學意見不算太好，但老師有回覆， 也還算有溝通。  然而行政單位的確不便直接介入課務太多，以免被認為 干涉教師自主。因為很多課就算被上得再爛，也因為教 師人數與課程需求，很難在短期內被改進，這是需要長 期努力，不可能由課務組單方面決定。

疑慮與建議  為什麼人數少的課程在教學意見調查的評比上會受到不平 等待遇？許多專業課程不可能有很多的人修。如果只是因 為人數少，在評比上就被排除，或永遠擠不進前面20%，那 麼老師就算是非常認真上課，或是擺爛叫學生上台翻譯章 節，都無法由這樣的制度被鼓勵或改善。  建議不可忽視人數少的課程的教學意見施測結果，因為 這樣會變相讓教師不願為少數學生開授專業課程，而競 逐班級人數。

感謝各位的耐性