Triển khai các hệ thống theo dõi và đánh giá by Le Nghiem

Sách giáo khoa tương tác, truy cập tại địa chỉ www/worldbank.org/pdt 1. Cơ cấu và sự phù hợp về tổ chức cho các hệ thống M&E

2. Nhân lực cho các hệ thống M&E

8. Các khảo sát định kỳ

6. Vận động chính sách 7. Theo dõi trao đổi thường quy thông tin và văn hóa của các hệ thống M&E

12. Sử dụng thông tin để cải thiện kết quả

9. Các cơ sở dữ liệu hữu ích cho các hệ thống M&E 10. Giám sát hỗ trợ và kiểm định dữ liệu

11. Đánh giá và nghiên cứu 5. Các kế hoạch hoạt động M&E có dự toán chi phí 4. Các kế hoạch M&E

Triển khai các hệ thống Theo dõi và Đánh giá BỘ CÔNG CỤ PHÁT TRIỂN NĂNG LỰC

Marelize Görgens và Jody Zall Kusek

NGÂN HÀNG THẾ GIỚI

3. Các quan hệ đối tác M&E

Triển khai các hệ thống Theo dõi và Đánh giá

Triển khai các hệ thống Theo dõi và Đánh giá Bộ công cụ phát triển năng lực

Marelize Görgens và Jody Zall Kusek

NGÂN HÀNG THẾ GIỚI

© 2009 Ngân hàng Quốc tế về Tái thiết và Phát triển / Ngân hàng Thế giới 1818 H Street, NW Washington, DC 20433 Telephone: 202-473-1000 Internet: www.worldbank.org E-mail: wbglobalHIVAIDS@worldbank.org Bảo hộ bản quyền 1 2 3 4 13 12 11 10 Tập sách này là sản phẩm của các cán bộ thuộc Ngân hàng Quốc tế về Tái thiết và Phát triển/Ngân hàng Thế giới. Các kết quả tìm hiểu, các giải thích và kết luận đưa ra trong tập sách này không phản ánh quan điểm chính thức của Ban Giám đốc điều hành Ngân hàng Thế giới hoặc các chính phủ mà họ đại diện. Ngân hàng Thế giới không đảm bảo tính chính xác của các dữ liệu trong tập sách này. Đường biên giới, màu sắc, tên gọi và các thông tin khác biểu hiện trên các bản đồ trong tập sách này không hàm ý bất kỳ đánh giá nào của Ngân hàng Thế giới về vị thế pháp lý của bất kỳ vùng lãnh thổ nào và cũng không thể hiện bất kỳ sự ủng hộ hay chấp nhận nào của Ngân hàng về các đường biên giới đó. Các quyền và giấy phép Tài liệu của ấn bản này đã được bảo hộ bản quyền. Việc sao chép và/hoặc chuyển giao bất kỳ phần nào hay toàn bộ nội dung của tài liệu mà không có giấy phép có thể bị coi là hành vi vi phạm luật pháp. Ngân hàng Quốc tế về Tái thiết và Phát triển/Ngân hàng Thế giới khuyến khích việc phổ biến tài liệu này và trong các điều kiện bình thường, sẽ cấp phép chế bản các phần của tài liệu một cách phù hợp. Để được phép sao chép hoặc in lại bất kỳ phần nào của tài liệu này, hãy gửi yêu cầu với đầy đủ thông tin đến Trung tâm Cấp phép Sử dụng bản quyền, 222 Rosewood Drive, Danvers, MA 01923, Hoa Kỳ; Số điện thoại: 978-750-8400; fax: 978-750-4470; Internet: www.copyright.com. Tất cả các câu hỏi khác liên quan đến quyền và giấy phép, kể cả nhượng bản quyền, phải được gửi về Văn phòng Nhà xuất bản, Ngân hàng Thế giới, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2422; e-mail: pubrights@worldbank.org. ISBN: 978-0-8213-8186-1 eISBN: 978-0-8213-8187-8 DOI: 10.1596/978-0-8213-8186-1 Thiết kế bìa: Naylor Design, Inc. Thư viện Dữ liệu trong Danh mục ấn bản của Quốc hội Görgens, Marelize. Triển khai các hệ thống Theo dõi và Đánh giá: bộ công cụ phát triển năng lực/ Marelize Görgens và Jody Zall Kusek p. cm. Bao gồm thông tin tiểu sử. ISBN 978-0-8213-8186-1 (alk. paper) – ISBN 978-0-8213-8187-8 1. Hiệu quả hoạt động của chính phủ - Các nước đang phát triển – Đánh giá. 2. Các tiêu chuẩn kết quả hoạt động – Các nước đang phát triển – Đánh giá. 3. Quản lý chất lượng toàn diện (TQM) trong chính phủ — Các nước đang phát triển — Đánh giá. 4. Hành chính công – Các nước đang phát triển – Đánh giá. I. Kusek, Jody Zall, 1952- II. Ngân hàng Thế giới. III. Tiêu đề. JF1525.P67G87 2010 352.3’57091724 – dc22 2009043703 iv

Mục lục

Mục lục Lời cám ơn

xxiv

Từ viết tắt và Danh mục thuật ngữ

xxv

Lời nói đầu

xxxi

Giới thiệu 1.

Các hệ thống M&E giúp cho việc quản lý theo kết quả trở nên khả thi 1 1.1.

Các hệ thống M&E dựa trên kết quả hỗ trợ cải tiến quản trị như thế nào? 3

1.2.

Làm thế nào để xây dựng một hệ thống M&E dựa trên kết quả?

Phương diện kỹ thuật của M&E: 12 cấu phần của một hệ thống M&E hoạt động tốt

2.1.

Các thách thức khi thiết lập các hệ thống M&E

2.2.

Giải quyết các thách thức: 12 cấu phần của một hệ thống M&E hoạt động tốt

Giới thiệu Bộ công cụ Phát triển năng lực nhằm triển khai các hệ thống M&E

3.1.

Mục đích của Bộ công cụ

3.2.

Đối tượng sử dụng

3.3.

Cấu trúc, mục đích của Bộ công cụ và các mục tiêu học tập

Sử dụng Bộ công cụ cho giảng dạy và học tập

Các bài tập

Chương 1

Cơ cấu và Sự phù hợp về mặt tổ chức của các hệ thống Theo dõi và Đánh giá 57

Cấu phần 1: Cơ cấu và Sự phù hợp về mặt tổ chức của các hệ thống M&E

Giới thiệu

Thông tin cơ bản và các Định nghĩa

Những kết quả thu được khi triển khai cấu phần này

Mục lục

Các vấn đề thực thi liên quan đến sự phù hợp về mặt tổ chức và cấu trúc của các hệ thống M&E

4.1.

Nên sắp xếp các đơn vị M&E ở đâu?

4.2.

Cần chính thức phân công các trách nhiệm M&E cho những vị trí độc lập trong cơ cấu của tổ chức

4.3.

Không nhất thiết cần có cán bộ chuyên trách để lồng ghép M&E vào tổ chức 66

4.4.

Lập kế hoạch nhân sự và quản lý nhân sự có ý nghĩa vô cùng quan trọng để duy trì đội ngũ cán bộ có chất lượng tốt

4.5.

Cần quản lý hỗ trợ kỹ thuật cho M&E

4.6.

Vai trò quan trọng của văn hóa tổ chức

Hướng dẫn thực hành C1-1: Làm thế nào để thiết kế và điều chỉnh cơ cấu tổ chức cho M&E

Tóm tắt Chương 1 Kiến thức và Kỹ năng

Bài tập

Chương 2:

Năng lực nhân sự cho các hệ thống M&E

Cấu phần 2: Năng lực nhân sự cho các hệ thống M&E

Giới thiệu

Thông tin cơ bản và các Định nghĩa

Những kết quả thu được khi triển khai cấu phần này

Các lợi ích về năng lực nhân sự trong khuôn khổ một hệ thống M&E 94

Các vấn đề thực thi liên quan đến phát triển năng lực nhân sự cho các hệ thống M&E

5.1.

Nên đánh giá năng lực ở cấp độ nào?

5.2.

Nên xây dựng năng lực M&E cho ai để hệ thống M&E có thể hoạt động đầy đủ?

5.3.

Hệ thống M&E thường cần đến những năng lực nhân sự nào?

5.4.

Nên phát triển năng lực nhân sự theo cách nào?

5.5.

Ai là người phát triển năng lực nhân sự?

5.6.

Làm thế nào để điều chỉnh các chiến lược phát triển năng lực nhân sự nhằm giải quyết nhu cầu lớn về cán bộ M&E thuần thục kỹ năng?

Mục lục

5.7. Sử dụng cơ sở dữ liệu để theo dõi các nỗ lực phát triển năng lực nhân sự như thế nào? 5.8.

Đánh giá các nỗ lực phát triển năng lực nhân sự như thế nào?

99 100

Hướng dẫn thực hành 2-1: Đánh giá Phát triển năng lực nhân sự cho hệ thống M&E

100

Hướng dẫn thực hành 2-2: Xây dựng Chiến lược và Kế hoạch Phát triển năng lực nhân sự

105

Tóm tắt Chương 2 Kiến thức và Kỹ năng

109

Bài tập

109

Chương 3:

Các đối tác Theo dõi và Đánh giá

123

Cấu phần 3: Các đối tác M&E

125

Giới thiệu

125

Thông tin cơ bản và các Định nghĩa

125

Những kết quả thu được khi triển khai cấu phần này

127

Các lợi ích của đối tác M&E cho một hệ thống M&E

128

Các vấn đề thực thi liên quan đến thiết lập và duy trì ĐốI tác M&E

129

5.1.

Các nguyên tắc để quản lý và duy trì các Đối tác M&E một cách hiệu quả

129

5.2.

Các đặc điểm của đối tác M& thành công

130

5.3.

Sử dụng một Nhóm công tác kỹ thuật M&E làm cơ chế đối tác Các hoạt động cụ thể nhằm tăng cường quan hệ đối tác 130

5.4.

M&E với xã hội dân sự

5.5.

Các hoạt động cụ thể cho các đối tác phát triển nhằm tăng cường quan hệ đối tác với chính phủ 132

132

6. Hướng dẫn thực hành C3-1: Thiết lập và quản lý Nhóm công tác kỹ thuật M&E

133

7. Hướng dẫn thực hành C3-2: Lập kế hoạch và tổ chức đoàn công tác chung về M&E

137

Tóm tắt Chương 3 Kiến thức và Kỹ năng

140

Bài tập

140

Mục lục

vii

Chương 4: Các kế hoạch M&E

143

Cấu phần 4: Các kế hoạch M&E

145

Giới thiệu

145

Thông tin cơ bản và các Định nghĩa

145

Các kết quả thu được khi triển khai cấu phần này

147

Các lợi ích của một kế hoạch M&E như một cấu phần trong hệ thống M&E 148

Các vấn đề thực thi liên quan đến các kế hoạch M&E 5.1.

Liên kết giữa một kế hoạch chương trình/chiến lược với kế hoạch M&E 149

5.2.

Liên kết giữa các kế hoạch M&E quốc gia của các ngành

151

5.3.

Liên kết giữa một kế hoạch M&E quốc gia với các kế hoạch M&E của các tổ chức độc lập

152

5.4.

Các nội dung của một kế hoạch M&E

153

Hướng dẫn thực hành C4-1: Xây dựng hoặc rà soát một kế hoạch M&E quốc gia

158

Hướng dẫn thực hành C4-2: Xây dựng kế hoạch M&E cho tổ chức của bạn trên cơ sở liên kết với Kế hoạch M&E Quốc gia

164

Tóm tắt Chương 4 Kiến thức và Kỹ năng

167

Bài tập

167

Chương 5:

viii

149

Các kế hoạch công việc Theo dõi và Đánh giá có ước tính chi phí 195

Cấu phần 5: Các kế hoạch công việc M&E có ước tính chi phí

197

Giới thiệu

197

Thông tin cơ bản và Các định nghĩa

197

Các kết quả thu được khi thực hiện cấu phần này

199

4. Những lợi ích từ các kế hoạch công việc M&E có ước tính chi phí trong khuôn khổ một hệ thống M&E

199

201

Các vấn đề thực thi liên quan đến cấu phần này 5.1

Đảm bảo sự hỗ trợ của lãnh đạo các cấp và các bộ ngành thuộc chính phủ

201

5.2

Lôi cuốn sự tham gia có ý nghĩa của các bên có lợi ích liên quan trong mọi mặt của quy trình

201

5.3

Kết nối kế hoạch công việc M&E với cơ chế và chu kỳ ngân sách của tổ chức (ví dụ như của chính phủ)

201

Mục lục

5.4

Bao gồm tất cả các hình thức hoạt động

201

5.5

Đồng bộ về thời gian

202

5.6

Ngân sách để đóng góp hỗ trợ kỹ thuật của các đối tác phát triển 202

5.7

Các hoạt động M&E đơn lẻ mà mỗi bên có lợi ích liên quan phải chịu trách nhiệm theo kế hoạch nhiều năm, kế hoạch đa ngành và kế hoạch đa cấp

5.8

202

Sử dụng các phương pháp luận, chiến lược và phần mềm lập kế hoạch 202

Hướng dẫn thực hành C5-1: Xây dựng/Cập nhật một kế hoạch công việc M&E quốc gia

202

Hướng dẫn thực hành C5-2: Ước tính chi phí cho một kế hoạch công việc M&E nhiều năm, đa ngành và đa cấp

209

Hướng dẫn thực hành C5-3: Sử dụng kế hoạch công việc M&E để quản lý hệ thống M&E 215

Tóm tắt Chương 5 Kiến thức và Kỹ năng

10. Bài tập

217 217

Chương 6: Vận động chính sách, Trao đổi thông tin và Văn hóa Theo dõi và Đánh giá 225 Cấu phần 6: Vận động chính sách, Trao đổi thông tin và Văn hóa cho các hệ thống M&E

227

Giới thiệu

227

Thông tin cơ bản và Các định nghĩa

227

Các kết quả thu được khi thực hiện cấu phần này

228

Các lợi ích từ Vận động chính sách và Trao đổi thông tin cho một hệ thống M&E 229

Các vấn đề thực thi liên quan đến Vận động chính sách, Trao đổi thông tin và Văn hóa 5.1.

230

Tại sao việc nghĩ đến quan điểm, các nhu cầu và mối quan tâm của đối tượng/các đối tượng vận động chính sách lại quan trọng như vậy? 230

5.2. Ai là người nên đứng ra chỉ đạo các nỗ lực vận động chính sách và trao đổi thông tin? 230 5.3. Các vấn đề M&E đặc thù đối với vận động chính sách và trao đổi thông tin 5.4.

Mục lục

Các nỗ lực vận động chính sách và trao đổi thông tin cần hướng đến ai?

231 231

5.5.

Các loại kênh trao đổi thông tin nào hoạt động tốt nhất?

232

5.6.

Các kỹ thuật vận động chính sách nào hoạt động tốt nhất?

233

5.7.

Thực hiện các kế hoạch vận động chính sách và trao đổi thông tin M&E

233

5.8.

Theo dõi, đánh giá và báo cáo về vận động chính sách và trao đổi thông tin cho M&E

233

Hướng dẫn thực hành C6-1: Tạo dựng Văn hóa tổ chức có tính hỗ trợ và Lãnh đạo M&E

7. Hướng dẫn thực hành C6-2: Xây dựng và thực hiện một kế hoạch vận động chính sách và trao đổi thông tin M&E

237

Tóm tắt Chương 6 Kiến thức và Kỹ năng

243

Bài tập

243

Chương 7:

233

Theo dõi thường quy

247

Cấu phần 7: Theo dõi thường quy

249

Giới thiệu

249

Thông tin cơ bản và Các định nghĩa

250

Các kết quả thu được khi thực hiện cấu phần này

254

Các lợi ích từ theo dõi thường quy trong khuôn khổ một hệ thống M&E

255

Các vấn đề thực thi trong theo dõi thường quy các chương trình

256

5.1.

Chỉ thu thập dữ liệu mà bạn cần

256

5.2.

Tỷ lệ báo cáo thường thấp khi bắt đầu triển khai các hệ thống theo dõi mới nhưng có thể thực thi nhiều biện pháp để cải thiện tỷ lệ báo cáo

257

5.3.

Xây dựng năng lực trong các hệ thống theo dõi là điều thiết yếu 258

5.4.

Phát triển hệ thống thu thập dữ liệu theo dõi thường quy chuẩn ở cấp quốc gia 258

5.5.

Cần theo dõi cung và cầu chương trình

259

5.6.

Kết nối các hệ thống theo dõi với các quy trình lập kế hoạch

260

5.7.

Ở cấp quốc gia, các hệ thống theo dõi thường quy của các cơ quan khác nhau cần được kết nối với nhau

263

5.8.

Sự khác biệt giữa sử dụng dữ liệu thường quy với sử dụng các điều tra mẫu để xác định diện bao phủ dịch vụ

264

Mục lục

5.9.

Các dữ liệu theo dõi định tính sẽ bổ trợ các dữ liệu theo dõi định lượng

265

Hướng dẫn thực hành C7-1: Thiết kế một hệ thống theo dõi thường quy mới

265

Tóm tắt Chương 7 Kiến thức và Kỹ năng

271

Bài tập

272

Chương 8:

Các khảo sát định kỳ

287

Cấu phần 8: Các khảo sát định kỳ

289

Giới thiệu

289

Thông tin cơ bản và Các định nghĩa

290

Các kết quả thu được khi thực hiện cấu phần này

293

Các lợi ích từ khảo sát định kỳ trong hệ thống M&E

294

Các vấn đề thực thi liên quan đến các khảo sát định kỳ

295

5.1.

Quyết định xem có cần tiến hành khảo sát không

295

5.2.

Quản lý và thực hiện các khảo sát quốc gia

296

5.3.

Các quy trình đạo đức cần tuân thủ khi thực hiện khảo sát

296

5.4.

Cần chi phí bao nhiêu cho mỗi cuộc khảo sát?

297

5.5.

Các loại câu hỏi trong bảng hỏi khảo sát

298

Hướng dẫn thực hành C8-1: Tiến hành một khảo sát định kỳ

302

Hướng dẫn thực hành C8-2: Tính toán cỡ mẫu

307

Tóm tắt Chương 8 Kiến thức và kỹ năng

313

Bài tập

314

Chương 9:

Các cơ sở dữ liệu có ích cho các hệ thống Theo dõi và Đánh giá 321

Cấu phần 9: Các cơ sở dữ liệu có ích cho các hệ thống M&E

323

Giới thiệu

323

Thông tin cơ bản và Các định nghĩa

323

Các kết quả thu được khi thực hiện cấu phần này

325

Các lợi ích từ các cơ sở dữ liệu thuộc hệ thống M&E

325

Mục lục

Các vấn đề thực thi liên quan đến cơ sở dữ liệu

326

5.1.

Không chỉ dựa vào công nghệ để “đem lại mọi câu trả lời”

326

5.2. Các cơ sở dữ liệu của chính phủ cần gắn kết với chính sách công nghệ thông tin của chính phủ

326

5.3.

Hoạt động và bảo mật cơ sở dữ liệu

326

5.4.

Cơ sở dữ liệu cần nắm giữ những dữ liệu gì?

327

5.5.

Cần sử dụng phần mềm nào?

328

5.6. Phần mềm phân tích không gian sẽ có ích như một bộ phận của cơ sở dữ liệu

5.7.

Liên kết với các cơ sở dữ liệu khác

331

5.8.

Sự cần thiết phải xây dựng năng lực về thiết kế và quản lý cơ sở dữ liệu để tăng cường sử dụng và tiếp cận thông tin

331

Hướng dẫn thực hành C9-1: Xây dựng cơ sở dữ liệu

332

7. Hướng dẫn thực hành C9-2: Quản lý quá trình xây dựng cơ sở dữ liệu của chính phủ

334

Tóm tắt Chương 9 Kiến thức và Kỹ năng

341

Bài tập

342

Chương 10:

xii

329

Giám sát hỗ trợ và Kiểm định dữ liệu

343

Cấu phần 10: Giám sát hỗ trợ và Kiểm định dữ liệu

345

Giới thiệu

345

Thông tin cơ bản và Các định nghĩa

345

Các kết quả thu được khi thực hiện cấu phần này

348

Các lợi ích từ Giám sát hỗ trợ và Kiểm định dữ liệu thuộc hệ thống M&E

349

Các vấn đề thực thi liên quan đến Giám sát hỗ trợ và Kiểm định dữ liệu

349

5.1.

Giám sát hỗ trợ và kiểm định dữ liệu là các phần không thể thiếu trong một hệ thống theo dõi thường quy

349

5.2.

Cần có nguồn vốn phù hợp và nhân sự có kỹ năng cho hoạt động giám sát hỗ trợ

349

5.3.

Giám sát phải mang tính hỗ trợ

350

5.4.

Kiểm định dữ liệu tập trung vào tất cả 6 quy trình quản lý dữ liệu 350

Mục lục

5.5.

Giám sát và kiểm định dữ liệu diễn ra ở mọi cấp độ có dòng dữ liệu

350

5.6.

Cần có tài liệu hướng dẫn và quy chế đảm bảo chất lượng và tính đồng nhất trong kiểm định dữ liệu và giám sát

351

Hướng dẫn thực hành C10-1: Thực hiện một chuyến giám sát hỗ trợ M&E

353

Tóm tắt Chương 10 Kiến thức và Kỹ năng

357

Bài tập

358

Chương 11:

Đánh giá và Nghiên cứu

359

Cấu phần 11: Đánh giá và Nghiên cứu

361

Giới thiệu

361

Thông tin cơ bản và Các định nghĩa

362

Các kết quả thu được khi thực hiện cấu phần này

370

Các lợi ích từ Đánh giá và Nghiên cứu trong một hệ thống M&E

371

Các vấn đề thực thi liên quan đến Đánh giá và Nghiên cứu

372

5.1.

Thời điểm thiết kế Đánh giá và Nghiên cứu

372

5.2.

Xây dựng Đề cương tham chiếu cho hoạt động Đánh giá

372

5.3.

Các chuẩn mực đạo đức trong Đánh giá và Nghiên cứu

373

5.4.

Sử dụng các kết quả đánh giá và nghiên cứu

376

Hướng dẫn thực hành C11-1: Xây dựng một chiến lược Đánh giá và Nghiên cứu quốc gia

377

Hướng dẫn thực hành C11-2: Xây dựng hoặc Cập nhật Chương trình Đánh giá và Nghiên cứu quốc gia

381

Hướng dẫn thực hành C11-3: Tiến hành Đánh giá một chương trình 385

Tóm tắt Chương 11 Kiến thức và Kỹ năng

386

10. Bài tập

386

Chương 12:

Sử dụng thông tin để cải thiện kết quả

413

Cấu phần 12: Sử dụng thông tin để cải thiện kết quả

415

Giới thiệu

415

Thông tin cơ bản và Các định nghĩa

416

Các kết quả thu được khi thực hiện cấu phần này

422

Mục lục

xiii

xiv

Các lợi ích từ việc sử dụng thông tin để cải thiện kết quả

423

Các chiến lược thúc đẩy việc sử dụng thông tin để cải thiện kết quả 426 5.1.

Tập trung vào những vấn đề mà tổ chức hoặc ngành đang phải đối mặt và cách thức để giải quyết những vấn đề đó

426

5.2.

Tạo dựng cơ cấu lãnh đạo có tính hỗ trợ và văn hóa nắm bắt thông tin trong tổ chức

427

5.3.

Phát triển chuyên môn để hiểu rõ hơn hoạt động của tổ chức và các thông tin được phổ biến

428

5.4.

Thực hiện các quy trình quản lý dữ liệu chuẩn trong hệ thống quản lý kết quả hoạt động

429

5.5.

Đảm bảo chất lượng trong tất cả các bước thiết kế M&E và quản lý dữ liệu

429

5.6.

Xác định và tìm các đối tượng đích là người sử dụng cuối cùng 430

5.7.

Báo cáo và trình bày thông tin theo cách thích hợp với đối tượng sử dụng

430

5.8.

Chuẩn hóa quy cách sản phẩm thông tin

433

Hướng dẫn thực hành 12-1: Phân tích dữ liệu định lượng như thế nào? 434

Hướng dẫn thực hành 12-2: Phân tích dữ liệu định tính như thế nào?

437

Hướng dẫn thực hành 12-3: Làm thế nào để cải tiến việc trình bày dữ liệu theo phương pháp trực quan?

439

Tóm tắt Chương 12 Kiến thức và Kỹ năng

449

10.

Bài tập

450

Tài liệu tham khảo

470

Mục lục

Danh mục Hình vẽ Giới thiệu Hình 1:

12 cấu phần của môt hệ thống M&E hoạt động tốt

Hình 2:

Tập hợp 12 cấu phần như thế nào?

Chương 1 Ví dụ về cơ cấu đường thẳng

Ví dụ về cơ cấu chức năng

Ví dụ về cơ cấu dịch vụ

Ví dụ về cơ cấu địa lý

Ví dụ về cơ cấu ma trận

Ví dụ về cơ cấu hỗn hợp

Hình C1–1:

Các ưu điểm và nhược điểm của cơ cấu tổ chức tư vấn

Hình C1- 2:

Các quy trình tổ chức có thể nhìn thấy rõ hoặc bị che giấu

Hình C1-3:

Ví dụ sơ đồ chức năng cho thấy cách tập hợp lô gich các chức năng M&E của tổ chức

Hình C1-4:

Ví dụ về sơ đồ tổ chức M&E dựa trên sơ đồ chức năng

Hình C2–1:

Ba cấp độ năng lực và phát triển năng lực

Hình C2–2:

Đánh giá năng lực nhân sự và phát triển năng lực nhân sự là trung tâm của việc triển khai hệ thống M&E

Các hình thức Đối tác M&E trong hệ thống M&E

126

Chương 2

Chương 3 Hình C3–1:

Chương 4 Hình C4-1: Sự khác biệt giữa Kế hoạch M&E và Kế hoạch công việc M&E

146

Hình C4-2: Mối liên hệ giữa Kế hoạch/Chiến lược Chương trình và Kế hoạch M&E

150

Mục lục

Hình C4-3:

Chú trọng gấp năm lần trong chu trình lập kế hoạch chiến lược/chương trình

151

Hình C4-4:

Mối liên hệ giữa các hệ thống M&E quốc gia của các ngành khác nhau

152

Hình C4-5:

Mối liên hệ giữa hệ thống M&E quốc gia và các hệ thống M&E của các tổ chức riêng rẽ

153

Hình C4-6:

Chuỗi kết quả trong ngành nông nghiệp tại bang Goldstar, có khung kết quả kèm theo

154

Hình C4-7:

Mối liên hệ giữa hệ thống M&E quốc gia và các hệ thống M&E của các tổ chức riêng rẽ

156

Tại sao việc nhận và báo cáo dữ liệu chuẩn hóa lại quan trọng?

259

Cây quyết định để giúp quyết định xem có nên thu thập dữ liệu về một chỉ số bắt đầu bằng “%” trong các đợt khảo sát hoặc thu thập dữ liệu thường quy hay không

295

Làm thế nào để quyết định nên sử dụng phương pháp lấy mẫu xác suất nào?

311

Hình C9- 1:

Các cơ sở dữ liệu ở cấp quốc gia và cấp huyện có liên hệ với nhau

327

Hình C9-2:

Ví dụ về các bản đồ do phần mềm GIS tạo ra

329

Hình C9-3:

Chu trình vòng đời phát triển cơ sở dữ liệu

331

Giám sát hỗ trợ và kiểm định dữ liệu ở hai cấp độ

351

Chương 7 Hình C7-1:

Chương 8 Hình C8-1:

Hình C8-2:

Chương 9

Chương 10 Hình C10-1:

xvi

Mục lục

Chương 11 Hình C11-1:

Quyết định xem một hoạt động có cần được Ủy ban Đạo đức phê duyệt hay không – Ví dụ về ngành y tế công cộng 391

Chương 12 Hình C12-1:

Sử dụng dữ liệu để giải quyết vấn đề

418

Hình C12-2:

Bản đồ của Tiến sĩ John Snow

423

Hình C12-3:

Chính sách, Chương trình và Quá trình cải tiến tổ chức

425

Hình C12-4:

Các hình thức trình bày thông tin trực quan

431

Hình C12-5:

Các cách phân bố dữ liệu khác nhau

436

Hình C12-6:

Bảng so sánh các đặc điểm của các bệnh viện khác nhau

439

Hình C12-7:

Minh họa tỷ lệ mực in dữ liệu (data-to-ink ratio) trong một đồ họa

440

Hình C12-8:

Minh họa hiệu ứng xao nhãng do quá nhiều đồ họa hoặc trình bày lộn xộn

440

Hình C12-9:

Minh họa hiệu ứng cắt trục Y của đồ họa

441

Hình C12-10:

Minh họa các tỷ lệ dẫn đến hiểu nhầm khi trình bày đồ họa

442

Hình C12-11:

Nguyên tắc “tứ giác vàng” trong thiết kế đồ họa

443

Hình C12-12:

Không được cố tình bóp méo dữ liệu

443

Hình C12-13:

Khi nào nên sử dụng các loại đồ họa

444

Mục lục

xvii

Danh mục bảng biểu Giới thiệu Bảng 1: Các mục đích, kiến thức và kỹ năng của từng Chương trong Bộ công cụ 13

Chương 1 Bảng C1-1:

Bảng C1-2:

Các ưu điểm và nhược điểm của việc bố trí đơn vị M&E làm một đơn vị độc lập trong đơn vị lập kế hoạch, hoặc ký hợp đồng thuê ngoài

Giải thích và ví dụ về hồ sơ vị trí công việc

Các hoạt động cụ thể để tăng cường vai trò của xã hội dân sự trong các Đối tác M&E

132

Chương 3 Bảng C3–1:

Chương 6 Bảng C6-1:

Các hành động kiến nghị cho cán bộ cấp dưới và các nhà lãnh đạo thực hiện để tạo ra một văn hóa hỗ trợ M&E trong tổ chức 236

Bảng C6-2:

Ví dụ về chuỗi/lô-gich kết quả cho các nỗ lực vận động chính sách và trao đổi thông tin M&E

238

Bảng C6-3:

Ví dụ về các đối tượng sử dụng thông tin và các thông điệp trao đổi thông tin

239

Bảng C6-4:

Ví dụ về các kênh trao đổi thông tin cho các đối tượng đích khác nhau

240

Bảng C7-1:

Các loại nguồn dữ liệu cho các loại chỉ số

249

Bảng C7-2:

Kết hợp các loại dữ liệu thường quy

252

Bảng C7-3:

Các định nghĩa thao tác khái niệm về chất lượng dữ liệu

253

Bảng C7-4:

Những điểm khác biệt giữa việc sử dụng dữ liệu theo dõi thường quy với việc sử dụng các khảo sát mẫu để xác định diện bao phủ dịch vụ

256

Chương 7

xviii

Mục lục

Bảng C7-5:

Các loại tài liệu hướng dẫn cho các hệ thống theo dõi thường quy

269

Bảng C8-1:

Các loại nguồn dữ liệu cho các loại chỉ số khác nhau

289

Bảng C8-2:

Ví dụ về các câu hỏi kết thúc mở và câu hỏi kết thúc đóng

299

Bảng C8-3:

Các ưu điểm của câu hỏi kết thúc mở và câu hỏi kết thúc đóng 300

Bảng C8-4:

Những sai lầm và nguyên nhân gây ra độ chệch khi tiến hành một khảo sát, và cách xử lý

301

Bảng C8-5:

Các cỡ mẫu cần thiết để tính toán sự thay đổi so với các trị số cơ sở

310

Bảng C9-1:

Bảng dữ liệu quan hệ 1

324

Bảng C9-2:

Bảng dữ liệu quan hệ 2

324

Bảng C9-3:

Dữ liệu về hệ thống M&E trong cơ sở dữ liệu

327

Bảng C9-4:

Thông số thiết kế cơ sở dữ liệu

332

Bảng C10-1:

Các Định nghĩa Hoạt động về Chất lượng Dữ liệu

346

Bảng C10-2:

Các khía cạnh trong việc Xác minh Dữ liệu

356

Bảng C11-1:

Các loại nguồn dữ liệu cho các loại chỉ số khác nhau

361

Bảng C11-2:

Các hình thức đánh giá và cách sử dụng

366

Bảng C11-3:

Các nguyên tắc đạo đức đối với đánh giá và nghiên cứu: Các tiêu chí, nguyên tắc, và giải thích

374

Các loại thông tin cần thiết tùy thuộc vào giai đoạn thực hiện

420

Chương 8

Chương 9

Chương 10

Chương 11

Chương 12 Bảng C12-1:

Mục lục

xix

Bảng C12-2:

Văn hóa tổ chức cần thay đổi như thế nào để lồng ghép việc sử dụng thông tin?

428

Bảng C12-3:

Ví dụ một ma trận phổ biến sản phẩm thông tin

433

Bảng C12-4:

Các đặc điểm của đồ họa hoặc hiển thị đồ họa thân thiện và không thân thiện với người sử dụng

449

Mục lục

Danh mục Phụ lục Giới thiệu Phụ lục A: Bảng kiểm các kết quả gợi ý cho 12 cấu phần

Phụ lục B: Tóm tắt “10 bước tiến tới một hệ thống Theo dõi và Đánh giá dựa vào kết quả”

Phụ lục C: Ví dụ một Chương trình Đào tạo về 12 cấu phần trong 4 ngày

Phụ lục D: Ví dụ một Chương trình Đào tạo về 12 cấu phần trong 8 ngày

Chương 1 Phụ lục A: Sơ đồ tổ chức của Ngân hàng Thế giới cho thấy vị trí của Nhóm Đánh giá Độc lập (tháng 10/2008)

Chương 2 Phụ lục A: Thông tin để sử dụng khi đánh giá năng lực M&E

111

Phụ lục B: Năng lực đánh giá

121

Chương 3 Phụ lục A: Cần đề cập những gì trong Đề cương tham chiếu (mô tả trách nhiệm công việc) cho Nhóm công tác quốc gia về M&E?

141

Chương 4 Phụ lục A: Ví dụ khung lô gich và khung kết quả

169

Phụ lục B: Bảng kiểm những nội dung lẽ ra phải được đưa vào kế hoạch M&E của tổ chức

176

Phụ lục C: Lựa chọn các chỉ số chất lượng tốt

179

Phụ lục D: Cây quyết định để giúp quyết định xem có cần đánh giá M&E hay không

182

Phụ lục E: Ví dụ ma trận nguồn dữ liệu

183

Phụ lục F: Ví dụ ma trận sản phẩm thông tin

185

Phụ lục G: Ví dụ ma trận phổ biến thông tin

186

Mục lục

xxi

Phụ lục H: Ví dụ về kế hoạch M&E (phần Mục lục)

187

Phụ lục I: Các công cụ đánh giá hệ thống M&E

190

Chương 5 Phụ lục A: Mẫu trình bày Kế hoạch công việc M&E

219

Phụ lục B: Ví dụ kế hoạch công việc M&E để làm bài tập

220

Chương 6 Phụ lục A: Ví dụ về các tài liệu vận động chính sách và trao đổi thông tin về các hệ thống M&E

244

Phụ lục B: Các kênh trao đổi thông tin

246

Chương 7 Phụ lục A: Ví dụ về danh mục kiểm kê các loại dữ liệu theo dõi thường quy do một tổ chức quản lý

274

Phụ lục B: Biểu đồ dòng dữ liệu

276

Phụ lục C: Ví dụ về các mẫu biểu theo dõi thường quy

282

Phụ lục D: Ví dụ mô tả các quy trình quản lý dữ liệu

285

Chương 8 Phụ lục A: Các phương pháp lấy mẫu

316

Phụ lục B: Mẫu mục lục cho một khảo sát

317

Chương 11 Phụ lục A: Ví dụ một số tiêu chí cho trường hợp cần sự phê duyệt của Ủy ban Đạo đức

391

Phụ lục B: Công cụ xây dựng Đề cương tham chiếu cho một đợt đánh giá 393 Phụ lục C: Khung khái niệm để giúp lập kế hoạch và lồng ghép nghiên cứu với chính sách và thông lệ thực tế (GRIPP) 399

xxii

Phụ lục D: Bảng kiểm lập kế hoạch đánh giá một chương trình

404

Phụ lục E: Hướng dẫn tiến hành đánh giá

408

Mục lục

Chương 12 Phụ lục A: Các loại dữ liệu định lượng: Giải thích và ví dụ

465

Phụ lục B: Ví dụ bản tường thuật kết quả phân tích dữ liệu định tính

466

Mục lục

xxiii

Lời cảm ơn Các tác giả xin cám ơn ông Masauso Nzima (Chương trình phối hợp của LHQ về AIDS) đã hợp tác trong việc xây dựng các hệ thống M&E và cùng sáng tạo ra “khái niệm 11 cấu phần” (là cơ sở cho khung M&E 12 cấu phần); và xin cám ơn Wendy Heard (tư vấn của Ngân hàng Thế giới), John Chipeta (Ủy ban AIDS quốc gia của Ma-la-uy), Verne Kemerer (tổ chức Đánh giá MEASURE), Julie Tumbo (tư vấn của Ngân hàng Thế giới), Peter Badcock-Walters và Donald Whitson (tư vấn của Ngân hàng Thế giới), những người đã tham gia đánh giá đồng cấp cho thư viện nguồn 12 cấu phần; cám ơn ông David Wilson (Ngân hàng Thế giới) đã đóng góp những ý tưởng của mình một cách cô đọng, súc tích với trọng tâm đặt vào khách hàng; và ông Robert Oelrichs (Ngân hàng Thế giới) đã nhận xét về một số chương; xin cám ơn các thành viên trong nhóm xây dựng giáo trình M&E tại Đông và Nam Phi đã chia sẻ những hiểu biết sâu sắc của mình [cụ thể là Win Brown (Cơ quan Phát triển Quốc tế Hoa Kỳ), Claude Cheta (Liên minh HIV/AIDS quốc tế), James Guwani (Chương trình phối hợp của LHQ về AIDS), Michiko Tajima (Cơ quan Hợp tác Quốc tế Nhật Bản), Christa vd Bergh (tư vấn quốc tế John Snow)]; Andy Beke (Trường Đại học Pretoria), Yasuo Sumita (Cơ quan Hợp tác Quốc tế Nhật Bản) và Hitesh Hurckchand (tư vấn quốc tế John Snow)] đã chia sẻ các ý tưởng về xây dựng năng lực M&E và giúp chúng tôi duy trì sự nhiệt huyết khi viết cuốn sách này; xin cám ơn các vị đại biểu trong một hội nghị tại Tan-dan-nia hồi tháng 3/2009 đã có những ý kiến phản hồi mang tính xây dựng và thực tế với tư cách là những người sử dụng cuốn sách; cám ơn bà Rosalia Rodriguez- Garcia (Ngân hàng Thế giới) đã chia sẻ ý kiến về lập kế hoạch chiến lược; Sue Bawale (tư vấn của Ngân hàng Thế giới) vì kỹ năng biên tập tuyệt vời; cám ơn Karien Ingenkamp (tư vấn của Ngân hàng Thế giới) về phần đồ họa; Carmen Bibby vì đã giúp định dạng bản thảo chính thức; Theo Hawkins (tư vấn của Ngân hàng Thế giới) vì đã giúp sắp chữ và biên tập lại; Ronnie Miller (tư vấn của Ngân hàng Thế giới) vì đã giúp đọc lại nội dung và sửa bản in thử, và Joy de Beyer (Ngân hàng thế giới) vì đã biên tập những lỗi kỹ thuật một cách tuyệt vời và luôn chú ý tới từng chi tiết, đồng thời cũng đã giới thiệu chúng tôi đến với các công trình của Tufte. Chúng tôi cũng xin cảm ơn Laura Rawlings và Benjamin Loevinsohn (Ngân hàng Thế giới) đã dành thời gian soát lại và nhận xét về bản thảo chính thức của cuốn sách. Từ tận đáy lòng, chúng tôi đặc biệt cám ơn tất cả các cơ quan điều phối chương trình AIDS quốc gia mà Chương trình HIV/AIDS toàn cầu của Ngân hàng Thế giới đã cùng làm việc, học hỏi cùng nhau và chia sẻ ý tưởng về xây dựng các hệ thống M&E hoạt động tốt trong những năm vừa qua.

xxiv

Lời cảm ơn

Từ viết tắt và Chú giải thuật ngữ ABC

Ước tính chi phí dựa trên hoạt động

Vận động chính sách

Hành động biện luận để ủng hộ một điều gì đó, ví dụ nguyên nhân, ý tưởng, hoặc chính sách. Mục đích của vận động chính sách là giáo dục, gây cảm xúc, gây ảnh hưởng để dẫn đến sự thay đổi ý kiến.

AfriCASO

Ủy ban Các tổ chức Dịch vụ AIDS tại châu Phi

AfrEA

Hiệp hội Đánh giá Châu Phi

AIDS

Hội chứng suy giảm hệ miễn dịch

Độ chệch

Một “đặc điểm trong nghiên cứu khiến cho một kết quả cụ thể dễ có khả năng xảy ra hơn – giống như sân bóng đá có độ dốc từ đầu này đến đầu kia” (Leung, 2001a)

Năng lực

khả năng thực hiện các nhiệm vụ thích hợp một cách hiệu quả, có hiệu suất, và bền vững

Đánh giá năng lực

Một quá trình phân tích có cấu trúc chặt chẽ, trong đó đo lường và đánh giá các phương diện năng lực trong bối cảnh môi trường hoặc bối cảnh hệ thống rộng hơn, đồng thời cũng đánh giá các cá nhân và pháp nhân cụ thể trong hệ thống (BPPS/MDGD và FMP quốc tế, 1997)

Phát triển năng lực

Cải thiện nguồn nhân lực và khả năng hoạt động của các hệ thống, thể chế/tổ chức và cá nhân để họ có thể đạt kết quả hoạt động tốt hơn (Lamptey và những người khác, 2001)

CBO

Tổ chức dựa vào cộng đồng

CCA

Kế toán chi thông thường

CDC

Trung tâm Kiểm soát và Phòng ngừa dịch bệnh

CF CHAT

Khung khái niệm Công cụ liên kết hài hòa hóa với quốc gia

Trao đổi thông tin

Quá trình trao đổi thông tin bằng nhiều phương tiện khác nhau hoặc sử dụng phương tiện truyền thông đại chúng

Kế hoạch công việc M&E có ước tính chi phí

Kế hoạch công việc M&E có ước tính chi phí cho nhiều năm, nhiều ngành và nhiều cấp độ, bao gồm ngân sách cho tất cả các hoạt động M&E mà các bên liên quan đến M&E dự định tiến hành trong một khuôn khổ thời gian nhất định

CRIS

Từ viết tắt

Hệ thống thông tin ứng phó của quốc gia (hệ thống quản lý cơ sở dữ liệu của UNAIDS)

xxv

DAC Kiểm định dữ liệu

Quá trình kiểm chứng sự hoàn chỉnh và chính xác của một hoặc một số quy trình quản lý dữ liệu

Chất lượng dữ liệu

Mức độ gắn kết của dữ liệu với 6 khía cạnh chất lượng – đó là sự chính xác, độ tin cậy, sự hoàn chỉnh, sự chuẩn xác, tính kịp thời, và tính toàn vẹn (USAID, 2007)

Đảm bảo chất lượng dữ liệu

Tập hợp các cơ chế và quy trình nội bộ và bên ngoài nhằm đảm bảo rằng dữ liệu đáp ứng 6 khía cạnh chất lượng

Cơ sở dữ liệu

Tập hợp các ghi chép một cách có tổ chức – thường là dưới dạng cột và bảng biểu.

Hệ thống quản lý cơ sở dữ liệu

Chương trình máy tính được sử dụng để quản lý và truy vấn một cơ sở dữ liệu

Các yêu cầu cơ sở dữ liệu

Tất cả mọi chức năng mà cơ sở dữ liệu sẽ thực hiện

DBMS DevInfo

Hệ thống quản lý cơ sở dữ liệu thông tin phát triển (cơ sở dữ liệu UNDP)

DFID

Cơ quan phát triển quốc tế

DHS

Điều tra nhân khẩu và sức khỏe

Đánh giá kinh tế

Đánh giá kinh tế xem xét các chi phí và nguồn vốn gắn với các can thiệp phát triển, nhằm đánh giá giá trị đồng tiền, ví dụ như, đánh giá mức hiệu suất của các can thiệp.

Epi Info

Thông tin dịch tễ học (cơ sở dữ liệu của CDC để quản lý các dữ liệu dịch tễ)

Đánh giá

Đánh giá một cách có hệ thống và khách quan một chương trình, dự án hay chính sách đang triển khai hoặc đã hoàn thành, bao gồm đánh giá thiết kế, việc thực hiện và các kết quả của chương trình, dự án hay chính sách

ERL

Thư viện nguồn lực điện tử

FHI

Tổ chức Sức khỏe gia đình quốc tế

Đánh giá hình thành GAMET

xxvi

Ủy ban Hỗ trợ Phát triển

Được thiết kế để đánh giá những điểm mạnh và điểm yếu của thiết kế chương trình, các tài liệu hoặc các chiến lược chiến dịch trước khi thực hiện Nhóm Theo dõi và Đánh giá AIDS toàn cầu

GAO

Văn phòng Trách nhiệm giải trình của chính phủ

Quỹ Toàn cầu để đẩy lùi AIDS, bệnh lao và sốt rét

GIS

Hệ thống thông tin địa lý

Từ viết tắt

GRIPP

Lồng ghép kết quả nghiên cứu vào chính sách và thông lệ thực tế

HCD

Phát triển năng lực con người

HIV

Vi-rút gây suy giảm miễn dịch ở người

HMIS HR

Hệ thống thông tin quản lý y tế nguồn nhân lực

HTML

ngôn ngữ đánh dấu siêu văn bản

ICASO

Hội đồng quốc tế các tổ chức dịch vụ AIDS

Đánh giá tác động

Xác định một cách có hệ thống các ảnh hưởng lâu dài (tích cực hoặc tiêu cực, có dự kiến hoặc không) đối với các cá nhân, hộ gia đình, các thể chế và/hoặc môi trường, do một hoạt động đã biết, như một dự án hoặc chương trình, gây ra.

IEG

Nhóm Đánh giá độc lập

IRB

Ban Đánh giá thể chế

Công nghệ thông tin

LGA

Cơ quan chính quyền địa phương

M&E

Theo dõi và Đánh giá

Kế hoạch M&E

Một kế hoạch M&E là một tài liệu diễn giải đầy đủ về tất cả các hoạt động M&E, trong đó giải quyết các vấn đề chủ chốt của M&E; cần đo lường những chỉ số nào; nguồn, tần suất và phương pháp thu thập dữ liệu về các chỉ số; đường cơ sở, các chỉ tiêu và giả định; phân tích hoặc giải thích dữ liệu thế nào; tần suất và phương pháp xây dựng báo cáo và phân bố các chỉ số, và 12 cấu phần của hệ thống M&E sẽ hoạt động như thế nào (Rugg, Peersman và Carael, 2004)

MERG

Nhóm tham khảo Theo dõi và Đánh giá HIV toàn cầu

MOE

Bộ Giáo dục

MOH

Bộ Y tế

MS Access

Những thay đổi quan trọng nhất

MTEF

Khung Chi tiêu trung hạn

NACA

Cơ quan điều phối AIDS quốc gia

Kế hoạch M&E quốc gia

Từ viết tắt

chương trình Microsoft Access

MSC

Một loại kế hoạch M&E đặc biệt, trong đó chú trọng đến cách thức hoạt động của một hệ thống M&E ở cấp quốc gia (ví dụ như kế hoạch về HIV, ngành giáo dục, ngành y tế, khối phi chính phủ, v.v.)

xxvii

NCA

Cơ quan Điều phối Quốc gia

NDP

Kế hoạch Phát triển lần thứ 9

NGO

Tổ chức phi chính phủ

NSP

Kế hoạch chiến lược quốc gia

OECD OECD-DAC OR

Tổ chức Hợp tác và Phát triển Kinh tế - Ủy ban Hỗ trợ Phát triển Nghiên cứu hoạt động

Đơn vị có thẩm quyền của tổ chức

Trong một tổ chức, đơn vị có thẩm quyền thực hiện các chức năng M&E thường được xác định từ nhu cầu đánh giá tiến độ thực hiện chiến lược của tổ chức

Tổ chức được ủy quyền

Tổ chức được ủy quyền đối với M&E là tổ chức được nhận chỉ thị cụ thể để thực hiện các chức năng M&E

Trách nhiệm của tổ chức

Trách nhiệm thực hiện các chức năng M&E của một tổ chức có thể được định nghĩa là nghĩa vụ của tổ chức đó trong việc thực hiện các chức năng được giao (Robbins và Decenzo, 2001)

Văn hóa tổ chức

Tập hợp các niềm tin, giả định và giá trị được chia sẻ và áp dụng trong tổ chức

Cơ cấu tổ chức

Mô tả hệ thống cấp bậc, các tuyến báo cáo, và hệ thống sắp xếp công việc trong tổ chức

Đánh giá kết quả tác động

Được sử dụng để thu nhận các dữ liệu mô tả về dự án và ghi chép lại các kết quả ngắn hạn

OVC Quan hệ đối tác

PLHIV PPP Đánh giá quá trình RDBMS

Trẻ mồ côi và trẻ dễ bị tổn thương Một quan hệ đối tác là một thỏa thuận giữa hai hoặc nhiều bên cùng làm việc với nhau để thực hiện các mục đích chung Người nhiễm HIV (bao gồm cả những người đã chuyển sang AIDS) Chính sách, Chương trình hoặc Dự án Nghiên cứu các thủ tục và nhiệm vụ liên quan trong thực hiện chương trình Hệ thống Quản lý cơ sở dữ liệu quan hệ

Nghiên cứu

Điều tra một cách có hệ thống, được thiết kế để phát triển hoặc đóng góp vào kiến thức phổ biến; bao gồm xây dựng, kiểm chứng và đánh giá nghiên cứu

Người trả lời

Người trả lời các câu hỏi phỏng vấn

Cỡ mẫu

xxviii

Tổ chức Hợp tác và Phát triển Kinh tế

Số lượng các đơn vị được chọn ra từ khung chọn mẫu, nhằm tạo ra các kết quả đáng tin cậy về mặt thống kê

Từ viết tắt

Chọn mẫu

Quy trình chọn những người trả lời khảo sát

Khung chọn mẫu

Danh sách tất cả những thành viên trong nhóm dân cư được nghiên cứu, để mỗi người đều có cơ hội được chọn vào mẫu ngang bằng nhau (Scheuren, 2004)

Phương pháp chọn mẫu

Phương pháp được áp dụng để chọn ra những người trả lời cho mẫu điều tra

Đơn vị chọn mẫu Sáu quy trình quản lý dữ liệu thường quy

Đơn vị được chọn trong quy trình chọn mẫu Tìm nguồn dữ liệu, thu thập dữ liệu, tổng hợp dữ liệu, phân tích dữ liệu, báo cáo dữ liệu và sử dụng dữ liệu

SPSS

Gói thống kê các khoa học xã hội

SQL

Ngôn ngữ truy vấn có cấu trúc

Giám sát

Chỉ đạo và giám thị kết quả hoạt động của những người khác đồng thời chuyển giao kỹ năng, kiến thức và thái độ

Giám sát hành vi và sinh học

Giám sát sinh học bao gồm việc thu thập dữ liệu sinh học cụ thể thông qua các điều tra cắt ngang lặp lại nhiều lần trong một nhóm dân cư có tính đại diện. Giám sát hành vi đề cập đến các điều tra cắt ngang lặp lại nhiều lần về một hành vi trong nhóm dân cư có tính đại diện (UNAIDS và WHO, 2000)

Điều tra

Một phương pháp thu thập thông tin từ những người trả lời phỏng vấn – đó có thể là một mẫu của nhóm dân cư hoặc các tổ chức (hoặc cơ sở) được lựa chọn và xác định là đối tượng đích

SWOT

Điểm mạnh, Điểm yếu, Cơ hội, và Thách thức

TWG

Nhóm công tác kỹ thuật

TOR

Đề cương tham chiếu

Liên Hợp Quốc (LHQ)

UNAIDS

Từ viết tắt

Chương trình phối hợp của LHQ về AIDS

UNDP

Chương trình Phát triển LHQ

WHO

Tổ chức Y tế Thế giới

xxix

Lời nói đầu Hơn bao giờ hết, bây giờ là lúc các chương trình phát triển được mong chờ đem lại kết quả. Với tất cả những ai liên quan đến quá trình phát triển, giá trị của các ý tưởng, lời khuyên và hành động ngày càng được đo lường nhiều hơn theo mức độ mà chúng đóng góp cho việc cải thiện cuộc sống. Ngoài ra, khủng hoảng kinh tế toàn cầu đã làm tăng gấp đôi tầm quan trọng của việc đạt được tác động tối đa từ mỗi chương trình, vì các quốc gia đang phải đối mặt với những thỏa hiệp đau lòng. Do vậy, mỗi chương trình đều cần thông tin để trả lời hai câu hỏi có tính sống còn: “Điều gì sẽ đem lại thành công khi giải quyết vấn đề này?” và “Làm thế nào để biết chúng ta đã thành công?” Câu trả lời cho hai câu hỏi này sẽ giúp mỗi người biết được, chương trình nào đang hoạt động tốt, chương trình nào không, chương trình nào có thể mở rộng và chương trình nào nên dừng lại. Hiển nhiên là để đạt được kết quả thì trước hết phải có thiết kế tốt, bao gồm cả một chiến lược thực hiện được xây dựng kỹ lưỡng. Tuy nhiên, một điều quan trọng không kém, đó là đảm bảo rằng kiến thức học được trong quá trình đó sẽ được sử dụng. Kiến thức này có thể được học thông qua các phân tích chi tiết định kỳ về vấn đề khó khăn, cũng như thông qua học hỏi tích lũy hàng ngày trong suốt quá trình thực hiện. Các hệ thống theo dõi và đánh giá tốt có thể nắm giữ được cả hai loại kiến thức này. Đó là lý do tại sao Ngân hàng Thế giới liên tục đầu tư tăng cường năng lực cho các quốc gia để xây dựng và sử dụng các hệ thống theo dõi và đánh giá nhằm thường xuyên đánh giá tiến độ của các chính sách và chương trình. Không một tổ chức nào, kể cả Ngân hàng Thế giới, cho rằng chúng ta đã nỗ lực đủ để nắm giữ và chia sẻ những kiến thức quan trọng đó. Các đối tác phát triển phải khó khăn mới học được rằng, không thể coi là đủ nếu chỉ đảm bảo cho mỗi dự án đơn lẻ có một khung đánh giá kết quả. Thông thường, các quốc gia không có năng lực hoặc động cơ khuyến khích để duy trì các hệ thống theo dõi và đánh giá thực sự ngay sau khi đầu tư từ bên ngoài chấm dứt. Cuốn sách hướng dẫn này cung cấp một lộ trình gồm các cấu phần có thể dẫn đến một hệ thống theo dõi và đánh giá bền vững: nó xác định tất cả các mảnh của trò chơi ghép hình hệ thống M&E. Việc sử dụng mô hình mới gồm 12 cấu phần có thể giúp trả lời những câu hỏi như làm thế nào để đảm bảo tính bền vững trong đầu tư cho các hệ thống theo dõi và đánh giá.

Ngozi N. Okonjo-Iweala

Giám đốc quản lý, Ngân hàng Thế giới

Lời nói đầu

xxxi

Cuốn sách Triển khai các hệ thống Theo dõi và Đánh giá đã được đăng tải như một cuốn sách giáo khoa tương tác tại địa chỉ http://www.worldbank.org/pdt Công cụ này cho phép các sinh viên và giáo viên chia sẻ các ghi chép và tài liệu liên quan nhằm tăng cường kinh nghiệm dạy và học bằng đa phương tiện.

Giới thiệu Chapter 1

1. Các hệ thống Theo dõi & Đánh giá (M&E) khiến cho việc quản lý theo kết quả trở nên khả thi1 Các chính phủ và tổ chức trên khắp thế giới luôn luôn phải đối mặt với sức ép liên tục và không ngừng gia tăng từ các bên có lợi ích liên quan trong nội bộ và bên ngoài, nhằm yêu cầu các chính phủ hoặc tổ chức đáp ứng tốt hơn các nhu cầu về quản trị tốt, trách nhiệm giải trình, minh bạch, tăng cường hiệu quả phát triển và đem lại những kết quả rõ rệt. Các chính phủ, quốc hội, các công dân, khu vực tư nhân, các tổ chức phi chính phủ (NGO), xã hội dân sự, các tổ chức quốc tế và nhà tài trợ, tất cả đều nằm trong số những bên liên quan quan tâm đến việc cải thiện kết quả hoạt động. Sự gia tăng nhu cầu tăng cường trách nhiệm giải trình và cải thiện kết quả đi kèm với sự cần thiết phải có những hệ thống theo dõi và đánh giá hữu dụng, có tính thực tiễn và dựa trên kết quả để hỗ trợ việc quản lý các chính sách, chương trình và dự án. Theo dõi và Đánh giá (M&E) là một công cụ quản lý công mạnh mẽ, có thể được sử dụng để cải thiện cách thức đạt kết quả của các chính phủ và tổ chức. Chính bởi vì các chính phủ cần đến các hệ thống tài chính, nhân sự và trách nhiệm giải trình, nên họ cũng cần đến những hệ thống phản hồi tốt về kết quả hoạt động. M&E giúp trả lời những câu hỏi kiểu Vậy thì sao? Chẳng hạn như: Chính phủ đã đầu tư cho 50 bệnh viện mới, vậy thì sao? 2000 km đường đã được xây dựng và 100 giáo viên đã được tuyển dụng trong cả nước, vậy thì sao? Làm thế nào đề những hành động dẫn đến sự hoàn thành các mục tiêu chủ chốt của các bộ ngành hay của quốc gia? Những câu trả lời đáng tin cậy cho các câu hỏi Vậy thì sao? sẽ giải quyết những lo ngại của các bên liên quan về trách nhiệm giải trình, đem lại cho các nhà quản lý của chính phủ những thông tin về tiến trình thực hiện các mục tiêu và chỉ tiêu đã định, đồng thời cung cấp nhiều bằng chứng cho thấy điều gì hoạt động tốt và điều gì không hoạt động tốt. 1 Mô-đun giới thiệu này được trích từ cuốn Mười bước để đến được một hệ thống M&E dựa trên kết quả của Jody Zall Kusek và Ray C. Rist, Ngân hàng Thế giới 2004. Xem giải thích chi tiết về 10 bước này ở Phụ lục B.

Giới thiệu Bộ công cụ

Giới thiệu

Tổ chức Hợp tác và Phát triển Kinh tế (OECD) định nghĩa theo dõi và đánh giá như sau: Theo dõi là một chức năng liên tục thu thập một cách hệ thống những dữ liệu về các chỉ số đã quy định trước nhằm cung cấp cho các nhà quản lý và các bên chính liên quan đến một can thiệp phát triển đang triển khai những dấu hiệu cho biết mức độ tiến triển trong việc thực hiện các mục tiêu và tiến độ sử dụng các nguồn vốn đã được phân bổ. Đánh giá là hoạt động đánh giá một cách có hệ thống và khách quan về một dự án, chương trình hay chính sách đang triển khai hoặc đã hoàn thành, bao gồm đánh giá về thiết kế, việc thực hiện và kết quả. Mục đích đánh giá là xác định tính phù hợp và việc thực hiện các mục tiêu, hiệu suất phát triển, hiệu quả, tác động và sự bền vững. Một hoạt động đánh giá cần phải đem lại những thông tin đáng tin cậy và hữu dụng, giúp tổng hợp các bài học kinh nghiệm vào quá trình ra quyết định của cả bên nhận tài trợ lẫn bên tài trợ. Có thể thấy ngay rằng theo dõi và đánh giá tuy khác nhau nhưng có ý nghĩa bổ trợ cho nhau. Theo dõi cho biết vào một thời điểm bất kỳ (và qua một thời kỳ kéo dài), một chính sách, chương trình hay dự án tương xứng đến mức độ nào với các chỉ tiêu và mục tiêu kết quả đặt ra cho nó. Thông tin này chỉ có tính mô tả. Đánh giá đem lại bằng chứng cho biết tại sao chương trình hay dự án này đạt được, hoặc không đạt được, các chỉ tiêu và kết quả tác động. Thông tin từ đánh giá có ý nghĩa khám phá nguyên nhân. Các hệ thống theo dõi và đánh giá không phải là mới đối với các chính phủ. Từ hơn 5000 năm trước, người Ai Cập cổ đại đã thường xuyên theo dõi hoạt động sản xuất ngũ cốc và chăn nuôi. Ngày nay, các chính phủ hiện đại đều tiến hành công tác theo dõi và đánh giá ở một mức độ nào đó. Hầu hết các chính phủ đều theo dõi chi tiêu, nguồn thu, các cấp cán bộ, nguồn lực, các hoạt động chương trình và dự án, các hoạt động sản xuất hàng hóa và dịch vụ, v.v. Các chính phủ và tổ chức khác có nhiều hình thức khác nhau cho các hệ thống theo dõi thuộc các bộ công cụ quản lý của họ, đó có thể là các hệ thống nhân lực tốt, hệ thống tài chính và hệ thống trách nhiệm giải trình. Họ cũng cần có những hệ thống phản hồi tốt. Một hệ thống M&E dựa trên kết quả nhất thiết phải là một hệ thống phản hồi tốt; đây là công cụ quản lý để đo lường và đánh giá các kết quả tác động, cung cấp thông tin cho mục đích quản lý và ra quyết định. Nhiều hệ thống quản lý bị thiếu cấu phần phản hồi, trong khi cấu phần này lẽ ra có thể giúp theo dõi hệ quả của các hành động. Việc xây dựng một hệ thống M&E sẽ đem lại cho những người ra quyết định một công cụ quản lý bổ sung bằng cách cung cấp những ý kiến phản hồi về kết quả hoạt động và làm cơ sở cho những cải tiến trong tương lai.

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

1.1. Các hệ thống M&E dựa vào kết quả có thể hỗ trợ quản lý tốt hơn như thế nào? Các ứng dụng cho dự án, chương trình và chính sách: nhiều hệ thống M&E dựa vào kết quả đã được xây dựng thành công để theo dõi và đánh giá ở mọi cấp độ dự án, chương trình và chính sách. Thông tin và dữ liệu có thể được thu thập và phân tích ở bất kỳ giai đoạn nào nhằm cung cấp những phản hồi thường xuyên. Thông tin có thể được sử dụng để thông báo tốt hơn cho những người ra quyết định chính, cũng như công chúng nói chung và các bên có lợi ích liên quan. Theo dõi và đánh giá có thể và nên được thực hiện trong suốt vòng đời của dự án, chương trình hay chính sách, kể cả sau khi hoàn thành. Các luồng dữ liệu M&E và phản hồi liên tục làm gia tăng giá trị ở mỗi giai đoạn, từ thiết kế đến thực hiện và đóng dự án/chương trình. “Các thông tin cụ thể cũng sẽ khác ở mỗi một cấp độ, sự phức tạp trong thu thập dữ liệu có thể thay đổi, và việc sử dụng thông tin cũng có thể thay đổi từ cấp độ này sang cấp độ khác” (Kusek và Rist, 2001:17). Sử dụng các hệ thống M&E dựa vào kết quả trong nội bộ và ở bên ngoài: M&E có thể được thực hiện ở cấp địa phương, cấp vùng và cấp quốc gia. Một hệ thống M&E hoạt động tốt, dù ở cấp độ nào, cũng phải cung cấp một dòng thông tin liên tục và có ích cho nội bộ cũng như bên ngoài. Trong nội bộ, việc sử dụng thông tin từ hệ thống M&E là một công cụ quản lý cốt yếu giúp các nhà quản lý đảm bảo đạt được các chỉ tiêu cụ thể. Thông tin về tiến độ, các vấn đề và kết quả hoạt động đều có ý nghĩa sống còn đối với các nhà quản lý đang gắng sức đạt kết quả. Tương tự như vậy, thông tin từ một hệ thống M&E rất quan trọng đối với những ai ở ngoài khu vực công (hoặc một tổ chức khác) đang mong chờ kết quả và muốn nhìn thấy những tác động trở thành hiện thực. Thông tin từ hệ thống M&E có thể xây dựng lòng tin trong chính phủ hoặc bất kỳ một tổ chức nào khác đang nỗ lực làm cho cuộc sống của người dân hoặc khách hàng của mình trở nên tốt đẹp hơn. Các hệ thống M&E có thể giúp xác định những chương trình hoặc thông lệ khả quan, đồng thời có thể xác định những kết quả không mong đợi, nhưng có thể có ích, từ các chương trình, dự án hay chính sách. Các hệ thống M&E có thể giúp các nhà quản lý xác định những khiếm khuyết của chương trình và có biện pháp khắc phục. M&E có thể được sử dụng để giảm bớt sự lo lắng trong các tổ chức và chính phủ, và thúc đẩy một bầu không khí cởi mở trong đó mọi người sẵn sàng học hỏi từ những sai lầm để cải tiến và phát triển kỹ năng trong suốt chặng đường thực hiện. Tính minh bạch và trách nhiệm giải trình: Các hệ thống M&E có thể thúc đẩy sự minh bạch và trách nhiệm giải trình trong các tổ chức và chính phủ. Có thể xảy ra các hiệu ứng vết dầu loang có ích do M&E soi sáng các kết quả đạt được. Các bên liên quan trong nội bộ và ở bên ngoài sẽ hiểu rõ ràng về hiện trạng các chương trình, dự án và chính sách. M&E có thể chứng minh những kết quả tích cực của các chương trình, chính sách nên có thể giúp tăng cường sự ủng hộ chính trị và sự ủng hộ của dân chúng. Có những chi phí tổ chức và chính trị cũng như những rủi ro liên quan đến việc thực thi các hệ thống M&E dựa vào kết quả. Tuy nhiên, chi phí và rủi ro khi không triển khai những hệ thống như vậy thậm chí còn lớn hơn. Giới thiệu Bộ công cụ

Giới thiệu

Giảm nghèo: Các hệ thống M&E dựa vào kết quả có thể giúp củng cố các chính phủ và các tổ chức khác thông qua tăng cường nhấn mạnh đến các kết quả tác động có thể chứng minh được. Việc vận dụng tốt hơn sự hoạt động và các kết quả của các chương trình kinh tế và chương trình khác của chính phủ có thể góp phần giảm nghèo, tăng trưởng kinh tế và thực hiện các mục tiêu. Các động lực chính trị — khía cạnh chính trị của M&E: Việc triển khai các hệ thống M&E dựa vào kết quả có thể gây ra những thách thức chính trị tại các nước phát triển cũng như đang phát triển. Điều này đòi hỏi phải có sự lãnh đạo mạnh mẽ và nhất quán (thường là của một nhà đấu tranh chính trị). Làm cho công chúng tiếp cận được các thông tin dựa vào kết quả có thể giúp thay đổi động lực của các quan hệ thể chế, thay đổi việc lập ngân sách và phân bổ nguồn lực, các chương trình chính trị cá nhân và quan niệm của công chúng về chính phủ. Những nhóm có đặc quyền đặc lợi lớn có thể cảm thấy bị đe dọa. Có thể có những người phản đối cải cách trong và ngoài chính phủ/tổ chức – đây là những người sẽ quyết liệt phản đối các nỗ lực M&E. Điều này khiến cho vai trò của một nhà lãnh đạo mạnh mẽ trở thành yếu tố chủ chốt để đảm bảo việc thể chế hóa và tính bền vững của một hệ thống M&E dựa vào kết quả. Các hệ thống M&E dựa vào kết quả là những cấu phần thiết yếu trong các cơ cấu quản lý nhà nước, và do đó, về căn bản, chúng liên quan tới các hệ thống chính trị và quyền lực. Các hệ thống này cung cấp những thông tin trọng yếu và đem lại cho các nhà hoạch định chính sách khả năng đưa ra những quyết định dựa trên cơ sở thông tin đầy đủ. Đồng thời, những thông tin này cũng có thể giới hạn các lựa chọn ở phạm vi hợp lý, làm giảm cơ hội thao túng của những người có quyền ra quyết định.

1.2. Làm thế nào để xây dựng một hệ thống M&E dựa vào kết quả? Kusek và Rist (2004) đã gợi ý 10 bước trong quy trình xây dựng một hệ thống M&E để phản ánh các kết quả trong chiến lược của một tổ chức (xem phần tóm tắt ở dưới). Để tìm hiểu thêm thông tin chi tiết, độc giả có thể xem cuốn Mười bước để tiến tới một hệ thống M&E dựa vào kết quả. Bước 1: Đánh giá mức độ sẵn sàng – trong bước này sẽ đánh giá năng lực và mức độ mong muốn của chính phủ/tổ chức và các đối tác phát triển đối với việc xây dựng một hệ thống M&E dựa vào kết quả. Đánh giá này trả lời các câu hỏi như có thể tìm ra một nhà lãnh đạo hay không, có rào cản nào đối với việc xây dựng hệ thống M&E hay không, ai sẽ làm chủ hệ thống, và những ai có thể phản đối hệ thống M&E. Bước 2: Thống nhất các kết quả tác động sẽ được theo dõi và đánh giá – bước này giải quyết yêu cầu chính là xác định các kết quả tác động có tính chiến lược mà sau này việc phân bổ nguồn lực cũng như các hoạt động sẽ tập trung hướng tới. Những kết quả tác động này phải xuất phát từ các ưu tiên (mục tiêu) chiến lược. Bước 3: Xây dựng các chỉ số chính để theo dõi các kết quả tác động, qua đó có thể đánh giá mức độ thực hiện các kết quả tác động. Xây dựng chỉ số là một hoạt động cốt lõi trong quá trình xây dựng một hệ thống M&E và việc này sẽ xác định hướng đi cho tất cả các hoạt động thu thập, phân tích và báo cáo dữ liệu sau này. 4

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

Không nên đánh giá thấp các vấn đề chính trị cũng như phương pháp luận trong việc xây dựng ra các chỉ số đáng tin cậy và thích hợp. Bước 4: Tập hợp dữ liệu cơ sở về các chỉ số - bao gồm việc mô tả và đo lường các điều kiện ban đầu mà các kết quả tác động sẽ giải quyết. Đây là lần đo lường chỉ số đầu tiên và xác định điểm khởi đầu. Bước 5: Lập kế hoạch cải tiến – trong bước này cần phải thiết lập các chỉ tiêu có tính thực tế và phải nhận thức rằng, hầu hết các kết quả tác động đều mang tính dài hạn, phức tạp và không thể đạt được một cách nhanh chóng. Sẽ có ích nếu thiết lập các chỉ tiêu trung gian để chỉ ra mức độ tiến triển trong việc thực hiện kết quả tác động hàng năm (hoặc trong một khoảng thời gian nhất định) và xác định những nguồn lực cần thiết. Việc đo lường kết quả so với chỉ tiêu có thể bao gồm các chỉ số trực tiếp cũng như chỉ số mang tính đại diện và có thể sử dụng dữ liệu định lượng cũng như định tính. Bước 6: Theo dõi kết quả - đây là nhiệm vụ quản lý và thể chế, trong đó phải xây dựng các hướng dẫn về thu thập, phân tích và báo cáo dữ liệu; chỉ định người chịu trách nhiệm về các hoạt động; thiết lập các quy trình kiểm soát chất lượng; xác lập khung thời gian và chi phí; làm việc để thống nhất về các vai trò và trách nhiệm; và xây dựng các hướng dẫn về tính minh bạch và phổ biến thông tin và phân tích. Cần nhấn mạnh rằng, khi xây dựng một hệ thống M&E, cần phải giải quyết rõ ràng các thách thức liên quan đến quyền làm chủ hệ thống, quản lý và duy trì hệ thống, cũng như tính tin cậy của hệ thống. Bước 7: Thông tin có tính đánh giá để hỗ trợ quá trình ra quyết định - bước này tập trung vào những đóng góp mà các nghiên cứu và phân tích đánh giá có thể tạo ra thông qua quá trình này nhằm đánh giá các kết quả trước mắt và hướng tới các kết quả tác động lâu dài. Phân tích lý thuyết chương trình, ước lượng khả năng có thể đánh giá được, đánh giá quy trình, đánh giá kết quả tác động và tác động, và tổng hợp các đánh giá là những chiến lược có thể được sử dụng để đánh giá một hệ thống M&E dựa vào kết quả. Bước 8: Phân tích và báo cáo các kết quả tìm hiểu – đây là bước cốt yếu, vì nó xác định phải báo cáo các kết quả tìm hiểu cho ai, theo hình thức nào và vào những thời điểm nào. Trong bước này, phải trả lời câu hỏi về năng lực sản xuất thông tin hiện có, và tập trung vào những phương pháp để tích lũy và đánh giá thông tin, cũng như chuẩn bị các phân tích và báo cáo. Bước 9: Sử dụng các kết quả tìm hiểu - bước này nhấn mạnh một điều, đó là điểm then chốt của hệ thống không chỉ đơn giản là tạo ra thông tin dựa vào kết quả mà đó còn là đem thông tin đến kịp thời cho những người sử dụng thích hợp, để họ có thể xem xét khi ra quyết định. Trong bước này, cũng cần giải quyết những câu hỏi về vai trò của các đối tác phát triển và xã hội dân sự trong việc sử dụng thông tin để tăng cường trách nhiệm giải trình, tính minh bạch và các thủ tục phân bổ nguồn lực. Bước 10: Duy trì hệ thống M&E – trong bước này, cần phải nhận thức rõ quá trình lâu dài khi đảm bảo tuổi thọ và tính hữu dụng của một hệ thống M&E. Có 6 tiêu chí được coi là cốt yếu đối với tính bền vững của một hệ thống M&E: đó là nhu cầu, cơ cấu, thông tin đáng tin cậy và có giá trị, trách nhiệm giải trình, các Giới thiệu Bộ công cụ

Giới thiệu

cơ chế khuyến khích, và năng lực. Mỗi một phương diện đều cần được chú ý liên tục để đảm bảo khả năng tồn tại lâu dài của hệ thống. Như đã lưu ý ở trên, việc xây dựng một hệ thống M&E không nhất thiết phải đi theo cả 10 bước ở trên. Mỗi trường hợp có thể xác định số lượng các bước nhiều hơn hoặc ít hơn. Vấn đề là phải đảm bảo rằng các hoạt động và chiến lược chủ chốt được xác định và tập hợp lại một cách lô-gich, và sau đó, được hoàn thành theo một trình tự thích hợp. Một hệ thống M&E dựa vào kết quả và bền vững sẽ như thế nào? Chúng ta có thể làm gì để giữ cho hệ thống đó hoạt động tốt? Để trả lời những câu hỏi này, cần phải hiểu rõ các cấu phần của một hệ thống M&E dựa vào kết quả và xây dựng từng cấu phần một.

2. Các hệ thống Theo dõi & Đánh giá (M&E) khiến cho việc quản lý theo kết quả trở nên khả “Một sai lầm căn bản, đó là đưa ra các giả thuyết trước khi có dữ liệu. Một cách vô tình, người ta bắt đầu bóp méo các sự kiện thực tế để phù hợp với giả thuyết, trong khi lẽ ra giả thuyết phải phù hợp với thực tế.” Sherlock Holmes Để duy trì một hệ thống M&E có thể tạo ra thông tin đáng tin cậy, phù hợp và đúng lúc về kết quả hoạt động của chính phủ, xã hội dân sự hoặc khu vực tư nhân, cần phải vượt qua nhiều thử thách của hệ thống M&E và tiếp cận triển khai hệ thống đó với kinh nghiệm, kỹ năng và năng lực thể chế thực sự. 12 cấu phần của một hệ thống M&E hoạt động tốt đưa ra một khung khái niệm cho biết một hệ thống M&E hiệu quả phải có cấu trúc như thế nào, hoạt động ra sao và đây cũng chính là trọng tâm của cuốn sách này.

2.1. Các thách thức trong việc thiết lập các hệ thống M&E Nếu xem xét như một lĩnh vực chuyên môn thì M&E vẫn còn tương đối mới, cũng như các hệ thống M&E và kinh nghiệm của các tổ chức và những ai hỗ trợ M&E. Sự giới thiệu lĩnh vực này trong thời gian gần đây và khái niệm lấy dữ liệu từ một hệ thống M&E đơn lẻ đặt ra một thách thức cho các đối tác phát triển, đồng thời tạo ra áp lực phải đem lại kết quả trong hoạt động. Nhu cầu đối với các cán bộ chuyên môn có kỹ năng và năng lực xây dựng các hệ thống M&E là rất lớn. Tuy nhiên, tình trạng chung là thiếu các cán bộ chuyên môn M&E có kỹ năng và thiếu các khóa đào tạo và tư vấn kỹ thuật được tổ chức một cách hài hòa. Đồng thời, nhu cầu về các hệ thống M&E cũng xuất hiện trong tất cả mọi ngành khi các hệ thống liên ngành quốc gia đang trên đà phát triển. Để phân cấp các cơ cấu của chính phủ và các chương trình, cần phải phân cấp các hệ thống M&E, điều này đòi hỏi các hệ thống quốc gia và địa phương phải được xây dựng đồng bộ. Quyền lực gắn liền với việc phổ biến thông tin rộng rãi tạo ra một thách thức về mặt chính trị và nhấn mạnh sự cần thiết phải có trách nhiệm giải trình lớn hơn. 6

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

Cần phải khắc phục và xóa bỏ những quan niệm sai lầm hiện tại về mục đích của M&E, sự nghi ngờ về chức năng cảnh sát của M&E và tình trạng M&E không được kết hợp vào các hệ thống báo cáo truyền thống.

2.2. Giải quyết các thách thức: 12 cấu phần của một hệ thống M&E hoạt động tốt 2.2.1. Lịch sử và việc áp dụng 12 cấu phần Để giải quyết những thách thức nói trên, phải mất nhiều thời gian và áp dụng kiến thức chuyên môn. Một cách tiếp cận có thể áp dụng, đó là tạo ra một tiêu chuẩn hoặc định nghĩa chung về những yếu tố cấu thành một hệ thống M&E hoạt động tốt. Một “hệ thống” được định nghĩa là một nhóm gồm các yếu tố tương tác với nhau, các yếu tố liên quan đến nhau hoặc các yếu tố độc lập tạo thành một tổng thể phức tạp (Từ điển tự do, 2007), và “tư duy hệ thống” nghĩa là hiểu sâu bên trong toàn bộ hệ thống bằng cách hiểu rõ những mối liên hệ và tương tác giữa các yếu tố tạo thành cả hệ thống (Senge, 1990). Muốn áp dụng cách tiếp cận hệ thống này cho việc xây dựng các hệ thống M&E, cần phải •

Xác định các cấu phần của hệ thống (hiểu rằng chúng có mối liên quan qua lại với nhau) như một phương tiện để mô tả hệ thống; và

•

Đảm bảo rằng mỗi cấu phần đều hoạt động tốt để toàn bộ hệ thống hoạt động tốt.

Áp dụng cách tư duy này, Ngân hàng Thế giới đã xác định 11 cấu phần cần thiết để một hệ thống theo dõi và đánh giá có thể hoạt động. Tuy nhiên, sau đó, các đánh giá đồng cấp quốc tế đã kiến nghị cấu phần thứ 12. Cách tiếp cận 12 cấu phần đã được UNAIDS và các đối tác chấp nhận rộng rãi trên thế giới để hỗ trợ việc đánh giá và quản lý đại dịch HIV/AIDS. Mặc dù bất kỳ chương trình nào cũng có thể áp dụng 12 cấu phần, nhưng các tác giả cảm thấy đặc biệt vui mừng khi UNAIDS đã chính thức thông qua cách tiếp cận này cho các nỗ lực xây dựng năng lực M&E của tổ chức này trong năm 2007. Cách tiếp cận 12 cấu phần được minh họa trong Hình 1, trong đó các phần đan cài và lệ thuộc lẫn nhau trong toàn bộ tổng thể. 12 Cấu phần của một hệ thống M&E hoạt động tốt2 Các cấu phần liên quan đến “con người, các quan hệ đối tác và lập kế hoạch” 1.

Cơ cấu và sự phù hợp về mặt tổ chức cho các hệ thống M&E

Năng lực nhân sự cho các hệ thống M&E

Các quan hệ đối tác M&E

2 Nguồn: trích từ đồ họa trong ấn bản Tổ chức khung cho một hệ thống Theo dõi và Đánh giá HIV quốc gia hoạt động tốt. Geneva, UNAIDS, 2008 (http:// siteresources.worldbank. org/INTHIVAIDS/Resources/375798 - 1132695455908/ GROrganizingFrameworkforHIVMESystem.pdf, truy cập ngày 15/9/2008). Giới thiệu Bộ công cụ

Giới thiệu

Hình 1: 12 Cấu phần của một hệ

thống M&E hoạt động tốt

Các kế hoạch M&E3

5. Các kế hoạch công việc M&E có ước tính chi phí

1. Cơ cấu và sự phù hợp về mặt tổ chức cho các hệ thống M&E

2. Năng lực nhân sự cho các hệ thống M&E

6. Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E

8. Các khảo sát định kỳ 6. Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E

7. Theo dõi thường quy

12. Sử dụng thông tin để cải thiện kết quả

9. Các cơ sở dữ liệu có ích cho các hệ thống M&E

10. Giám sát hỗ trợ và kiểm định dữ liệu

3. Các quan hệ đối tác M&E

7. Theo dõi thường quy 8. Các khảo sát định kỳ 9. Các cơ sở dữ liệu có ích cho các hệ thống M&E 10. Giám sát hỗ trợ và kiểm

11. Đánh giá và nghiên cứu 5. Các kế hoạch công việc M&E có ước tính chi phí

Các cấu phần liên quan đến “thu thập, nắm giữ và kiểm chứng dữ liệu”

định dữ liệu 4. Các kế hoạch M&E3

11. Đánh giá và nghiên cứu Cấu phần cuối cùng về “sử dụng dữ liệu trong quá trình ra quyết định” 12. Sử dụng thông tin để cải thiện kết quả

2.2.2. Các đặc điểm của 12 cấu phần4 Hình 1 chỉ ra một số đặc điểm quan trọng của 12 cấu phần: a)

Một số cấu phần liên kết chặt với nhau để tạo ra một tập hợp con: do đó, có thể nhóm các cấu phần liên quan với nhau, như trong Hình 2: Tập hợp con thứ nhất: Các cấu phần ở vòng ngoài: 6 cấu phần liên kết với nhau, đây là các cấu phần liên quan đến con người, các quan hệ đối tác và lập kế hoạch, và hỗ trợ việc sản xuất cũng như sử dụng dữ liệu, tạo thành một môi trường giúp M&E hoạt động. Tóm tắt các cấu phần thuộc vòng này như

3 Mặc dù được xây dựng cho hệ thống quốc gia và liên ngành nhưng các khái niệm này cũng có thể áp dụng cho bất kỳ hệ thống M&E nào khác, ví dụ như hệ thống của một bộ hoặc của một tổ chức cụ thể. 4 Nguồn: Tổ chức khung cho một hệ thống theo dõi và đánh giá HIV quốc gia hoạt động tốt. Geneva, UNAIDS, 2008 (http://siteresources.worldbank.org/INTHIVAIDS/ Resources/375798 - 1132695455908/GROrganizingFrameworkforHIVMESystem.pdf, truy cập ngày 15/9/2008).

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Tập hợp con thứ 2: Các cấu phần ở vòng giữa: 5 cấu

Chapter 1

sau: Con người (Cấu Hình 2: Có thể nhóm 12 cấu phần lại theo cách nào? phần 1) gồm những người có kỹ năng (Cấu phần 2) và làm việc Con người, các đối tác và lập kế hoạch cùng nhau (Cấu phần 3) để lập kế hoạch (Cấu phần 4), lên ngân sách và chi phí (Cấu phần 5), tạo động cơ thúc Thu thập, nắm giữ và đẩy và duy trì một hệ kiểm chứng dữ liệu thống M&E hoạt động tốt (Cấu phần 6). Sử dụng dữ liệu cho quá trình ra quyết định

phần liên kết với nhau và liên quan đến các quy trình quản lý dữ liệu bao gồm thu thập, nắm giữ và kiểm chứng tất cả mọi loại dữ liệu M&E. Vòng cấu phần này tạo ra các dữ liệu thiết yếu cho hệ thống M&E, giống như nhiên liệu cần thiết cho động cơ vậy. Thậm chí trong môi trường hoàn hảo với điều kiện thuận lợi nhất (vòng cấu phần ngoài cùng), các hệ thống M&E cũng không thể hoạt động hoặc sử dụng để quản lý kết quả được nếu không tạo ra dữ liệu. Tập hợp con thứ 3: cấu phần bên trong: cấu phần này nắm giữ mục đích trung tâm của hệ thống – đó là phân tích dữ liệu để tạo ra thông tin và phổ biến thông tin như một cách để tạo cơ sở cho quá trình ra quyết định và trao quyền ra quyết định ở tất cả các cấp. Cấu phần cuối cùng này của hệ thống được tô màu đỏ (xem bìa ngoài của cuốn sách để biết màu sắc hiển thị đầy đủ của 12 cấu phần), giống như điểm đen trên bia tập bắn, tượng trưng cho vai trò duy trì sự hoạt động của hệ thống M&E. Nếu không sử dụng dữ liệu và thông tin từ các hệ thống M&E, có nghĩa là chúng ta không sử dụng chúng theo cách mà chúng được thiết kế. Lý do tồn tại của các hệ thống M&E, đó là cung cấp thông tin và sử dụng thông tin đó để cải thiện các chương trình, dự án và chính sách của chúng ta. b)

Các cấu phần đơn lẻ liên kết với nhau và do đó phụ thuộc lẫn nhau (trong mỗi “vòng” và xuyên giữa ba “vòng”): Hình vẽ ở trên minh họa các cấu phần và các vòng cấu phần như các bộ phận giao nhau và đan xen nhau trong một tổng thể, qua đó phản ánh sự phụ thuộc lẫn nhau của 12 cấu

Giới thiệu Bộ công cụ

Giới thiệu

phần đơn lẻ và 3 vòng cấu phần. Chẳng hạn như, nếu không có các cơ cấu tổ chức phù hợp, việc thu thập dữ liệu thường quy hoặc tập trung mọi người làm việc cùng nhau sẽ rất khó khăn. Mặc dù phải đảm bảo rằng mỗi cấu phần đều hoạt động được nhưng cũng cần nhớ rằng chúng phụ thuộc lẫn nhau . Nếu bỏ qua hoàn toàn một cấu phần, sẽ gây ảnh hưởng đến mức độ hoạt động của những cấu phần khác, nghĩa là ảnh hưởng đến toàn thể hệ thống M&E. c)

Các cấu phần không phải là các bước thực hiện: 12 cấu phần này không phải là các bước thực hiện và không nhất thiết phải liên tục. Các tổ chức khác nhau có thể tập trung và ưu tiên nhiều hơn cho một số cấu phần nhất định, tùy theo hiện trạng hệ thống M&E của tổ chức. Do đó, thỉnh thoảng đánh giá hiện trạng hệ thống M&E của tổ chức là điều quan trọng để đem lại một cái nhìn tổng quan về cách thức mà hệ thống M&E đang hoạt động, và giúp bạn quyết định xem nên ưu tiên các cấu phần nào trong vòng 12 tháng tới. Mục 2.2.4 cung cấp thêm thông tin về cách sử dụng khung 12 cấu phần để đánh giá hiện trạng chung của hệ thống M&E trong tổ chức của bạn.

Áp dụng được cho các hệ thống M&E của nhiều chương trình khác nhau: 12 cấu phần này ban đầu được thiết kế để đánh giá hiện trạng của một chương trình y tế quốc gia. Những ví dụ mà chúng tôi đưa ra trong cuốn sách này đều cho thấy rõ rằng cách tiếp cận này có khả năng ứng dụng phổ biến. Nó có thể sử dụng cho các hệ thống M&E khác nhau trong các ngành khác nhau như giáo dục, nông nghiệp, du lịch, tài chính, xã hội dân sự, khu vực tư nhân, v.v.

Sử dụng các cấu phần ở từng cấp độ và trong từng ngành: 12 cấu phần có thể được áp dụng như nhau cho một hệ thống M&E quốc gia hay địa phương (phân cấp), một hệ thống M&E của cơ quan địa phương hay hệ thống M&E của một tổ chức đơn lẻ. Một tổ chức đơn lẻ có thể không thực hiện tất cả các cấu phần (ví dụ như cấu phần 7 – các khảo sát định kỳ), nhưng có thể lấy dữ liệu từ một điều tra quốc gia, ví dụ như điều tra về người lao động trong ngành giáo dục, để có thông tin về chương trình của tổ chức. Khi xây dựng các kế hoạch củng cố một hệ thống M&E, các bên có lợi ích liên quan có thể tập trung vào bất kỳ cấu phần nào trong số 12 cấu phần ở bất kỳ cấp độ nào của hệ thống M&E. Tuy nhiên, trên thực tế, để cải thiện kết quả hoạt động của hệ thống trong một cấu phần hoặc ở một cấp độ, có thể phải can thiệp đồng thời ở một cấp độ khác. Nói cách khác, cần áp dụng cách tiếp cận hệ thống khi sử dụng những cấu phần này để cải thiện kết quả hoạt động của hệ thống. Ví dụ như, các nhà quản lý y tế và cán bộ y tế, dù có kỹ năng đến đâu cũng khó có thể thực hiện các chức năng M&E thiết yếu nếu thiếu các trang thiết bị hợp lý, và thiếu động cơ, sự hỗ trợ cũng như các hướng dẫn kỹ thuật đúng cách.

2.2.3. Công dụng thực tiễn của 12 cấu phần 12 cấu phần là một khung tổ chức cho một hệ thống M&E và giải quyết các thách thức của các hệ thống M&E theo những cách sau:

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Đây là một khung tổ chức để nghĩ về đội ngũ nhân viên, các nguồn lực, sự hỗ trợ và nguồn vốn cần có cho hệ thống M&E.

Là cơ sở để tiến hành đánh giá hệ thống M&E quốc gia, trong đó có thể đánh giá hiện trạng của từng cấu phần

Là một cách để xây dựng các báo cáo M&E phối hợp hoặc cập nhật về hiện trạng của một hệ thống M&E, trong đó có thể báo cáo về từng cấu phần

Là một cách để xác định phân chia lao động một cách rõ ràng ở cấp quốc gia và một khuôn khổ để tất cả các đối tác có thể làm việc cùng nhau

Là một cách để xây dựng các chỉ số nhằm đo lường mức độ hoạt động của hệ thống M&E, và phạm vi hoạt động của mỗi cấu phần trong hệ thống

Là cơ sở để mô tả công việc và xây dựng năng lực cho nhân viên trong đơn vị M&E của tổ chức, nhằm đảm bảo rằng tập thể nhân viên đều có năng lực và khả năng để tập trung vào 12 cấu phần của hệ thống M&E.

Là căn cứ cho một bảng kiểm xác định các yêu cầu thông tin mà hệ thống thông tin quốc gia phải đáp ứng.

Chapter 1

2.2.4. Sử dụng 12 cấu phần để chẩn đoán các điểm mạnh và điểm yếu của hệ thống M&E Bạn có thể sử dụng khung 12 cấu phần để đánh giá hiện trạng của hệ thống M&E thông qua đánh giá một cách hệ thống hiện trạng của từng cấu phần trong 12 cấu phần của hệ thống M&E. Quy trình đánh giá có thể chính thức hoặc không chính thức. Cách chính thức là sử dụng một công cụ chẩn đoán để đưa ra một loạt câu hỏi về từng cấu phần. Những công cụ chẩn đoán như vậy đã được phát triển và có thể tìm thấy tại trang web www.worldbank.org/12components. Cách không chính thức về bản chất vẫn là chẩn đoán, và bao gồm đánh giá một cách định tính hơn về việc thực hiện các kết quả ngắn hạn, trung hạn và dài hạn mà bạn đã xác định cho các cấu phần của hệ thống M&E. Có thể khuyến khích sự tham gia của các nhóm nhỏ bằng cách yêu cầu họ liệt kê các điểm mạnh và điểm yếu của từng cấu phần, sau đó phổ biến kết quả để mỗi nhóm nhỏ có thể đánh giá và ghi lại quan điểm của họ về từng cấu phần trong số 12 cấu phần. Để có căn cứ thảo luận, bạn có thể sử dụng danh sách các kết quả ngắn hạn, trung hạn và dài hạn cho 12 cấu phần trong Phụ lục A. Sau khi đánh giá 12 cấu phần của hệ thống M&E, bạn có thể sử dụng kết quả đánh giá để quyết định những phần nào trong Bộ công cụ là có ích nhất để sử dụng khi triển khai hệ thống M&E.

Giới thiệu Bộ công cụ

Giới thiệu

3. Giới thiệu Bộ công cụ Phát triển Năng lực để triển khai các hệ thống M&E “Một điều tốt đẹp về học tập, đó là không ai có thể tách rời điều đó khỏi bạn.” B.B King Phần này tập trung vào cách sử dụng Bộ công cụ: mục đích và các mục tiêu của Bộ công cụ; cấu trúc của Bộ công cụ và từng chương; bạn có thể trông mong học hỏi được những gì khi làm việc với Bộ công cụ; và bạn có thể sử dụng thông tin trong từng chương của Bộ công cụ như thế nào. Còn một phần cuối cùng dành cho các trợ giảng hoặc giảng viên muốn sử dụng Bộ công cụ cho các mục đích phát triển năng lực.

3.1. Mục đích của Bộ công cụ Mục đích của Bộ công cụ là cung cấp nguồn lực, các công cụ và phương pháp có thể sử dụng để phát triển năng lực của chính phủ, xã hội dân sự, các cán bộ quản lý chương trình của tổ chức và các nhân viên M&E để xây dựng các hệ thống M&E hoạt động tốt và hướng theo kết quả. Như vậy, Bộ công cụ này cung cấp cả thông tin lý thuyết cũng như thực tế và chỉ dẫn từng bước về cách hoạt động của hệ thống M&E và các ví dụ để chứng minh những người khác đã hoàn thành công việc này như thế nào.

3.2. Các đối tượng sử dụng Bộ công cụ này sẽ có ích cho các cán bộ kỹ thuật theo dõi và đánh giá và các nhân viên phát triển: những người cần thiết kế, vận hành, rà soát và triển khai các hệ thống M&E. Mục đích của Bộ công cụ là giúp đỡ những ai làm việc (hầu hết là chuyên trách) với các hệ thống M&E để xây dựng các hệ thống M&E có thể hoạt động được.

3.3. Cấu trúc, mục đích và các mục tiêu học tập từ Bộ công cụ Trước hết, chúng tôi giới thiệu 12 cấu phần và Bộ công cụ. Bộ công cụ có một chương riêng cho mỗi cấu phần (ví dụ như cấu phần 1 ở chương 1, cấu phần 2 ở chương 2, v.v.). Mỗi chương của Bộ công cụ giới thiệu những kiến thức và kỹ năng cụ thể về cấu phần tương ứng. Bảng 1 tóm tắt mục tiêu, kiến thức và các kỹ năng được truyền đạt trong mỗi chương và mỗi cấu phần.

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Chương

Mục tiêu của chương

Cấu phần 1. Cơ cấu và sự phù hợp về mặt tổ chức của các hệ thống M&E

Chương này nhằm mục đích giúp bạn hiểu ý nghĩa quan trọng của cơ cấu tổ chức và mối liên của nó với sự phù hợp về mặt tổ chức khi thiết kế và triển khai các hệ thống M&E, đồng thời giúp bạn lập kế hoạch nguồn nhân lực cần thiết cho hệ thống M&E.

Kiến thức và kỹ năng về cấu phần được nhắc đến trong chương a.

b. c.

Cấu phần 2. Nhân lực cho các hệ thống M&E

Cấu phần 3. Các quan hệ đối tác

M&E

Giới thiệu Bộ công cụ

Chapter 1

Bảng 1: Các mục tiêu, Kiến thức và Kỹ năng trong từng chương của Bộ công cụ

Chương này nhằm mục đích giúp bạn xây dựng các kỹ năng cần thiết cho mọi người để hoàn thành trách nhiệm M&E của mình (nói cách khác là xây dựng năng lực con người), và để hệ thống M&E có thể hoạt động tốt.

Chương này nhằm mục đích giúp bạn hiểu được ý nghĩa quan trọng của việc thiết lập và duy trì các quan hệ đối tác M&E mạnh mẽ và tập hợp những con người khác nhau từ những tổ chức khác nhau để cùng làm việc vì những mục tiêu và mục đích tương tự nhau. Các quan hệ đối tác M&E đặc biệt quan trọng nếu xét đến việc những người tham gia không nhất thiết phải cùng làm việc trong một tổ chức hoặc một ngành.

b. c. d.

Giải thích cho những người khác về các khái niệm chủ chốt liên quan đến cơ cấu tổ chức và sự phù hợp về mặt tổ chức cho M&E (nói cách khác là giải thích xem M&E “phù hợp” ở điểm nào trong cơ cấu tổ chức và sự phù hợp của chức năng M&E với các chức năng chính khác trong tổ chức). Thiết kế một cơ cấu tổ chức M&E với quy mô thích hợp và các trách nhiệm thích hợp cho tổ chức của bạn. Biết được những sai lầm cần tránh khi thiết kế bộ phận M&E cho một tổ chức Giải thích các thuật ngữ và định nghĩa quan trọng nhất về xây dựng năng lực con người. Xác định các vấn đề thực thi chủ yếu liên quan đến xây dựng năng lực con người. Quản lý và tiến hành đánh giá nhân lực cho hệ thống M&E Quản lý việc soạn thảo chiến lược và kế hoạch xây dựng nhân lực Giải thích cho những người khác về các hình thức quan hệ đối tác, các lợi ích và cơ chế đối tác khác nhau. Nhận thức được những vấn đề thực thi liên quan đến thiết lập và duy trì các quan hệ đối tác. Thiết lập và duy trì hoạt động của một nhóm công tác kỹ thuật M&E quốc gia như một cơ chế quan hệ đối tác M&E. Tổ chức một đoàn công tác/chuyến đi thực địa phối hợp với các đối tác phát triển khác

Giới thiệu

Chương Cấu phần 4. Các kế hoạch M&E

Cấu phần 5. Các kế hoạch công việc M&E có ước tính chi phí

Cấu phần 6. Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E

Mục tiêu của chương Chương này nhằm mục đích giúp bạn xây dựng hoặc rà soát lại kế hoạch M&E cho tổ chức của bạn. Kế hoạch này, cùng với một kế hoạch công việc M&E có ước tính chi phí, là điểm trung tâm của một hệ thống M&E. Nó mô tả mục đích của hệ thống, những dữ liệu mà hệ thống sẽ thu thập và cách thức hoạt động của hệ thống.

Kiến thức và kỹ năng về cấu phần được nhắc đến trong chương a.

Biết được kế hoạch M&E và kế hoạch M&E quốc gia là gì, và chúng có điểm gì khác với khung M&E và kế hoạch công việc M&E.

Hiểu được mối liên hệ giữa kế hoạch M&E quốc gia và các kế hoạch M&E của các tổ chức đơn lẻ

Có khả năng giải thích cho những người khác về những nội dung của một kế hoạch M&E.

Xây dựng hoặc rà soát một kế hoạch M&E - ở cấp độ quốc gia hoặc cấp độ tổ chức.

Xây dựng một kế hoạch M&E của ngành hoặc địa phương, có liên hệ với kế hoạch M&E quốc gia.

Chương này nhằm mục đích giúp bạn xây dựng, ước tính chi phí, xác định ưu tiên cho kế hoạch công việc M&E và huy động nguồn lực cho nó. Kế hoạch công việc M&E là một kế hoạch hành động bao gồm các hoạt động, trách nhiệm, khung thời gian và chi phí giúp cho mỗi cấu phần trong số 12 cấu phần của hệ thống M&E có thể hoạt động.

Biết nhiều phương pháp ước tính chi phí

Xây dựng một kế hoạch công việc M&E

Ước tính chi phí cho một kế hoạch công việc M&E (bằng phương pháp ước tính chi phí dựa trên hoạt động).

Sử dụng kế hoạch công việc M&E cho các mục đích quản lý.

Mục đích của chương này là giúp bạn có thể lập kế hoạch, xây dựng và quản lý một chiến lược vận động chính sách và trao đổi thông tin cho hệ thống M&E của tổ chức hoặc quốc gia. Mục đích của chiến lược vận động chính sách và trao đổi thông tin là giúp đảm bảo rằng các nhà hoạch định chính sách, các nhà quản lý chương trình, cán bộ chương trình và các bên liên quan khác có kiến thức và cam kết về M&E và hệ thống M&E.

Giải thích sự khác nhau giữa vận động chính sách và trao đổi thông tin.

Biết được lý do tại sao vận động chính sách và trao đổi thông tin về M&E lại quan trọng.

Biết được bằng cách nào mà vận động chính sách và trao đổi thông tin có thể góp phần tạo ra một văn hóa tích cực về M&E trong tổ chức của bạn

Xây dựng và quản lý kế hoạch vận động chính sách và trao đổi thông tin cho hệ thống M&E của quốc gia bạn.

Làm quen với các loại chiến lược và kênh trao đổi thông tin.

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Mục tiêu của chương

Cấu phần 7. Theo dõi thường quy

Chương này nhằm mục đích giúp bạn quản lý các loại dữ liệu theo dõi thường quy khác nhau mà tổ chức của bạn cần thu thập, báo cáo và sử dụng một cách hiệu quả

Cấu phần 8. Khảo sát (điều tra) định kỳ

Giới thiệu Bộ công cụ

Chương này nhằm mục đích giúp bạn quyết định xem bạn có cần tiến hành điều tra/khảo sát để thu thập dữ liệu cần thiết, và thiết kế cũng như triển khai một điều tra có chất lượng tốt, khi cần

Kiến thức và kỹ năng về cấu phần được nhắc đến trong chương a.

Hiểu được các lợi ích của theo dõi thường quy đối với việc diễn giải các kết quả và tác động của chương trình.

Giải thích và thực hiện 6 quy trình quản lý dữ liệu thường quy.

Chú ý đến chất lượng trong mỗi bước quản lý dữ liệu

Biết cách liên kết các nỗ lực quản lý dữ liệu thường quy trong tổ chức của bạn với hệ thống của Bộ hoặc các hệ thống chính khác của tổ chức, và biết cách làm thế nào để lồng ghép các yêu cầu báo cáo quốc gia vào hệ thống theo dõi thường quy trong tổ chức.

Biết cách liên kết dữ liệu theo dõi chương trình và dữ liệu tài chính trong tổ chức của bạn

Thiết kế và xây dựng một hệ thống theo dõi thường quy mới cho tổ chức của bạn

Viết tài liệu hướng dẫn theo dõi thường quy cho tổ chức của bạn

Quyết định xem điều tra/khảo sát có ích đối với loại dữ liệu bạn cần thu thập hay không

Biết được những bước liên quan trong thiết kế và thực hiện điều tra/khảo sát

Thiết kế từng bước của điều tra/khảo sát

Thực hiện điều tra/khảo sát và cố gắng giảm độ chệch càng nhiều càng tốt

Biết được các bước quy trình liên quan đến cỡ mẫu

Chapter 1

Chương

Giới thiệu

Chương Cấu phần 9 Các cơ sở dữ liệu có ích cho các hệ thống M&E

Cấu phần 10. Giám sát hỗ trợ và kiểm định M&E dữ liệu

Mục tiêu của chương Chương này nhằm mục đích giúp bạn nắm được những điểm cơ bản về cách xây dựng một cơ sở dữ liệu điện tử để lưu giữ tất cả các dữ liệu theo dõi và đánh giá của tổ chức. Kiến thức này có thể giúp bạn giám sát quá trình xây dựng cơ sở dữ liệu.

Chương này nhằm mục đích giúp bạn cải thiện chất lượng dữ liệu và xây dựng năng lực cho các cán bộ tham gia M&E, thông qua triển khai các quy trình giám sát hỗ trợ và kiểm định dữ liệu thường quy trong tổ chức của bạn.

Kiến thức và kỹ năng về cấu phần được nhắc đến trong chương a.

Giải thích thuật ngữ và các chức năng của cơ sở dữ liệu

Nhận thức những vấn đề liên quan đến lựa chọn cơ sở dữ liệu và quy trình xây dựng cơ sở dữ liệu

Xây dựng cơ sở dữ liệu cấp quốc gia, địa phương hoặc ngành (chương này có phần hướng dẫn thực hành dành cho các cán bộ kỹ thuật trong nước chịu trách nhiệm thiết kế và triển khai cơ sở dữ liệu, hoặc dành cho các cán bộ quản lý quan tâm đến lĩnh vực này).

Quản lý quy trình xây dựng cơ sở dữ liệu cấp quốc gia, địa phương hoặc ngành (chương này có hướng dẫn thực hành dành cho các cán bộ quản lý hệ thống M&E các cấp).

Nhận thấy sự cần thiết phải thực hiện giám sát hỗ trợ và kiểm định dữ liệu như một phần nội dung của hệ thống

Giải thích sự khác biệt giữa kiểm định dữ liệu và giám sát hỗ trợ.

Phân biệt giữa giám sát M&E và giám sát thực hiện

Xác định tất cả các cấp trong tổ chức cần có giám sát hỗ trợ và kiểm định dữ liệu

Xây dựng tài liệu hướng dẫn về giám sát hỗ trợ và kiểm định dữ liệu

Tiếp cận các nguồn tư liệu trên toàn cầu về giám sát hỗ trợ và kiểm định dữ liệu

Chuẩn bị và lập kế hoạch để theo dõi các quy trình giám sát hỗ trợ/kiểm định dữ liệu

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Mục tiêu của chương

Cấu phần 11. Đánh giá và nghiên cứu

Chương này nhằm mục đích giúp bạn cải thiện chương trình của bạn thông qua tiến hành các đánh giá và nghiên cứu mục tiêu khi cần.

Cấu phần 12. Sử dụng thông tin để cải thiện kết quả

Chương này nhằm mục đích chỉ ra cho bạn cách thức sử dụng thông tin để cải thiện kết quả của tổ chức của bạn. Mục đích là giải thích những chiến lược mà bạn có thể sử dụng để tăng cường mức độ sử dụng và cung cấp thông tin từ các hệ thống M&E cho những người ra quyết định để cải thiện kết quả.

Chapter 1

Chương

Kiến thức và kỹ năng về cấu phần được nhắc đến trong chương a.

Giải thích lý do tại sao đánh giá lại quan trọng và có ích để giúp các chương trình đạt kết quả.

Làm quen với các định nghĩa về đánh giá và nghiên cứu, và các loại hình đánh giá và nghiên cứu

Xây dựng một chiến lược đánh giá và nghiên cứu ở cấp quốc gia

Đảm bảo rằng nghiên cứu và đánh giá được tiến hành theo các quy tắc đạo đức.

Xây dựng và/hoặc cập nhật chương trình quốc gia về nghiên cứu và đánh giá

Quản lý và theo dõi quá trình đánh giá chương trình

Giải thích các khái niệm liên quan đến dữ liệu, thông tin, cách thức ra quyết định và cách phân tích cũng như trình bày dữ liệu.

Phân tích và tổng hợp các dữ liệu thường quy, dữ liệu điều tra/khảo sát, dữ liệu nghiên cứu và đánh giá mà hệ thống M&E tạo ra.

Soạn thảo các báo cáo hiệu quả (các sản phẩm thông tin), bao gồm trình bày thông tin một cách hiệu quả, để giúp các cán bộ quản lý và những người ra quyết định có thể triển khai hành động.

Thực hiện các chiến lược đa dạng và có tính đổi mới để tối đa hóa việc sử dụng thông tin

Mỗi chương bao gồm một số hướng dẫn thực hành, và các quy trình từng bước, với các sản phẩm cụ thể cho mỗi phần của từng cấu phần. Dưới đây là phần liệt kê tất cả các hướng dẫn thực hành.

Cấu phần 1: Cơ cấu và sự phù hợp về mặt tổ chức cho các hệ thống M&E Hướng dẫn thực hành 1.1.

Giới thiệu Bộ công cụ

Làm thế nào để thiết kế một cơ cấu tổ chức M&E phù hợp: Hướng dẫn này mô tả những bước đi lô-gich để thiết kế một cơ cấu tổ chức M&E và khi một đơn vị M&E cần được hợp nhất vào một cơ cấu tổ chức lớn hơn, ví dụ như Bộ Giáo dục. Các nguyên tắc đề cập ở đây có thể sử dụng cho bất kỳ thiết kế tổ chức nào.

Giới thiệu

Cấu phần 2: Nhân lực cho các hệ thống M&E Hướng dẫn thực hành 2.1. Làm thế nào để đánh giá phát triển nhân lực cho hệ thống M&E: Phần này cung cấp các chỉ dẫn theo từng bước về cách tiến hành đánh giá các kỹ năng và năng lực kỹ thuật và quản lý cần phát triển cho một tổ chức, và cho một hệ thống M&E hoạt động tốt. Có ví dụ tham khảo các công cụ và tài liệu hướng dẫn đánh giá. Hướng dẫn thực hành 2.2

Làm thế nào để xây dựng kế hoạch và chiến lược phát triển nhân lực: sau khi tiến hành đánh giá phát triển nhân lực (hoặc ngay khi xác định được các nhu cầu nhân lực), bước tiếp theo là thiết kế các chiến lược thích hợp để giải quyết các nhu cầu nhân lực. Hướng dẫn thực hành này sẽ giải thích cách xây dựng một chiến lược như vậy.

Cấu phần 3: Các quan hệ đối tác M&E Hướng dẫn thực hành 3.1. Làm thế nào để thành lập và quản lý một Nhóm Công tác Kỹ thuật (TWG) quốc gia về M&E: Các nhóm TWG về M&E là các cơ chế đối tác quan trọng và hoạt động của họ thường tác động đến chất lượng của các quan hệ đối tác M&E trong một quốc gia. Do tầm quan trọng của các nhóm này nên Hướng dẫn thực hành 3.1 sẽ cung cấp những thông tin về cách thành lập nhóm. Hướng dẫn thực hành 3.2

Làm thế nào để lập kế hoạch và triển khai một đoàn công tác phối hợp về M&E: Hướng dẫn thực hành này dành cho đại diện của các đối tác phát triển, nhất là những ai không làm việc trực tiếp tại quốc gia triển khai M&E. Hướng dẫn mô tả cách tổ chức và tiến hành một chuyến công tác phối hợp đến quốc gia đó, như một cơ chế để tăng cường sự phối hợp trong hỗ trợ kỹ thuật M&E.

Cấu phần 4: Các kế hoạch M&E Hướng dẫn thực hành 4.1. Làm thế nào để xây dựng hoặc rà soát một kế hoạch M&E quốc gia: Một kế hoạch M&E chính là cuốn công thức nấu ăn cho hệ thống M&E quốc gia. Hướng dẫn thực hành này sẽ cung cấp những chỉ dẫn chi tiết về từng bước xây dựng kế hoạch M&E quốc gia và mô tả những yếu tố nòng cốt phải có trong kế hoạch. Hướng dẫn thực hành 4.2

Làm thế nào để xây dựng kế hoạch M&e cho ngành hoặc địa phương và liên kết với kế hoạch M&E quốc gia: Nếu đã có một kế hoạch M&E cho toàn quốc hoặc một ngành, thì điều quan trọng là phải liên kết kế hoạch M&E của ngành hoặc chính quyền địa phương hoặc dự án đó với kế hoạch M&E quốc gia. Hướng dẫn này giải thích cách thức thực hiện việc này và những gì có thể thực hiện được. Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

Cấu phần 5: Các kế hoạch công việc M&E có ước tính chi phí Hướng dẫn thực hành 5.1. Làm thế nào để xây dựng hoặc cập nhật kế hoạch công việc M&E cho nhiều năm, nhiều cấp hoặc nhiều ngành: Các kế hoạch công việc là cơ sở cho sự phối hợp và hợp tác thực tế giữa các đối tác. Các kế hoạch công việc tạo điều kiện cho chính phủ (hoặc tổ chức đang xây dựng hệ thống M&E) định hướng và kiểm soát kế hoạch M&E và tránh sự lặp lại cũng như những thiếu sót trong các nỗ lực M&E. Hướng dẫn này cũng sẽ chia sẻ kinh nghiệm thực tế của GAMET trong nhiều năm xây dựng các kế hoạch công việc M&E. Hướng dẫn thực hành 5.2

Làm thế nào để ước tính chi phí và huy động nguồn lực cho một kế hoạch công việc M&E: Ngay sau khi xây dựng xong kế hoạch công việc, cần phải ước tính chi phí và huy động nguồn lực cho kế hoạch. Hướng dẫn thực hành này mô tả cách ước tính chi phí và huy động nguồn lực cho các kế hoạch công việc M&E.

Hướng dẫn thực hành 5.3

Làm thế nào để sử dụng kế hoạch công việc cho mục đích quản lý: Chức năng đầu tiên của một kế hoạch công việc là quản lý tất cả mọi hoạt động M&E đã được lên kế hoạch. Hướng dẫn thực hành này giải thích cách sử dụng kế hoạch công việc cho mục đích nói trên.

Cấu phần 6: Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E Hướng dẫn thực hành 6.1.

Làm thế nào để phát triển văn hóa tổ chức và cơ chế lãnh đạo có tính hỗ trợ cho M&E: Hướng dẫn thực hành này gợi ý các cách đánh giá văn hóa và sự sẵn sàng của tổ chức để quản lý theo kết quả, xác định những người đi tiên phong vì M&E và những người phản đối M&E, đồng thời làm cho văn hóa tổ chức trở nên tích cực và có tính hỗ trợ đối với M&E. Điều này sẽ thúc đẩy sự ủng hộ của nhân viên, tăng cường và duy trì hoạt động của hệ thống M&E, gia tăng giá trị và tăng khả năng sử dụng dữ liệu từ hệ thống M&E để lập kế hoạch, quản lý và đạt kết quả hoạt động tốt hơn.

Hướng dẫn thực hành 6.2

Làm thế nào để phát triển và thực hiện chiến lược quốc gia về vận động chính sách và trao đổi thông tin M&E: Các bước để thực hiện cách tiếp cận dựa trên kết quả cho các hoạt động vận động chính sách và trao đổi thông tin liên quan đến M&E bao gồm: tìm hiểu các thách thức trong vận động chính sách và trao đổi thông tin, xác định các mục tiêu và đối tượng đích, xây dựng các thông điệp, cách tiếp cận, kênh trao đổi thông tin, tài liệu thông tin và ngân sách, thực hiện, và sau đó là theo dõi, đánh giá kết quả.

Giới thiệu Bộ công cụ

Giới thiệu

Cấu phần 7: Theo dõi thường quy Hướng dẫn thực hành 7.1.

Thiết kế một hệ thống theo dõi chương trình mới cho các dữ liệu theo dõi thường quy: Hướng dẫn thực hành này giải thích tất cả mọi thủ tục mà bạn cần tuân thủ khi thiết kế một hệ thống theo dõi thường quy mới.

Cấu phần 8: Các điều tra/khảo sát định kỳ Hướng dẫn thực hành 8.1. Làm thế nào để tiến hành một điều tra/khảo sát định kỳ: Hướng dẫn thực hành này mô tả quy trình tiến hành các điều tra/khảo sát có thể cần thiết cho hệ thống M&E trong tổ chức của bạn. Hướng dẫn thực hành 8.2. Làm thế nào để tính toán cỡ mẫu: Quy mô khảo sát cần thiết để đem lại những kết quả đáng tin cậy phụ thuộc vào mục đích khảo sát, mức độ chính xác cần có, mức độ thường gặp của các biến phụ thuộc chính trong đơn vị mẫu, và mức độ biến đổi của các yếu tố được quan tâm. Hướng dẫn thực hành này sẽ dẫn bạn đi qua các bước quyết định và tính toán cần thiết.

Cấu phần 9: Các cơ sở dữ liệu có ích cho các hệ thống M&E Hướng dẫn thực hành 9.1.

Làm thế nào để xây dựng một cơ sở dữ liệu cấp quốc gia, địa phương hoặc ngành: Đây là một hướng dẫn thực hành mang tính kỹ thuật dành cho các nhà phát triển cơ sở dữ liệu. Hướng dẫn này mô tả chi tiết quy trình phát triển một cơ sở dữ liệu tiêu chuẩn.

Hướng dẫn thực hành 9.2.

Làm thế nào để quản lý quá trình xây dựng một cơ sở dữ liệu quốc gia: Hướng dẫn thực hành này bổ trợ cho Hướng dẫn thực hành 9.1. Nó cung cấp thông tin cho người cần quản lý quá trình xây dựng một cơ sở dữ liệu.

Cấu phần 10: Giám sát hỗ trợ và Kiểm định dữ liệu Hướng dẫn thực hành 10.1. Làm thế nào để tiến hành một chuyến công tác giám sát hỗ trợ: Giám sát hỗ trợ có thể cải thiện việc thu thập dữ liệu thường quy và giúp đảm bảo chất lượng, tính đáng tin cậy và sự thường xuyên của dữ liệu thường quy. Hướng dẫn thực hành này cung cấp các chi tiết về cách tiến hành một chuyến công tác giám sát hỗ trợ.

Cấu phần 11: Đánh giá và nghiên cứu Hướng dẫn thực hành 11.1. Làm thế nào để xây dựng một chiến lược quốc gia về nghiên cứu và đánh giá: Nghiên cứu và đánh giá yêu cầu phải có một cách tiếp cận chiến lược. Vì mục đích này nên Hướng dẫn thực hành 11.1 tập trung vào các bước của quy trình xây dựng chiến lược quốc gia về nghiên cứu và đánh giá. 20

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

Hướng dẫn thực hành 11.2. Làm thế nào để xây dựng hoặc cập nhật một chương trình quôc gia về nghiên cứu và đánh giá: Khi đã xây dựng được một chiến lược quốc gia về nghiên cứu và đánh giá, bước tiếp theo là phải xây dựng một chương trình quốc gia về nghiên cứu và đánh giá. Quá trình xây dựng một chương trình như vậy được mô tả trong hướng dẫn thực hành này (thông qua việc đặt ra và trả lời một bộ câu hỏi có xác định ưu tiên về nghiên cứu và đánh giá). Hướng dẫn thực hành 11.3. Làm thế nào để tiến hành đánh giá một chương trình: Hướng dẫn thực hành này cung cấp thông tin kết nối với các phần khác và tư liệu khác mô tả quá trình đánh giá một chương trình (các bước của quá trình đánh giá một chương trình được mô tả trong các tài liệu hướng dẫn khác.)

Cấu phần12: Sử dụng thông tin để cải thiện kết quả Hướng dẫn thực hành 12.1. Làm thế nào để phân tích các dữ liệu định lượng: Hướng dẫn thực hành này cung cấp một tổng quan ngắn gọn về các bước cần thiết để phân tích định lượng (số liệu thống kê mô tả và suy luận), đồng thời cung cấp đường kết nối với các tư liệu trực tuyến có liên quan đến các phương pháp tính toán thực tế. Hướng dẫn thực hành 12.2. Làm thế nào để phân tích các dữ liệu định tính: Hướng dẫn thực hành này khái quát các bước phân tích dữ liệu định tính nhằm đảm bảo tính khách quan và chính xác trong phân tích các dữ liệu không phải là con số. Hướng dẫn thực hành 12.3. Làm thế nào để cải thiện việc trình bày dữ liệu trực quan: Hướng dẫn thực hành này cung cấp một hướng dẫn mang tính thực tế về những gì nên làm và những gì không nên làm khi trình bày dữ liệu trực quan. Đồng thời Hướng dẫn này cũng chỉ ra những gì có thể sai nếu dữ liệu bị trình bày theo cách thức không thích hợp hoặc dễ gây hiểu nhầm.

4. Làm thế nào để sử dụng Bộ công cụ cho mục đích học tập và giảng dạy Các chương và từng cấu phần trong số 12 cấu phần thuộc Bộ công cụ này đều có thể sử dụng được cho mục đích tự học hoặc trong môi trường học tập chính thức, tại các hội thảo, hoặc lớp học có nhiều nhóm học viên. Sử dụng Bộ công cụ cho mục đích tự học: Mỗi chương trong Bộ công cụ đều là một chương độc lập. Do đó, nếu tự học, chúng tôi gợi ý, trước hết bạn nên xác định và chọn ra chương nào có khả năng áp dụng cao nhất đối với các nhu cầu

Giới thiệu Bộ công cụ

Giới thiệu

công việc của bạn. Khi đọc qua các chương, bạn hãy dành thời gian để trả lời các câu hỏi “ôn tập” được lồng rải rác ở từng chương. Có các bài tập ở cuối mỗi chương. Chúng tôi gợi ý, khi đã đọc xong cả chương, bạn hãy hoàn thành các bài tập này để nắm vững nội dung của chương. Bạn có thể truy cập trang web www.worldbank.org/12components để tải phiên bản điện tử của cuốn Đáp án, trong đó có câu trả lời chi tiết cho tất cả các bài tập thực hành kỹ năng và củng cố kiến thức ở từng chương của Bộ công cụ này. Sử dụng Bộ công cụ để đào tạo trong công việc hoặc trước khi nhận việc: Ở đây có một số thông tin có thể có ích khi lập kế hoạch cho một khóa đào tạo, trong đó cuốn sách này có thể được sử dụng làm tư liệu tham khảo trong một môi trường giảng dạy chính thức. Đào tạo nên kéo dài trong bao lâu? Điều quan trọng là phải hiểu được những nhu cầu học tập của học viên, vì đó là cơ sở để xác định trọng tâm và thời gian cho khóa học. Để xác định các nhu cầu học tập của học viên, bạn hãy hỏi xem các hệ thống M&E của họ đang hoạt động như thế nào, có các khó khăn/thách thức nào, hoặc cung cấp cho họ danh mục các chương cùng các mục tiêu học tập và hỏi ý kiến học viên xem, với từng chương họ muốn học và tìm hiểu đến mức độ nào. Một cách làm khác là gửi cho học viên danh mục các Hướng dẫn thực hành và hỏi xem họ muốn tìm hiểu kỹ những Hướng dẫn nào. Bạn cũng có thể lựa chọn các chương cho chương trình xây dựng năng lực dựa trên hiện trạng của hệ thống M&E trong nước (Chương 4 cung cấp nhiều thông tin về cách tiến hành đánh giá hệ thống M&E và đánh giá chính thức về các kỹ năng M&E của các cá nhân sẽ được xây dựng năng lực). Bạn có thể tìm thấy một ví dụ về đánh giá chính thức các kỹ năng M&E tại trang web www.unaids.org (đặt lệnh tìm kiếm “các tiêu chuẩn xây dựng năng lực M&E”). Sau khi đánh giá xong, bạn sẽ có thể xác định các khía cạnh cần củng cố của hệ thống M&E và các kỹ năng cần xây dựng và phát triển. Bộ công cụ này có thể được sử dụng cho các khóa tập huấn về tổng quan 12 cấu phần, trong đó phần trình bày về mỗi chương có thể mất từ 2 tiếng đến 1 ngày. Hoặc bạn cũng có thể trình bày tổng quan về 12 cấu phần, sau đó chú trọng vào một hoặc hai chương thích hợp. Phụ lục C có một ví dụ về chương trình khóa tập huấn dài 4 ngày và phụ lục D có một ví dụ tương tự nhưng với thời gian dài hơn (8 ngày) và chi tiết hơn. Có cần quan tâm đến việc giảng dạy về 12 cấu phần theo trình tự nào không? Trước hết, như đã mô tả ở trên, bạn hãy xác định nên giảng những chương nào. Sau đó, hãy chú trọng vào những chương nào mà kết quả đánh giá nhu cầu đào tạo cho thấy cần phải đào tạo kỹ năng. Nếu giảng về cả 12 cấu phần, điều quan trọng là bạn không nên giảng theo trình tự liên tiếp (nghĩa là lần lượt từ Chương 1 đến Chương 12). Nếu giảng tất cả (hoặc hầu hết) các cấu phần, hãy luôn luôn giảng Cấu phần 4 và Cấu phần 5 cuối cùng, như trong chương trình tập huấn kéo dài 8 ngày được minh họa ở Phụ lục D. Lý do là Cấu phần 4 (các kế hoạch M&E) và Cấu phần 5 (các kế hoạch công việc M&E) yêu cầu học viên phải làm quen với các cấu phần

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

khác trước đó. Vì một kế hoạch M&E mô tả từng cấu phần trong 12 cấu phần (xem Chương 4 để biết thêm chi tiết), nên cách tốt nhất là đến cuối khóa, học viên phải xây dựng một dự thảo kế hoạch M&E dựa trên những gì họ đã học (hoặc đã biết) về từng cấu phần. Luyện tập là một cách thực tế để đảm bảo rằng học viên không chỉ được học kiến thức mà học cả kỹ năng. Đây cũng là lý do giải thích cho Cấu phần 5. Vì cấu phần này trình bày về việc ước tính chi phí cho một kế hoạch công việc M&E, nghĩa là việc phải làm cho mỗi cấu phần trong số 12 cấu phần của kế hoạch công việc M&E (tùy theo các ưu tiên của hệ thống M&E), nên cần phải giảng Cấu phần 5 sau Cấu phần 4; và Cấu phần 4 nên được giảng sau khi học viên đã tìm hiểu và biết cách hoạt động của từng cấu phần trong 12 cấu phần. Lớp học nên có bao nhiêu học viên? Các lớp nhỏ sẽ tốt hơn, vì khi đó bạn có thể chú ý hơn tới từng học viên. Chúng tôi khuyến cáo nên tổ chức các lớp học không quá 20 học viên mỗi lớp. Cách tổ chức lớp học: cách tổ chức theo nhóm có thể tạo ra sự tương tác và môi trường thảo luận tốt hơn, so với cách tổ chức theo kiểu giảng đường hay lớp học vốn không tạo điều kiện thuận lợi cho việc học tập. Cách thức giảng dạy: Cố gắng sử dụng càng nhiều càng tốt các kỹ thuật dạy học cho người lớn có sự tham gia của học viên. Lấn át học viên bằng cách giảng dạy mô phạm (kiểu thuyết trình) sẽ không khuyến khích học viên tự tìm hiểu và khám phá, và do đó khó có thể nắm chắc và nhớ nội dung bài học. Bạn có thể tải thêm các tư liệu bổ sung về 12 cấu phần từ địa chỉ http://gametlibrary.worldbank. org. Đánh giá kết quả học tập của học viên: Việc đem lại cho học viên một cảm giác hoàn thành vào cuối khóa học là điều rất quan trọng. Bạn có thể đánh giá kết quả hoạt động của học viên một cách không chính thức, hoặc trong một đánh giá chính thức. Bạn có thể sử dụng phần Bài tập làm bài đánh giá, bài tập nhóm hoặc bài tập cá nhân. Bạn cũng có thể đánh giá mức độ hiểu của học viên ở cuối mỗi chương bằng cách đề nghị học viên cho biết (hoặc cho họ bài tập để kiểm tra) họ đã nắm được những kiến thức và kỹ năng nào về các cấu phần.

Giới thiệu Bộ công cụ

Giới thiệu

5. Bài tập BÀI TẬP 1: SỬ DỤNG 12 CẤU PHẦN TRONG CÁC TỔ CHỨC KHÁC NHAU 1.1. Có thể sử dụng khái niệm 12 cấu phần để xây dựng một hệ thống M&E quốc gia cho (a) bộ giáo dục; (b) chính quyền địa phương (ví dụ, một thành phố, một vùng, hoặc văn phòng chính quyền tỉnh hay địa phương); và (c) một tổ chức xã hội dân sự hay không? 1.2. Khi sử dụng khung 12 cấu phần có thể gặp phải những thách thức nào?

BÀI TẬP 2: SỬ DỤNG 12 CẤU PHẦN ĐỂ THIẾT KẾ MỘT KẾ HOẠCH M&E VÀ KẾ HOẠCH CÔNG VIỆC M&E 2.1. Làm thế nào để sử dụng khái niệm 12 cấu phần khi thiết kế (a) một kế hoạch M&E của ngành giáo dục, hoặc (b) một kế hoạch M&E để đánh giá tiến bộ về an ninh lương thực? 2.2. Làm thế nào để sử dụng 12 cấu phần để đánh giá tiến độ triển khai một hệ thống M&E?

BÀI TẬP 3: 12 CẤU PHẦN VÀ MÔ TẢ CÔNG VIỆC 3.1. Làm thế nào để sử dụng 12 cấu phần khi xây dựng bản mô tả công việc cho các nhân viên của phòng thống kê y tế quốc gia thuộc Bộ Y tế? 3.2. Hãy gợi ý một bản mô tả sơ lược trách nhiệm công việc cho một cán bộ quản lý của phòng thống kê y tế thuộc Bộ Y tế.

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Cấu phần

Kết quả dài hạn của Cấu phần

1. Cơ cấu và sự phù hợp về mặt tổ chức cho các hệ thống M&E

Các nhân viên trong tổ chức biết rõ về các mục đích chung và các chiến lược mà tổ chức của mình đã chọn để đạt được các mục đích cụ thể, hiểu rõ vai trò của M&E trong việc giúp cho tổ chức đạt được mục đích, đồng thời có động cơ thúc đẩy thực hiện các trách nhiệm M&E của mình, và có khả năng thực hiện các trách nhiệm M&E mà không gặp trở ngại.

•

Có các nhân viên M&E đủ kỹ năng để hoàn thành một cách hiệu quả tất cả các hoạt động đã được xác định trong kế hoạch công việc M&E.

•

2. Nhân lực cho các hệ thống M&E

Kết quả trung hạn của Cấu phần

• • • •

• • • • •

3. Các quan hệ đối tác M&E

Thiết lập và duy trì các quan hệ đối tác trong nội bộ và bên ngoài để tăng cường hệ thống M&E.

• • • •

Giới thiệu Bộ công cụ

Chapter 1

Phụ lục A: Gợi ý Bảng kiểm kết quả cho 12 cấu phần

Mô tả công việc rõ ràng và phù hợp cho các nhân viên M&E Có đủ số lượng các nhân viên M&E có kỹ năng Cơ chế lãnh đạo hiệu quả cho M&E và cam kết đảm bảo hiệu quả hoạt động của hệ thống M&E Động cơ khuyến khích các cá nhân tham gia đảm bảo hoạt động của hệ thống M&E Con đường phát triển sự nghiệp M&E được xác định rõ cho các cán bộ chuyên môn M&E Xác định được tập hợp các kỹ năng cho các cá nhân chịu trách nhiệm về các chức năng M&E Đánh giá nhân lực, bao gồm con đường phát triển sự nghiệp M&E Kế hoạch phát triển nhân lực Giáo trình chuẩn để xây dựng năng lực M&E Các tổ chức đào tạo địa phương và/ hoặc cấp vùng có thể đem lại các khóa tập huấn chất lượng cao về M&E Giám sát, đào tạo trong công việc, và tư vấn trong công việc như các cơ chế xây dựng năng lực liên tục Danh sách tất cả các bên có lợi ích liên quan đến M&E Cơ chế phối hợp và trao đổi thông tin với tất cả các bên có lợi ích liên quan đến M&E Tham gia Nhóm công tác kỹ thuật quốc gia về M&E Cơ chế lãnh đạo trong nước và năng lực để phối hợp các bên có lợi ích liên quan

Giới thiệu

Cấu phần

Kết quả dài hạn của Cấu phần

4. Các kế hoạch M&E

Kế hoạch M&E được xây dựng và cập nhật định kỳ cho tổ chức của bạn. Kế hoạch này đề cập đến: các nhu cầu dữ liệu, các chỉ số quốc gia được chuẩn hóa, các công cụ và thủ tục thu thập dữ liệu, vai trò và trách nhiệm triển khai một hệ thống M&E hoạt động tốt

Kết quả trung hạn của Cấu phần • •

• •

5. Các kế hoạch công việc M&E

Kế hoạch công việc M&E có nhiều đối tác và cho nhiều năm được sử dụng làm cơ sở lập kế hoạch, xác định ưu tiên và ước tính chi phí; huy động các nguồn lực và cung cấp tài chính cho tất cả các hoạt động M&E.

•

• • •

Sự tham gia của tất cả các bên có lợi ích liên quan trong việc xây dựng kế hoạch M&E Kế hoạch M&E đáp ứng được các yêu cầu sau đây: (a) các chỉ số xuất phát từ và kết nối với các mục tiêu chiến lược/ mục tiêu chương trình mà các chỉ số định đo lường; (b) kế hoạch mô tả việc triển khai toàn bộ 12 cấu phần của hệ thống M&E; và (c) gắn kết với các tiêu chuẩn kỹ thuật quốc tế và trong nước về M&E Kế hoạch M&E và các bản sửa đổi của kế hoạch dựa trên các kết quả tìm hiểu đánh giá định kỳ của hệ thống M&E Các kế hoạch M&E cụ thể của ngành, địa phương và các tổ chức có sự kết nối với kế hoạch M&E quốc gia Kế hoạch công việc M&E bao gồm các hoạt động, các bên chịu trách nhiệm thực thi, khung thời gian, các chi phí hoạt động được tính toán dựa trên bảng đơn giá và xác định nguồn vốn Kế hoạch công việc M&E liên kết với các kế hoạch công việc chương trình, cũng như khung chi tiêu trung hạn và ngân sách hàng năm của chính phủ (nếu phù hợp) Các nguồn lực (con người, vật chất và tài chính) được cam kết để thực hiện kế hoạch công việc M&E Tất cả các bên có lợi ích liên quan cam kết thực hiện và đóng góp cho kế hoạch công việc M&E quốc gia Kế hoạch công việc M&E được xây dựng và cập nhật hàng năm, dựa trên theo dõi kết quả hoạt động

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Kết quả dài hạn của Cấu phần

6. Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E

Kiến thức về M&E và cam kết đối với M&E và hệ thống M&E trong các nhà hoạch định chính sách, các cán bộ quản lý chương trình, cán bộ chương trình và các bên liên quan khác.

Kết quả trung hạn của Cấu phần •

• •

7. Theo dõi thường quy

8. Các điều tra/ khảo sát định kỳ

Giới thiệu Bộ công cụ

Dữ liệu thường quy đúng lúc và có chất lượng cao được sử dụng để đánh giá thường quy về tình hình thực hiện chương trình và ra quyết định cũng như triển khai hành động nhằm cải thiện chương trình

Chapter 1

Cấu phần

• •

•

Có các điều tra/khảo sát trả lời các • câu hỏi liên quan, các điều tra/ khảo sát được tiến hành không • có độ chệch, chính xác, được khái quát hóa, thực hiện theo các nguyên tắc đạo đức và tiết kiệm, hoặc các kết quả điều tra/khảo sát • hiện có được sử dụng theo các yêu cầu dữ liệu của chương trình

Kế hoạch vận động chính sách và trao đổi thông tin M&E là một phần trong chiến lược trao đổi thông tin quốc gia (nếu có). Kế hoạch này cần xác định mục tiêu cho các nỗ lực vận động chính sách và trao đổi thông tin, đối tượng đích, các thông điệp chính cần trao đổi/phổ biến, và các kênh vận động chính sách và trao đổi thông tin M&E được phản ánh trong quá trình lập kế hoạch và các chính sách của chương trình được theo dõi giám sát Có nhiều “chiến sĩ” M&E trong số các quan chức cấp cao, những người ủng hộ các hoạt động M&E. Một chiến sĩ M&E là một cán bộ cấp cao có quyền ra quyết định hoặc cá nhân có ảnh hưởng, và có quan điểm tích cực về các giá trị và hiểu rõ các lợi ích của việc sử dụng thông tin để ra quyết định. Một chiến sĩ M&E sẽ nói, hành động và viết thay mặt những ai chịu trách nhiệm quản lý M&E của một chương trình nhằm thúc đẩy, bảo vệ và khuyến khích tạo ra một hệ thống M&E hoạt động tốt Các hoạt động vận động chính sách về M&E có đối tượng đích, có cấu trúc chặt chẽ và có kế hoạch trước Các tài liệu M&E dành cho các đối tượng khác nhau để trao đổi các thông điệp M&E chính được xác định trong kế hoạch vận động chính sách và trao đổi thông tin M&E Các mẫu biểu theo dõi thường quy, dòng dữ liệu và sổ tay hướng dẫn Các quy trình quản lý dữ liệu đã xác định đối với các dữ liệu thường quy (nguồn dữ liệu, thu thập, tổng hợp, phân tích, báo cáo và sử dụng) Các thủ tục thường quy để chuyển giao dữ liệu từ cấp địa phương lên cấp quốc gia Kiểm kê các khảo sát liên quan đã thực hiện Kế hoạch cụ thể cho các khảo sát tương lai (có thể do tổ chức tự tiến hành hoặc khảo sát mà tổ chức có thể rút ra dữ liệu từ đó) Quy trình thủ tục cho tất cả các khảo sát dựa trên tiêu chuẩn quốc tế hoặc quốc gia (nếu có)

Giới thiệu

Cấu phần

Kết quả dài hạn của Cấu phần

9. Các cơ sở dữ liệu có ích cho các hệ thống M&E

Các cơ sở dữ liệu được xây dựng và duy trì và tạo điều kiện cho các bên có lợi ích liên quan tiếp cận các dữ liệu thích hợp để xây dựng chính sách, quản lý và cải thiện các chương trình

Kết quả trung hạn của Cấu phần • •

•

10. Giám sát hỗ trợ và kiểm định dữ liệu

Chất lượng dữ liệu (hợp lệ, đáng tin cậy, toàn diện và kịp thời) và sự triệt để của tất cả 6 quy trình quản lý dữ liệu được kiểm chứng định kỳ từ bên ngoài, và nhiều hoạt động được triển khai để giải quyết các trở ngại đối với việc tạo ra dữ liệu chất lượng cao.

• • • • •

11. Đánh giá và nghiên cứu

Các kết quả nghiên cứu và đánh giá được sử dụng để cung cấp thông tin cho hoạt động chính sách lập chương trình, nghiên cứu và lựa chọn các can thiệp

• • • • • • • •

Yêu cầu về (các) cơ sở dữ liệu đáp ứng các nhu cầu ra quyết định và báo cáo của các bên liên quan (Các) cơ sở dữ liệu được xác định và quản lý tốt để thu thập, kiểm chứng, làm sạch, phân tích và trình bày các dữ liệu theo dõi chương trình ở tất cả các cấp độ và các ngành Các liên kết, nếu có thể, giữa nhiều cơ sở dữ liệu liên quan để đảm bảo sự thống nhất và tránh trùng lặp Các tài liệu hướng dẫn về giám sát hỗ trợ được xây dựng Các quy trình kiểm định dữ liệu được tuân thủ Tiến hành các chuyến công tác giám sát hỗ trợ, bao gồm cả đánh giá dữ liệu và phản hồi Các chuyến công tác kiểm định dữ liệu được tiến hành định kỳ Soạn thảo các báo cáo giám sát và báo cáo kiểm định dữ liệu Kiểm kê các đánh giá và nghiên cứu chương trình đã hoàn thành hoặc đang triển khai Kiểm kê năng lực nghiên cứu chương trình của địa phương, bao gồm các tổ chức nghiên cứu lớn và lĩnh vực hoạt động của họ Chương trình nghiên cứu và đánh giá Có các thủ tục và tiêu chuẩn phê duyệt theo nguyên tắc đạo đức Các tài liệu hướng dẫn về chuẩn mực nghiên cứu và đánh giá Các kết quả nghiên cứu và đánh giá chương trình được phổ biến và thảo luận Bằng chứng về việc sử dụng các kết quả nghiên cứu/đánh giá (ví dụ, kết quả nghiên cứu được đề cập đến trong các tài liệu quy hoạch)

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Kết quả dài hạn của Cấu phần

12. Sử dụng thông tin để cải thiện kết quả

Các bên liên quan tham gia chương trình đã học hỏi được từ những dữ liệu được trình bày, thu nhận được kiến thức về chương trình, và nhờ đó có thể đưa ra các quyết định tốt hơn về cách thực hiện các kết quả của chương trình

Kết quả trung hạn của Cấu phần • • • • •

Giới thiệu Bộ công cụ

Chapter 1

Cấu phần

Phân tích các nhu cầu và người sử dụng thông tin Các biểu mẫu chuẩn để báo cáo và bảng tính Lịch biểu báo cáo Các sản phẩm thông tin được điều chỉnh cụ thể cho các đối tượng sử dụng dụng khác nhau Bằng chứng về việc sử dụng thông tin (ví dụ như các quyết định cải tiến dựa trên thông tin, các chương trình đã được cải thiện, v.v.)

Giới thiệu

Phụ lục B: Tóm tắt “10 bước hướng đến một hệ thống theo dõi và đánh giá dựa trên kết quả” Mười bước hướng đến một hệ thống Theo dõi và Đánh giá dựa trên kết quả Jody Zall Kusek5 Ngân hàng Thế giới Washington, DC Ray C. Rist6 Cố vấn Washington, DC

Tóm tắt Một nhà nước hiệu quả là điều thiết yếu để đạt được sự phát triển kinh tế xã hội bền vững. Cùng với sự toàn cầu hóa, các chính phủ và tổ chức trên khắp thế giới cũng phải chịu những áp lực lớn để đáp ứng tốt hơn những yêu cầu từ các bên có lợi ích liên quan trong nội bộ và bên ngoài về quản trị tốt, trách nhiệm giải trình, sự minh bạch, tăng cường hiệu quả phát triển, minh bạch và chuyển giao các kết quả hữu hình. Chính phủ, quốc hội, các công dân, khu vực tư nhân, tổ chức phi chính phủ, xã hội dân sự, các tổ chức quốc tế và nhà tài trợ nằm trong số những bên có lợi ích liên quan và quan tâm đến việc đảm bảo rằng các nguồn vốn được sử dụng nhằm đạt được các kết quả mong muốn. Khi các yêu cầu về trách nhiệm giải trình gia tăng, chúng sẽ đi kèm với sự cần thiết phải tăng cường theo dõi và đánh giá các chính sách, chương trình và dự án dựa trên kết quả. Theo dõi và đánh giá (M&E) là một công cụ quản lý công có sức mạnh, có thể được sử dụng để cải thiện cách thức thực hiện kết quả của các chính phủ và tổ chức. Các chính phủ cần có những hệ thống phản hồi tốt về kết quả hoạt động, cũng như họ cần đến các hệ thống tài chính, nhân lực và kiểm toán. Trong vài năm qua, lĩnh vực theo dõi và đánh giá đã có sự tiến triển, bao gồm việc từ bỏ các cách tiếp cận truyền thống dựa trên thực hiện và hướng tới các cách tiếp cận mới dựa trên kết quả. Cách tiếp cận dựa trên kết quả giúp trả lời những câu hỏi kiểu “như vậy thì sao”. Nói cách khác, các chính phủ và tổ chức có thể thực hiện thành công các chương trình hoặc chính sách nhưng liệu họ đã tạo ra được một kết quả thực sự như dự kiến chưa? Các chính phủ và tổ chức đã thực hiện lời hứa của mình với các bên liên quan chưa? Ví dụ như, với các chương trình y tế, sẽ là không đủ nếu chỉ giả định rằng việc thực hiện thành công cũng tương đương với các cải thiện thực sự trong y tế công cộng. Mỗi chính phủ hay tổ chức đều phải tìm hiểu xem họ đã đạt được các kết quả và tác động dài hạn chưa. Việc xuất hiện hệ thống M&E dựa vào kết quả giúp những người ra quyết định tiến thêm một bước nữa trong việc đánh giá các câu 5 Các quan điểm được bày tỏ ở đây chỉ là của riêng tác giả và không có nghĩa là có sự thông qua của Ngân hàng Thế giới. 6 Ray C. Rist là một cố vấn độc lập cho nhiều chính phủ và tổ chức trên khắp thế giới. 30

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

hỏi như đã đạt được mục tiêu chưa và mục tiêu được thực hiện như thế nào. Những hệ thống này giúp trả lời tất cả những câu hỏi quan trọng kiểu như vậy thì sao, và đáp ứng các yêu cầu về kết quả ngày càng nhiều của các bên liên quan. Phụ lục này tóm tắt cuốn sách Mười bước hướng đến một hệ thống theo dõi và đánh giá dựa vào kết quả của Jody Zall Kusek và Ray C. Rist. Cuốn sách này được xuất bản năm 2004, hiện đã được in đến lần thứ tư và được dịch ra 6 thứ tiếng. Cuốn sách đang được sử dụng trong các văn phòng chính phủ, các tổ chức phi chính phủ và trường đại học trên khắp thế giới nhằm giới thiệu khái niệm và các nguyên tắc theo dõi và đánh giá dựa vào kết quả. Chúng tôi, các tác giả, đã đồng ý tóm tắt các nội dung của cuốn sách để hỗ trợ cho việc giới thiệu 12 cấu phần trong cuốn Triển khai các hệ thống M&E. Mô hình 10 bước giải quyết câu hỏi làm thế nào mà các chính phủ nói chung và các chính phủ ở các nước đang phát triển nói riêng có thể bắt đầu xây dựng các hệ thống theo dõi và đánh giá dựa vào kết quả để cung cấp thông tin đáng tin cậy và đáng giá cho chính phủ tự sử dụng, đồng thời chia sẻ với người dân. Thực tế là để tạo ra một hệ thống theo dõi, đánh giá và báo cáo về kết quả hoạt động của chính phủ không phải là một việc dễ dàng, dù đó là một hệ thống thô sơ và trong bối cảnh có những điều kiện tốt nhất. Các trở ngại đối với các nước đang phát triển thậm chí còn lớn hơn, kể cả khi họ đã có kinh nghiệm xây dựng các hệ thống M&E truyền thống. Các hệ thống kiểu truyền thống thường được sử dụng để đánh giá tiến độ và theo dõi việc thực hiện các dự án, chương trình và chính sách của chính phủ. Cũng cần phải nhận thức rằng, việc các chính phủ tự theo dõi và đánh giá kết quả hoạt động của mình không phải là một hiện tượng mới. Vì vậy, về mặt lý thuyết, cần phân biệt rõ giữa M&E theo kiểu truyền thống và M&E dựa vào kết quả. M&E theo kiểu truyền thống tập trung vào theo dõi và đánh giá các đầu vào, hoạt động và đầu ra, nghĩa là việc thực hiện dự án hoặc chương trình. Các chính phủ đã và đang theo dõi các nguồn thu – chi, mức độ cán bộ và nguồn lực, các hoạt động chương trình và dự án, số lượng người tham gia, các hàng hóa và dịch vụ được sản xuất và cung cấp, v.v. Thực ra, các nỗ lực M&E theo kiểu truyền thống đã trở thành một chức năng của nhiều chính phủ trong nhiều thập kỷ hoặc hơn. Trên thực tế, có những bằng chứng cho thấy rằng người Ai Cập cổ đại (3000 năm trước Công nguyên) đã thường xuyên áp dụng hình thức theo dõi theo kiểu truyền thống để giám sát các đầu ra của chính phủ như sản lượng ngũ cốc và chăn nuôi (Bảo tàng Ai Cập tại Cairo, Ai Cập). Tuy nhiên, M&E dựa trên kết quả là sự kết hợp giữa cách tiếp cận theo truyền thống (để thực hiện việc theo dõi giám sát) với việc đánh giá kết quả (Mayne và Zapico- Goni, 1999.) Đây là sự kết nối giữa tiến độ thực hiện với tiến độ đạt được các mục tiêu hay mục đích (kết quả) mong muốn trong các chính sách và chương trình của chính phủ, và điều này làm cho M&E dựa vào kết quả trở thành công cụ có ích nhất cho quản lý công. Việc triển khai loại hình hệ thống M&E này sẽ cho phép một tổ chức có thể sửa đổi và điều chỉnh các lý thuyết thay đổi và mô hình lô-gich cũng như các quy trình thực hiện của mình để hỗ trợ trực tiếp hơn cho việc đạt được các mục tiêu và kết quả tác động mong muốn.

Giới thiệu Bộ công cụ

Giới thiệu

Tại sao phải xây dựng một hệ thống M&E dựa vào kết quả? Một hệ thống M&E dựa vào kết quả có thể giúp các nhà hoạch định chính sách trả lời các câu hỏi căn bản như chính phủ đã thực hiện cam kết chưa và đã đạt được các kết quả tác động chưa. Nếu như các chính phủ cam kết đạt được những cải thiện trong các lĩnh vực chính sách như chăm sóc sức khỏe hay giáo dục, thì cần có một phương tiện nào đó để chứng minh rằng sự cải thiện đã diễn ra (hoặc chưa diễn ra), nghĩa là cần có thước đo. Nhưng vấn đề không chỉ là thước đo, mà nói chung, còn cần phải ghi chép và chứng minh cho các bên liên quan thấy kết quả hoạt động của chính phủ, và sử dụng các thông tin về kết quả hoạt động để tiếp tục cải tiến. Như Binnendijk (1999:3) đã quan sát: một công dụng chính là đảm bảo báo cáo một cách minh bạch về tác động và kết quả đạt được cho các bên có lợi ích liên quan ở bên ngoài. Trong nhiều trường hợp, việc báo cáo này là yêu cầu bắt buộc theo các quy định áp dụng cho toàn bộ chính phủ. Ngoài ra, việc báo cáo như vậy cũng có thể có ích khi cạnh tranh về nguồn vốn vì nó có thể thuyết phục công chúng hay nhánh lập pháp vốn đa nghi rằng các chương trình của cơ quan/tổ chức thực sự tạo ra kết quả lớn và đem lại giá trị đồng tiền. Các báo cáo kết quả hoạt động thường niên thường hướng tới các đối tượng như các vị bộ trưởng, quốc hội, các bên có lợi ích liên quan, khách hàng, và công chúng nói chung. Thông tin về kết quả hoặc kết quả hoạt động cũng cần được sử dụng cho các mục tiêu nội bộ, ví dụ như quá trình ra quyết định quản lý và xác định các lĩnh vực cần cải thiện. Để làm được như vậy, thông tin về kết quả cần được lồng ghép vào các hệ thống và quy trình quản lý chính của tổ chức; ví dụ như các quy trình xây dựng chính sách, quản lý và lập kế hoạch dự án/chương trình và phân bổ ngân sách.

Nếu thông tin về kết quả là chìa khóa thì nó xuất phát từ đâu? Trước hết, thông tin về kết quả đến từ hai nguồn – hệ thống theo dõi và hệ thống đánh giá. Cả hai hệ thống này đều cần thiết nhưng chúng không giống nhau. Sự khác nhau giữa theo dõi và đánh giá sẽ được trình bày ở dưới trong phần khái niệm cũng như thực hành. Theo dõi có thể được xem như một quá trình định kỳ để đo lường tiến độ thực hiện các kết quả cụ thể trong ngắn hạn, trung hạn và dài hạn. Quá trình này cũng có thể cung cấp cho các cấp ra quyết định những thông tin phản hồi về tiến độ đạt được (hoặc không đạt được), và họ có thể sử dụng thông tin này theo nhiều cách khác nhau nhằm cải thiện hiệu quả của chính phủ. Theo dõi bao gồm việc đo lường – và yếu tố cần được đo lường chính là tiến độ thực hiện một mục tiêu hay kết quả tác động (kết quả). Tuy nhiên, không thể trực tiếp đo lường kết quả tác động, mà trước hết phải chuyển đổi kết quả tác động thành một bộ chỉ số và khi đo lường thường xuyên các chỉ số này, ta sẽ có những thông tin cho biết, liệu kết quả tác động có đang được thực hiện hay không. Ví dụ như: Nếu quốc gia X lựa chọn một kết quả tác động là cải thiện sức khỏe của trẻ em thông qua giảm 30% tỷ lệ bệnh tiêu chảy ở trẻ em trong vòng 5 năm

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

tới, thì quốc gia này sẽ phải xác định một bộ chỉ số để chuyển đổi tỷ lệ mắc bệnh ở trẻ em thành các thước đo cụ thể hơn. Các chỉ số có thể giúp đánh giá những thay đổi về tỷ lệ mắc bệnh ở trẻ em, bao gồm: 1) điều kiện tiếp cận nước sạch; 2) trình độ học vấn của người mẹ; và 3) mức độ trẻ em được tiếp cận các cơ sở trạm xá. Việc đo lường một bộ chỉ số tách riêng sẽ cung cấp thông tin về mức độ hiệu quả trong các chương trình và chính sách của chính phủ và cho biết liệu các chính sách có hiệu quả để hỗ trợ kết quả tác động chung hay không. Hiểu tầm quan trọng của thông tin về việc liệu chính phủ có giữ đúng các cam kết hoặc thực hiện được các kết quả quan trọng đối với nhiều người sử dụng, là nguyên nhân chính và nguyên nhân đầu tiên để xây dựng một hệ thống theo dõi giám sát. Trong nhiều xã hội, những đối tượng sử dụng chính thường bị tách rời khỏi dòng thông tin gồm có các công dân, các nhóm phi chính phủ, và khu vực tư nhân, mặc dù dữ liệu theo dõi giám sát có cả công dụng nội bộ (cho chính phủ) và bên ngoài (cho xã hội). Điều quan trọng cần nhấn mạnh là thông tin thu được từ một hệ thống theo dõi giám sát chỉ tiết lộ thông tin về những gì đang được đo lường/đánh giá tại thời điểm đó, mặc dù có thể so sánh với kết quả hoạt động trong quá khứ và mức đặt kế hoạch hiện tại hoặc kết quả hoạt động dự kiến. Dữ liệu theo dõi giám sát không tiết lộ lý do tại sao mức kết quả hoạt động lại như vậy và cũng không cho biết nguyên nhân có khả năng thay đổi kết quả hoạt động từ kỳ báo cáo này sang kỳ báo cáo khác. Thông tin này chỉ có thể có được từ hệ thống đánh giá. Một hệ thống đánh giá có chức năng bổ trợ cho theo dõi giám sát, nhưng khác biệt hẳn với theo dõi giám sát trong phạm vi khung quản lý kết quả. Xây dựng một hệ thống đánh giá sẽ cho phép nghiên cứu sâu sắc hơn về lý do tại sao đạt được, hoặc không đạt được, kết quả (gồm kết quả trước mắt và tác động dài hạn). Hệ thống đánh giá có thể dựa trên những nguồn dữ liệu khác, ngoài các chỉ số hiện có; có thể giải quyết những yếu tố quá khó khăn hay tốn kém nếu muốn theo dõi giám sát liên tục, và, có lẽ quan trọng nhất, có thể giải quyết vấn đề tại sao những xu hướng đang được theo dõi với các dữ liệu giám sát lại dịch chuyển theo hướng như vậy, và sự dịch chuyển đó diễn ra như thế nào. Dữ liệu về tác động và sự quy kết nguyên nhân không bị coi nhẹ, và có thể đóng một vai trò quan trọng trong một tổ chức khi thực hiện phân bổ các nguồn lực chiến lược. So với các báo cáo theo dõi thường quy về hiệu quả hoạt động, đánh giá có thể giải quyết tốt hơn một số khía cạnh liên quan đến hiệu quả hoạt động, chẳng hạn như tác động dài hạn, yếu tố ảnh hưởng, hiệu quả chi phí và tính bền vững. Một điểm nữa là một hệ thống M&E có thể được thiết kế cho nhiều cấp độ và có thể áp dụng cho nhiều cấp độ, ví dụ như cấp dự án, cấp chương trình, cấp ngành và cấp quốc gia. Các chỉ số cụ thể có thể khác nhau (ví dụ như chỉ số về nhu cầu thông tin của các bên liên quan ở mỗi cấp độ khác nhau sẽ khác nhau), sự phức tạp trong thu thập dữ liệu cũng sẽ khác nhau, sự nhạy cảm chính trị đối với việc thu thập dữ liệu có thể thay đổi, và việc sử dụng thông tin có thể khác nhau ở từng cấp độ. Nhưng, tựu trung lại, đây là việc tạo ra một hệ thống được gắn kết từ cấp độ này qua cấp độ khác, và đó là điều quan trọng nhất bởi vì theo cách này dòng thông tin có thể lên xuống trong một hệ thống chính phủ, chứ không chỉ được thu thập, lưu giữ và sử dụng ở một cấp duy nhất và không bao giờ được chia sẻ giữa các cấp độ. Ngăn chặn việc không chia sẻ thông tin giúp đảm bảo rằng mối liên kết giữa các chính sách, chương trình và dự án không bị đứt Giới thiệu Bộ công cụ

Giới thiệu

quãng và thiếu sự phối hợp. Ở mỗi cấp độ, thông tin về hiệu quả hoạt động đều cần thiết và do đó, cần có các phương tiện để thu thập thông tin đó. Một mặt, các cấp độ có những yêu cầu khác nhau cần được hiểu và tôn trọng, mặt khác, việc tạo ra một hệ thống M&E đòi hỏi sự phụ thuộc lẫn nhau, sự gắn kết và phối hợp giữa tất cả các cấp. Thông thường các hệ thống thống kê ở các nước phát triển có thể cung cấp số liệu chính xác về số trẻ em ở nông thôn, số lượng các trường hợp cúm lợn mới trong 12 tháng gần nhất, hoặc số người trưởng thành bị khuyết tật. Tuy nhiên, ở các nước đang phát triển, những thông tin như vậy không chắc đã có và nếu có thì mức độ chính xác cũng rất khác nhau. Hơn nữa, nhiều nước đang phát triển thiếu cơ sở kỹ năng trong các cơ quan chính phủ để làm cho điều này trở nên khả thi. Một trở ngại đáng kể là chắc chắn chỉ có một vài nước đang phát triển có lực lượng lao động đủ năng lực để phát triển, hỗ trợ và duy trì các hệ thống này. Thông thường, chỉ có một vài quan chức chính phủ được đào tạo về các phương pháp thu thập dữ liệu và theo dõi giám sát hiện đại. Số quan chức được đào tạo về cách giải thích các phương thức phân tích dữ liệu thậm chí còn ít hơn. Thách thức đối với các cơ quan phát triển, các tổ chức phi chính phủ quốc tế quan tâm đến các vấn đề quản trị nhà nước, và cũng là thách thức cho các trường đại học và viện nghiên cứu trong nước, đó là phải cung cấp được những hỗ trợ kỹ thuật và đào tạo cần thiết; thích ứng với sự luân chuyển nhanh chóng của nhân viên, các ưu tiên cạnh tranh, và sự cần thiết phải xây dựng lại sự ủng hộ và cam kết chính trị mỗi khi một chính quyền chính trị mới lên nắm quyền. Thách thức này đã được lưu ý đặc biệt tại nhiều nước trong số các nước mắc nợ nặng nề nhất, đây là các nước mà việc đi vay từ cộng đồng quốc tế có ý nghĩa quyết định và sau đó, giãn nợ là điều cốt yếu. Ngân hàng Thế giới và Quỹ tiền tệ quốc tế (IMF) cho phép giãn nợ nếu các nước này có thể chứng minh một cam kết cải cách nghiêm túc, đặc biệt là cải cách nhằm thúc đẩy xoá đói giảm nghèo theo chiến lược phát triển quốc gia. Thách thức thứ hai đối với các nước đang phát triển, đó là bản thân các chính phủ thường chỉ có sự liên kết lỏng lẻo, thiếu văn hóa quản lý hành chính vững mạnh, và hoạt động thiếu kỷ cương tài chính minh bạch. Điều này đã dẫn đến việc chính phủ không chắc chắn về mức phân bổ nguồn lực thực tế, và không biết liệu việc phân bổ nguồn lực có được thực hiện như dự kiến và đến đúng nơi cần thiết hay không, và có được sử dụng như dự kiến để đạt được kết quả mong muốn hay không. Trong một môi trường như vậy, điều tốt nhất có thể làm, đó là đo lường/đánh giá một cách áng chừng xem chính phủ đã đạt được kết quả mong muốn hay chưa. Ở một số nước, quy trình ngân sách là quy trình mà việc phê duyệt ngân sách chính thức theo luật không xảy ra cho đến khi đã đến giữa, hoặc thậm chí gần cuối năm ngân sách. Do đó, các cơ quan có thể chi tiêu vào năm ngân sách mà chưa có một ngân sách được phê duyệt thực tế. Điều này khiến cho việc áp dụng kỷ luật tài khóa trở nên rất khó khăn, và xuất hiện sự lo ngại liệu các chương trình có đạt được kết quả dự định hay không. Thứ ba, và dựa trên trên hai trở ngại đã ghi nhận ở trên, việc xây dựng một hệ thống dựa trên kết quả sẽ gặp cản trở khi không có phương tiện để liên kết các kết 34

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

quả đạt được với một khung hoặc chiến lược chi tiêu công. Việc giữ thông tin về kết quả tách biệt khỏi quy trình phân bổ nguồn lực khiến cho các quyết định phân bổ ngân sách không xem xét những kết quả đạt được trong quá khứ của các cơ quan chủ quản. Việc liên kết quy trình ngân sách với kiến thức từ hệ thống M&E sẽ giúp triển khai quy trình phân bổ trong đó gắn kết các nguồn lực với các mục tiêu và chỉ tiêu chiến lược. Nếu không có mối liên kết như vậy, thì quy trình ngân sách có thể có nguy cơ hỗ trợ các thất bại của các dự án và chương trình cũng dễ dàng như khi cung cấp tài chính cho các dự án và chương trình thành công.

Quay lại từ đầu – Điều quan trọng nhất phải được giải quyết trước Trong phần cuối cùng của chương này, chúng ta quay trở lại điểm bắt đầu của quá trình xây dựng một hệ thống M&E bằng cách tiến hành đánh giá mức độ sẵn sàng. Bước đầu tiên này thường bị các nhà thiết kế hệ thống bỏ qua, trong khi chúng tôi tin rằng, bước này xứng đáng được nhấn mạnh đặc biệt ở đây. Hiểu được tính chất phức tạp và tinh tế trong bối cảnh của quốc gia hoặc ngành là điều cốt yếu quyết định sự thành bại cuối cùng khi giới thiệu và sử dụng một hệ thống M&E (xem Kusek và Rist, 2001). Hơn nữa, nhu cầu của người sử dụng cuối cùng thường chỉ được những người đã sẵn sàng bắt đầu quá trình xây dựng hệ thống hiểu được phần nào. Đối với tất cả những ý định tốt nhằm tăng cường việc sử dụng thông tin M&E trong khu vực công, theo quan sát của chúng tôi, các yếu tố tổ chức, chính trị và văn hóa rất ít khi được chú ý đến. Câu hỏi đặt ra là “Tại sao?” Câu trả lời là người ta chưa chú ý đầy đủ đến việc tìm hiểu ảnh hưởng của các yếu tố này đến việc liệu quốc gia đó đã sẵn sàng cam kết để đo lường/đánh giá hiệu quả hoạt động của các chương trình và chính sách của chính phủ hay chưa. Vì vậy chúng tôi tin rằng, bước đầu tiên trong thiết kế một hệ thống M&E dựa trên kết quả phải là xác định mức độ sẵn sàng của chính phủ để thiết kế và sử dụng một hệ thống như vậy. Nếu ai đã từng một lần đọc qua các tư liệu về xây dựng một hệ thống như vậy, thì bất kể số lượng các bước là bao nhiêu, nhưng một lần nữa, giả định đưa ra là, giống như một vận động viên sẵn sàng để bắt đầu một cuộc đua, nhà thiết kế tiến tới vạch xuất phát, và sau đó bắt tay vào xây dựng hệ thống khi nghe thấy tiếng súng báo hiệu.

Tại sao việc bắt đầu bằng một đánh giá mức độ sẵn sàng lại quan trọng như vậy?7 Kinh nghiệm của chúng tôi về tiến hành đánh giá mức độ sẵn sàng trước khi hỗ trợ việc xây dựng một hệ thống M&E chỉ ra một thực tế căn bản, đó là: tiến hành đánh giá mức độ sẵn sàng giống như xây móng cho một tòa nhà. Mặc dù nằm dưới mặt đất và không được người ta nhìn thấy, nhưng móng nhà rất quan trọng. Đánh giá mức độ sẵn sàng cho phép những người xây dựng một hệ thống M&E đánh giá một loạt các yếu tố bối cảnh trước khi bắt đầu công việc thiết kế. Các tư liệu đã xuất bản trong lĩnh vực này tương đối ít, nhưng một số nguồn 7 Thuật ngữ “đánh giá mức độ sẵn sàng” được cố ý sử dụng trái ngược với thuật ngữ “đánh giá nhu cầu”. Chúng tôi cho rằng, đây không còn là câu hỏi liệu một chính phủ có nên thu thập và báo cáo thông tin về kết quả hoạt động của mình (tức là, liệu chính phủ có cần đến những thông tin như vậy không), mà thay vào đó, câu hỏi hiện nay là khi nào thì chính phủ có đủ năng lực thể chế và ý chí chính trị để làm như vậy (nghĩa là chính phủ đã sẵn sàng để triển khai một hệ thống như vậy chưa?). Giới thiệu Bộ công cụ

Giới thiệu

thông tin chủ chốt hiện có đã nhấn mạnh tầm quan trọng của nghiên cứu năng lực hiện tại của tổ chức trong việc thiết kế một hệ thống M&E (Boyle và Lemaire, 1999; Guerrero, 1999; và Mayne, 1997). Cũng trong lĩnh vực này đã có một số hướng dẫn chẩn đoán hoặc bảng kiểm liên quan đến việc xây dựng một chiến lược phát triển năng lực đánh giá (Mackay, 1999). Những hướng dẫn và bảng kiểm này thường mang tính kỹ thuật vì phải cung cấp thông tin về chất lượng và số lượng các dữ liệu thống kê hiện có, thông tin về năng lực phân tích và báo cáo dữ liệu, và thông tin về năng lực của chính phủ để tạo ra các thủ tục thu thập dữ liệu mới . Những hướng dẫn này có xu hướng tập trung vào bản chất của khía cạnh cung trong cung cấp thông tin, dữ liệu hơn là khía cạnh cầu. Đánh giá năng lực bên cung là một phần hoạt động cần thiết của quá trình thiết kế, nhưng như vậy chưa đủ. Câu hỏi chính mà chúng tôi không ngừng nhấn mạnh về vấn đề này là “Tại sao trước tiên phải thu thập thông tin?”8 Cung cấp thông tin phải là một phản ứng đối với nhu cầu, chứ không phải là điểm kết thúc. Do đó, nhu cầu về thông tin để theo dõi và đánh giá chính sách và các chương trình công sẽ xuất hiện với vai trò là câu trả lời cho câu hỏi, liệu các kết quả và tác động mong muốn có được thực hiện không. Xây dựng một hệ thống M&E để cung cấp các thông tin đó chính là một sự kiện chính trị sâu sắc. Đây không chỉ đơn giản là một tập hợp các quy trình kỹ thuật. Một số yếu tố khác cũng phải được nghiên cứu khi xây dựng nền tảng cho một hệ thống M&E bền vững. Từ kinh nghiệm của chúng tôi, việc giải quyết bảy câu hỏi dưới đây có vai trò cốt yếu để đảm bảo rằng các phương diện tổ chức, chính trị, và xã hội được giải quyết trực tiếp trước khi bắt đầu xây dựng hệ thống M&E.

Điều gì thúc đẩy nhu cầu xây dựng một hệ thống theo dõi và đánh giá trong khu vực công? Ở đâu và tại sao xuất hiện nhu cầu về một hệ thống như vậy là những yếu tố thiết yếu để tạo ra một hệ thống thành công và bền vững. Có những áp lực chính trị và nội bộ tổ chức, cũng như các yếu tố tiềm ẩn bên ngoài, đòi hỏi phải xây dựng một hệ thống M&E được thừa nhận và giải quyết nếu phản ứng này phù hợp với nhu cầu. Nhu cầu nội bộ có thể xuất phát từ những nỗ lực thúc đẩy cải cách trong khu vực công, ví dụ như chống tham nhũng, tăng cường vai trò của quốc hội, và mở rộng quyền hạn của Tổng Kiểm toán. Nhu cầu này cũng có thể xuất phát từ trong nội bộ các đảng chính trị đối lập với chính phủ đang cầm quyền. Áp lực từ cộng đồng viện trợ quốc tế vốn luôn luôn nhấn mạnh đến việc theo dõi chặt chẽ hơn những hậu quả và tác động của các can thiệp phát triển, cũng có thể làm cho nhu cầu này cấp thiết hơn. Nhu cầu cũng có thể xuất phát 8 Chúng tôi cũng trình bày vấn đề này theo một cách khác so với đề xuất “đánh giá khả năng có thể đánh giá” (xem Smith, 1987; Wholey, 1987). Vấn đề ở đây không phải là xem tính logic và đặc điểm kỹ thuật của một dự án hay chương trình đã đủ rõ ràng để xây dựng một thiết kế đánh giá trước khi triển khai dự án, chương trình hay không, mà để tìm hiểu xem các cấp hoặc cấp chính quyền cụ thể có vị thế để bắt đầu thu thập, phân tích, và báo cáo liên tục về dữ liệu M&E dựa trên kết quả hoạt động nhằm cung cấp thông tin cho quá trình ra quyết định hay chưa. Hiểu theo nghĩa này, ở đây ít nhấn mạnh đến lý thuyết chương trình của một chính sách hay chương trình, mà nhấn mạnh nhiều hơn đến năng lực hoạt động của một chính phủ để triển khai một chức năng mới như vậy. 36

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

từ các tổ chức quốc tế như Liên minh châu Âu và các tiêu chí mà Liên minh này quy định cho các nước muốn gia nhập, hoặc từ Tổ chức Minh bạch Quốc tế, một tổ chức phi chính phủ toàn cầu chuyên giải quyết các vấn đề tham nhũng trong khu vực công (xem Furubo, Rist, và Snadahl, 2002). Còn có các áp lực khác, kể cả những luật chơi mới xuất hiện cùng với sự toàn cầu hoá, trong đó vốn tài chính và khu vực tư nhân muốn có một môi trường đầu tư ổn định, pháp quyền và quy định bảo vệ tài sản và bằng sáng chế của nhà đầu tư trước khi họ cam kết đầu tư vào một quốc gia. Không thể đánh giá thấp vai trò của các tổ chức bên ngoài khi tạo áp lực cho một quốc gia để hướng tới xây dựng một hệ thống M&E.

Hộp 1: Trường hợp của Ai Cập – hướng tới M&E, chậm nhưng có hệ thống Một trong những thành phần quan trọng nhất trong đánh giá sự sẵn sàng của một quốc gia đối với việc giới thiệu M&E dựa trên kết quả, đó là có thể tìm thấy một “chiến sĩ đấu tranh” cho M&E, người sẵn sàng nhận lấy quyền sở hữu hệ thống. Tại Ai Cập, kết quả đánh giá sự sẵn sàng cho thấy sự quan tâm đáng kể của nhiều quan chức chính phủ cao cấp đối với việc hướng tới một hệ thống đánh giá để tìm hiểu xem các kết quả mong muốn có được thực hiện hay không. Tổng thống tự mình đã đưa ra lời kêu gọi phải có thông tin tốt hơn để hỗ trợ đưa ra các quyết định kinh tế. Bộ trưởng Bộ Tài chính được cho là “chiến sĩ đấu tranh” chính cho chính phủ Ai Cập hướng tới tập trung vào kết quả. Bộ trưởng nắm vững kinh nghiệm quốc tế của các nước khác, chẳng hạn như Ma-lai-xia và các nước thành viên OECD. Bộ trưởng nhấn mạnh tầm quan trọng của việc tăng cường chú ý nhằm cải tiến quản lý chi tiêu công bằng cách hướng tới phía trước với một loạt các thí điểm chứng minh cách sử dụng M&E dựa trên kết quả để quản lý phân bổ ngân sách tốt hơn. Bộ trưởng Bộ Tài chính sẽ đóng một vai trò lãnh đạo quan trọng trong các nỗ lực giới thiệu M&E dựa trên kết quả tại Ai Cập. Ngoài ra, một số quan chức cấp cao khác đã được xác định là những người có thể đóng vai trò lãnh đạo quan trọng. Đệ nhất Phu nhân của Ai Cập, người chủ trì Hội đồng Phụ nữ Quốc gia, đang phát triển một hệ thống theo dõi và đánh giá những nỗ lực của nhiều Bộ trong việc nâng cao vị thế và điều kiện của phụ nữ. Tuy nhiên, để một hoạt động M&E thành công và bền vững, cần có cam kết (hoặc tinh thần làm chủ) từ các bộ trưởng bộ chủ quản, những người chịu trách nhiệm về chi tiêu tài nguyên và giám sát việc thực hiện các chương trình cụ thể. Nhóm đánh giá đã thấy có sự quan tâm đến việc theo dõi và đánh giá dựa trên kết quả từ phía các bộ trưởng như Bộ trưởng Bộ Điện lực và Năng lượng, và Bộ trưởng Bộ Y tế. Đánh giá sự sẵn sàng cũng cho thấy Ai Cập có trình độ năng lực cao để hỗ trợ dịch chuyển theo một chiến lược dựa trên kết quả. Đã xác định được một số cá nhân đã được đào tạo về đánh giá tại Đại học Cairo, Đại học Mỹ ở Cairo, và các tổ chức nghiên cứu tư nhân. Ngoài ra, Cơ quan Vận động Công chúng và Thống kê, và Trung tâm Hỗ trợ các Quyết định thông tin của Nội các đã được xác định là có vai trò quan trọng trong việc thu thập, phân tích, và phổ biến các dữ liệu được sử dụng bởi các nhà nghiên cứu thuộc chính phủ và phi chính phủ và các nhà hoạch định chính sách. Giới thiệu Bộ công cụ

Giới thiệu

Một tiêu chí quan trọng để chuyển đổi thành công theo hướng kết quả, đó là phát triển một chiến lược khả thi và được truyền thông tốt. Các kết quả chẩn đoán cho thấy một chiến lược nhằm vào các nỗ lực để hướng tới phía trước nhưng đó là một chiến lược mang tính chắp vá. Một số thí điểm đã được xác định tuy chưa dứt khoát, và chỉ có rất ít, nếu không nói là hoàn toàn không có, các tiêu chí để chính thức hóa các thí điểm đánh giá kết quả hoạt động đó. Trong chính phủ cũng chưa có một cơ cấu quản lý để quản lý nỗ lực chung một cách hiệu quả. Tuy nhiên, Bộ trưởng Bộ Tài chính đã bắt đầu xác định một cách tiếp cận mà nếu được thực hiện, sẽ đem lại cơ cấu lãnh đạo cần thiết để chuyển dịch về phía trước. Bộ trưởng đã quyết định sẽ tiến hành chuyển đổi chậm, nuôi dưỡng các thí điểm nhằm mục đích vừa làm vừa học. Kết quả đánh giá sự sẵn sàng cho thấy chính phủ của Ai Cập đã có sự chuẩn bị để làm chủ nỗ lực và đã bắt đầu một cách có hệ thống và từ từ nhằm giới thiệu các khái niệm về quản lý kết quả. Có thể nhìn thấy sự tồn tại của một năng lực có thể làm nền tảng để duy trì nỗ lực. Điều đáng kể là có sự hỗ trợ chính trị mạnh mẽ để cung cấp cơ chế lãnh đạo cần thiết. (bản hoàn chỉnh của Báo cáo Đánh giá Sự sẵn sàng của Ai Cập được trình bày trong Phụ lục II của cuốn Mười bước). Hiện tại chưa đạt được sự đồng thuận về việc cần bao nhiêu bước để xây dựng một hệ thống M&E. Holzer (1999) đề xuất bảy bước, một tổ chức phi chính phủ Mỹ (Con đường thống nhất, 1996) đề xuất tám bước, và Sharp (2001) đề xuất một mô hình với bốn lĩnh vực đo lường hiệu quả hoạt động để cung cấp dữ liệu để theo dõi và đánh giá. Ở một tư liệu khác (Kusek và Rist, 2004) chúng tôi đã mô tả cách tiếp cận 10 bước mà chúng tôi đã sử dụng để làm việc với một số nước đang phát triển khi thiết kế và xây dựng hệ thống M&E. Chúng tôi đã chọn 10 bước (chứ không phải ít hơn) vì điều quan trọng khi xây dựng một hệ thống như vậy, đó là có đủ sự khác biệt giữa các nhiệm vụ. Có rất nhiều thách thức trong việc xây dựng một hệ thống làm giảm sự thiếu rõ ràng trong trình tự và chỉ có các hoạt động cần thiết cho từng bước mới có thể giúp khắc phục. Ở đây chúng tôi không có ý định thảo luận chi tiết về 10 bước này vì chúng tôi đã mô tả rất cụ thể trong cuốn sách. Chỉ cần nói rằng, mặc dù chúng tôi gọi đó là các bước, nhưng chúng tôi không ngụ ý rằng phải đi theo một trình tự cứng nhắc không cho phép các hoạt động đồng thời. Trái lại, có một số lĩnh vực cần phải có các hoạt động đồng thời kéo dài qua các bước và thời gian. Việc lựa chọn ngôn từ bước chủ yếu nhằm mục đích kêu gọi tập trung vào các cấu phần riêng biệt trong việc xây dựng một hệ thống M&E, một số cấu phần phải đi theo tuần tự và cần thực hiện trước khi chuyển sang cấu phần khác. Bước 1: Tiến hành đánh giá sự sẵn sàng là phương tiện để xác định năng lực và mong muốn của chính phủ và các đối tác phát triển về việc xây dựng một hệ thống M&E dựa trên kết quả. Đánh giá này giải quyết các vấn đề như có hay không có những “chiến sĩ” ủng hộ M&E trong chính phủ, các rào cản đối với

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

việc xây dựng hệ thống, những người sẽ làm chủ hệ thống, và ai sẽ phản đối hệ thống. Bước 2: Thống nhất về các kết quả theo dõi và đánh giá, bước này giải quyết yêu cầu chính, đó là xây dựng các kết quả tác động chiến lược làm cơ sở để tập trung và lái các nguồn lực và các hoạt động của chính phủ cũng như các đối tác phát triển đi theo hướng đó. Các kết quả tác động này cần được xác định dựa trên những ưu tiên chiến lược (mục tiêu) của đất nước. Bước 3: Xây dựng các chỉ số chính để theo dõi các kết quả tác động, đây là phương tiện để đánh giá mức độ thực hiện và đạt được các kết quả tác động. Xây dựng chỉ số là hoạt động nòng cốt trong việc xây dựng một hệ thống M&E, và sẽ định hướng tất cả các hoạt động sau đó như thu thập dữ liệu, phân tích và báo cáo. Không nên đánh giá thấp các vấn đề chính trị cũng như phương pháp luận trong việc tạo ra các chỉ số đáng tin cậy và thích hợp. Bước 4: Thu thập dữ liệu cơ bản cho các chỉ số, bước này nhấn mạnh một điểm là việc đo lường mức độ tiến triển trong thực hiện kết quả cần bắt đầu bằng việc mô tả và đo lường các điều kiện ban đầu. Thu thập số liệu cơ bản chính là đo lường các chỉ số lần đầu tiên. Bước 5: Lập kế hoạch cải tiến và Thiết lập các chỉ tiêu thực tế, bước này lưu ý rằng hầu hết các kết quả tác động có tính lâu dài, phức tạp, và không thể đạt được một cách nhanh chóng. Như vậy cần thiết lập các chỉ tiêu tạm thời để xác định rõ cần đạt mức độ tiến triển như thế nào cho kết quả tác động đó trong khung thời gian nào và với mức độ phân bổ nguồn lực như thế nào. Đo lường kết quả theo các chỉ tiêu này có thể bao gồm cả các chỉ số trực tiếp cũng như chỉ số thay thế, và có thể sử dụng dữ liệu định lượng cũng như định tính. Bước 6: Theo dõi các kết quả, bước này sẽ trở thành một nhiệm vụ hành chính và thể chế, trong đó sẽ xây dựng các hướng dẫn thu thập dữ liệu, phân tích và báo cáo, chỉ định ai chịu trách nhiệm về hoạt động nào; thiết lập các phương tiện kiểm soát chất lượng; xác định khung thời gian và chi phí; làm việc thông qua vai trò và trách nhiệm của chính phủ, các đối tác phát triển khác, và xã hội dân sự; và xây dựng các hướng dẫn về sự minh bạch, phổ biến thông tin và phân tích. Cần nhấn mạnh rằng việc xây dựng một hệ thống M&E cần phải giải quyết rõ những thách thức về quyền sở hữu, quản lý, bảo trì, và uy tín. Bước 7: Thông tin có tính chất đánh giá để hỗ trợ quá trình ra quyết định, bước này tập trung vào sự đóng góp mà các nghiên cứu đánh giá và phân tích có thể đem lại trong suốt quá trình này nhằm đánh giá các kết quả và sự dịch chuyển hướng tới kết quả. Phân tích lý thuyết chương trình, đánh giá khả năng có thể đánh giá, đánh giá quá trình, đánh giá kết quả và đánh giá tác động, và tổng hợp đánh giá mới chỉ là năm chiến lược trong số nhiều chiến lược được thảo luận để sử dụng trong đánh giá một hệ thống M&E dựa trên kết quả. Bước 8: Phân tích và báo cáo phát hiện, đây là một bước quan trọng trong quá trình này vì nó xác định cần báo cáo những gì phát hiện được cho ai, theo mẫu

Giới thiệu Bộ công cụ

Giới thiệu

báo cáo nào, và theo tần suất nào. Bước này cần đề cập đến năng lực hiện tại đối với việc sản xuất các thông tin như thông tin tập trung vào các phương diện phương pháp luận của việc tích lũy, đánh giá, và chuẩn bị các phân tích và báo cáo. Bước 9: Sử dụng các kết quả tìm hiểu, bước này nhấn mạnh rằng mấu chốt của hệ thống không phải chỉ đơn giản là tạo ra các thông tin dựa trên kết quả, mà còn bao gồm lấy thông tin kịp thời cho những người sử dụng thích hợp trong hệ thống để họ có thể xem xét thông tin (theo sự lựa chọn của họ) khi quản lý chính phủ hay tổ chức. Bước này cũng phải đề cập đến vai trò của các đối tác phát triển và xã hội dân sự trong việc sử dụng thông tin để tăng cường trách nhiệm giải trình, minh bạch, và thủ tục phân bổ nguồn lực. Bước 10: Duy trì hệ thống M&E trong Chính phủ, bước này công nhận quá trình lâu dài cần thực hiện để bảo đảm tuổi thọ và tiện ích của hệ thống. Có sáu tiêu chí chính được xem là cốt yếu trong việc xây dựng một hệ thống bền vững: nhu cầu, cơ cấu, thông tin đáng tin cậy, trách nhiệm giải trình, cơ chế khuyến khích, và năng lực. Mỗi một phương diện trong số đó đều cần có sự quan tâm chú ý không đổi theo thời gian để đảm bảo tính lâu bền của hệ thống. Như đã nói, không có một yêu cầu chính thống nào bắt buộc phải xây dựng một hệ thống M&E theo 10 bước trên. Bạn có thể đi theo các chiến lược sử dụng nhiều bước hơn, hoặc ít hơn (bốn chiến lược trong số đó đã được trích dẫn ở các phần trên). Vấn đề ở đây là đảm bảo rằng các chiến lược và hoạt động then chốt được công nhận, nhóm lại với nhau một cách hợp lý, và sau đó được thực hiện trong một trình tự thích hợp.

Các nước đang phát triển phải đương đầu với những thách thức đáng kể Có rất nhiều thách thức cho các nước đang phát triển khi đi theo mô hình 10bước hoặc bất kỳ một mô hình nào khác. Trước hết, trong Bước 2, chính phủ có thể phải tiến hành một quá trình xây dựng thỏa thuận về các kết quả tác động trên toàn quốc hoặc ngành. Mặc dù các nước phát triển thường thực hiện một kế hoạch chiến lược (thường là cho 5-10 năm) hoặc một kế hoạch trung hạn (3-5 năm) để xác định các ưu tiên của chính phủ, nhưng với các nước đang phát triển, việc này có thể khá khó khăn. Khó khăn có thể xuất phát từ sự thiếu ý chí chính trị, sự yếu kém của cơ quan trung ương (ví dụ như Bộ Kế hoạch hoặc Bộ Tài chính), hoặc thiếu năng lực lập kế hoạch và phân tích. Vì vậy, chúng tôi tiếp tục nhấn mạnh trong Bước 6 rằng điều quan trọng là đảm bảo đạt được M&E tập trung vào cách thực hiện truyền thống thông qua theo dõi ngân sách và chi tiêu nguồn lực, đảm bảo rằng các hoạt động và chương trình tài trợ được thực hiện trên thực tế, và tất cả các đầu ra được hứa hẹn từ trước (như số giếng đào, số km đường được xây dựng, thanh niên ganh đua để tham gia một chương trình dạy nghề, v.v.) đều tồn tại. Cộng hòa Nhân dân Trung Hoa là một ví dụ thú vị về các nỗ lực được thực hiện trong lĩnh vực này, đặc biệt là với các dự án cơ sở hạ tầng lớn ở nước này (Rist, 2000.) Không có cách nào để di chuyển đến một hệ thống M&E dựa trên kết quả mà không có nền tảng của một hệ thống M&E truyền thống cơ bản. Như Louis Car-

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Ai thúc đẩy nhu cầu thiết lập một hệ thống M&E trong tổ chức? Những người “đấu tranh” cho M&E trong chính phủ có vai trò quan trọng đối với sự thành công và ổn định của một hệ thống M&E. Một người đấu tranh cho M&E là người có vị trí cao trong chính phủ và có thể có tiếng nói mạnh mẽ để kêu gọi sự cần thiết phải có quy trình ra quyết định dựa trên cơ sở thông tin tốt hơn, đồng thời có thể giúp xua tan các cuộc tấn công của những người phản đối cải cách, những người không muốn hệ thống được triển khai do những lợi ích riêng của họ. Tuy nhiên, nếu người đấu tranh cho M&E bị chuyển đi khỏi điểm trung tâm của quá trình hoạch định chính sách và có ít ảnh hưởng với các cấp ra quyết định, thì sẽ khó khăn hơn khi xây dựng hệ thống M&E trong những hoàn cảnh như vậy. Hộp 1 ở trên cung cấp một bản tóm tắt về đánh giá sự sẵn sàng thực hiện tại Ai Cập và vị trí của một người đấu tranh cho M&E (Bộ trưởng Bộ Tài chính) để thực hiện các nỗ lực xúc tiến M&E. Cũng cần lưu ý rằng, mặc dù sự hiện diện của một người đấu tranh cho M&E là rất quan trọng, nhưng điều quan trọng không kém là phải làm việc để thể chế hóa hệ thống M&E trong pháp luật, quy định, hoặc nghị định. Bởi vì cuối cùng, điều cần thiết không phải là xây dựng một hệ thống có tính chất cá nhân hoặc dựa trên uy tín cá nhân, mà là một hệ thống dựa trên các yêu cầu chặt chẽ của chính phủ để đem lai những thông tin có chất lượng.

Đâu là động cơ thúc đẩy người đấu tranh cho M&E? Xây dựng một hệ thống M&E nghĩa là đã nhận lấy một rủi ro chính trị thực sự. Cung cấp thông tin trong chính phủ về kết quả hoạt động và tăng cường cơ sở cho trách nhiệm giải trình không phải là một hoạt động trung lập. Do đó, câu hỏi đặt ra ở đây là về những lợi ích chính trị cho người đấu tranh vì M&E và tổ chức của người đó để họ sẵn sàng chấp nhận những rủi ro này. Một tập hợp các lợi ích có thể xuất phát từ việc ứng phó với những áp lực, khi mà làm bất kỳ điều gì cũng tốt hơn là không làm gì và để mặc cho các áp lực trở nên mạnh hơn. Một tập hợp các lợi ích khác có thể xuất phát từ việc được xem như một nhà cải cách trong chính phủ, nghĩa là trở thành một nguồn vốn chính trị. Thứ ba, có những lợi ích từ việc đứng ở mặt tốt của vấn đề cùng với cộng đồng viện trợ quốc tế. Việc kêu gọi cải cách, trách nhiệm giải trình, và chứng minh tác động thông qua các bằng chứng đều là những hoạt động đang được thực hiện bởi cộng đồng viện trợ. Biểu lộ sự đáp ứng với những áp lực này không phải là không đem lại lợi ích. Cuối cùng, người đấu tranh cho M&E có thể là một trong những người thấm nhuần ý thức trách nhiệm với công chúng, và do đó việc tham gia vào thử thách này là rất quan trọng và không thể rời bỏ.

Ai sẽ sở hữu hệ thống? Ai sẽ được hưởng lợi? Và bao nhiêu thông tin là thực sự cần thiết? Đối với một hệ thống M&E, để sử dụng được, cần phải dễ truy cập, dễ hiểu, và phù hợp. Các tiêu chí này dẫn đến sự cần thiết phải đánh giá sự sẵn sàng một cách thận trọng trước khi thiết kế hệ thống liên

Giới thiệu Bộ công cụ

Chapter 1

roll viết trong cuốn Alice ở Xứ sở thần tiên: “Thật khó để biết nơi phải đến nếu bạn không biết bạn đang ở đâu.” Như vậy, trong Bước 4, chúng tôi mô tả tình trạng thiếu thông tin về hiện trạng (đường cơ sở) trực tiếp cản trở như thế nào đến quá trình quy hoạch chính sách và nguồn lực nhằm giải quyết những gì còn thiếu.

Giới thiệu

quan đến quyền sở hữu, lợi ích và tiện ích cho các bên liên quan. Hơn nữa, mặc dù các vấn đề này thuộc về phía cầu, nhưng vẫn còn rất nhiều vấn đề thuộc phía cung cần được giải quyết, cũng như năng lực thu thập và phân tích dữ liệu, năng lực sản xuất báo cáo, năng lực để quản lý và duy trì hệ thống M&E, năng lực sử dụng thông tin do hệ thống đem lại, v.v. Ý nghĩa của điều này đối với những người thiết kế hệ thống, đó là nguy cơ xây dựng hệ thống quá phức tạp hoặc thiết kế quá mức cần thiết. Hệ thống sẽ luôn luôn có tình trạng xói mòn không ngừng, và vấn đề này cần được giải quyết, đồng thời các bên liên quan cùng một lúc có thể muốn kéo hệ thống đi theo nhiều hướng khác nhau, còn chính trường sẽ không ở nguyên một chỗ mà không thay đổi trong một thời gian dài. Một đánh giá như vậy sẽ cung cấp thông tin quan trọng và số liệu cơ sở để thông qua đó tích hợp các yêu cầu xây dựng năng lực vào hệ thống. Sau tất cả những điều đã nói, vẫn còn một yêu cầu tuyệt đối, đó là không thu thập quá nhiều thông tin vượt mức cần thiết. Một lần nữa, chúng tôi lại thấy rằng, các hệ thống M&E được thiết kế nhưng ngay lập tức đã bị quá tải do thu thập quá nhiều dữ liệu và không ai suy nghĩ đủ thấu đáo về việc các dữ liệu đó có được sử dụng hay không hay sẽ được sử dụng như thế nào.

Làm thế nào để hệ thống hỗ trợ trực tiếp và hỗ trợ tốt hơn việc phân bổ nguồn lực và thực hiện các mục tiêu chương trình? M&E không phải là điểm kết thúc. Đây là một công cụ để thúc đẩy thực tiễn quản lý hiện đại và tăng cường trách nhiệm giải trình. Ý tưởng tạo ra một hệ thống như vậy xuất phát từ mong muốn hỗ trợ đổi mới, cải cách, và cải thiện quản trị nhà nước. Điều này được thực hiện bằng việc sản xuất các thông tin hữu ích một cách minh bạch, đáng tin cậy, và phù hợp. Quan điểm của chúng tôi cho sẽ không bền vững nếu đối xử với việc tạo ra một hệ thống M&E như một sự kiện tách rời khỏi các nỗ lực cải cách hành chính công và các nỗ lực của khu vực công, hoặc những nỗ lực tạo ra một khung chi tiêu công trung hạn, hoặc tái cơ cấu nền văn hóa hành chính của chính phủ. Nhưng thực tế lại ngược lại. Liên kết việc tạo ra các hệ thống M&E với chính các sáng kiến đó đã tạo ra sự phụ thuộc và củng cố lẫn nhau có thể có vai trò cốt yếu đối với tính bền vững của hệ thống. Vấn đề đối với đánh giá sự sẵn sàng ở đây là liệu các liên kết đó có khả thi cả về mặt cơ cấu cũng như chính trị hay không.

Làm thế nào để một tổ chức, những người đấu tranh cho M&E, và các nhân viên có thể phản ứng lại các thông tin tiêu cực hoặc có tiềm năng gây phương hại do hệ thống M&E đem lại? Thật khó cho một hệ thống M&E hoạt động trong một tổ chức hoặc bối cảnh chính trị, nơi có nhiều điều đáng sợ và tham nhũng. Vì một điều không thể tránh khỏi là vào một thời điểm nào đó (dù là không thường xuyên), hệ thống M&E sẽ sản xuất ra những dữ liệu có thể đem lại sự lo ngại, nhạy cảm về chính trị, hoặc gây bất lợi cho những người nắm quyền. Các thông tin cũng có thể gây phương hại cho các đơn vị và cá nhân trong tổ chức sản xuất ra thông tin, và việc đi tìm kiếm người đưa tin không phải là sự kiện chưa từng biết đến trong các tổ chức. Nếu kết quả đánh giá sự sẵn sàng cho thấy một cách rõ ràng là hệ thống chỉ được phép đưa ra các thông tin được ưa thích từ khía cạnh chính trị và những thông tin đúng đắn thì khi đó hệ thống đã bị thỏa hiệp ngay từ đầu. Hệ thống đó sẽ không được xem là đáng tin cậy trong con mắt của những người ở ngoài hệ thống hoặc thậm chí của những người khác bên Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Chapter 1

trong hệ thống. Thay vào đó, nó sẽ bị coi là một hành động giả dối. Trong bối cảnh đó, điều tốt nhất có thể đạt được có lẽ là xây dựng hệ thống một cách thận trọng, bắt đầu từ từ và cố gắng tìm các đơn vị có thể có nguy cơ tạo ra những thông tin có khả năng gây phương hại. Sau đó, cần phải tìm hiểu về các rào cản, vướng mắc tồn tại trong tổ chức, cho dù đây là những rào cản văn hoá, cơ cấu, chính trị, hay cá nhân. Không phải tất cả các rào cản đều có thể được giải quyết đồng thời trong thiết kế của hệ thống. Nhưng nếu không nhận ra sự hiện diện của chúng và không chọn ra những trở ngại nghiêm trọng, có tính chiến lược nhất để giải quyết trước tiên, và không đưa ra các sáng kiến để giải quyết chúng thì chắc chắn mức độ phản đối sẽ mạnh hơn, kéo dài hơn và dai dẳng hơn. Làm thế nào để hệ thống M&E liên kết, dù chỉ ở mức sơ đẳng, các kết quả tác động của dự án với các kết quả tác động của chương trình và kết quả tác động của ngành và quốc gia? Một nhiệm vụ quan trọng trong đánh giá sự sẵn sàng, đó là tìm hiểu các cơ hội và các rào cản đối với việc liên kết thông tin theo chiều dọc và liên kết lồng ghép trong chính phủ. Trong hoàn cảnh lý tưởng, các dữ liệu về kết quả hoạt động ở cấp dự án sẽ được nhập vào và kết nối với việc đánh giá các chương trình, mà sau đó sẽ được kết nối với các đánh giá của ngành, vùng, và cuối cùng là kết nối với các kết quả tác động và mục tiêu quốc gia. Dù ở bất kỳ cấp độ nào, nếu thông tin dựa vào kết quả không được kết nối theo chiều dọc với các nhu cầu thông tin ở cấp độ tiếp theo, thì sẽ không hữu ích ngoài giới hạn nhu cầu thông tin của cấp độ ban đầu. Việc ngắt dòng thông tin giữa các cấp độ chắc chắn sẽ ngăn trở việc đưa ra quyết định dựa trên kết quả hoạt động khi một cấp độ thông báo quyết định lên cấp tiếp theo. Trong bối cảnh này, việc thích hợp cần làm là xác định xem có cam kết về thu thập và phân tích dữ liệu hay không, để đảm bảo rằng dữ liệu được thu thập ở đâu thì sẽ được chia sẻ hoặc sử dụng ở cùng cấp độ đó. Nói một cách khác, liệu hệ thống có thể giải quyết nhu cầu ở từng cấp độ để trở thành nguồn sản xuất cũng như sử dụng thông tin dựa trên kết quả hay không. Mục tiêu là xây dựng một hệ thống cho phép hỏi và trả lời các câu hỏi liên quan ở các cấp độ thích hợp ngay cả khi một số thành phần của thông tin đó đáp ứng nhu cầu của các cấp độ khác. Sự đứt gãy trong hệ thống (giống như một chuỗi dây xích thiếu nhiều mắt xích) khiến cho toàn bộ sáng kiến trở nên kém hữu ích.

Tái bút Xây dựng một hệ thống M&E là việc nói thì dễ hơn làm; nếu không, ắt hẳn chúng ta đã thấy các hệ thống này được xây dựng thành một phần không thể thiếu của các thông lệ quản lý tốt trong khu vực công của các chính phủ mà không cần phải cân nhắc. Nhưng thực tế lại trái ngược. Chỉ có một vài hệ thống (toàn bộ hoặc một phần) được tích hợp đầy đủ vào các chiến lược quản lý công của các nước phát triển, con số này ở các nước đang phát triển còn ít hơn. Không phải là các chính phủ không cố gắng, bởi vì trên thực tế nhiều chính phủ đã rất nỗ lực. Nguyên nhân chỉ bởi vì việc tạo một hệ thống như vậy cần có thời gian, nguồn lực, sự ổn định trong môi trường chính trị, và những người dũng cảm đấu tranh cho M&E. Điều này đem lại một thách thức lớn liên quan đến tính bền vững. Thật vậy, các chính phủ sẵn sàng sử dụng thông tin dựa trên kết quả để hỗ

Giới thiệu Bộ công cụ

Giới thiệu

trợ việc quản trị của hệ thống chính trị và khung chính sách công cộng, và cung cấp bằng chứng về sự dân chủ và công khai ở một mức độ nhất định. Nhưng ngay cả ở những nước này, thường vẫn tồn tại thái độ ngần ngại trong đo lường và giám sát vì sợ rằng quá trình này sẽ đem lại những tin tức xấu cho cấp lãnh đạo và các bên liên quan khác. Việc trình bày những sai sót hay yếu kém trong hoạt động của một ai đó với những người khác không phải là hành vi điển hình của hệ thống quan liêu. Vì vậy, những nỗ lực để xây dựng một hệ thống như vậy cần phải ghi nhận những hạn chế chính trị thực tế và hạn chế cố hữu và cần bắt đầu bằng một cách tiếp cận đơn giản, làm việc với các bên liên quan để giúp họ nhận ra rằng họ có quyền được thường xuyên thông báo về kết quả hoạt động của chính phủ, và một lần nữa tiếp tục nhấn mạnh rằng, thông tin có thể giúp cải thiện hoạch định chính sách và quản lý công. Đạt được những mục tiêu khiêm tốn này chính là lý do để chúng ta nên có một thái độ lạc quan dài hạn.

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu Chapter 1

Phụ lục C: Ví dụ một chương trình đào tạo 4 ngày về 12 cấu phần Chương trình đào tạo cho khóa học 4 ngày về: a)

Quản lý các kết quả HIV

Xây dựng các hệ thống M&E HIV để đo lường kết quả

Các mục tiêu học tập Chương trình này đặt ra 3 mục tiêu học tập chính: trước hết là giúp học viên hiểu được tầm quan trọng của việc quản lý kết quả; thứ hai, trang bị cho học viên những kiến thức để quản lý kết quả; thứ ba, giúp học viên xây dựng các hệ thống M&E HIV để đo lường kết quả. Lịch học 08:00 – 10:00

10:30 – 13:00

14:00 – 15:00

15:30 – 17:00

Ngày 1

Giới thiệu các khái niệm liên quan đến quản lý kết quả

Sự cần thiết phải biết “bệnh của bạn”, xây dựng các chiến lược tập trung vào kết quả, lựa chọn các kết quả tác động và chỉ số

Bài tập nhóm

Ngày 2

Từ quy hoạch đến kết quả để đo lường kết quả: Các khái niệm chính về xây dựng các hệ thống M&E HIV

Cấu phần 1: Các cơ cấu tổ chức

Cấu phần 2: Nhân lực

Cấu phần 3: các quan hệ đối tác M&E Bài tập nhóm về Cấu phần 3

Ngày 3

Cấu phần 4 và 5: Khung M&E và xây dựng kế hoạch công việc M&E có dự toán chi phí Bài tập nhóm về Cấu phần 5

Cấu phần 6: Vận động chính sách và trao đổi thông tin

Cấu phần 7: Điều tra và giám sát bệnh

Cấu phần 8: Theo dõi chương trình thường quy

Ngày 4

Cấu phần 9: Kiểm định dữ liệu và giám sát

Cấu phần 10: Các hệ thống thông tin HIV

Cấu phần 11: Nghiên cứu và đánh giá về HIV

Cấu phần 12: Phổ biến dữ liệu và sử dụng dữ liệu

Bài tập nhóm về Cấu phần 1

Bài tập nhóm về Cấu phần 10

Giới thiệu Bộ công cụ

Bài tập nhóm về Cấu phần 12

Làm việc nhóm

Ngày 1: 14:00 – 16:30

Tìm hiểu về dịch tễ học và lựa chọn các kết quả tác động và chỉ số

Ngày 1: 10:30 – 13:00

Giới thiệu các khái niệm liên quan đến quản lý kết quả

Ngày 1: 08:00 – 10:00

Tên tiết học và thời gian

Vẫn là các lĩnh vực kiến thức đã được đề cập cho cả ngày

a. Sử dụng kiến thức b. Các nguyên tắc theo dõi và đánh giá c. Sử dụng các sơ đồ lô-gich

a. Giới thiệu các khái niệm và phân tích dịch tễ và sử dụng dữ liệu để học tập b. Giới thiệu các khung lô-gich và sử dụng chúng trong quản lý và quy hoạch c. Giúp học viên lựa chọn các kết quả tác động và chỉ số thích hợp để quy hoạch tốt

Học viên sẽ đánh giá hồ sơ dịch tễ của một quốc gia “giả định” và xây dựng khung kết quả cho Chương trình Ứng phó HIV/AIDS quốc gia

a. Quy hoạch chiến lược b. Các nguyên tắc quản lý c. Các nguyên tắc quản lý kết quả

Các lĩnh vực kiến thức được đề cập trong tiết học

a. Giới thiệu các khái niệm về theo dõi và đánh giá dựa vào kết quả b. Chỉ ra cách thức để áp dụng các khái niệm này cho quy hoạch chiến lược và phát triển hệ thống

Mục tiêu học tập của tiết học

Khả năng sử dụng dữ liệu để giúp xây dựng một ứng phó quốc gia

Xây dựng được các khung kết quả

Toàn thể và làm việc theo nhóm nhỏ

Bài tập nhóm

Hiểu được trình tự lôgich

Đánh giá tiết học

Toàn thể và làm việc theo nhóm nhỏ

Phương pháp làm việc

Ngày 1

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Giới thiệu Bộ công cụ

Từ quy hoạch theo kết quả đến đo lường kết quả: các khái niệm chính về xây dựng các hệ thống M&E HIV

Ngày 2: 08:00 – 10:00

Đánh giá tiết học Bài tập cá nhân để xác định 12 cấu phần trong tổ chức của họ

Phương pháp làm việc • Toàn thể: 5 câu hỏi về các thuật ngữ chính về M&E • Bài tập động não cho toàn thể lớp: Các mục đích và mục tiêu của hệ thống M&E • Trình bày powerpoint: 12 cấu phần • Bài tập động não cho các nhóm nhỏ: phân bổ các tiết học để làm bài tập về một trong số 12 cấu phần • Chiếu hình Thư viện nguồn lực • Bài tập cá nhân: xác định 12 cấu phần

Các lĩnh vực kiến thức được đề cập trong tiết học • Ôn tập ngắn: các thuật ngữ chính về M&E • Mục đích và các mục tiêu của các hệ thống M&E • Lịch sử phát triển 12 cấu phần • Giới thiệu 12 cấu phần và Thư viện nguồn lực

Mục tiêu học tập của tiết học

a. Khẳng định rằng tất cả học viên hiểu các thuật ngữ chính về M&E b. Giới thiệu cho các học viên về khái niệm 12 cấu phần c. Giúp học viên hiểu rằng tất cả nội dung học tập về M&E trong khóa học này sẽ tập trung vào từng cấu phần trong 12 cấu phần – nghĩa là 12 cấu phần chính là khung tổ chức cho khóa học d. Giới thiệu với các học viên về Thư viện nguồn lực

Chapter 1

Tên tiết học và thời gian

Giới thiệu

Ngày 2

Cấu phần 1: Cơ cấu tổ chức với M&E HIV

Ngày 2: 10:30 – 13:00

Tên tiết học và thời gian

Các lĩnh vực kiến thức được đề cập trong tiết học • Các nguyên tắc thiết kế tổ chức • Tác động của việc phân cấp trong thiết kế tổ chức M&E • Các ví dụ về cơ cấu tổ chức có các chức năng M&E • Viết bản mô tả

Mục tiêu học tập của tiết học

Giúp học viên: a. thiết kế cơ cấu tổ chức giữa các ngành có các chức năng M&E HIV b. xây dựng các bản mô tả công việc cho các cán bộ M&E chuyên trách

• Trình bày powerpoint: Thiết kế các quy tắc trong thiết kế tổ chức • Thảo luận toàn thể: Những người tham gia M&E HIV trong nước - ở mọi cấp – đó là các vị trí chuyên trách hay bán chuyên trách • Trình bày powerpoint: tác động của việc phân cấp đối với thiết kế tổ chức M&E • Thảo luận toàn thể: xác định các thách thức của các cơ cấu tổ chức đã đề cập đến • Trình bày powerpoint: thiết kế các bản mô tả công việc – các khía cạnh kỹ thuật, thẩm quyền và quyền hạn • Bài tập nhóm: thiết kế các bản mô tả công việc

Phương pháp làm việc

Bài tập nhóm: Cụ thể hóa bản mô tả công việc của các cán bộ trong đơn vị M&E của Ủy ban AIDS quốc gia để đảm bảo tính toàn diện trong mô tả công việc (các nhóm khác nhau làm về các vị trí công việc khác nhau)

Đánh giá tiết học

Ngày 2

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Giới thiệu Bộ công cụ

Cấu phần 3 Các quan hệ đối tác M&E

Ngày 2: 15:30 – 17:00

Cấu phần 2 Nhân lực cho M&E HIV

Ngày 2: 14:00 – 15:00

• Trình bày powerpoint: các loại cơ chế xây dựng năng lực và ví dụ về các đánh giá phát triển năng lực • Thảo luận toàn thể: các loại hình nhân lực cho các hệ thống M&E • Bài tập động não trên lớp: viết lên bảng lật các quan hệ đối tác M&E hiện có – chính thức hoặc phi chính thức - ở quốc gia của bạn; và các quan hệ đối tác đó đem lại những lợi ích nào • Trình bày powerpoint: thiết lập phản đề - điều gì sẽ xảy ra nếu không có quan hệ đối tác; liệt kê các loại quan hệ đối tác, và các cơ chế để tạo ra và duy trì các quan hệ đối tác • Bài tập cá nhân: cải thiện TOR cho một diễn đàn quan hệ đối tác hiện có

• Các lý do tại sao quan hệ đối tác lại quan trọng • Các loại hình quan hệ đối tác (nội bộ và bên ngoài) • Các cơ chế để thiết lập các quan hệ đối tác • Tạo ra một diễn đàn quan hệ đối tác • Các cơ chế để duy trì các quan hệ đối tác

Giúp học viên: a. nêu được tầm quan trọng của các quan hệ đối tác b. phân biệt giữa các quan hệ đối tác nội bộ và bên ngoài c. xác định các bên liên quan cần xây dựng quan hệ đối tác d. viết TOR cho một cơ cấu quan hệ đối tác

Phương pháp làm việc

• Một loạt các yêu cầu xây dựng năng lực cho M&E • Các bên liên quant ham gia M&E HIV • Các loại cơ chế xây dựng năng lực

Các lĩnh vực kiến thức được đề cập trong tiết học

Giúp học viên nhận biết: a. các loại hình năng lực cần thiết để vận hành các hệ thống M&E HIV b. các bên liên quan cần được xây dựng năng lực c. các cơ chế xây dựng năng lực

Mục tiêu học tập của tiết học Thảo luận toàn thể

Đánh giá tiết học

Chapter 1

Tên tiết học và thời gian

Giới thiệu

Ngày 2

Cấu phần 4 (khung M&E) và Cấu phần 5: (kế hoạch công việc M&E có dự toán chi phí)

Ngày 3: 08:00 – 10:00

Tên tiết học và thời gian

Các lĩnh vực kiến thức được đề cập trong tiết học • Mục đích của các khung M&E • Các loại khung M&E và cách kết nối khung M&E với 12 cấu phần\ • Mục đích xây dựng các kế hoạch M&E HIV quốc gia • Quy trình xây dựng các kế hoạch M&E HIV quốc gia • Các thách thức trong xây dựng khung M&E và các kế hoạch M&E quốc gia có dự toán chi phí

Mục tiêu học tập của tiết học

Giúp học viên: a. đánh giá chất lượng của khung M&E b. chủ trì việc xây dựng một kế hoạch công việc M&E có dự toán chi phí

• Thảo luận toàn thể: Tư duy động não về các thuật ngữ, và phân biệt các thuật ngữ • Trình bày powerpoint: quy trình đặc trưng để xây dựng khung M&E HIV và nội dung đặc trưng của khung M&E HIV quốc gia • Bài tập toàn thể: xác định cấu phần nào trong 12 cấu phần được đề cập đến trong ví dụ khung M&E cung cấp cho các nhóm • Trình bày powerpoint: các bước dự toán chi phí cho kế hoạch công việc M&E HIV quốc gia; và các nguyên tắc chính cần xem xét khi dự toán chi phí cho một kế hoạch công việc M&E HIV • Bài tập nhóm: xây dựng bảng đơn giá và dự toán chi phí cho kế hoạch công việc M&E HIV quốc gia

Phương pháp làm việc

Đánh giá tiết học

Ngày 3

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Giới thiệu Bộ công cụ

Cấu phần 7: Theo dõi chương trình thường quy

Ngày 3: 14:00 – 15:00

Cấu phần 6: vận động chính sách, văn hóa và trao đổi thông tin về M&E HIV

Ngày 3: 10:30 – 13:00

Giúp học viên: a. Nhận biết các loại hình theo dõi chương trình thường quy b. Hiểu các quy trình liên quan đến quản lý dữ liệu thường quy

Giúp học viên: a. hiểu các loại hình hoạt động trao đổi thông tin và vận động chính sách cho M&E HIV

Mục tiêu học tập của tiết học

Đánh giá tiết học Thảo luận toàn thể về các nhóm mục tiêu cho trao đổi thông tin và vận động chính sách M&E HIV

Phương pháp làm việc • Thảo luận toàn thể: các nhóm mục tiêu để trao đổi thông tin và vận động chính sách về M&E HIV • Trình bày powerpoint: quy trình xây dựng một chiến lược trao đổi thông tin và vận động chính sách; các loại hình trao đổi thông tin và các kênh trao đổi thông tin • Thảo luận toàn thể: các Thảo luận loại hình theo dõi thường toàn thể quy về HIV, các nguồn dữ liệu, kinh nghiệm thu thập dữ liệu • Trình bày powerpoint: các tình huống cụ thể từ 5 quốc gia ở châu Phi: vận hành các hệ thống theo dõi chương trình thường quy • Bài tập cá nhân: liệt kê các cá nhân tham gia các hệ thống theo dõi chương trình thường quy và chức năng của họ

• Các nhóm mục tiêu để trao đổi thông tin và vận động chính sách • Quy trình xây dựng các chiến lược trao đổi thông tin • Các loại hình trao đổi thông tin – với cấp trên, với cấp dưới và trong cùng một cấp • Các loại kênh trao đổi thông tin • Các loại hình dữ liệu chương trình thường quy về HIV và các nguồn dữ liệu • Các cơ chế thu thập dữ liệu theo dõi chương trình thường quy • Các thách thức đối với theo dõi chương trình thường quy

Các lĩnh vực kiến thức được đề cập trong tiết học

Chapter 1

Tên tiết học và thời gian

Giới thiệu

Ngày 3

Cấu phần 8: kiểm định dữ liệu và giám sát

Ngày 3: 15:30 – 17:00

Tên tiết học và thời gian

Giúp học viên: a. phân biệt giữa cố vấn, hỗ trợ, kiểm định dữ liệu và giám sát b. thiết kế các quy trình kiểm định dữ liệu và giám sát, trên cơ sở cân nhắc các nguyên tắc chính Để học viên nhận biết các vấn đề cần xem xét khi tiến hành kiểm định dữ liệu và các chuyến đi giám sát

Mục tiêu học tập của tiết học

Đánh giá tiết học Bài tập nhóm: tiến hành đóng vai 5 phút về một chuyến giám sát/kiểm định dữ liệu tốt/ xấu

Phương pháp làm việc • Trình bày powerpoint: các định nghĩa về giám sát và kiểm định dữ liệu; các nguyên tắc kiểm định dữ liệu và giám sát • Thảo luận toàn thể: các điểm nội dung cần đưa vào các hướng dẫn giám sát và kiểm định dữ liệu • Trình bày powerpoint: ví dụ về các hướng dẫn kiểm định dữ liệu và giám sát • Bài tập nhóm: tiến hành đóng vai 5 phút về một chuyến giám sát/kiểm định dữ liệu tốt/xấu

Các lĩnh vực kiến thức được đề cập trong tiết học • Định nghĩa về giám sát và kiểm định dữ liệu • Các nguyên tắc giám sát và kiểm định dữ liệu • Các quy trình giám sát và kiểm định dữ liệu • Ví dụ về các hướng dẫn giám sát và kiểm định dữ liệu • Các kinh nghiệm thực hiện kiểm định dữ liệu hoặc các chuyến đi giám sát

Ngày 3

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Giới thiệu Bộ công cụ

• Các nguyên tắc thiết kế cơ sở dữ liệu liên quan • Các cơ chế đưa dữ liệu vào hệ thống • Các bước trong thiết kế cơ sở dữ liệu/hệ thống thông tin • Các sản phẩm chính từ các quy trình thiết kế hệ thống thông tin • Ví dụ về các đề xuất khái niệm và các thông số kỹ thuật

Cung cấp cho học viên hiểu biết chung về các vấn đề cần cân nhắc liên quan đến thiết kế cơ sở dữ liệu HIV

Ngày 4: 10:30 – 13:00

Cấu phần 10 Các hệ thống thông tin HIV

• Mục đích và các loại hình giám sát dịch tễ • Các điều tra khác liên quan đến HIV/AIDS • Quy trình điều tra hoặc giám sát bệnh đặc trưng

Giúp học viên phân biệt giữa các hình thức điều tra và giám sát HIV

Các lĩnh vực kiến thức được đề cập trong tiết học

Ngày 4: 08:00 – 10:00 Cấu phần 9 Các điều tra và giám sát bệnh

Mục tiêu học tập của tiết học

• Toàn thể: Sự quen thuộc với các cơ sở dữ liệu liên quan • Trình bày powerpoint: giới thiệu các cơ sở dữ liệu liên quan; các cơ chế đưa dữ liệu vào cơ sở dữ liệu • Trình bày powerpoint: các mô hình thiết kế hệ thống thông tin và các sản phẩm chính

• Toàn thể: suy nghĩ động não về các hình thức điều tra liên quan đến HIV mà bạn biết • Trình bày powerpoint: các loại hình điều tra và giám sát bệnh liên quan đến HIV/AIDS; sử dụng dữ liệu giám sát bệnh để ước tính tỷ lệ nhiễm HIV • Bài tập nhóm: sự khác biệt giữa các dữ liệu điều tra, giám sát bệnh, nghiên cứu và theo dõi chương trình thường quy • Trình bày powerpoint: quy trình điều tra hoặc giám sát bệnh đặc trưng

Phương pháp làm việc

Thảo luận toàn thể

Bài tập nhóm: mô tả sự khác biệt giữa các dữ liệu điều tra, giám sát bệnh, nghiên cứu và theo dõi chương trình thường quy

Đánh giá tiết học

Chapter 1

Tên tiết học và thời gian

Giới thiệu

Ngày 4

Cấu phần 12 Phổ biến dữ liệu và sử dụng dữ liệu

Ngày 4 15:30 – 17:00

Cấu phần 11 Nghiên cứu và học tập về HIV

Ngày 4 14:00 – 15:00

Tên tiết học và thời gian

Giúp học viên: a. sử dụng dữ liệu cho quá trình ra quyết đinh

Giúp học viên: Tiến hành liệt kê các nghiên cứu HIV Chủ trì việc xây dựng một chiến lược và chương trình nghiên cứu HIV quốc gia

Mục tiêu học tập của tiết học

• Phân tích dữ liệu – các số liệu thống kê mô tả • Các loại sản phẩm thông tin • Xây dựng ma trận sản phẩm thông tin • Xây dựng ma trận phổ biến thông tin • Sử dụng dữ liệu

• Các loại hình nghiên cứu HIV • Các liên kết với các hội đồng nghiên cứu quốc gia • Các phê duyệt về quy tắc đạo đức • Danh mục liệt kê các nghiên cứu HIV • Các bước trong quy trình phát triển chiến lược nghiên cứu HIV quốc gia

Các lĩnh vực kiến thức được đề cập trong tiết học

• Trình bày powerpoint: các chiến lược sử dụng dữ liệu • Toàn thể: ví dụ về các số liệu thống kê mô tả • Bài tập nhóm: sử dụng dữ liệu được cung cấp

• Trình bày powerpoint: các loại hình nghiên cứu HIV; các quy trình phê duyệt và cân nhắc quy tắc đạo đức; ví dụ về danh mục liệt kê các nghiên cứu HIV • Bài tập nhóm: viết ra các bước phát triển chiến lược nghiên cứu HIV

Phương pháp làm việc

Bài tập nhóm: viết ra các bước phát triển chiến lược nghiên cứu HIV

Đánh giá tiết học

Ngày 4

Triển khai các hệ thống Theo dõi và Đánh giá

Giới thiệu

Giới thiệu Chapter 1

Phụ lục D: Ví dụ một chương trình đào tạo 8 ngày về 12 cấu phần Thiết kế và thực hiện các hệ thống theo dõi và đánh giá bền vững dựa vào kết quả trong khu vực công ở Thổ Nhĩ Kỳ Các kết quả học tập dự kiến •

Học viên có thể xây dựng các kết quả tác động của ngành và có sự liên kết với các kết quả tác động của kế hoạch phát triển số 9 (NDP)

•

Học viên có thể xây dựng các chỉ số cho kết quả tác động ngành

•

Học viên có thể đánh giá, thiết kế và chỉnh sửa hệ thống M&E của ngành để đo lường mức độ đạt được kết quả tác động ngành

•

Học viên có thể thiết kế hoặc chỉnh sửa kế hoạch M&E của ngành dựa trên các kết quả đánh giá

•

Học viên có thể xây dựng một kế hoạch công việc có xác định các điểm ưu tiên cho hệ thống M&E, và lập dự toán cho kế hoạch

Lịch học 09:30 – 10:45

11:00 – 12:30

13:30 – 15:00

15:15 – 17:30

Ngày 1

“Quản lý kết quả” nghĩa là gì và chúng ta cần làm gì để tạo ra sự khác biệt?

Tìm hiểu các vấn đề trong ngành bạn đang làm việc và liên hệ các vấn đề này với các kết quả tác động mà ngành của bạn cần đạt được

Bài tập nhóm về xây dựng các kết quả tác động của ngành và liên hệ với các kết quả tác động của chương trình NDP quốc gia

Bài tập nhóm về xây dựng các kết quả tác động của ngành có liên hệ với các kết quả tác động của chương trình NDP quốc gia

Ngày 2

Sử dụng thông tin để cải tiến các kết quả tác động của ngành theo chương trình NDP

Giới thiệu các khái niệm M&E

Lựa chọn các chỉ số chính để theo dõi các kết quả tác động của ngành

Bài tập nhóm về các chỉ số kết quả tác động của ngành

Ngày 3

Bài tập nhóm về các chỉ số kết quả tác động của ngành

Dữ liệu cơ sở và xác lập các chỉ tiêu chính: tôi phải làm như thế nào?

Thực hành với các dữ liệu cơ sở và xác lập chỉ tiêu cho các chỉ số ngành

Ngày 4

Hệ thống M&E của ngành phải như thế nào để trở nên bền vững? Giới thiệu 12 cấu phần của một hệ thống M&E bền vững cho toàn ngành

Thực hành để tìm hiểu từng cấu phần trong 12 cấu phần và xem xét cách thức các cấu phần này đóng góp cho hệ thống M&E bền vững dựa vào kết quả cho ngành bạn đang làm việc

Thiết kế các cấu phần của hệ thống M&E và lập kế hoạch cải tiến: Tổng quan

Thiết kế các cấu phần của hệ thống M&E và lập kế hoạch cải tiến: thu thập, xử lý dữ liệu, và kiểm soát chất lượng (cấu phần 7, 8, 9, 10 và 11)

Giới thiệu Bộ công cụ

Giới thiệu

09:30 – 10:45

11:00 – 12:30

13:30 – 15:00

15:15 – 17:30

Ngày 5

Thiết kế các cấu phần của hệ thống M&E và lập kế hoạch cải tiến: thu thập, xử lý dữ liệu, và kiểm soát chất lượng

Thiết kế các cấu phần của hệ thống M&E và lập kế hoạch cải tiến: Môi trường thuận lợi cho hệ thống M&E (cấu phần 1, 2, 3 và 6)

Thiết kế các cấu phần của hệ thống M&E và lập kế hoạch cải tiến: Môi trường thuận lợi cho hệ thống M&E

Ngày 6

Đánh giá hiện trạng hệ thống M&E trong ngành bạn đang làm việc

Thực hành đánh giá hiện trạng hệ thống M&E

Sử dụng các kết quả đánh giá hệ thống M&E để xác định ưu tiên các cải tiến đối với hệ thống M&E: nên làm như thế nào, và không nên làm như thế nào

Xây dựng kế hoạch M&E cho hệ thống M&E trong ngành bạn đang làm việc

Ngày 7

Thực hành Xây dựng kế hoạch M&E cho hệ thống M&E trong ngành bạn đang làm việc (cấu phần 4)

Thực hành Xây dựng kế hoạch M&E cho hệ thống M&E trong ngành bạn đang làm việc (tiếp tục)

Giới thiệu về ước tính chi phí cho một hệ thống M&E (cấu phần 5)

Ngày 8

Thực hành ước tính chi phí cho một kế hoạch M&E trong ngành bạn đang làm việc (cấu phần 5)

Thực hành ước tính chi phí cho một kế hoạch M&E trong ngành bạn đang làm việc (tiếp tục)

Lắp ráp lại: Sử dụng thông tin từ hệ thống M&E để tăng cường sự đóng góp của ngành vào các kết quả chung của chương trình NDP (Cấu phần 12)

Thực hành sử dụng thông tin từ hệ thống M&E để tăng cường sự đóng góp của ngành bạn đang làm việc vào các kết quả chung của chương trình NDP

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 1

Chương 1 Cơ cấu và sự phù hợp về mặt tổ chức của các hệ thống Theo dõi và Đánh giá 3

Mục đích của Chương 1 Mục đích của chương này là tạo điều kiện cho bạn đọc hiểu ý nghĩa quan trọng của cơ cấu tổ chức và mối liên hệ với sự phù hợp về mặt tổ chức khi thiết kế và triển khai các hệ thống M&E, đồng thời giúp bạn lập kế hoạch nhân sự cần thiết cho hệ thống M&E.

Kiến thức và Kỹ năng trong Chương 1 Đọc đến cuối chương, bạn sẽ có thể: a)

Giải thích cho những người khác về các khái niệm chủ yếu liên quan đến cơ cấu tổ chức và sự phù hợp về mặt tổ chức cho M&E (nói cách khác, bạn sẽ có thể giải thích, M&E “ăn khớp” với điểm nào trong cơ cấu tổ chức và sự phù hợp của M&E với các chức năng chủ chốt khác của tổ chức).

Thiết kế một cơ cấu tổ chức 5 M&E với quy mô và các trách nhiệm thích hợp với tổ chức của bạn.

Biết được những sai lầm cần tránh khi thiết kế bộ phận M&E cho một tổ chức.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Trước khi bắt đầu... Bạn hãy dành ra vài phút để đọc các câu hỏi dưới đây. Bạn có thể viết câu trả lời của mình ra giấy, nếu thấy cần thiết. Trong suốt thời gian tìm hiểu chương này, bạn hãy so sánh các câu trả lời của mình với quan điểm của các tác giả. •

Sứ mệnh và các mục đích của tổ chức của bạn có được viết ra không?

•

Có ai trong tổ chức hiểu công việc của mình đóng góp như thế nào (hoặc phù hợp như thế nào) cho các mục đích của tổ chức không?

•

Có động cơ khuyến khích nào để thực hiện thành công các mục đích của tổ chức không?

•

Tổ chức của bạn có quyền hạn và thẩm quyền để thực hiện các nhiệm vụ theo dõi và đánh giá không?

•

Có ai hiểu rõ về trách nhiệm theo dõi và đánh giá của mình không?

•

Các bộ phận trong tổ chức tham gia M&E có mô tả công việc phù hợp trong đó nêu rõ các chức năng M&E được xác định một cách hợp lý không, và những vị trí công việc đó đã có người làm chưa?

•

Tổ chức và các nhân viên có cảm thấy có trách nhiệm thực hiện các chức năng theo dõi và giám sát, giống như thực hiện các khía cạnh khác trong công việc không?

•

Các nhân viên có được người quản lý hỗ trợ để tiến hành các nhiệm vụ M&E của mình không?

•

Hỗ trợ kỹ thuật cho M&E được thực hiện như thế nào trong tổ chức của bạn?

Những câu hỏi này nhắc chúng ta rằng, nếu không có con người thì hệ thống M&E của một tổ chức không thể hoạt động được. Con người cần có động cơ thúc đẩy để hoàn thành các nhiệm vụ M&E của mình, họ cần phải biết rõ nhiệm vụ của mình là gì, và cần được khen thưởng nếu hoàn thành tốt nhiệm vụ. Chương này sẽ giới thiệu cho bạn cách thiết kế cơ cấu tổ chức với các chức năng M&E lồng ghép trong đó, và cách thiết kế các bản mô tả công việc cho nhân viên có chức năng M&E.

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 1

Cấu phần 1: Cơ cấu và sự phù hợp về mặt tổ chức cho các hệ thống M&E 1. Giới thiệu “Nếu đứng riêng rẽ, mỗi chúng ta chỉ là một giọt nước. Nhưng đứng cùng với nhau, chúng ta sẽ là cả một đại dương.” Ryunosuke Satoro Nhân sự có kỹ năng là yếu tố sống còn đối với một hệ thống M&E và cấu phần này sẽ đề cập đến những nhân sự tham gia hệ thống M&E, thành phần đầu tiên trong bộ ba con người, quan hệ đối tác và lập kế hoạch của hệ thống M&E (xem chương giới thiệu). Cấu trúc của chương: Chương này bắt đầu bằng một số thông tin cơ bản và các định nghĩa cho biết bối cảnh và lý thuyết về cơ cấu tổ chức, các quy trình và quản lý (mục 2), tiếp đó là mục đích kết quả gợi ý cho phần này của hệ thống M&E (mục 3). Mục 4 nêu ra các vấn đề thực thi có liên quan. Mục 5 dẫn ta đi qua các bước để đảm bảo vai trò mạnh mẽ của M&E trong tổ chức, nhằm mã hóa M&E trong sơ đồ tổ chức để xác định vai trò của M&E trong tổ chức và lập kế hoạch cho các khía cạnh khó khăn và dễ nhìn thấy, bao gồm cả khía cạnh con người để làm cho hệ thống M&E hoạt động được. Chương này kết thúc bằng một phần tóm tắt các kỹ năng và kiến thức đã học (mục 6) và một bài tập thực hành để củng cố những gì bạn vừa học được (mục 7).

2. Thông tin cơ bản và Các định nghĩa Cơ cấu tổ chức: Cơ cấu tổ chức mô tả hệ thống cấp bậc, các tuyến báo cáo và cách sắp xếp công việc một cách hệ thống trong tổ chức. Cơ cấu tổ chức được mô tả bằng một sơ đồ tổ chức, trong đó thể hiện các bộ phận khác nhau trong tổ chức có liên quan với nhau. Các loại cơ cấu tổ chức:1 Một tổ chức nên chọn loại cơ cấu nào phù hợp nhất với những nhu cầu của mình. Điều này tùy thuộc vào nhiều vấn đề; ví dụ như, cơ cấu có thể dựa trên các khu vực địa lý, sản phẩm hoặc hệ thống cấp bậc. •

Cơ cấu truyền thống: Các cơ cấu kiểu truyền thống dựa trên các phòng ban chức năng của tổ chức. Kiểu cơ cấu này thường có các quy tắc và thủ tục rõ ràng, quy định hạn mức quyền hạn chính xác cho tất cả các cấp. Các cơ cấu truyền thống có thể chia nhỏ thành các loại sau: i.

Cơ cấu ngành dọc: loại cơ cấu này có cơ chế ra mệnh lệnh cụ thể theo ngành dọc. Các quyết định phê duyệt và mệnh lệnh đi từ cấp trên xuống cấp dưới theo một đường thẳng, do đó, được gọi là cơ cấu

1 Phần này trích từ Irani, K, 2007.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

ngành dọc. Loại cơ cấu này phù hợp với các tổ chức nhỏ, trong đó quá trình ra quyết định thường dễ dàng và không chính thức. Trong những tổ chức như vậy thường có khá ít phòng ban. ii.

chuyên gia dịch tễ

cán bộ thực địa 1

cán bộ thực địa 2

cán bộ thực địa 3

Ví dụ về cơ cấu ngành dọc

Cơ cấu ngành dọc và nhân viên: : mặc dù cơ cấu ngành dọc có thể phù hợp với hầu hết các tổ chức, nhất là các tổ chức nhỏ, nhưng nó lại không hiệu quả đối với các công ty lớn. Đây chính là trường hợp cần đến cơ cấu ngành dọc và nhân viên. Đây là sự kết hợp giữa cơ cấu ngành dọc, trong đó thông tin và các quyết định phê duyệt đi từ trên xuống dưới, và có các phòng ban nhân viên để hỗ trợ và chuyên môn hóa. Các cơ cấu ngành dọc và nhân viên thường có tính tập trung cao hơn. Các cán bộ quản lý dây chuyền và quản lý nhân viên có quyền đối với cấp dưới của mình nhưng các cán bộ quản lý nhân viên không có quyền đối với các cán bộ quản lý dây chuyền và cấp dưới của họ. Quá trình ra quyết định thường chậm hơn do có nhiều cấp bậc và hướng dẫn hơn cũng như tính chính thức cao hơn.

iii.

•

Cơ cấu chức năng: Loại cơ cấu tổ chức này phân loại mọi người hoặc các bộ phận của tổ chức theo chức năng mà họ thực hiện. Ví dụ như, sơ đồ tổ chức cho cơ cấu chức năng giám đốc điều hành có thể bao gồm một bộ trưởng và các cục/vụ như Nghiên cứu, Quan hệ đối tác, Kế Chính sách Tài chính Hành chính hoạch, Kế toán, Hành chính. Ví dụ về cơ cấu chức năng Cơ cấu phòng ban: Loại cơ cấu này dựa trên các phòng ban của tổ chức, Quản đốc phân xưởng có thể xác định theo sản phẩm, dịch vụ hoặc địa điểm. i.

Cơ cấu theo sản phẩm/ in trên in pa-nô in danh thiếp dịch vụ: theo sản áo phông quảng cáo phẩm là cơ cấu tổ chức người lao động Ví dụ về cơ cấu theo dịch vụ và tổ chức công việc trên cơ sở các loại hình sản phẩm hay dịch vụ khác nhau. Nếu công ty sản xuất 3 loại sản phẩm thì sẽ có 3 phòng ban khác nhau cho các loại sản phẩm này.

Triển khai các hệ thống Theo dõi và Đánh giá

Cơ cấu địa lý: Các tổ chức lớn có văn phòng tại nhiều nơi. Ví dụ như, họ có thể có văn phòng ở miền bắc, miền nam, miền tây và miền đông. Cơ cấu tổ chức cũng có thể đi theo cơ cấu vùng miền như vậy.

Chương 1

ii.

Giám đốc điều hành

Văn phòng khu vực phía Bắc

Văn phòng khu Văn phòng khu vực phía Đông vực phía Tây

Văn phòng khu vực phía Nam

Ví dụ về cơ cấu địa lý

•

Cơ cấu nhóm: Nhiều tổ chức có cơ cấu phòng ban thường áp dụng cách tiếp cận theo nhóm, khác với cơ cấu tổ chức đã mô tả ở trên vì cơ cấu này không có tính lâu dài. Khi có một dự án hoặc hoạt động mới, tổ chức sẽ thành lập một nhóm để thực hiện dự án hoặc hoạt động đó. Các nhóm thường phải xử lý các vấn đề mâu thuẫn nội bộ và khó khăn có thể phát sinh khi các thành viên trong nhóm đồng thời cũng thuộc về các nhóm khác không liên quan. Các nhóm có thể bao gồm nhiều người thuộc nhiều phòng/ban khác nhau. Đây thường là những nhóm công tác tự chỉ đạo được hình thành xung quanh các quy trình công việc, và tầm hạn kiểm soát cũng như mức độ chính thức hóa rất nhỏ.

•

Cơ cấu ma trận: Đây là sự kết hợp giữa cơ cấu chức năng và cơ cấu theo sản phẩm, với mục đích phát huy những gì tốt nhất của cả hai cơ cấu này, và đem lại một cơ cấu tổ chức hiệu quả. Đây là cơ cấu tổ chức phức tạp nhất. Điều quan trọng là phải tìm ra được một cơ cấu hoạt động tốt nhất cho tổ chức của bạn, vì nếu xác định sai thì sẽ ngăn trở sự hoạt động bình thường của tổ chức.

kế hoạch chiến lược mới (dự án 1) Trưởng nhóm dự án 1

hướng dẫn thực hiện mới (dự án 2)

nghiên cứu

cán bộ kế hoạch

cán bộ thực hiện

cán bộ nghiên cứu 1

cán bộ kế hoạch 1

cán bộ thực hiện 1

cán bộ nghiên cứu 2 (Trưởng nhóm dự án 2)

cán bộ kế hoạch 2

cán bộ thực hiện 2 cán bộ thực hiện 3

Ví dụ về cơ cấu ma trận Một ma trận “có hai trục, thay vì hình dạng kim tự tháp. Hệ thống thứ bậc theo hàng dọc được một cơ chế thẩm quyền, quyền lực hoặc trao đổi thông tin theo hàng ngang phủ lên, và có hai tuyến (tuyến kép) để thực hiện trách nhiệm, quyền hạn và trách nhiệm giải trình, điều này vi phạm nguyên tắc quản lý theo kiểu truyền thống là “chỉ có một ông chủ duy nhất” (Manage 2008: 12). •

Cơ cấu hỗn hợp: một tổ chức cũng có thể áp dụng cơ cấu hỗn hợp trong đó sử dụng từ hai loại cơ cấu tổ chức trở lên.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Dưới đây là ví dụ về cơ cấu hỗn hợp giữa cơ cấu chức năng và cơ cấu theo vùng địa lý. Giám đốc điều hành

Tài chính

Phòng ngừa

khu vực miền Trung

Hành chính

Lập kế hoạch

khu vực miền Nam

Ví dụ về cơ cấu hỗn hợp Tầm hạn kiểm soát: trong thiết kế tổ chức, khái niệm này đề cập đến một nhóm nhân viên cấp dưới mà một cán bộ quản lý có thể chỉ đạo và quản lý một cách hiệu quả (Robbins and Decenzo, 2001). Nguyên tắc thiết kế tổ chức [trích từ bối cảnh M&E của Ad Esse (2005)]: cơ cấu cần phải đi theo chiến lược và các quy trình: cơ cấu tổ chức chỉ được xác định sau khi đã xác định chiến lược (trong trường hợp này là chiến lược cho M&E) và các quy trình (để thực hiện chiến lược M&E). Thẩm quyền, quyền hạn và trách nhiệm: Các yêu cầu cụ thể đặt ra cho mỗi tổ chức để thực hiện các chức năng M&E và phản ứng của tổ chức với các yêu cầu đó có thể được mô tả theo thẩm quyền, quyền hạn và trách nhiệm để thực hiện các chức năng M&E. Các tổ chức khác nhau có thể được giao thẩm quyền, và quyền hạn trong các lĩnh vực và ở các mức độ khác nhau để thực thi các chức năng M&E.

•

Thẩm quyền M&E của tổ chức là một mệnh lệnh cụ thể được trao cho một tổ chức để thực hiện các chức năng M&E. Thẩm quyền có thể được giao phó bằng miệng hoặc bằng văn bản, ví dụ như, trong một chính sách quốc gia, kế hoạch chiến lược quốc gia hoặc kế hoạch theo dõi và đánh giá quốc gia. Chẳng hạn như, tại một cuộc họp của các tổ chức xã hội dân sự, một tổ chức có thể được trao thẩm quyền đại diện cho các tổ chức còn lại để tham gia nhóm công tác kỹ thuật M&E quốc gia.

•

Quyền hạn của một tổ chức để thực hiện các chức năng M&E thường được xác định từ nhu cầu đánh giá tiến độ thực hiện chiến lược của tổ chức. Chức năng này được thưc hiện bởi các đơn vị nằm trong tổ chức và có khả năng đo lường, phân tích và báo cáo về một bộ chỉ số nòng cốt mà, nếu được theo dõi thường xuyên, sẽ giúp đánh giá tiến độ thực hiện các mục

Triển khai các hệ thống Theo dõi và Đánh giá

•

Chương 1

tiêu của tổ chức. Cũng như với tất cả mọi chức năng của tổ chức, quyền hạn tiến hành các chức năng M&E cũng phải được ghi nhận bằng văn bản. Trách nhiệm tiến hành các chức năng M&E của tổ chức có thể được xác định như nghĩa vụ thực hiện các chức năng được giao (Robbins và Decenzo, 2001). Nếu một tổ chức được giao thẩm quyền và quyền hạn để thực hiện các chức năng M&E cụ thể, thì trách nhiệm của tổ chức đó là phải đảm bảo rằng mình có khả năng thực hiện các chức năng M&E. Các bằng chứng cho thấy một tổ chức đang thực hiện các trách nhiệm M&e của mình (hoặc đang chuẩn bị làm như vậy), có thể bao gồm: tạo ra các vị trí M&E và bổ nhiệm cán bộ cho các vị trí đó, các chức năng M&E cụ thể và thích hợp được đưa vào bản mô tả công việc của các cán bộ M&E, và các chức năng M&E được hoàn thiện (có nghĩa là, hệ thống M&E sắp sửa hoặc vẫn đang hoạt động).

Văn hóa tổ chức: Một trong những nền tảng quan trọng nhất để một tổ chức và cơ sở làm việc đạt thành công lớn, đó là văn hóa tổ chức. Chúng tôi định nghĩa văn hóa tổ chức là một tập hợp các niềm tin, giả định và giá trị được áp dụng trong các tổ chức. Văn hóa tổ chức được mô tả là “...cách thức mọi người xử sự khi không có ai giám sát.”

3. Các kết quả thu được khi thực hiện cấu phần này Các kết quả dài hạn: Các nhân viên, cán bộ trong tổ chức nắm rõ các mục tiêu tổng quát của tổ chức và các chiến lược mà tổ chức đã lựa chọn để đạt được các mục tiêu đó, đồng thời hiểu rõ vai trò của M&E trong việc giúp tổ chức đạt mục tiêu, có động cơ thúc đẩy để hoàn thành các trách nhiệm M&E của mình, và có khả năng thực hiện các trách nhiệm M&E mà không gặp trở ngại. Các kết quả ngắn hạn và trung hạn: •

Có bản mô tả công việc rõ ràng và phù hợp cho các cán bộ M&E

•

Số lượng hợp lý các cán bộ M&E có kỹ năng

•

Cơ chế lãnh đạo hiệu quả cho M&E và cam kết đảm bảo kết quả hoạt động của hệ thống M&E

•

Có cơ chế đãi ngộ cho các cá nhân tham gia đảm bảo kết quả hoạt động của hệ thống M&E

•

Xác định quy trình M&E cho các cán bộ chuyên môn M&E

Câu hỏi tư duy 1: Ôn lại các mục tiêu và chiến lược của tổ chức của bạn. Vai trò của M&E có được quy định chính thức không và cơ cấu M&E có dễ dàng tìm được chỗ đứng trong sơ đồ tổ chức không? Tổ chức của bạn có các chức năng M&E không? Các chức năng M&E có được thực hiện không? M&E có được chính thức giao phó cho một hoặc nhiều vị trí hay đơn vị trong tổ chức không? Trong tổ chức của bạn có thể nhìn rõ bao nhiêu trong số các kết quả ngắn hạn và trung hạn được liệt kê ở đây?

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

4. Các vấn đề thực thi liên quan đến sự phù hợp về tổ chức và cơ cấu cho các hệ thống M&E 4.1. Nên sắp xếp các đơn vị M&E ở đâu? Các tư liệu hiện có chia sẻ các quan điểm khác nhau về vị trí đúng đắn để sắp xếp cho đơn vị M&E trong một tổ chức. Chắc chắn là chức năng M&E cần phải làm việc trên cơ sở phối hợp với các chức năng lập kế hoạch và ngân sách. Một số tổ chức sắp xếp cho chức năng M&E một chỗ ngồi riêng biệt và bình đẳng trong tổ chức, những tổ chức khác sắp xếp cho chức năng M&E ngồi cùng với chức năng ngân sách hoặc lập kế hoạch. Nếu như trước hết M&E là yêu cầu bắt buộc để đảm bảo trách nhiệm giải trình (ví dụ như giải trình xem tổ chức có chi tiêu ngân quỹ một cách khôn ngoan không và có đi theo các mục tiêu của tổ chức không), thì vị trí tốt nhất cho chức năng M&E phải nằm ngoài tổ chức ban đầu — ví dụ như Cơ quan Giải trình Trách nhiệm của Chính phủ Hoa Kỳ (GAO) hoặc Nhóm Đánh giá Độc lập của Ngân hàng Thế giới (IEG), hay Ban Đánh giá của DFID (xem Phụ lục A). Các đơn vị M&E này thực hiện chức năng đánh giá độc lập về các chương trình của tổ chức. Tương tự như vậy, có thể phải tạo ra một văn phòng đánh giá riêng biệt hoặc một chức năng nghiên cứu các hoạt động và/hoặc đánh giá chương trình. Đơn vị Đánh giá này sẽ chỉ tập trung vào công tác đánh giá, chứ không thực hiện toàn bộ hệ thống M&E gồm 12 cấu phần (như mô tả trong khóa học này). Dù sắp xếp cho các đơn vị M&E một vị trí độc lập hay là một bộ phận của phòng kế hoạch hoặc phòng chương trình thì mỗi phương án này đều có ưu điểm và nhược điểm riêng (xem Bảng C1-1). Không có phương án nào là tuyệt đối đúng. Cần phải cân đối hài hòa và cần phải cân nhắc tất cả mọi yếu tố có thể ảnh hưởng đến các động lực trong tổ chức trước khi ra quyết định sắp xếp đơn vị M&E ở đâu. Trong một số bối cảnh, cách làm hiệu quả là sắp xếp đơn vị M&E trong đơn vị chính sách và kế hoạch, và đặt ra một vị trí cao cấp, ví dụ như phó giám đốc, để lãnh đạo đơn vị M&E. Bằng cách này đơn vị M&E sẽ có đủ quyền hạn và có thể tự chủ ở một mức độ nhất định để đưa ra các sáng kiến hành động mới, hay được phê duyệt ngân sách, v.v. Những câu hỏi dưới đây có thể giúp bạn quyết định nên đặt đơn vị M&E ở đâu trong tổ chức của bạn:

•

Trước đây bạn đã có kinh nghiệm gì với các đơn vị M&E trong tổ chức?

•

Văn hóa tổ chức và phong cách lãnh đạo trong tổ chức của bạn như thế nào (gây ấn tượng sâu sắc; mập mờ, khách quan, yếu kém, hay có xu hướng ép buộc; xem thêm De Vries, 2001)?

•

Những ai hiện đang được giao trách nhiệm thực hiện các chức năng M&E?

•

Quan điểm của tổ chức của bạn về vai trò chia sẻ thông tin và tổ chức của bạn ưu tiên cho công tác M&E đến mức độ nào?

Triển khai các hệ thống Theo dõi và Đánh giá

Đâu là những thách thức lớn mà đơn vị M&E đang phải đương đầu trong nội bộ?

•

Đơn vị M&E cần phải đưa ra những quyết định quan trọng nào?

•

Tổ chức có những dự định như thế nào trong tương lai về M&E và chia sẻ thông tin?

Bảng C1-1:

Chương 1

•

Các ưu điểm và nhược điểm của việc sắp xếp đơn vị M&E trong đơn vị kế hoạch, hoặc coi M&E như một đơn vị độc lập đứng riêng, hoặc hợp đồng thuê ngoài

Thuận lợi

Khó khăn

Đơn vị M&E trong đơn vị kế hoạch

• Các chức năng M&E được liên kết tốt hơn với các quy trình chính sách và lập kế hoạch • Đơn vị M&E có khả năng đóng vai trò mạnh mẽ hơn trong các Đánh giá phối hợp chương trình thường niên • Nhiều cơ hội để lồng ghép M&E hơn

• Ít quyền hạn, sự tự chủ và quyền lực hơn • Nhiều thủ tục quan liêu hơn • Được quản lý bởi một người có thể thiếu hiểu biết kỹ thuật về M&E • Người phát ngôn về M&E có thể không phải là người đi vận động chính sách

Đơn vị M&E độc lập và đứng riêng biệt

• Nhiều quyền hạn, sự tự chủ và quyền hạn hơn • Quá trình ra quyết định nhanh • Ít thủ tục quan liêu hơn

• M&E không được lồng ghép vào trong tổ chức hoặc trong các quy trình kế hoạch • M&E có thể bị các nhân viên cho là một chức năng theo dõi giống như cảnh sát • Các nhân viên có thể không hiểu rõ về các kết quả và quy trình M&E

Dịch vụ M&E thuê ngoài

• Các hoạt động M&E có thể chú trọng rõ rệt vào kết quả: vì nếu kết quả hoạt động kém thì không được trả tiền • Mức lương không bị ràng buộc bởi dịch vụ công; do đó có thể thuê được các chuyên gia giỏi • Hợp đồng dựa trên kết quả hoạt động nên có thể tạo ra mức độ kết quả hoạt động tốt hơn

• Sự khác biệt hoặc bổ trợ lẫn nhau giữa M&E và quản lý/điều phối chương trình không được hiểu đúng hoặc thực hiện đúng • Các thay đổi trong định hướng M&E có thể ảnh hưởng đến mối quan hệ hợp đồng giữa tổ chức và nhà thầu M&E • M&E bị coi như một chức năng thuê ngoài • Chi phí M&E tốn kém hơn • M&E không được lồng ghép vào các chức năng của tổ chức • Nhà thầu không thể đại diện chính thức cho tổ chức trong các cuộc họp hoặc không thể quyết định thay mặt cho tổ chức

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

4.2. Cần chính thức giao phó các trách nhiệm M&E cho các vị trí cá nhân trong cơ cấu của tổ chức Nhân viên thường thực hiện nhiệm vụ nếu được giao phó chính thức và nếu kết quả thực hiện của họ được thưởng công một cách rõ ràng. Do đó, điều cốt yếu là mỗi một tổ chức tham gia M&E cần phải có những chức năng M&E cụ thể, và những chức năng này cần được giao phó cho các vị trí thích hợp. Nếu các chức năng M&E không được giao phó cho các vị trí cụ thể trong tổ chức, khó có khả năng mọi người trong tổ chức sẽ thực hiện các chức năng M&E một cách chủ động và tích cực.

4.3. Để lồng ghép M&E vào một tổ chức không phải lúc nào cũng cần đến các nhân viên chuyên trách Trách nhiệm đối với M&E và các chức năng M&E trong cơ cấu của một tổ chức không phải lúc nào cũng đòi hỏi bổ nhiệm các nhân viên mới. Mặc dù trong một số trường hợp, một số vị trí có thể cần đến các nhân viên chuyên trách, dành toàn bộ thời gian cho các nhiệm vụ M&E (chẳng hạn, các vị trí như chuyên viên M&E, nhân viên dữ liệu, hay các cán bộ thống kê trong một đơn vị M&E), nhưng nếu được giao phó thì các nhân viên hiện tại của tổ chức cũng có thể thực hiện các trách nhiệm M&E, ngoài các trách nhiệm thường ngày của mình.

4.4. Lập kế hoạch và quản lý nguồn nhân lực có ý nghĩa vô cùng quan trọng để duy trì các nhân viên có chất lượng tốt Khi đã nhận dạng được những tổ chức có các chức năng M&E và xác định được các vị trí cần thiết để thực hiện các chức năng đó, cần phải nhanh chóng bổ nhiệm các cá nhân có kỹ năng vào các vị trí thích hợp (xem Cấu phần 2). Những cá nhân này (chính là nguồn nhân lực) cần được quản lý tốt. Do đó, cần có các chính sách, hệ thống và chiến lược đáp ứng yêu cầu nhân lực và các thông lệ quản lý nhân lực tốt để duy trì đội ngũ nhân viên có chất lượng tốt.

4.5. Cần quản lý Hỗ trợ kỹ thuật cho các nhu cầu M&E Xét đến tầm quan trọng của các kết quả đối với các đối tác phát triển và sự xuất hiện gần đây của các hệ thống M&E, mức độ hỗ trợ kỹ thuật M&E dành cho các chính phủ đã tăng theo cấp số nhân. Sự hỗ trợ này cần được quản lý tốt. Điều quan trọng là phải hiểu các hình thức tổ chức hoạt động tư vấn vì hoạt động này sẽ ảnh hưởng đến cách quản lý hệ thống M&E. Mỗi hình thức tổ chức hoạt động tư vấn đều có các ưu điểm và nhược điểm riêng (xem Hình C1-1).

•

Ai phát hành và thanh toán hợp đồng? Khách hàng có thể phát hành hợp đồng và thanh toán cho một số tư vấn, hoặc đối tác phát triển sẽ làm việc này.

•

Có thể thuê tuyển tư vấn cá nhân hoặc thông qua một công ty tư vấn: Một số tư vấn được bổ nhiệm theo năng lực cá nhân, trong khi những tư vấn khác được bổ nhiệm thông qua một công ty hay đơn vị tư vấn chuyên tuyển dụng các cán bộ dài hạn hoặc ngắn hạn và cử các cán bộ này đi làm biệt phái tại các quốc gia có nhu cầu.

Triển khai các hệ thống Theo dõi và Đánh giá

Các biến số khác: tư vấn có thể là tư vấn trong nước hoặc quốc tế, làm việc ngay tại quốc gia đó hoặc được cử đến quốc gia đó để thực hiện dịch vụ tư vấn. Tất cả các yếu tố này sẽ xác định phạm vi hỗ trợ kỹ thuật mà khách hàng sẽ phải quản lý. Bất kể hình thức tổ chức hoạt động tư vấn là gì thì điều cần thiết vẫn là phải thống nhất về cách thức quản lý hỗ trợ kỹ thuật M&E.

Hình C1-1:

Chương 1

•

Các ưu điểm và nhược điểm của các hình thức tổ chức hoạt động tư vấn Tư vấn do khách hàng bổ nhiệm (nghĩa là hợp đồng được ký kết giữa tư vấn và khách hàng) ƯU ĐIỂM:

Có tính linh hoạt cao – có thể điều chỉnh phạm vi công việc khi bắt đầu hoạt động tư vấn Chi phí thấp hơn – không có chi phí quản lý của tổ chức Thủ tục đấu thầu thường nhanh hơn Các kiến nghị được chấp nhận ít có tính chính trị hơn – đây được coi như các kiến nghị của khách hàng, không chịu ảnh hưởng của các cơ quan đối tác phát triển

NHƯỢC ĐIỂM

Tư vấn tự do (hợp đồng ký với cá nhân tư vấn)

Việc lựa chọn tư vấn có ý nghĩa cao nhất Nếu lựa chọn tư vấn sai, nguồn vốn cấp cho hoạt động tư vấn sẽ bị lãng phí

ƯU ĐIỂM:

Khách hàng có thể để cho đối tác phát triển giải trình trách nhiệm Đối tác phát triển có thể cho phép linh hoạt ở một mức độ nào đó

NHƯỢC ĐIỂM

Uy tín của đối tác phát triển phụ thuộc vào chất lượng tư vấn Khách hàng lệ thuộc vào thủ tục lựa chọn tư vấn của đối tác phát triển

ƯU ĐIỂM: Có thể đảm bảo chất lượng ở mức cao nhất Khách hàng trực tiếp kiểm soát hợp đồng Khách hàng có thể yêu cầu công ty chịu trách nhiệm về chất lượng sản phẩm đầu ra Các kiến nghị ít mang tính chính trị hơn – được coi là kiến nghị của khách hàng, không chịu ảnh hưởng của các cơ quan đối tác phát triển

NHƯỢC ĐIỂM

Ít linh hoạt hơn trong hợp đồng

ƯU ĐIỂM:

Đảm bảo chất lượng tốt hơn – đối tác phát triển có thể để cho công ty tư vấn chịu trách nhiệm về tiêu chuẩn kết quả hoạt động

Tư vấn thuộc một tổ chức (hợp đồng ký với tổ chức)

Khách hàng không cần quản lý hợp đồng

NHƯỢC ĐIỂM

Khách hàng lệ thuộc vào thủ tục lựa chọn của đối tác phát triển

Khách hàng không quản lý hoạt động tư vấn – do đó ít có ảnh hưởng hơn đến đầu ra

Tư vấn do đối tác phát triển bổ nhiệm (nghĩa là có hợp đồng giữa tư vấn và đối tác phát triển, và có văn bản thỏa thuận hỗ trợ giữa đối tác phát triển và khách hàng)

4.6. Văn hóa của tổ chức đóng một vai trò quan trọng Văn hóa của tổ chức là điều khó nhìn thấy và hiếm khi được bộc lộ rõ ràng. Một văn hóa tiêu cực trong quản lý dữ liệu và phổ biến thông tin sẽ khiến cho hệ thống M&E khó có thể trở nên hiệu quả và hoạt động tốt. Văn hóa tổ chức là một phần trong các lực lượng không chính thức và bị che giấu nhưng có tác dụng thúc đẩy tổ chức (cũng như phần chìm của tảng băng trôi thường không thể nhìn thấy, xem Hình C1-2 ở dưới) (Ketz De Vries, 2001). Văn hóa của tổ chức đóng một vai trò mạnh mẽ đối với tính hiệu quả của tổ chức và do đó, cần được xem xét kỹ. Văn hóa của tổ chức chịu ảnh hưởng mạnh mẽ của những người lãnh đạo tổ chức. Cấu phần 6 sẽ cung cấp nhiều thông tin hơn về cách tạo dựng văn hóa của tổ chức để hỗ trợ mạnh mẽ cho M&E.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Hình C1-2:

Các quy trình dễ thấy và quy trình bị ẩn giấu trong tổ chức những gì dễ thấy Tầm nhìn Sứ mệnh Cơ cấu Mô tả công việc

Các mục tiêu Các chiến lược Các chính sách hoạt động

Tổ chức chính thức: các lực lượng hợp lý

Những gì bị ẩn giấu Tổ chức phi chính thức: các lực lượng bất hợp lý

Các mô hình quyền lực và ảnh hưởng Động lực nhóm Các lực lượng phù hợp Lực đẩy Cảm xúc Các quan hệ giữa các cá nhân Văn hóa của tổ chức Các nhu cầu cá nhân

Nguồn: Ketz De Vries, 2001

5. Hướng dẫn thực hành C1-1: Làm cách nào để thiết kế và làm cho cơ cấu tổ chức phù hợp với M&E Khi thiết kế cách làm việc của một tổ chức, cần phải hiểu và cân nhắc các nguyên tắc thiết kế tổ chức dưới đây: cơ cấu phải luôn luôn đi theo chiến lược, đảm bảo một tầm kiểm soát thích hợp, và thiết lập chuỗi mệnh lệnh rõ ràng. Tuy nhiên, không chỉ đơn giản là cơ cấu của một tổ chức sẽ giúp cho tổ chức hoạt động một cách thích hợp. Các quy trình tổ chức, và sự phù hợp của chúng sẽ giúp đảm bảo dòng thông tin thích hợp (xem lại mục 2 để biết chi tiết hơn). Có một số bước cần tiến hành để đảm bảo rằng thiết kế và hoạt động của tổ chức sẽ hỗ trợ cho chiến lược đã chọn lựa. Hãy nhớ rằng, mục đích của một phòng ban/đơn vị M&E là đảm bảo rằng tổ chức có thể tạo ra và phản hồi thông tin nhằm tạo thuận lợi cho các cấp ra quyết định có những bằng chứng để sử dụng khi ra quyết định cho tổ chức. Dưới đây là chín bước được nhắc đến trong các tư liệu về thiết kế cơ cấu tổ chức và thường được áp dụng để thiết kế phòng ban/đơn vị M&E của tổ chức. Đây không phải những bước duy nhất, mà tùy thuộc vào lý do tại sao tổ chức quyết định đảm bảo hoạt động của chức năng M&E, có thể sẽ có thêm những bước khác.

Bước 1:

Thống nhất 5 nguyên do hàng đầu khiến cho M&E trở nên cần thiết với tổ chức của bạn (dù là cơ quan bộ, một nhóm chức năng hoặc một hình thức tổ chức khác)

Bước 2:

Xác định những người ủng hộ M&E và những người chống đối cải cách Triển khai các hệ thống Theo dõi và Đánh giá

Xác định các chức năng M&E mà tổ chức chịu trách nhiệm thực hiện

Bước 4:

Nhóm các chức năng M&E lại với nhau một cách lô-gich và bổ nhiệm (các) vị trí cho mỗi nhóm chức năng

Bước 5:

Xây dựng cơ cấu tổ chức

Bước 6:

Xây dựng bản mô tả công việc cho từng vị trí có chức năng M&E trong tổ chức

Bước 7:

Lập kế hoạch thực hiện cơ cấu tổ chức mới

Bước 8:

Xin phê duyệt cơ cấu tổ chức cho M&E

Bước 9:

Thực hiện kế hoạch quản lý thay đổi và cơ cấu tổ chức mới

Chương 1

Bước 3:

Thống nhất 5 nguyên do hàng đầu khiến cho M&E trở nên cần thiết với tổ chức của bạn Nếu không biết tại sao M&E cần thiết và có ích cho tổ chức và thành công của tổ chức thì các cấp quản lý cũng như nhân viên của tổ chức sẽ không có động cơ thúc đẩy để chỉnh sửa cơ cấu tổ chức nhằm bổ sung các chức năng M&E. Hãy viết ra đây các nguyên nhân tại sao M&E có ích và hãy tìm các ví dụ hoặc tình huống cụ thể từ các tổ chức tương tự, nơi hệ thống M&E đã hoạt động và hoạt động tốt. Kết quả: Hiểu rõ vai trò của M&E đối với tổ chức.

Bước 2:

Xác định những người ủng hộ và những người phản đối M&E

Đảm bảo cam kết chính trị và cam kết của cấp quản lý là một bước quan trọng nhưng thường bị bỏ qua. Hãy đặt câu hỏi “Ai là những người ủng hộ” để tìm ra những người sẽ sử dụng thông tin nhằm đưa ra những quyết định tốt hơn. Hãy “tóm chặt” những người này. Đồng thời, chớ quên đặt câu hỏi “Ai là những người phản đối cải cách và không muốn cơ chế quyết định dựa trên bằng chứng được thực hiện trong tổ chức?”. Các cá nhân này sẽ phải được quản lý một cách thận trọng. Mặc dù việc thiết kế cơ cấu tổ chức M&E trước hết chính là một quá trình kỹ thuật, nhưng cần có sự cam kết chính trị và cam kết của cấp quản lý vì 3 lý do sau: a)

Các kết quả của quá trình sẽ phải được phê duyệt và thực hiện bởi cấp quản lý của tổ chức và họ sẽ sẵn sàng làm như vậy hơn nếu họ nhận thức về quá trình này.

Các nhân viên của tổ chức có thể tham gia nhiều hơn và có quan điểm tích cực về các quá trình thiết kế tổ chức mà họ đã thấy cấp quản lý của mình ủng hộ và cho triển khai.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Các cán bộ quản lý cấp cao cần dẫn đầu quá trình quản lý thay đổi, nếu muốn các thay đổi trong thiết kế tổ chức được thực hiện một cách hiệu quả.

Để có được sự cam kết chính trị, cần phải giải trình cho cấp quản lý của tổ chức về những điểm sau: •

Các mục tiêu thay đổi thiết kế tổ chức

•

Các nguyên nhân tại sao sự thay đổi thiết kế tổ chức lại quan trọng (ví dụ như các nguyên nhân tại sao M&E lại có ích cho tổ chức)

•

Những người tham gia quá trình

•

Khuôn khổ thời gian dự kiến

•

Chi phí ước tính

•

Các bước của quá trình (mô tả ngắn gọn từ khi bắt đầu đến khi được phê duyệt)

•

Các lợi ích tiềm tàng đối với tổ chức

Kết quả: thẩm quyền rõ ràng do lãnh đạo của tổ chức trao cho để sửa đổi cơ cấu tổ chức và cam kết thực hiện để đạt được các kết quả của quá trình tái cơ cấu tổ chức

Bước 3:

Xác định các chức năng M&E mà tổ chức chịu trách nhiệm thực hiện

Có thể rút ra các chức năng M&E của tổ chức từ thẩm quyền và quyền hạn mà tổ chức được trao hoặc từ một số tài liệu của tổ chức như: •

Kế hoạch công việc M&E quốc gia

•

Tuyên bố sứ mệnh và tầm nhìn của bản thân tổ chức

•

Kế hoạch M&E quốc gia

•

Kế hoạch M&E của tổ chức

•

Hướng dẫn theo dõi chương trình

•

Một chính sách phù hợp của quốc gia

Nếu đã có một kế hoạch công việc M&E của quốc gia, thì đây sẽ là tài liệu đầu tiên để tham khảo. Kế hoạch công việc (xem Cấu phần 5) bao gồm, hoặc phải bao gồm, các trách nhiệm cụ thể cho các hoạt động M&E, nghĩa là từng cấu phần trong 12 cấu phần (nếu kế hoạch công việc được xây dựng dựa trên 12 cấu phần của một hệ thống M&E hoạt động tốt). Do vậy, có thể rút ra các chức năng M&E từ kế hoạch công việc M&E quốc gia và sử dụng chúng làm cơ sở để xác định các chức năng M&E của tổ chức. Nếu chưa xác định được các chức năng M&E, có thể tham khảo các câu hỏi dưới đây: •

Tầm nhìn và sứ mệnh của tổ chức là gì? Tầm nhìn và sứ mệnh có đề cập đến chất lượng, các kết quả tác động hoặc các kết quả cụ thể cần đạt được không?

Triển khai các hệ thống Theo dõi và Đánh giá

Tổ chức muốn đạt được kết quả gì về M&E (các kết quả M&E dài hạn)?

•

Các chức năng M&E nào cần được triển khai để đạt được các kết quả M&E?

Chương 1

•

Khi xây dựng danh mục các chức năng M&E, điều quan trọng là phải luôn ghi nhớ rằng: a)

Các chức năng M&E của tổ chức cần nằm trong khuôn khổ tầm nhìn chung, sứ mệnh và các mục tiêu của tổ chức. Điều này sẽ đảm bảo rằng các chức năng M&E hỗ trợ các vai trò và trách nhiệm rộng hơn của tổ chức. M&E sẽ giúp một tổ chức đạt được tầm nhìn, sứ mệnh và các mục tiêu của mình bằng cách theo dõi tiến độ thực hiện các kết quả đó.

Các chức năng M&E cần được coi như các hoạt động ở cấp cao, chứ không phải là một danh mục chi tiết các nhiệm vụ (ví dụ như, một chức năng M&E phải là “quản lý các dữ liệu theo dõi chương trình thường quy”, chứ không phải là một nhiệm vụ chi tiết như “nạp dữ liệu vào máy tính, lưu trữ các biểu mẫu, làm sạch dữ liệu và phân tích dữ liệu “).

Kết quả: Danh sách các chức năng M&E mà tổ chức chịu trách nhiệm thực hiện — đôi khi được đề cập đến như một phân tích công việc M&E (do các cán bộ chuyên môn về nhân sự thực hiện), hoặc như một cơ cấu phân chia công việc cụ thể (cho các cán bộ chuyên môn quản lý dự án).

Bước 4:

Nhóm các chức năng M&E với nhau một cách lô-gich và bổ

nhiệm các vị trí cho mỗi nhóm

Thứ nhất, hãy xác định xem hiện tại có bao nhiêu người chịu trách nhiệm về M&E (làm việc toàn thời gian hoặc bán thời gian), thường là thông qua một đánh giá hiện trạng. Đánh giá này có thể được thực hiện theo những cách khác nhau, hoặc thông qua một bảng câu hỏi mà mỗi bên liên quan phải hoàn thành hoặc thông qua các dữ liệu tổng hợp từ các địa điểm khác nhau. Chúng tôi gọi đây là một Báo cáo kiểm kê nguồn nhân lực. Cùng với các chức năng M&E đã được thiết lập của tổ chức, bước tiếp theo là nhóm các chức năng với nhau một cách hợp lý, trên cơ sở lưu ý các hoàn cảnh cụ thể và các mục tiêu hoạt động M&E của tổ chức. Một khi các chức năng đã được nhóm lại với nhau một cách logic, bước tiếp theo là xác định số lượng và loại hình vị trí cần thiết cho mỗi nhóm chức năng hợp lý. Những mẹo nhỏ dưới đây (trích từ www.ad-esse.com) có thể giúp xác định số lượng và loại hình các vị trí. Tổ chức các chức năng để tạo thành các khối công việc/đầu ra được sắp xếp một cách logic và dễ quản lý (“các nhiệm vụ tổng thể”). Các nhiệm vụ tổng thể là tập hợp các bước quá trình mà khi thực hiện cùng với nhau, chúng sẽ đem lại một đầu ra hoàn chỉnh, được công nhận. Hầu hết các nhiệm vụ tổng thể là đối nghịch của chủ nghĩa Taylor, nghĩa là cách tiếp cận nhiệm vụ theo kiểu dây chuyền lắp ráp, trong đó mỗi người thực hiện một phạm vi nhiệm vụ rất hẹp và thường lặp

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

đi lặp lại. Ví dụ về các nhiệm vụ tổng thể bao gồm quản lý toàn bộ quá trình báo cáo hàng tháng, tiến hành đánh giá, hoặc quản lý xây dựng năng lực về M&E. Cuối cùng, người chịu trách nhiệm thực hiện các chức năng này sẽ có thể xác định rõ các đầu ra, khách hàng, tính hiệu quả và kết quả. •

Mỗi vị trí cần phải có các vòng kiểm soát và cơ chế phản hồi để đem lại đầu ra đúng ngay lần đầu tiên, nói cách khác, phải đảm bảo rằng mỗi một vị trí được hỗ trợ thông qua một quá trình để đạt được các đầu ra có chất lượng tốt ngay lần đầu tiên.

•

Mỗi vị trí cần phát huy tính tự lập và cơ chế tự kiểm tra cho nhân viên để đánh giá hiệu quả thực hiện các nhiệm vụ M&E của họ.

•

Mỗi vị trí cần phải có một mức độ linh hoạt và khả năng để đối phó với các yêu cầu M&E thay đổi.

•

Không phải tất cả các vị trí đều cần người làm chuyên trách toàn thời gian. Ví dụ, một nhân viên nhập dữ liệu đồng thời có thể làm công việc tiếp tân. Điều quan trọng là xác định từng vị trí (ngay cả những vị trí chỉ làm công việc M&E như một phần của một chức năng công việc lớn hơn) để có thể viết ra các mô tả công việc M&E toàn diện.

•

Nhu cầu đối với một vị trí M&E mới (ví dụ, một vị trí M&E chuyên trách) cần phải rõ ràng và được cân nhắc thận trọng so với khả năng kết hợp làm các nhiệm vụ đó trong một vị trí khác đã có trong tổ chức (ví dụ, một vị trí M&E bán thời gian). Nếu các chức năng M&E này được kết nối với một vị trí hiện có, hãy đảm bảo rằng điều này được nêu rõ trong mô tả công việc.

Kết quả: (a) Một Báo cáo kiểm kê nguồn nhân lực, trong đó liệt kê tên, trình độ học vấn, đào tạo, các việc làm trước đây, khả năng ngoại ngữ và kinh nghiệm chuyên môn của các nhân viên hiện tại trong tổ chức (Robbins và Decenzo, 2001), và (b) một sơ đồ chức năng cho thấy các nhóm chức năng hợp lý, như minh họa trong hình C1-3, cũng như một danh sách tất cả các vị trí cần thiết trong một tổ chức.

Bước 5:

Phát triển một cơ cấu tổ chức

Một cơ cấu tổ chức là một mô tả trực quan về cách thức làm việc với nhau giữa các vị trí khác nhau trong tổ chức. Nó cho thấy chuỗi lệnh (ai báo cáo cho ai), cũng như các thẩm quyền quản lý theo cấp và thẩm quyền quản lý nhân viên. Dưới đây là một số lời khuyên cho việc thiết kế một cấu trúc tổ chức hiệu quả:

Bắt đầu với các loại hình thiết kế tổ chức theo tiêu chuẩn (xem hình C1-1) và sau đó thực hiện một tùy chỉnh thiết kế để sắp xếp các nhóm chức năng M&E hợp lý.

Có thể tạo ra một cơ cấu tổ chức hỗn hợp bằng cách sử dụng nhiều loại hình thiết kế tổ chức trong một cơ cấu (ví dụ, cơ cấu chức năng kết hợp với cơ cấu theo địa lý, như hình C1-1 minh họa).

Triển khai các hệ thống Theo dõi và Đánh giá

Luôn nhớ đến cơ cấu rộng của cả tổ chức và liên kết cơ cấu tổ chức M&E với cơ cấu rộng lớn hơn của tổ chức.

Mỗi người chỉ phải có một cán bộ quản lý (nguyên tắc chuỗi lệnh). Giữ cho chuỗi lệnh càng ngắn càng tốt. Hãy chắc chắn rằng mỗi nhiệm vụ M&E là trách nhiệm của một vị trí. Nếu một nhiệm vụ M&E có vẻ như là một trách nhiệm chung, hãy cố gắng phân biệt các phần khác nhau của nhiệm vụ đó để phân bổ mỗi phần nhiệm vụ cho một vị trí.

Một người chỉ có thể quản lý hiệu quả một số lượng có hạn nhân viên cấp dưới, nhưng số lượng thuộc cấp của mỗi cán bộ quản lý càng nhiều, thì chi phí quản lý của tổ chức càng thấp. Phạm vi kiểm soát phải được cân đối với hiệu quả quản lý và hiệu quả chi phí. Phạm vi kiểm soát có thể tăng theo sự rõ ràng và tự động hóa trong các quy trình. Nói cách khác, các quy trình được xác định rõ ràng và có mức độ tự động hóa cao sẽ cần ít cán bộ quản lý hơn. Thay đổi trong phạm vi kiểm soát có thể làm thay đổi các thông số yêu cầu của công việc.

Trong một cơ cấu tổ chức đã phát triển tốt, quy tắc chủ yếu là “cấu trúc càng phẳng càng tốt” vì như vậy sẽ ít sự giám sát hơn, trong khi sự tự chủ và làm việc theo nhóm nhiều hơn (ví dụ, tránh quan hệ kiểu một-một giữa cấp quản lý và cấp dưới ).

Hình C1-3:

Chương 1

Ví dụ về sơ đồ chức năng để hiển thị các nhóm chức năng M&E hợp lý của tổ chức

A: DANH SÁCH CÁC CHỨC NĂNG M&E CỦA TỔ CHỨC Thiết kế và phối hợp đánh giá Tạo dựng các quan hệ đối tác M&E Xây dựng năng lực của các đối tác trong M&E Sắp xếp các cơ chế phản hồi hàng tháng Quản lý dữ liệu theo dõi hàng tháng Lập kế hoạch M&E hàng năm

Quản lý khảo sát quốc gia Chủ trì các quy trình lập kế hoạch M&E Phối hợp phê duyệt khía cạnh đạo đức của các nghiên cứu mới Giám sát dữ liệu của các đối tác Quản lý nhân viên M & E

B: SƠ ĐỒ CHỨC NĂNG CHO THẤY KẾT QUẢ NHÓM CÁC CHỨC NĂNG M&E HỢP LÝ Lập kế hoạch M&E hàng năm Quản lý nhân viên M&E Tạo dựng các quan hệ đối tác M&E Chủ trì các quy trình lập kế hoạch M&E

Nâng cao năng lực của các đối tác trong M & E Giám sát dữ liệu của các đối tác Sắp xếp các cơ chế phản hồi hàng tháng

Quản lý dữ liệu theo dõi hàng tháng Quản lý việc chuẩn bị báo cáo tiến độ hàng tháng

Thiết kế và phối hợp đánh giá Quản lý khảo sát quốc gia Phối hợp phê duyệt khía cạnh đạo đức của các nghiên cứu mới

C: DANH SÁCH CÁC VỊ TRÍ TRONG TỔ CHỨC Quản lý M&E Cán bộ Xây dựng năng lực và giám sát M&E Cán bộ nghiên cứu Cán bộ đánh giá Cán bộ Theo dõi Cán bộ truyền thông Nhân viên dữ liệu x 3 (mỗi khu vực 1 người)

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Thiết kế tổ chức là một quá trình lặp đi lặp lại. Khi thiết kế xong cơ cấu tổ chức, cần phải đánh giá sự phù hợp của thiết kế và tiến hành thay đổi, nếu cần thiết. Kết quả: Một cơ cấu tổ chức cho M&E, còn gọi là sơ đồ tổ chức (xem hình C1-4). Hình C1-4:

Ví dụ về sơ đồ tổ chức cho M&E dựa trên sơ đồ chức năng

Quản lý M&E Cán bộ truyền thông

Cán bộ Xây dựng năng lực và giám sát M&E

Cán bộ hành chính

Cán bộ theo dõi

Cán bộ nghiên cứu và đánh giá

Nhân viên dữ liệu (vùng phía nam) Nhân viên dữ liệu (vùng phía đông) Nhân viên dữ liệu (vùng phía bắc)

Bước 6:

Xây dựng mô tả công việc cho từng vị trí có các chức năng M&E trong tổ chức

Sau khi các vị trí và mối quan hệ giữa các vị trí đã được xác định (như mô tả trong sơ đồ tổ chức, Bước 5), bước tiếp theo là xây dựng hồ sơ cho mỗi vị trí. Một hồ sơ vị trí công việc bao gồm một bản mô tả công việc và bản thông số yêu cầu công việc (thường thì hai bản này được kết hợp với nhau). Bản mô tả công việc là một tuyên bố bằng văn bản về những gì mà người nhận công việc đó phải làm, công việc đó cần được làm như thế nào, và tại sao lại làm như vậy. Bản thông số yêu cầu công việc là một văn bản quy định các yêu cầu năng lực tối thiểu được chấp nhận mà một người phải có để thực hiện thành công công việc được giao. Việc sử dụng một định dạng chuẩn cho các hồ sơ vị trí công việc trong toàn bộ tổ chức sẽ giúp tích hợp các chức năng M&E trong tổ chức. Kết quả: hồ sơ vị trí công việc (mô tả công việc và thông số yêu cầu công việc) cho mỗi vị trí có các nhiệm vụ M&E trong tổ chức.

Triển khai các hệ thống Theo dõi và Đánh giá

Giải thích và ví dụ về hồ sơ vị trí công việc

Khía cạnh của hồ sơ

Giải thích

Chương 1

Bảng C1-2:

Ví dụ cho vị trí quản lý M&E trong Hình C1-4

Chức danh

Tên gọi của vị trí được viết trên cửa văn phòng

Quản lý M&E

Địa điểm

Nơi đặt vị trí công việc

Gaberone, Botswana

Cấp có thẩm quyền nhận báo cáo

Tên gọi của vị trí được nhận báo cáo

Giám đốc Chương trình

Mục đích chính của vị trí này

Tuyên bố mục đích chính của vị trí công việc. Kết quả chính mà vị trí này được dự kiến đem lại?

Đảm bảo rằng tổ chức sử dụng các thông tin chính xác, được cập nhật và phù hợp để ra quyết định chiến lược và quyết định hoạt động

Các lĩnh vực hoạt động chính

Đây là mô tả về các chức năng M&E chính mà người nhận vị trí này phải thực hiện (sử dụng kết quả từ Bước 3). Nếu người đó đồng thời có các chức năng khác, hãy mô tả thành hai phần: một phần mô tả các trách nhiệm khác và một phần mô tả trách nhiệm M&E. Đưa cả hai phần này vào bản mô tả. Đánh giá hiệu quả hoạt động của nhân viên này thường liên kết với các lĩnh vực được liệt kê ở đây, vì vậy hãy chắc chắn rằng các chức năng M&E của nhân viên này đã được bao gồm trong danh sách các lĩnh vực hoạt động chủ chốt.

1. Tạo ra và duy trì các quan hệ đối tác M&E 2. Chủ trì việc lập kế hoạch công việc M&E hàng năm 3. Quản lý nhân viên M&E 4. Chủ trì quy trình lập kế hoạch M&E

Mô tả công việc

Đây là bản mô tả chi tiết về cách thức để nhân viên thực hiện chức năng của mình. Bản mô tả công việc xác định các chức năng M&E một cách chi tiết hơn bằng cách chia nhỏ mỗi chức năng M&E thành nhiều nhiệm vụ cá nhân.

(Ví dụ về một trong những lĩnh vực hoạt động chính được mở rộng) a. Tạo ra và duy trì quan hệ đối tác M&E • Lưu giữ danh sách liệt kê các đối tác M&E • Xây dựng và thiết lập các mối quan hệ với các đối tác • Tổ chức và chủ trì các cuộc họp đối tác M&E hàng quý

Bản thông số yêu cầu công việc

Đây là danh sách các bằng cấp mà nhân viên phải có để thực hiện được vị trí này, cũng như kinh nghiệm làm việc và các kỹ năng chuyên môn cần thiết hoặc theo chỉ định. Trình độ học vấn thường là bằng cấp sau đại học; bằng đại học; chứng chỉ; văn bằng; và/ hoặc các khóa học ngắn (ví dụ, các hội thảo đào tạo, tập huấn).

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Bước 7:

Lập kế hoạch triển khai cơ cấu tổ chức mới

Tại sao phải suy nghĩ về cách thức triển khai một cấu trúc tổ chức mới? Con người thường sợ hãi sự thay đổi, và do đó có xu hướng chống lại sự thay đổi. Vì sự thay đổi trong cơ cấu tổ chức có thể đem lại những thay đổi trong toàn thể tổ chức, nên điều quan trọng là phải thiết kế một kế hoạch quản lý sự thay đổi một khi nhóm kỹ thuật đã thống nhất về cơ cấu tổ chức. Trong bối cảnh đó, sự thay đổi được định nghĩa như là một biến đổi trong môi trường, cơ cấu, công nghệ hoặc con người của tổ chức (Robbins và Decenzo, 2001). Tại sao người ta chống lại sự thay đổi? Sự kháng cự của các cá nhân là kết quả của ít nhất ba yếu tố: sự sợ hãi những gì chưa biết rõ, sự sợ hãi bị mất một cái gì đó có giá trị, và niềm tin rằng sự thay đổi là không tốt cho tổ chức (Robbins và Decenzo, 2001). Làm thế nào để quản lý sự thay đổi của một tổ chức? De Vries Ketz (2001:197) gợi ý một số hành động để giúp quản lý sự thay đổi (hoặc các thay đổi) trong cơ cấu tổ chức của một tổ chức. Các lãnh đạo của tổ chức chủ trì những hành động này nếu muốn cơ cấu mới được triển khai thành công, cụ thể như: a)

Tạo ra một suy nghĩ chung về sự cần thiết cấp bách và đối thoại thực sự; tham vọng của tập thể, sự lo lắng được kiểm soát, cam kết và động lực thúc đẩy; và cởi mở về sự cần thiết phải thay đổi tổ chức. Điều này có thể được thực hiện bằng cách tóm tắt cho tất cả các nhân viên về sự cần thiết phải thay đổi, mục đích và phạm vi của sự thay đổi (tức là, không phải tất cả mọi thứ đều thay đổi, chỉ có những phần không hoạt động tốt mới phải thay đổi), và những lợi ích mà sự thay đổi sẽ đem lại.

Tập trung sự chú ý của các nhân viên vào giá trị đối với toàn bộ tổ chức và các cải tiến mà sự thay đổi sẽ mang đến cho hiệu quả hoạt động của tổ chức.

Quản lý các kỳ vọng của nhân viên về quá trình thay đổi gồm những gì và không gồm những gì.

Tóm tắt cho các nhân viên về tiến độ của quá trình thiết kế sự thay đổi.

Cho các nhân viên một cơ hội để đóng góp đầu vào cho quá trình này và tạo ra một môi trường an toàn, nơi họ có thể thẳng thắn bày tỏ mối lo ngại cũng như sự thất vọng của mình.

Đưa ra các quyết định chắc chắn một khi quá trình này đã được hoàn thành.

Truyền đạt các quyết định đã được đưa ra.

Tạo cơ hội xây dựng các nhóm và phát triển liên nhóm.

Kết quả: Một kế hoạch thực hiện cho biết cơ cấu tổ chức mới sẽ được triển khai như thế nào, với các hoạt động, trách nhiệm và khung thời gian rõ ràng.

Bước 8: Lập kế hoạch triển khai cơ cấu tổ chức mới Khi cơ cấu tổ chức mới đã được thống nhất và kế hoạch quản lý sự thay đổi đã được xây dựng, thì cơ cấu mới và kế hoạch quản lý sự thay đổi cần phải được 76

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 1

trình lên để xin phê duyệt. Phải chuẩn bị giải trình lý do cho cơ cấu tổ chức mới. Tài liệu này phải nêu chi tiết về những thay đổi trong cơ cấu tổ chức; các lợi ích cho tổ chức; những thay đổi thực tế sẽ được thực hiện; các ảnh hưởng chi phí lâu dài xuất phát từ các thay đổi, và bất kỳ chi phí nào khác liên quan như bổ sung không gian văn phòng. Các thủ tục phê duyệt phụ thuộc vào tổ chức và phạm vi của thiết kế tổ chức. Nếu thay đổi thiết kế tổ chức là dành cho một tổ chức thuộc khu vực công, chẳng hạn như một bộ trung ương hoặc cơ quan của chính phủ, thì thông thường cần có sự chấp thuận của Ủy ban Dịch vụ Công (hoặc một cơ quan tương đương). Ngoài ra, cũng có thể có một Hội đồng để phê duyệt những thay đổi và ảnh hưởng chi phí do thay đổi. Kết quả: văn bản giải trình lý do của các thay đổi được đề xuất và văn bản phê duyệt của cấp quản lý trong tổ chức để xúc tiến và triển khai những thay đổi đó.

Bước 9:

Thực hiện cơ cấu tổ chức mới

Sau khi được phê duyệt, cần bắt tay vào triển khai cơ cấu tổ chức mới. Việc này được thực hiện thông qua các quy trình quản lý nhân sự, bao gồm tuyển dụng, đào tạo, động lực thúc đẩy và phát triển nhân viên trong tổ chức. Kết quả: Kế hoạch thực hiện cơ cấu tổ chức mới bao gồm các yếu tố được liệt kê trong Bước 9. Câu hỏi tư duy 2: Hãy nhớ lại cơ cấu tổ chức M&E trong tổ chức của bạn. Những bước nào trong số các bước nói trên đã được thực hiện và ở những giai đoạn nào? Cấp quản lý có được thông báo về các thay đổi không? Nêu một số khó khăn không ngờ tới khi thực hiện các bước đó? Liệu các bước đó có giúp giải quyết tất cả những mối quan ngại bạn có thể nghĩ đến không? Bạn sẽ phản ứng thế nào nếu bạn đã tham gia vào một hoạt động có tính chất như vậy? Làm thế nào để bạn quản lý sự thay đổi trong tổ chức của mình?

6. Tóm tắt Chương 1 - Kiến thức và Kỹ năng Trong chương này, bạn đã học về lý thuyết và các bước của quy trình kỹ thuật cần thiết để thiết kế một cơ cấu tổ chức với các chức năng M&E trong đó. Bạn đã biết về tầm quan trọng của việc gắn kết cấu trúc M&E của tổ chức với các quy trình quản lý khác trong tổ chức và ý nghĩa quan trọng của việc tìm ra được và làm việc với những người ủng hộ M&E, đồng thời giữ một khoảng cách với những người có thể phản đối M&E.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

Bạn đã biết rằng M&E cần phải là một phần trong thẩm quyền của tổ chức, và đó là điều cần thiết để giúp tổ chức của bạn để theo dõi tiến độ thực hiện các mục tiêu của mình. Bạn đã học được rằng điều quan trọng là phải quyết định vị trí đặt các chức năng M&E, đưa M&E thành một phần cụ thể trong bản mô tả công việc của nhân viên, và phải quản lý tốt hỗ trợ kỹ thuật. Bạn cũng đã biết về sự cần thiết phải quản lý các nhân viên trong tổ chức của bạn để giữ cho họ có quan điểm tích cực và có động cơ thúc đẩy thực hiện các trách nhiệm M&E, đồng thời cung cấp các ưu đãi để họ thực hiện tốt công việc M&E.

7. Bài tập a)

Đọc kỹ Hướng dẫn thực hành C1-1 (Làm thế nào để gắn kết và thiết kế một cơ cấu tổ chức cho M&E).

Trang 91 – 93 tóm tắt cơ cấu tổ chức và văn hóa tổ chức hiện tại của Bộ Giáo dục thuộc nhà nước Goldstar.

Dưới đây là danh sách các chức năng M&E của trụ sở Bộ Giáo dục. Giả sử các chức năng này là những kết quả đầu ra của Bước 3 trong số các bước ở Hướng dẫn thực hành C1-1.

Ngoài ra dưới đây còn có danh sách kiểm kê nguồn nhân lực dưới đây. Hãy coi đây là kết quả đầu tiên của Bước 4.

Hãy hoàn thành kết quả thứ hai của Bước 4, Bước 5 và Bước 6 trong Hướng dẫn thực hành C1-1. Khi thực hiện Bước 6, chỉ cần xây dựng một bản mô tả công việc.

Đầu ra 1: Một sơ đồ chức năng cho tổ chức (kết quả (b) từ Bước 4) Đầu ra 2: Một cơ cấu tổ chức cho đơn vị M&E (với các chức năng được xác định rõ ràng cho từng tiểu ban thuộc đơn vị M&E) (kết quả từ Bước 5). Đầu ra 3: Một bản mô tả công việc cho một trong số các vị trí trong tổ chức (kết quả từ Bước 6).

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 1

A: Cơ cấu tổ chức và văn hóa tổ chức hiện tại ở nhà nước Goldstar Bộ trưởng Bộ Giáo dục

Vụ trưởng Vụ Kế hoạch

Vụ trưởng Vụ Chất lượng Giáo dục

Vụ trưởng Vụ Giáo dục Tiểu học

Vụ trưởng Vụ Giáo dục Trung Học

Vụ trưởng Vụ Quản lý Giáo dục

Cán bộ Kế hoạch Khu vực phía bắc

Thanh tra trường học Khối trường tiểu học

Quản lý Văn phòng Giáo dục Khu vực phía Bắc

Cán bộ Kế hoạch Khu vực phía Nam

Thanh tra trường học Khối trường Trung học

Quản lý Văn phòng Giáo dục Khu vực phía Nam

Cán bộ Kế hoạch Khu vực phía Đông

Cán bộ Kiểm tra

Quản lý Văn phòng Giáo dục Khu vực phía Đông

Cán bộ Chính sách

Nguồn: Tác giả

Vụ Kế hoạch: Vụ này chịu trách nhiệm soạn thảo các chính sách và chiến lược giáo dục ở cấp quốc gia để hỗ trợ tất cả các vùng xây dựng kế hoạch hoạt động ngành giáo dục hàng năm, tổng hợp kế hoạch hoạt động ngành giáo dục toàn quốc và lập ngân sách để trình Bộ Tài chính theo chu kỳ ngân sách ba năm, và chuẩn bị tài liệu để tiến hành đánh giá phối hợp hàng năm về tiến độ thực hiện chiến lược ngành giáo dục.

Vụ Chất lượng Giáo dục: Vụ này có trách nhiệm đảm bảo giáo dục đạt tiêu chuẩn. Đây là đơn vị quy định các tiêu chuẩn thi cử và tiêu chuẩn giáo trình, xây dựng giáo trình chuẩn, chủ trì các kỳ thi cuối cấp tiểu học và trung học, và tiến hành thanh tra trường học để liên tục đánh giá chất lượng giảng dạy và học tập.

Vụ Giáo dục Tiểu học: Vụ này giám sát tất cả các khía cạnh của giáo dục tiểu học bao gồm cả việc thành lập các trường mới, tuyển dụng giáo viên cho các trường học, đào tạo giáo viên tiểu học, xây dựng trường mới, cung cấp sách giáo khoa cho các trường học, và quản lý việc ghi danh nhập học trong khối trường tiểu học.

Vụ Giáo dục Trung học: Vụ này giám sát tất cả các khía cạnh của giáo dục trung học bao gồm cả việc thành lập các trường mới, tuyển dụng giáo viên cho các trường học, đào tạo giáo viên trung học, xây dựng trường mới, cung cấp sách giáo khoa cho các trường học, và quản lý việc ghi danh nhập học trong khối trường trung học.

Vụ Quản lý Giáo dục: Vụ này cung cấp các cán bộ quản lý cho ngành giáo dục ở cấp vùng và địa phương. Các cán bộ quản lý có nghĩa vụ đảm bảo rằng các chính sách của ngành giáo dục được điều phối và thực hiện tại

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Chương 1

từng vùng và các ngành khác cũng tích hợp các công việc của mình với công việc của ngành giáo dục. Họ cũng là đầu mối liên lạc với các tổ chức xã hội dân sự làm việc trong các trường học và với phụ huynh học sinh và giáo viên nhằm nâng cao chất lượng và điều kiện tiếp cận với giáo dục. Về văn hóa tổ chức tại Bộ Giáo dục của nhà nước Goldstar, một đánh giá thể chế gần đây cho thấy: a)

Mỗi Vụ làm việc riêng rẽ và do đó, có sự trùng lặp trong công việc của nhiều đơn vị khác nhau. Ví dụ như các cán bộ quản lý khu vực thực hiện các dự án và giám sát công việc của xã hội dân sự trong lĩnh vực giáo dục, nhưng không phải lúc nào công việc của họ cũng gắn kết hoặc tuân thủ các yêu cầu về các phẩm chất trong ngành giáo dục.

Vụ chất lượng giáo dục không đưa ra phản hồi về chất lượng giáo dục cho bộ phận kế hoạch, do đó không có thông tin về chất lượng giáo dục (trong khi đây là một thước đo sức mạnh của ngành giáo dục).

Các Vụ không dễ dàng chia sẻ thông tin với nhau và đánh giá phối hợp hàng năm của ngành giáo dục bao gồm các bài thuyết trình riêng của nhiều đơn vị khác nhau mà không có sự thống nhất trước để trình bày một bức tranh chung rõ rệt về hiện trạng của ngành giáo dục.

Các tổ chức xã hội dân sự làm việc trong ngành giáo dục không báo cáo lên các quan chức của Bộ Giáo dục. Các dữ liệu mà các tổ chức này thu thập được chỉ tập trung vào số lượng các trường học, học sinh và giáo viên mà họ hỗ trợ.

B: Các chức năng M&E của tổ chức 1.

Phối hợp xây dựng và cập nhật của khung M&E quốc gia cho ngành giáo dục.

Hỗ trợ các vùng xây dựng kế hoạch M&E để theo dõi sự tiến bộ trong vùng.

Chuẩn bị các bản tin thống kê giáo dục hàng quý.

Đào tạo tất cả mọi người về theo dõi và đánh giá liên quan đến giáo dục.

Phối hợp xây dựng và cập nhật một kế hoạch công việc tích hợp M&E quốc gia

Thực hiện Tổng điều tra Giáo dục thường niên cho năm 2007, 2008 và 2009.

Nâng cao chất lượng dữ liệu về giáo dục.

Phối hợp việc phổ biến thông tin trong kỳ đánh giá phối hợp ngành giáo dục hàng năm

Kiểm tra chất lượng của các chương trình đào tạo giáo viên.

10. Hỗ trợ các tổ chức phi chính phủ để xây dựng kế hoạch công việc M&E 11. Thiết lập và duy trì một ủy ban quốc gia M&E cho ngành giáo dục.

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 1

12. Thiết lập và duy trì hệ thống theo dõi giáo dục cho các vùng, và cơ sở dữ liệu để nắm bắt tất cả các dữ liệu ngành giáo dục. 13. Quản lý hệ thống thông tin quản lý giáo dục. 14. Hỗ trợ các nghiên cứu liên quan đến giáo dục theo chương trình nghiên cứu của quốc gia 15. Hỗ trợ việc kết hợp chương trình của bạn vào chiến lược nghiên cứu quốc gia và chương trình nghiên cứu ưu tiên. 16. Phân tích các xu hướng liên quan đến tình trạng giáo viên thường xuyên vắng mặt trên lớp học 17. Thực hiện nghiên cứu để xác định hiệu quả của giáo trình giảng dạy. 18. Kiểm tra chất lượng giáo dục thông qua các chuyến giám sát trường học. 19. Tham gia vào các diễn đàn và ủy ban chính phủ nơi thảo luận các vấn đề M&E 20. Đáp ứng các yêu cầu cụ thể về dữ liệu giáo dục từ Bộ trưởng. 21. Đề nghị cải tiến các chiến lược ngành giáo dục để nâng cao tỷ lệ học sinh đạt yêu cầu 22. Soạn thảo báo cáo tiến độ thực hiện chiến lược giáo dục thường niên và xin phê duyệt hàng năm 23. Xây dựng các chương trình đào tạo M&E cho ngành giáo dục.

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Cán bộ Kế hoạch: Khu vực miền bắc

Duane Menkens

Vụ trưởng Vụ Giáo dục Trung học (P2)

Augustine Kamlongera

Thanh tra trường học: Khối trường tiểu học (P4)

Vụ trưởng Vụ Kế hoạch (P2)

Ashley Peterson

Chris Nzima

Tên vị trí và cấp bậc

Tên cán bộ/ nhân viên (xếp chữ cái đầu tên theo thứ tự ABC)

Thống kê

Cử nhân giáo dục

Cử nhân khoa học

Trình độ học vấn

Bắt đầu đi làm ở Bộ Giáo dục

Xây dựng giáo trình tài chính căn bản và lập ngân sách

1998 - hiện tại: Cán bộ kế hoạch

1994 – 1998:

1993 - 1994: Trưởng khoa Toán tại trường Trung học Maison’s

1991 – 1993: Giáo viên toán tại trường Trung học Gillford

2008 — hiện tại: Thanh tra trường học

2005 — 2007: Giáo viên chủ nhiệm tại trường Trung học Gillford

2002 — hiện tại: Vụ trưởng Vụ Giáo dục Trung học

Khởi xướng giáo trình mới tại Đại học Quốc gia Goldstar Khởi xướng chương trình giáo dục tư nhân cho các cộng đồng ở miền bắc đất nước

1998 — 2001: Giáo viên chủ nhiệm tại trường trung học lớn nhất nước Goldstar

2005 — hiện tại: Vụ trưởng Vụ Kế hoạch

Dạy học 10 năm tại Đại học Quốc gia Goldstar

2003 — 2005: Quản lý giáo dục cấp vùng

Trưởng nhóm Đánh giá ngành giáo dục thường niên năm 2008

1995 — 2003: Giáo viên dạy môn khoa học thường thức tại 3 trường tiểu học ở nước Goldstar

Quá trình làm việc tại Bộ

Chủ trì xây dựng chiến lược mới nhất của ngành giáo dục

Bắt đầu đi làm tại Bộ giáo dục

Kinh nghiệm chuyên môn và kết quả làm việc trước khi về làm việc tại Bộ

Chương 1

C: Kiểm kê nguồn nhân lực của tổ chức

Triển khai các hệ thống Theo dõi và Đánh giá

Tên vị trí và cấp bậc

Quản lý Văn phòng Giáo dục: Khu vực miền nam

Vụ trưởng Vụ Chất lượng giáo dục

Bộ trưởng

Cán bộ kế hoạch: khu vực miền Nam

Tên cán bộ/ nhân viên (xếp chữ cái đầu tên theo thứ tự ABC)

Halima Blose

James Hwang

Joe Nkhomo

Kim Fisher

2001 — 2004: Thanh tra trường học ở cả 3 miền

Giám đốc tổ chức phi chính phủ Inguluma hoạt động để hỗ trợ giáo viên

1992 — 2000: Giáo viên dạy môn khoa học thường thức tại trường Trung học Dinkum 2000 — hiện tại: Cán bộ Kế hoạch

Trợ lý phòng thí nghiệm tại phòng thí nghiệm Phizzer Biên tập viên tất cả các báo cáo tại phòng thí nghiệm Phizzer

Cử nhân khoa học

Viết 4 báo cáo tiến độ thường niên cho Ban Giám đốc Phizzer trong các cuộc họp toàn thể thường niên

1992 — 2000: Vụ trưởng Vụ Kế hoạch Bộ Nông nghiệp

Chủ trì hiện đại hóa chương trình khuyến nông

2000 — hiện tại: Bộ trưởng

1990 — 1991: Cán bộ khuyến nông

Bắt đầu đi làm tại Bộ Nông nghiệp

Gần đây đã tiến hành 2 đánh giá độc lập về hiện trạng ngành giáo dục cho xã hội dân sự

2000 — 2001: Giáo viên chủ nhiệm tại trường Trung học Dynamite

Biên tập viên cho Hội đồng Giáo dục Quốc gia

2005 — hiện tại: Vụ trưởng Vụ Chất lượng giáo dục

1995 — 2000: Dạy tiếng Anh và tiếng Pháp tại 4 trường trung học

2007 — hiện tại: Quản lý Văn phòng Giáo dục

Quá trình làm việc tại Bộ

Quản lý quan hệ công chúng cho chuỗi siêu thị quốc gia

Trưởng nhóm Tổng điều tra quốc gia năm 1997 và 2007

Cán bộ thống kê tại Cục Thống kê Quốc gia

Kinh nghiệm chuyên môn và kết quả làm việc trước khi về làm việc tại Bộ

Thạc sĩ quản trị kinh doanh

Cử nhân giáo dục

Thống kê

Trình độ học vấn

Chương 1

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Triển khai các hệ thống Theo dõi và Đánh giá

Cán bộ kế hoạch

Lauren Smith

Thanh tra trường học: Khối trường Trung học

Quản lý Văn phòng Giáo dục

Laura Porter

Mandi Woolford

Tên vị trí và cấp bậc

Tên cán bộ/ nhân viên (xếp chữ cái đầu tên theo thứ tự ABC)

Thạc sĩ quản trị kinh doanh

Năm cuối, chứng chỉ tốt nghiệp trung học

Trình độ học vấn

Mở một công ty mới chuyên về vải vóc nhập khẩu

Quản lý đề xuất và cán bộ gây quỹ cho Hội Người mù quốc gia

Quản lý dự án cho công ty xây dựng

Bắt đầu đi làm ở Bộ Giáo dục

Kinh nghiệm chuyên môn và kết quả làm việc trước khi về làm việc tại Bộ

2006 — hiện tại: Thanh tra trường học

2005 — 2006: Tham gia chương trình đào tạo thanh tra trường học

2007 – hiện tại: Cán bộ kế hoạch

2005 – 2006: Giáo viên chủ nhiệm

2000 – 2005: Dạy lịch sử và khoa học thường thức tại 3 trường tiểu học

1990 – 2000: Trợ giảng tại 2 trường tiểu học và tham gia chương trình đào tạo giáo viên tại chức

2007 – hiện tại: Quản lý Văn phòng Giáo dục

2005 – 2006: Giáo viên chủ nhiệm

2000 – 2005: Dạy lịch sử và khoa học thường thức tại 3 trường tiểu học

1990 – 2000: Trợ giảng tại 2 trường tiểu học và tham gia chương trình đào tạo giáo viên tại chức

Quá trình làm việc tại Bộ

Chương 1

Tên vị trí và cấp bậc

Cán bộ kiểm tra

Cán bộ chính sách

Vụ trưởng Vụ giáo dục tiểu học

Vụ trưởng Vụ Quản lý giáo dục

Tên cán bộ/ nhân viên (xếp chữ cái đầu tên theo thứ tự ABC)

Mari Neumans

Mark Maistry

Masonda Mills

Mimi Louireiro Cử nhân giáo dục

Năm cuối, chứng chỉ tốt nghiệp trung học

Thạc sĩ Quản trị kinh doanh

Thống kê

Trình độ học vấn

1988 – 1990: Trợ giảng tại 2 trường tiểu học và tham gia chương trình đào tạo giáo viên tại chức

Bắt đầu đi làm ở Bộ Giáo dục

Bắt đầu đi làm tại Bộ Giáo dục

2000 — hiện tại: cán bộ chính sách

Quản lý văn phòng (điều hành một văn phòng có 30 nhân viên – quản lý bảng lương, nhân sự, v.v.)

2003 — hiện tại: Vụ trưởng Vụ Quản lý giáo dục

2000 — 2003: Quản lý giáo dục cấp vùng ở khu vực miền nam

2008 — hiện tại: Vụ trưởng Vụ Giáo dục tiểu học

2005 - 2007: Giáo viên chủ nhiệm tại trường Trung học Thánh Mary

1991 — 2005: Dạy lịch sử, địa lý, toán và khoa học thường thức tại 11 trường trung học;

1992 — 2000: Cán bộ kế hoạch

2006 — hiện tại: Cán bộ kiểm tra

2000 — 2006: Trưởng phòng tại trường Trung học Kinshaga và đã giúp tăng tỷ lệ học sinh đạt yêu cầu về toán từ 15% lên 94% sau 4 năm. Được trao giải thưởng giáo viên toán xuất sắc nhất trong 4 năm.

1998 — 2000: Giáo viên toán dạy thay vào thứ 7 hàng tuần tại 5 trường trung học không có giáo viên toán (các trường có chương trình toán bổ sung cho học sinh yếu kém để bắt kịp yêu cầu học của môn toán)

Quá trình làm việc tại Bộ

Cán bộ quản lý văn phòng

Chủ trì quá trình tăng nguồn cung dược phẩm trong tỉnh

Trưởng phòng marketing công ty dược phẩm

Cán bộ quy hoạch đô thị của hội đồng thủ đô quốc gia

Kinh nghiệm chuyên môn và kết quả làm việc trước khi về làm việc tại Bộ

Chương 1

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Triển khai các hệ thống Theo dõi và Đánh giá

Tên vị trí và cấp bậc

Quản lý văn phòng giáo dục

Tên cán bộ/ nhân viên (xếp chữ cái đầu tên theo thứ tự ABC)

Simone Naidoo

Cử nhân giáo dục

Trình độ học vấn

Các bài học bổ sung kiến thức toán và khoa học cho các học sinh khó khăn trong học tập (làm việc tại nhà đồng thời nuôi con)

Kinh nghiệm chuyên môn và kết quả làm việc trước khi về làm việc tại Bộ

2000 – hiện tại: Quản lý Văn phòng giáo dục

2000 – 2004: Giáo viên chủ nhiệm tại trường tiểu học Gillford

1992 – 2000: Giáo viên dạy toán và khoa học tại 3 trường trung học

Quá trình làm việc tại Bộ

Chương 1

Cơ cấu và sự phù hợp về mặt tổ chức của các Hệ thống Theo dõi và Đánh giá

Phó Chủ tịch và Trưởng mạng lưới Chính sách hoạt động và các dịch vụ quốc gia

Phó chủ tịch Viện Ngân hàng Thế giới

Phó Chủ tịch và Trưởng mạng lưới Phát triển tài chính và khu vực tư nhân

Quyền Phó Chủ tịch và Trưởng mạng lưới Phát triển con người

Phó Chủ tịch cấp cao Ngoại vụ

Phó Chủ tịch và Trưởng mạng lưới Phát triển bền vững

Vụ trưởng Vụ Dịch vụ chung

Phó Chủ tịch và Trưởng Mạng lưới Giảm nghèo và quản lý kinh tế

Giám đốc quản lý

Phó Chủ tịch Khu vực Đông Á Thái Bình Dương

Phó chủ tịch Khu vực Trung Đông và Bắc Phi

Phó Chủ tịch và Cán bộ thông tin chính của Nhóm Ngân hàng Thế giới Nhóm các giải pháp thông tin

Giám đốc quản lý

Phó Chủ tịch Toàn vẹn thể chế

Phó chủ tịch Khu vực châu Mỹ La-tinh và Ca-ri-bê

Tổng Vụ trưởng Vụ Đánh giá độc lập

Quyền giám đốc Nhóm Đảm bảo chất lượng

Chủ tịch

Các giám đốc điều hành

Ban Thống đốc

Phó Chủ tịch Khu vực Nam Á

Phó chủ tịch Khu vực châu Âu và Trung Á

Giám đốc quản lý

Phó Chủ tịch và Tổng kiểm toán Kiểm toán nội bộ

Phó Chủ tịch Nguồn nhân lực

Phó chủ tịch Khu vực châu Phi

Phó Chủ tịch và Thư ký doanh nghiệp

Trưởng ban Ban Thanh tra

Phó Chủ tịch và Thủ quỹ

Phó chủ tịch và Kiểm soát viên

Phó Chủ tịch cấp cao và Tổng Tư vấn Nhóm Ngân hàng Thế giới

Phó Chủ tịch Tài chính doanh nghiệp và quản lý rủi ro

Phó chủ tịch và Tài chính ưu đãi và các đối tác toàn cầu

Giám đốc tài chính Nhóm Ngân hàng Thế giới

Phó Chủ tịch cấp cao và Chuyên gia kinh tế trưởng

Chương 1

Phụ lục A: Sơ đồ tổ chức của Ngân hàng Thế giới cho biết vị trí của Nhóm Đánh giá Độc lập (tháng 10/2008)

2 Chương 2

Chương 2 Nguồn nhân lực cho các hệ thống M&E

Mục đích của Chương 2

Mục đích của chương này là giúp bạn xây dựng các kỹ năng mà mọi người cần đến để thực hiện trách nhiệm M&E của họ (phát triển nhân lực) sao cho hệ thống M&E hoạt động tốt.

Kiến thức và Kỹ năng của chương Đến cuối chương này, bạn sẽ có thể: a)

Giải thích những thuật ngữ và định nghĩa quan trọng nhất về phát triển nhân lực.

Xác định các vấn đề chính liên quan đến thực hiện phát triển nhân lực.

Quản lý và tiến hành Đánh giá Nhân lực cho hệ thống M&E.

Quản lý Chiến lược và Kế hoạch Phát triển nhân lực.

Nguồn nhân lực cho các hệ thống M&E

Trước khi bắt đầu ....

Chương 2

Hãy dành ra vài phút để đọc qua những câu hỏi dưới đây. Bạn có thể viết câu trả lời của mình ra giấy. Khi tìm hiểu cả chương này, hãy so sánh câu trả lời của bạn với các quan điểm của tác giả. •

Tổ chức của bạn có viết ra các mục tiêu và sứ mệnh của mình không?

•

Liệu tất cả mọi người trong tổ chức có hiểu sự đóng góp của họ vào các mục tiêu của tổ chức (sự phù hợp với các mục tiêu của tổ chức) không?

•

Tổ chức của bạn có đưa ra các cơ chế đãi ngộ nhằm thực hiện thành công các mục tiêu của mình không?

•

Tổ chức của bạn có nhiệm vụ và quyền hạn để thực hiện các nhiệm vụ theo dõi và đánh giá không?

•

Tất cả mọi người có hiểu rõ về các trách nhiệm theo dõi và đánh giá không?

•

Các bộ phận của tổ chức tham gia hoạt động M&E có các bản mô tả công việc bao gồm các chức năng M&E được quy định đầy đủ không, và các vị trí công việc đó đã có đủ người làm chưa?

•

Tổ chức của bạn và các nhân viên trong tổ chức có cảm thấy chịu trách nhiệm về các chức năng M&E như với các khía cạnh công việc khác không?

•

Các nhân viên có được hỗ trợ bởi các cán bộ quản lý khi thực hiện nhiệm vụ M&E không?

•

Làm thế nào để quản lý các hỗ trợ kỹ thuật cho M&E trong tổ chức của bạn?

Những câu hỏi này nhắc nhở chúng ta rằng, nếu thiếu con người thì hệ thống M&E của một tổ chức sẽ không thể hoạt động được. Mọi người cần được khuyến khích để hoàn thành nhiệm vụ M&E của mình. Họ phải biết rõ nhiệm vụ của họ là gì và phải được khen thưởng nếu hoàn thành tốt nhiệm vụ. Chương này sẽ giúp bạn học cách thiết kế cơ cấu tổ chức với các chức năng được gắn kết vào cơ cấu tổ chức, và cách thiết kế các bản mô tả công việc cho các nhân viên có chức năng M&E.

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 2: Nhân lực cho hệ thống M&E

Chương 2

1. Giới thiệu “Các bên liên quan trước hết là các nhà hoạch định chính sách như chúng tôi, bởi vì không có thông tin, nên mọi việc được thực hiện một cách tùy tiện và người ta không thể chắc chắn rằng một chính sách hay chương trình sẽ thất bại hay thành công. Nếu có thể định hướng các chính sách theo dữ kiện và dữ liệu thực chứng thì sẽ có sự thay đổi dễ thấy trong tác động của những việc mà chúng tôi làm. “ Giám đốc Chính sách, Ủy ban hành động quốc gia phòng chống AIDS (Nigeria), năm 2003 Nguồn nhân lực là một phần của vòng tròn “con người, quan hệ đối tác và lập kế hoạch” trong 12 cấu phần của hệ thống M&E (xem chương giới thiệu để biết thêm thông tin). Việc xác định rõ ràng và trao quyền thực hiện các trách nhiệm M&E cho một tổ chức và các nhân viên của tổ chức (Cấu phần 1), cũng quan trọng như việc các nhân viên phải có các kỹ năng cần thiết để thực hiện tốt nhiệm vụ của mình Bố cục của chương: Chương này bắt đầu bằng các thông tin cơ bản chọn lọc và các định nghĩa liên quan đến khái niệm nhân lực, phát triển và đánh giá (Phần 2), tiếp đó là kết quả đề xuất cho cấu phần này của hệ thống M&E (Phần 3). Những lợi ích xuất phát từ việc có một nguồn nhân lực mạnh mẽ được trình bày trong Phần 4. Các vấn đề thực thi liên quan đến phát triển nhân lực được trình bày trong Phần 5. Các bước cụ thể liên quan đến việc thực hiện và quản lý đánh giá nhân lực cho hệ thống M&E được mô tả trong Phần 6, và các bước liên quan đến việc xây dựng một Chiến lược Phát triển nhân lực được mô tả trong Phần 7. Chương này kết thúc bằng một phần tóm tắt các bài học (Phần 8) và bài tập thực hành ở Phần 9 để củng cố những gì bạn đã học được.

2. Giới thiệu Năng lực: Khả năng thực hiện các nhiệm vụ thích hợp một cách hiệu quả, đạt hiệu suất, và bền vững. Năng lực tập trung vào ba cấp độ, như minh họa trong hình C2-1: •

Năng lực hệ thống (Cấp độ 1): Khả năng của một hệ thống trong việc thực hiện mục đích và các mục tiêu của một quá trình và do đó góp phần hướng tới hoàn thành mục tiêu của tổ chức. Trong bối cảnh hệ thống, năng lực được định nghĩa là một tập hợp các thực thể hoạt động để đạt được một mục đích chung và tuân theo một số quy tắc và quy trình nhất định (Hopkins, 1994). Định nghĩa này ngụ ý rằng năng lực là một quá trình liên tục, mà nguồn nhân lực là điểm trọng tâm trong phát triển năng lực, và bối cảnh tổng thể trong đó tổ chức thực hiện các chức năng của mình chính là những điểm quan trọng cần cân nhắc trong các chiến lược phát triển năng lực.

•

Năng lực tổ chức (Cấp độ 2): Năng lực của tổ chức và các quy trình của tổ chức nhằm thực hiện mục đích và các mục tiêu phát triển của tổ chức. (Cấu phần này không tập trung vào năng lực tổ chức).

Nguồn nhân lực cho các hệ thống M&E

•

Năng lực cá nhân (con người) (Cấp độ 3): Khả năng của các cá nhân trong việc thực hiện các chức năng một cách hiệu quả, đạt tính hiệu suất và bền vững.

Chương 2

Hình C2-1: Ba cấp độ của năng lực và phát triển năng lực Cấp độ 1: HỆ THỐNG

Cấp độ 2:

TỔ CHỨC Cấp độ 3: CON NGƯỜI

Cấp độ 1 là môi trường phản ứng rộng lớn hơn, trong đó cần thực hiện các hệ thống M&E. Cấp độ này thường được đề cập đến bằng những tên gọi như “tình hình", “thị trường", "môi trường hành động", hoặc chỉ đơn giản là "môi trường". Cấp độ 2 bao gồm (các) tổ chức, cả chính thức và không chính thức, và các đơn vị nội bộ trong tổ chức chịu trách nhiệm về các chức năng liên kết với hệ thống M&E. Cấp độ 3 bao gồm (các) cá nhân hoạt động trong các tổ chức khác nhau. Một phương diện quan trọng của năng lực chính là ở cấp độ cá nhân – con người. Nó bao gồm các cá nhân trong các tổ chức liên quan đến thực hiện các chức năng M&E, và những người thụ hưởng hay nói cách khác là những người chịu tác động của hệ thống M&E hoặc những yếu tố mà hệ thống M&E đo lường.

Nguồn: các tác giả trích dẫn của UNDP, 1997

Phát triển năng lực: Cải thiện nguồn nhân lực và khả năng hoạt động của các hệ thống, các thể chế/tổ chức và cá nhân để họ có thể hoạt động tốt hơn (Lamptey và những người khác, 2001). Phát triển năng lực tập trung vào ba cấp độ (xem hình C2-1): •

Phát triển năng lực các hệ thống (Cấp độ 1): các cải tiến về khả năng của hệ thống (các hệ thống đơn lẻ hoặc các nhóm hệ thống) để thực hiện một cách hiệu quả các nhiệm vụ đã thiế kế cho hệ thống (ví dụ, phát triển năng lực cho các tổ chức giáo dục đại học để tiến hành đào tạo).

•

Phát triển năng lực tổ chức (cấp độ 2): các cải tiến về khả năng của các thể chế, tổ chức (nhà nước, tư nhân và các NGO) để thực hiện các nhiệm vụ thích hợp một cách riêng rẽ hoặc trên cơ sở hợp tác với các tổ chức khác (UNDP, 1997), ví dụ, bằng cách cung cấp các máy tính cho tất cả các văn phòng.

•

Phát triển năng lực con người của (các) cá nhân (cấp độ 3): Việc phát triển các kỹ năng và sử dụng hiệu quả các nhân viên chuyên môn, kỹ thuật và quản lý và các tình nguyện viên (ví dụ, thông qua đào tạo). Điều này liên quan đến việc xác định đúng người để đào tạo, cung cấp một môi trường học tập hiệu quả cho đào tạo và giáo dục, giám sát trong công việc và giám sát tại chỗ để liên tục chuyển giao kỹ năng và giám hộ dài hạn (Lamptey và những người khác, 2001).

Đánh giá năng lực: Một quá trình phân tích có cấu trúc chặt chẽ trong đó các phương diện khác nhau của năng lực được đo lường và đánh giá trong bối cảnh môi trường hoặc hệ thống rộng lớn hơn, cũng như các thực thể cụ thể và cá nhân trong hệ thống. Cần đặc biệt nhấn mạnh đặc biệt đến việc xem xét năng lực hiện có (BPPS/MDGD và FMP quốc tế, 1997). 92

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 2

Như có thể thấy, cả ba khái niệm (năng lực, phát triển năng lực và đánh giá năng lực) đều có thể tập trung vào ba cấp độ: cấp độ hệ thống, cấp độ tổ chức, và cấp độ cá nhân. Phần này tập trung vào cấp độ cá nhân với việc xây dựng các kỹ năng M&E cho những người tham gia vào hệ thống M&E (thực hiện các chức năng M&E, hoặc quản lý các nhân viên có chức năng M&E), ở cấp quốc gia, địa phương hoặc cấp độ cung cấp dịch vụ. Hai cấp độ còn lại cũng quan trọng. Các hệ thống M&E cần được phát triển cách tổng thể: cần đánh giá và tăng cường toàn bộ hệ thống thông qua điều phối và tư liệu hóa tốt hơn và hiệu quả hơn (cấp độ 1 trong Hình C2-1); và các hệ thống tổ chức, quy trình, và các nguồn lực cần phải được tăng cường để cho phép các tổ chức thực hiện một cách hiệu quả quyền hạn M&E của họ (cấp độ 2 trong Hình C2-1).

3. Kết quả thu được khi thực hiện cấu phần này Kết quả dài hạn: Đảm bảo rằng nhân lực M&E được trang bị kỹ năng phù hợp và có thể hoàn thành một cách hiệu quả tất cả các hoạt động xác định tại kế hoạch hoạt động M&E. Kết quả ngắn và trung hạn: •

Xác định tập hợp các kỹ năng cho những người chịu trách nhiệm về các chức năng M&E HIV

•

Đánh giá năng lực con người, bao gồm cả con đường phát triển sự nghiệp cho M&E

•

Quy hoạch phát triển nguồn nhân lực

•

Giáo trình chuẩn để xây dựng năng lực M&E

•

Các cơ sở đào tạo địa phương/vùng cung cấp các khóa đào tạo chất lượng tốt về M&E

•

Giám sát, đào tạo tại chức, và giám hộ là các cơ chế để liên tục xây dựng năng lực

Câu hỏi tư duy 1: Hãy hình dung về năng lực con người trong tổ chức của bạn. Có thể nhìn thấy bao nhiêu kết quả ngắn hạn và trung hạn trong số những kết quả liệt kê ở trên trong tổ chức của bạn? Liệu tổ chức của bạn có đủ nguồn nhân lực với kỹ năng thích hợp cho hệ thống M&E không? Ai chịu trách nhiệm xác định và đảm bảo nhân lực M&E phù hợp trong tổ chức của bạn? Nhiệm vụ này có được chính thức giao cho một hay nhiều vị trí hoặc đơn vị trong tổ chức của bạn? Tổ chức của bạn có đang thực hiện được kết quả dài hạn như xác định ở trên không?

Nguồn nhân lực cho các hệ thống M&E

4. Các lợi ích về nhân lực như một phần của hệ thống M&E Chương 2

“Không có những con người có kỹ năng thì cũng sẽ không có hệ thống M&E“ (một đại biểu dự hội thảo) Hệ thống M&E không thể hoạt động nếu thiếu những con người có kỹ năng và có thể thực hiện hiệu quả các nhiệm vụ M&E mà họ chịu trách nhiệm. Vì vậy, hiểu được các kỹ năng cần thiết và năng lực của những người tham gia hệ thống M&E (thực hiện đánh giá nhân lực) và giải quyết những khoảng trống năng lực (thông qua chương trình phát triển nhân lực có kết cấu chặt chẽ) là trọng tâm của hệ thống M&E, như minh họa trong hình C2-2. Hình C2-2:

Đánh giá nhân lực và phát triển nhân lực là trọng tâm trong quá trình thực hiện hệ thống M&E

Chúng ta đang ở đâu (hiện trạng M&E)

Làm thế nào để ở nguyên vị trí đó (tính bền vững của hệ thống M&E)

Nguồn nhân lực cho M&E

Nơi mà chúng ta muốn đến (các kết quả của hệ thống M&E)

Làm thế nào để đến được đó (quy hoạch và các chức năng M&E)

Nguồn: các tác giả trích của UNDP, 1997

Tập trung vào nhân lực cho M&E sẽ giúp cải thiện chất lượng của hệ thống M&E. Trong một kịch bản lý tưởng, hệ thống M&E sẽ được thiết kế trước, sau đó các yêu cầu kỹ năng cho hệ thống sẽ được xác định, tiếp đó, công tác phát triển nhân lực (HCD) sẽ được lên kế hoạch và thực hiện trước khi hệ thống M&E được triển khai. Trong cuộc sống thực, chúng ta biết rằng mọi chuyện không phải luôn luôn xảy ra như vậy; mà các kỹ năng M&E thường được phát triển song song trong quá trình triển khai hệ thống M&E. Mối quan tâm ngày càng tăng của các đối tác phát triển đối với M&E đã làm tăng những nguồn kinh phí để phát triển năng lực cho M&E. “Khi thừa nhận rằng xây dựng năng lực là trọng tâm để đạt được sự tăng trưởng kinh tế, giảm đói nghèo và cân bằng cơ hội, các tổ chức và quỹ tài trợ song phương và đa phương đã tìm được một mối quan tâm mới trong lĩnh vực

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 2

cơ bản này. Thời điểm dường như rất hợp lý. Chúng ta không chỉ có cuộc cách mạng thông tin, mà còn có các xu hướng dân chủ, sự phân cấp trong các chính phủ và sự tự do hóa nền kinh tế đều đã định hình lại một cách sâu sắc cách thức làm việc của các trường đại học, các tổ chức phi chính phủ và các tổ chức hoạt động công ích, và do đó, đem lại cho họ những thách thức mới và cơ hội mới. Ví dụ như, các chính phủ trung ương giảm bớt vai trò trong việc phát triển chính sách và cung cấp dịch vụ, so với trước kia. Với nguồn vốn công giảm sút, các tổ chức công ích phải có một khái niệm mạnh mẽ về một nền kinh tế tri thức, và họ phải có định hướng thị trường lớn hơn - không nhất thiết phải trở thành các tổ chức hoạt động hoàn toàn theo nguyên tắc thương mại, mà là các tổ chức được điều chỉnh, hoàn thiện để hài hòa các vấn đề mà trước kia từng được coi là hoàn toàn thuộc về phạm vi của các doanh nghiệp, như: quản lý, tài chính, đổi mới, dịch vụ khách hàng, marketing, và năng lực giúp khách hàng tự thu nhận và truyền đạt kiến thức “(Moock, không rõ ngày tháng).

5. Các vấn đề thực hiện liên quan đến phát triển nhân lực cho hệ thống M&E 5.1. Cần đánh giá năng lực ở các cấp độ nào? Nếu tồn tại những khoảng trống năng lực ở cấp độ hệ thống, tổ chức và cá nhân, thì cần phải đánh giá năng lực ở tất cả các cấp độ này. Thư viện Tài nguyên Điện tử (ERL) M&E HIV GAMET có các hướng dẫn và ví dụ về đánh giá năng lực M&E đã được thực hiện ở cả ba cấp độ. Bạn có thể truy cập vào thư viện thông qua http://gametlibrary.worldbank.org và nhấp chuột vào Cấu phần 2.

5.2. Cần xây dựng năng lực M&E cho ai để hệ thống M&E có thể hoạt động đầy đủ? Tất cả các bên liên quan tham gia vào hệ thống M&E cần phải có năng lực nhất định để thực hiện có hiệu quả phần việc của mình trong hoạt động của hệ thống M&E. Phụ lục A của chương này bao gồm một danh sách các kỹ năng mà một chuyên gia M&E có thể cần đến, một danh sách các cá nhân có thể cần xây dựng năng lực, cũng như các tập hợp kỹ năng cụ thể cần thiết cho những người làm các nhiệm vụ M&E khác nhau ở cấp quốc gia và các cấp được phân cấp.

5.3. Hệ thống M&E thường cần đến những năng lực nào của con người? Kinh nghiệm cho thấy cần phải có chương trình phát triển năng lực M&E tổng thể tập trung vào các khía cạnh kỹ thuật (tức là, các kỹ năng kỹ thuật để làm cho 12 cấu phần hoạt động) và các khía cạnh quản lý của các hệ thống M&E (tức là, quản lý hệ thống M&E và quản lý các nhân viên tham gia). Xem thêm chi tiết trong Phụ lục A.

Nguồn nhân lực cho các hệ thống M&E

5.4. Cần phát triển nhân lực theo những cách nào?

Chương 2

Phát triển năng lực đòi hỏi nhiều thứ hơn là chỉ có giáo dục và đào tạo (Hopkins, 1994) và không nên chỉ diễn ra dưới hình thức hội thảo vì những lý do sau đây: (i) các hội thảo khiến cho đại biểu tham dự bị tách khỏi nơi làm việc, nghĩa là tách rời khỏi những công việc mà họ chịu trách nhiệm; và (ii) tỷ lệ kiến thức giữ lại được từ các chương trình phát triển năng lực dưới hình thức duy nhất là hội thảo không cao (IEG, 2007). Vì vậy, các chiến lược phát triển năng lực bổ sung cần được đưa vào một Chiến lược và Quy hoạch Phát triển Nhân lực. Xem các ví dụ về các chiến lược bổ sung này ở phần dưới (Errkola, 2007; FHI, 2002; Nzima, 2007). Các ví dụ về Chiến lược phát triển nhân lực cho những người tham gia M&E i)

Cung cấp hỗ trợ kỹ thuật M&E như một cơ hội để đào tạo trong công việc (đào tạo tại chức). Có thể dùng nhiều cách để hỗ trợ kỹ thuật cho các nhân viên chuyên trách làm việc trong nước, như: tư vấn trong nước về M&E, tư vấn quốc tế về M&E, hoặc các cán bộ M&E quốc tế của các đối tác phát triển. Nếu được quản lý tốt, hỗ trợ kỹ thuật này có thể được sử dụng như một hình thức phát triển nhân lực, bằng cách: •

Thành lập thỏa thuận kết nghĩa

•

Xây dựng các mục tiêu và chỉ tiêu chuyển giao năng lực cụ thể cho cán bộ hỗ trợ kỹ thuật M&E thực hiện

•

Xác định phạm vi công việc cho cán bộ hỗ trợ kỹ thuật M&E, để cán bộ này không trở thành một thành viên khác của đội ngũ nhân viên (Đây là một nguy cơ đối với cán bộ hỗ trợ kỹ thuật làm việc dài hạn tại nơi sở tại)

•

Định kỳ đánh giá kết quả hoạt động của cán bộ hỗ trợ kỹ thuật M&E

• Xác định mục tiêu cho hỗ trợ kỹ thuật để tập trung vào các lĩnh vực cụ thể có nhu cầu • Dựa vào các chuyến công tác và quy trình giám hộ và hướng dẫn cụ thể như một phần của công tác hỗ trợ kỹ thuật - nơi mà quốc gia sở tại, chứ không phải tư vấn, chịu trách nhiệm tạo ra sản phẩm hỗ trợ kỹ thuật (chương về Cấu phần 1 có thêm các thông tin khác về các phương thức hỗ trợ kỹ thuật M&E khác nhau và cách quản lý hỗ trợ kỹ thuật). ii)

Tiến hành các cuộc họp chuyên môn và các hội nghị khu vực để chia sẻ kinh nghiệm và phát triển năng lực.

iii) Thiết lập và duy trì các mạng lưới tri thức khu vực nơi mọi người có thể chia sẻ kinh nghiệm. iv)

Phát triển các khóa học từ xa và các khóa đào tạo kiểu mô-đun như các phương án giáo dục mang tính liên tục. Các khóa học từ xa hiện tại đã cung cấp nhiều cơ chế sẵn sàng để phát triển năng lực M&E, tuy còn chưa được sử dụng hết tiềm năng. Để tận dụng hệ thống này, cần hiểu biết về

Triển khai các hệ thống Theo dõi và Đánh giá

các mạng lưới, các phương pháp truyền thông và học tập trong các chương trình hiện có, và bổ sung M&E vào đó. Các khóa học này cần được công nhận về mặt học thuật để các lớp học có thể diễn ra tại các trường đại học vào buổi tối và cuối tuần. Đưa nội dung M&E vào tất cả các khóa đào tạo trước khi làm việc ở cấp đại học (M&E là một vấn đề xuyên suốt), qua đó có thể giảm số lượng đào tạo tại chức (trong công việc) về M&E.

vi)

Tổ chức các chuyến tham quan học tập và trao đổi kinh nghiệm. Các chuyến tham quan học tập như vậy cần phải rất cụ thể về trọng tâm và nên đến những nơi đã có bằng chứng thực hiện các thông lệ tốt nhất.

Chương 2

Ví dụ về các chiến lược phát triển năng lực cho các cá nhân và tổ chức chịu trách nhiệm phát triển năng lực M&E vii) Hỗ trợ và cung cấp đào tạo tại chức cho các tổ chức đào tạo trong nước để cung cấp các khóa học M&E. Cần xác định các tổ chức đào tạo tiềm năng và phát triển năng lực cho họ để thực hiện các khóa đào tạo M&E. viii) Thực hiện một chương trình phát triển chuyên môn cho các chuyên gia tư vấn trong nước về M&E. Một chương trình như vậy sẽ làm giảm sự phụ thuộc vào các chuyên gia quốc tế (từ bên ngoài và lúc đến, lúc đi). ix) Xây dựng và thực hiện các chương trình “kết nghĩa” về phát triển năng lực. Một tổ chức đào tạo mới quan tâm đến M&E có thể muốn gắn kết nỗ lực của mình với một cơ sở khác đã có nhiều năm kinh nghiệm về M&E. x)

Xây dựng giáo trình chuẩn. Đây là một chiến lược khác có thể sử dụng để tạo sự thuận lợi khi đào tạo các nhà cung cấp dịch vụ đào tạo. Hiện nay, chưa có các chuẩn mực toàn cầu hoặc tài liệu đào tạo M&E được công nhận trên toàn cầu; do đó Cơ quan Kiểm định và Cấp chứng chỉ quốc gia ở một nước (nếu có) sẽ là nơi kiểm định và công nhận những tài liệu này. Việc này thường mất nhiều thời gian. Nếu không thể kiểm định và công nhận những tài liệu này thì ít nhất giáo trình M&E cũng nên được chuẩn hoá để cho các nhà cung cấp dịch vụ đào tạo có thể sử dụng cùng một giáo trình khi tiến hành đào tạo. Nhiều quốc gia đã lựa chọn bắt đầu bằng việc xây dựng ba giáo trình M&E sau đây: • Các khái niệm M&E và giới thiệu về hệ thống M&E quốc gia •

Báo cáo các dữ liệu thường quy trong hệ thống báo cáo thường quy của quốc gia

•

Quản lý dữ liệu nhận được từ hệ thống báo cáo thường quy của quốc gia

Giáo trình M&E chuẩn hóa cần phải đi kèm với các công cụ hỗ trợ giảng dạy (như hướng dẫn trợ giảng, các bài thuyết trình, hướng dẫn trả lời các bài tập nhóm, v.v), công cụ hỗ trợ học tập (như tài liệu phát tay tóm tắt nội dung cho học viên, các bài tập nhóm, v.v), và các công cụ đánh giá như đánh giá trước khi đào tạo.

Nguồn nhân lực cho các hệ thống M&E

5.5. Ai nên thực hiện công tác phát triển nhân lực?

Chương 2

Tùy thuộc vào chiến lược phát triển năng lực, đó có thể là các cá nhân (như tư vấn tự do), hay tổ chức (cơ sở đào tạo, các trường đại học hoặc những tổ chức khác) chịu trách nhiệm thực hiện phát triển nhân lực. Yếu tố quan trọng nhất để xem xét là sự phù hợp của đào tạo (giáo trình có phù hợp với các nhu cầu năng lực không?), và chất lượng (mọi người có các kỹ năng cần thiết sau khi đào tạo không?). Bất cứ khi nào có thể, đào tạo nên do các tổ chức trong nước và địa phương thực hiện, như vậy sẽ giúp đảm bảo tính bền vững của các nỗ lực phát triển năng lực. Nếu địa phương không có năng lực đào tạo, thì có thể xây dựng năng lực cho các nhà cung cấp dịch vụ đào tạo bằng cách: •

Xây dựng năng lực của các tổ chức trong nước để cung cấp đào tạo M&E. Như vậy sẽ làm giảm chi phí đi lại, và tăng nguồn cung chuyên gia M&E trong nước.

•

Xây dựng một đội ngũ các giảng viên trong nước có kỹ năng M&E. Giáo trình chuẩn và các công cụ hỗ trợ học tập và giảng dạy sẽ vô ích nếu không có người cung cấp đào tạo. Có thể huy động các giảng viên M&E từ nước ngoài, nhưng về dài hạn, việc đào tạo nên được cung cấp bởi các giảng viên trong nước. Nếu một quốc gia không có đủ nguồn cung giảng viên M&E trong nước, nên xác định và đào tạo một nhóm để thiết lập một đội ngũ các giảng viên M&E mới và được công nhận. Lý tưởng nhất, họ nên bao gồm các giảng viên có kỹ năng giảng dạy cho người trưởng thành, bởi vì việc bổ sung các kỹ năng kỹ thuật về M&E ít khó khăn hơn so với việc bổ sung các kỹ năng giảng dạy cho người trưởng thành.

5.6. Làm thế nào để điều chỉnh chiến lược phát triển nhân lực nhằm đối phó với nhu cầu cao về nhân viên M&E có kỹ năng tốt? Sự khan hiếm các kỹ năng M&E càng trầm trọng thêm do tỷ lệ thay thế nhân viên M&E rất cao. Kinh nghiệm cho thấy, ngay khi một người đã được đào tạo về M&E, người đó sẽ nhiều cơ hội việc làm khác do các kỹ năng này được đánh giá cao trên thị trường lao động. Do đó, cần phát triển các chiến lược để đảm bảo rằng đội ngũ nhân viên lành nghề chịu trách nhiệm về M&E sẽ ở lại và nắm giữ các vị trí chủ chốt. Những chiến lược như vậy có thể bao gồm:

•

Giới thiệu hàng loạt chương trình đào tạo để thay đổi cán cân cung-cầu (nếu tăng nguồn cung những người có kỹ năng tốt về M&E, cầu đối với các kỹ năng của họ sẽ không lớn như vậy, và họ có thể ở lại vị trí công việc của mình lâu hơn.)

•

Ký hợp đồng với các nhân viên đã qua đào tạo trong một khoảng thời gian nhất định và yêu cầu họ trả lại chi phí đào tạo nếu họ phá vỡ hợp đồng.

•

Xây dựng “bộ nhớ” thể chế trong tổ chức bằng cách bảo đảm rằng mỗi một người sau khi được đào tạo sẽ có trách nhiệm đào tạo ít nhất là một người khác trong tổ chức và xây dựng một quy trình bàn giao được tổ chức chặt chẽ như một phần trong khuôn khổ hình thức đào tạo này.

•

Đảm bảo cam kết của cấp quản lý và của tổ chức về việc xác định đúng người thích hợp đi tham dự đào tạo, nghĩa là, những người sẽ thực sự sử dụng các kỹ năng này để thực hiện công việc tốt hơn. Triển khai các hệ thống Theo dõi và Đánh giá

5.7. Sử dụng cơ sở dữ liệu như thế nào để theo dõi các nỗ lực phát triển nhân lực? Chương 2

Mặc dù không cần thiết, nhưng vẫn có thể sử dụng một cơ sở dữ liệu, như một phần trong cơ sở dữ liệu quốc gia, để theo dõi các nỗ lực phát triển năng lực cá nhân theo thời gian và ngăn ngừa sự trùng lặp (xem Cấu phần 10). Để một hệ thống như vậy hoạt động hiệu quả, mỗi người phải được nhận diện theo một cơ chế có tính duy nhất. Một hệ thống như vậy không chỉ nên theo dõi các chi tiết về học viên mà nên theo dõi cả các chi tiết về các khóa đào tạo M&E sẵn có trong nước và trong vùng, cũng như theo dõi chi tiết về đội ngũ giảng viên trong nước đã được công nhận bởi cơ quan có thẩm quyền để cung cấp đào tạo M&E. Ví dụ như, một hệ thống thông tin quản lý đào tạo có thể bao gồm các thông tin sau đây (Nguồn: trích từ: http://www.jhpiego.org/about/what/tims.htm): Các khóa học •

Có bao nhiêu khóa học (do trung tâm đào tạo, huyện, hoặc tỉnh cung cấp) đã được tổ chức?

•

Những khóa học nào đã được tổ chức về một chủ đề cụ thể trong một khung thời gian nhất định, ai tài trợ, và có bao nhiêu người tham dự mỗi khóa học?

Học viên •

Bao nhiêu học viên đã được đào tạo thông qua từng cơ quan tài trợ hoặc hợp đồng đào tạo?

•

Những người đã được đào tạo làm việc trong các loại hình tổ chức nào?

•

Học viên đạt được mức độ năng lực kỹ năng đào tạo nào?

•

Các học viên có tham gia các khóa học bổ sung hoặc lặp lại không?

Giảng viên •

Bao nhiêu giảng viên ở mỗi cấp hoặc mỗi loại hình đã tham gia đào tạo trong một chương trình?

•

Những giảng viên nào đã đứng lớp và họ đào tạo được bao nhiêu học viên?

•

Lần gần nhất các kỹ năng của giảng viên được đánh giá là khi nào, và hiện tại họ có đang làm giảng viên không?

Đánh giá •

Những học viên nào đã được đánh giá theo dõi kỹ năng sau đào tạo?

•

Các đợt theo dõi sau đào tạo đối với một học viên cụ thể có kết quả như thế nào?

Cần lưu ý rằng không nhất thiết phải có các cơ sở dữ liệu cho các nỗ lực phát triển năng lực.

Nguồn nhân lực cho các hệ thống M&E

Có thể tiến hành xây dựng năng lực mà không có cơ sở dữ liệu. Tuy nhiên, dù có sử dụng cơ sở dữ liệu hay không thì vẫn phải ghi chép và theo dõi các nỗ lực phát triển năng lực để tránh trùng lặp. Chương 2

5.8. Làm thế nào để đánh giá những nỗ lực phát triển nhân lực? Đánh giá các ảnh hưởng của phát triển năng lực không phải là việc đơn giản, và cần phải xem xét những quan điểm ngắn hạn và dài hạn. Về ngắn hạn, có thể đo lường sự gia tăng kiến thức và kỹ năng, và về dài hạn, có thể đo lường xem mọi người có đang làm việc theo một cách khác do kết quả xây dựng năng lực hay không, nghĩa là, họ có áp dụng những kỹ năng học được hay không. (Bạn có thể truy cập vào http://gametlibrary.worldbank.org để tải hướng dẫn về cách đánh giá phát triển năng lực. Hãy tìm cuốn hướng dẫn dưới tiêu đề “Đánh giá Phát triển năng lực”.) Có một cách để đánh giá các kết quả dài hạn về phát triển năng lực, đó là yêu cầu học viên chuẩn bị danh mục công việc trong đó mô tả những công việc mà họ đã làm theo cách mới nhờ kết quả đào tạo, sau đó trình bày những điểm này ở một hội thảo theo dõi sau đào tạo. Cũng có thể thiết lập một hệ thống khuyến khích/ thưởng không phải bằng tài chính, ví dụ như, chọn in danh mục công việc tốt nhất trong một ấn phẩm xuất bản hàng năm.

6. Hướng dẫn thực hành 2-1: Thực hiện một đánh giá phát triển nhân lực cho hệ thống M&E Các phương pháp tiếp cận khác nhau để thực hiện một đánh giá phát triển nhân lực Để giải quyết những khoảng trống năng lực khi thực hiện các chức năng M&E, có hai phương pháp tiếp cận như sau: từ dưới lên và từ trên xuống. Trong phương pháp tiếp cận từ dưới lên, các bên liên quan tham gia hệ thống M&E được yêu cầu cho biết các lĩnh vực năng lực họ cần được phát triển để thực hiện đầy đủ các chức năng M&E của mình. Sau đó sẽ xây dựng kế hoạch phát triển nhân lực dựa trên câu trả lời của các bên liên quan. Cách tiếp cận này xem các bên liên quan như các chuyên gia, những người có thể đánh giá mức độ kiến thức và nhu cầu phát triển năng lực của riêng họ. Trong tiếp cận từ trên xuống, các khoảng trống năng lực và nhu cầu phát triển được xác định bằng cách so sánh năng lực cần thiết cho hệ thống với năng lực hiện tại của những bên tham gia hệ thống. Cách tiếp cận từ trên xuống không có nghĩa là áp đặt các nhu cầu xây dựng năng lực theo một cách nào đó, mà điểm khởi đầu ở đây chính là những gì mà hệ thống cần, chứ không phải những gì mà các bên liên quan tin rằng họ cần. Cách tiếp cận từ trên xuống có thể được tóm tắt bằng công thức toán học sau đây:

100

Triển khai các hệ thống Theo dõi và Đánh giá

Đầy đủ nhân lực cần thiết

Tập hợp các kỹ năng tập thể

TRỪ ĐI (-)

Nhân lực hiện có

(tập thể)

BẰNG (=)

Các khoảng trống năng lực

(tập thể) Chương 2

Có lẽ vì M&E là một lĩnh vực mới, nên phương pháp từ dưới lên không hiệu quả lắm trong việc đánh giá các nhu cầu nhân lực cho hệ thống M&E. Khi sử dụng phương pháp này, các học viên thường chỉ có thể nêu ra rằng họ cần được đào tạo M&E, nhưng không thể xác định chính xác các lĩnh vực nhu cầu. Do đó, Hướng dẫn thực hành này mô tả các bước quy trình để tiến hành một đánh giá phát triển nhân lực từ trên xuống. Có cần tiến hành các đánh giá phát triển nhân lực mới không Các đánh giá phát triển nhân lực cần được tiến hành định kỳ khi hệ thống M&E đang được triển khai. Kết hợp đánh giá phát triển nhân lực vào quá trình thiết kế sẽ giúp đảm bảo một chiến lược phát triển nhân lực thích hợp. Thực hiện một đánh giá phát triển nhân lực khi đang triển khai hệ thống cũng sẽ đảm bảo thực hiện các mục tiêu phát triển nhân lực. Thực hiện một đánh giá phát triển nhân lực khi đang đánh giá hệ thống M&E sẽ giúp đảm bảo rằng nguồn nhân lực có kỹ năng sẽ sẵn sàng trong dài hạn và có đầu tư lâu dài cho vốn con người. Cần lưu ý rằng không phải lúc nào cũng cần tiến hành một đánh giá phát triển nhân lực mới. Thông thường, các đánh giá khác đã được thực hiện và có thể cung cấp thông tin chung về các khoảng trống năng lực. Các cán bộ có kinh nghiệm có thể đã nhận biết đâu là các khoảng trống năng lực dựa trên kinh nghiệm làm việc thực tế của họ. Vì phải mất nhiều thời gian để giải quyết các khoảng trống năng lực, nên trước hết phải dựa vào các đánh giá phát triển nhân lực trước đó (kể cả những đánh giá đã được thực hiện một vài năm trước) trước khi tiến hành một đánh giá mới.

Bước 1:

Lập kế hoạch đánh giá phát triển nhân lực

Lập kế hoạch đánh giá nhân lực sẽ giúp đảm bảo rằng đánh giá có các mục tiêu, mục đích và đầu ra rõ ràng. Cần trả lời các câu hỏi sau đây khi lập kế hoạch đánh giá (FHI, 2002): •

Trong nước có một kế hoạch toàn diện để đánh giá các vấn đề nhân lực liên quan đến chương trình mà hệ thống M&E phục vụ không?

•

Trong nước có một cơ sở dữ liệu về nguồn nhân lực sẵn có và các lĩnh vực năng lực kỹ thuật không?

•

Có ngành chủ chốt nào đang phát triển các chính sách về nguồn nhân lực không? Các mô tả công việc của cán bộ, nhân viên có thay đổi không?

•

Các nhà quản lý chương trình có đề xuất cách tốt nhất để liên kết với các mạng lưới trong nước và khu vực để hỗ trợ thực hiện hệ thống M&E không?

•

Hiện trạng của các chương trình đào tạo từ xa (nếu có) ở trong nước và các chương trình này có tiếp cận được những người thực hiện ở cấp huyện hoặc cấp cộng đồng không?

Nguồn nhân lực cho các hệ thống M&E

101

Chương 2

•

Có sử dụng đài phát thanh để cung cấp giáo dục từ xa cho bất kỳ nhóm nào trong chương trình không (không nhất thiết phải là nhóm M&E của chương trình)?

•

Có các cơ hội học tập nhóm như hội thảo khu vực hoặc các chuyến thăm trao đổi kỹ năng về M&E không?

•

Các chiến lược nào (nếu có) đang được sử dụng tại thời điểm này để giải quyết phát triển kỹ năng ngắn hạn và dài hạn cho những cán bộ thực hiện và nhà cung cấp dịch vụ trong chương trình và những người chịu trách nhiệm theo dõi, đánh giá chương trình?

•

Các chiến lược nào (nếu có) được sử dụng để phát triển các hệ thống nhằm cải thiện hiệu quả hoạt động và đảm bảo chất lượng?

•

Các chiến lược nào (nếu có) được sử dụng để đảm bảo các cơ sở hạ tầng cơ bản tồn tại và cho phép các cá nhân gặp gỡ/trao đổi thông tin để phát triển năng lực?

•

Các chiến lược nào (nếu có) được sử dụng để phát triển quỹ nguồn lực gồm các giảng viên/trợ giảng trong nước?

•

Các nguồn lực cho M&E từ các mạng lưới trong nước, khu vực và quốc tế đã được nghiên cứu và sử dụng đầy đủ chưa?

Căn cứ vào câu trả lời cho những câu hỏi này, có thể xây dựng một Kế hoạch Dự án và Tài liệu Khái niệm cho đánh giá nhân lực. Tài liệu này sẽ xác định các khía cạnh sau: a)

102

Các mục tiêu đánh giá phát triển nhân lực có thể bao gồm: •

Tổng hợp yêu cầu nhân lực để thực hiện các hệ thống M&E

•

Xác định năng lực M&E hiện tại trong số các bên tham gia thực hiện hệ thống M&E

•

Xác định những khoảng trống trong nhân lực M&E (sự chênh lệch giữa năng lực cần thiết và năng lực hiện có)

•

Xác định những thách thức đối với phát triển nhân lực và đề xuất các phương pháp để khắc phục các khoảng trống M&E trong phát triển nhân lực

Những lợi ích và công dụng của các kết quả đánh giá phát triển nhân lực cho tổ chức và tác động tích cực từ việc sử dụng các kết quả này để giúp đạt mục tiêu và mục đích của tổ chức

Ai sẽ quản lý, thực hiện, quản trị, đánh giá và phê duyệt đánh giá phát triển nhân lực

Các bên liên quan nào sẽ là mục tiêu của đánh giá phát triển nhân lực và các yêu cầu đối với họ

Phương pháp luận và khung chọn mẫu (nếu có) sẽ được sử dụng cho đánh giá phát triển nhân lực

Khung thời gian và chi phí của đánh giá phát triển nhân lực và các nguồn lực sẽ được huy động cho hoạt động đánh giá như thế nào

Triển khai các hệ thống Theo dõi và Đánh giá

Chất lượng của đánh giá phát triển nhân lực sẽ được đảm bảo như thế nào (cơ chế đánh giá đồng cấp và các quy trình kiểm soát chất lượng khác)

Việc trao đổi thông tin sẽ được quản lý như thế nào khi thực hiện đánh giá phát triển nhân lực trong các lĩnh vực khác nhau

Chương 2

Kết quả: Kế hoạch Dự án và Tài liệu Khái niệm. Các tài liệu này cần được Nhóm công tác kỹ thuật (TWG) M&E thảo luận và phê duyệt (từ quan điểm chuyên môn kỹ thuật) (xem Cấu phần 3).

Bước 2:

Tìm kiếm sự ủng hộ và phê duyệt của các nhà chính trị và quản lý cấp cao

Khi Tài liệu Khái niệm và Kế hoạch dự án đã được TWG M&E chấp thuận, có thể trình các tài liệu này lên cấp quản lý của tổ chức để xem xét, phê duyệt và cấp kinh phí. Sẽ rất có ích cho cấp quản lý nếu được biết về quá trình lập kế hoạch đánh giá trước khi được nghe trình bày về Tài liệu Khái niệm và Kế hoạch dự án. Nếu đánh giá phát triển nhân lực được phê duyệt và các nguồn lực được huy động, bước tiếp theo sẽ là tổ chức nhóm phát triển nhân lực và các cơ cấu quản trị khác (ví dụ, nhóm đánh giá đồng cấp), theo định nghĩa trong Tài liệu Khái niệm. Kết quả: Tài liệu Khái niệm và Kế hoạch dự án được phê duyệt, kinh phí được bảo đảm, và các uỷ ban/nhóm làm việc được thiết lập để giám sát quá trình.

Bước 3:

Xác định các năng lực M&E cần thiết

Khi Tài liệu Khái niệm và Kế hoạch dự án đã được TWG M&E chấp thuận, có thể trình các tài liệu này lên cấp quản lý của tổ chức để xem xét, phê duyệt và cấp kinh phí. Sẽ rất a)

Nhìn vào các mục tiêu hiệu quả hoạt động (kết quả/mục đích) của tổ chức đối với hệ thống M&E

Sử dụng ý kiến chuyên môn của những người có kinh nghiệm phát triển hệ thống M&E

Sử dụng các đánh giá nhân lực tương tự từ các nước khác (các yêu cầu kỹ năng M&E là khá thống nhất giữa các nước)

Đọc các tư liệu hệ thống M&E để xem các tư liệu đó có tuyên bố hay ngụ ý các yêu cầu nhân lực hay không

Có một tập hợp các kỹ năng xác định (nghĩa là biết được ai cần có khả năng làm gì) là điểm khởi đầu trong việc phát triển nhân lực cho hệ thống M&E. Mỗi tập

Nguồn nhân lực cho các hệ thống M&E

103

Chương 2

hợp kỹ năng của một hệ thống M&E có thể khác nhau. Kinh nghiệm cho thấy rằng, nhìn chung có hai loại kỹ năng cần thiết cho các hệ thống M&E: (a) các kỹ năng quản lý và điều phối chung, và (b) các kỹ năng kỹ thuật liên quan đến 12 cấu phần của một hệ thống M&E. Kết quả: mô tả rõ ràng và ghi chép đầy đủ về tập hợp các kỹ năng cần thiết cho hệ thống M&E.

Bước 4:

Thiết kế các công cụ thu thập dữ liệu đánh giá phát triển nhân lực và đào tạo thành viên trong nhóm

Các thông tin được tìm thấy trong Bước 3 cần hỗ trợ việc thiết kế các công cụ thu thập dữ liệu thích hợp dựa trên Tài liệu Khái niệm và Kế hoạch dự án đã được phê duyệt. Thư viện Tài nguyên Điện tử Thư viện có ví dụ về một công cụ đánh giá. Khi công cụ thu thập dữ liệu đã được thiết kế xong, cần phải thí điểm công cụ đó (thử nhanh tại chỗ với một vài người trả lời) và sau đó trình cho nhóm đánh giá đồng cấp phê duyệt (nếu nhóm đánh giá đồng cấp đã được thành lập). Kết quả: bộ công cụ thu thập dữ liệu và đào tạo tất cả các thành viên trong nhóm về cách sử dụng các công cụ

Bước 5:

Thu thập dữ liệu cho việc đánh giá phát triển nhân lực

Sử dụng các công cụ thu thập dữ liệu và phương pháp luận được mô tả trong Tài liệu Khái niệm và Kế hoạch dự án để thu thập các dữ liệu có liên quan. Bảo mật dữ liệu và cất giữ dữ liệu bằng phương pháp đã xác định trong Tài liệu Khái niệm. Nếu chỉ dự kiến có một vài bảng hỏi định tính hoặc một số ghi chép của các thảo luận nhóm trọng điểm, thì không cần cất giữ các dữ liệu điện tử. Tuy nhiên, nếu phải thu thập một số lượng lớn dữ liệu định lượng thì phải cất giữ một số dữ liệu (sử dụng phần mềm thống kê) để tạo thuận lợi cho việc phân tích dữ liệu. Kết quả: thu thập số liệu về năng lực hiện tại (và cất giữ số liệu, nếu cần thiết).

Bước 5:

Phân tích dữ liệu và chuẩn bị một Báo cáo Đánh giá phát triển nhân lực

Phân tích dữ liệu đã thu thập và tổng hợp được, và hãy ghi nhớ những điểm sau: a)

104

Mục đích của đánh giá phát triển nhân lực là để tìm hiểu về các khoảng trống năng lực chung, từ đó xây dựng một vài giáo trình chuẩn hóa về

Triển khai các hệ thống Theo dõi và Đánh giá

M&E. Phân nhóm các nhu cầu năng lực tương tự nhau sẽ giúp xác định giáo trình M&E nào có ích nhất. Việc này còn được gọi là phân tích chuyên đề. Mục đích không phải là phát triển một kế hoạch học tập cá nhân hoặc phát triển chuyên môn cho từng người được phỏng vấn.

Trọng tâm chính phải là so sánh các kỹ năng cần thiết với các năng lực thực tế hiện tại để biết được những khoảng trống năng lực.

Chương 2

Kết quả: Dự thảo báo cáo đánh giá phát triển nhân lực sẵn sàng để các cơ quan quản lý có thẩm quyền phê duyệt và để tiến hành các quy trình đánh giá đồng cấp như đã xác định trong Tài liệu Khái niệm và Kế hoạch dự án.

Bước 7:

Trình bày các kết quả đánh giá phát triển nhân lực

Sau khi nhóm đánh giá đồng cấp đã phê duyệt báo cáo về các khoảng trống năng lực, có thể trình bày báo cáo này lên cấp quản lý để xin ý kiến và phản hồi. Một trong những điểm chính cần nêu khi trình bày các kết quả này, đó là báo cáo chỉ là một bước trong một quá trình phát triển nhân lực và bước tiếp theo đòi hỏi phải có kế hoạch chi tiết để giải quyết những khoảng trống đã được xác định. Kết quả: báo cáo đánh giá phát triển nhân lực được phê duyệt

7. Hướng dẫn thực hành 2-2: Xây dựng một chiến lược và quy hoạch phát triển nhân lực Bước 1:

Tìm kiếm sự ủng hộ của các nhà chính trị và quản lý cấp cao

Thông thường, một Chiến lược phát triển nhân lực là một chiến lược quốc gia (hoặc ít nhất là chiến lược của vùng hoặc ngành). Vì vậy, các cơ quan quản lý nhà nước có liên quan [(ví dụ, TWG M&E (xem Chương 3) hoặc các cơ quan khác] không chỉ nên biết về các kế hoạch xây dựng chiến lược, mà còn nên tham gia xây dựng chiến lược. Điều này sẽ giúp đảm bảo rằng chiến lược và quy hoạch phát triển nhân lực liên kết với các nỗ lực phát triển khác và đảm bảo có kinh phí để thực hiện chiến lược và quy hoạch. Các nỗ lực phát triển nhân lực trong khu vực công phải có sự chấp thuận của cơ quan chịu trách nhiệm quản lý tất cả công chức/viên chức trong ngành (ví dụ, Ủy ban Dịch vụ công hoặc một cơ quan khác tương đương). Kết quả: văn bản phê duyệt để xúc tiến xây dựng chiến lược (ví dụ, biên bản các cuộc họp của nhóm TWG).

Nguồn nhân lực cho các hệ thống M&E

105

Bước 2:

tập hợp nhóm để xây dựng chiến lược

Chương 2

Tìm kiếm các thành viên cho nhóm xây dựng chiến lược, đó phải là người: •

Đại diện cho các ngành và tổ chức tham gia M&E

•

Có thẩm quyền cao và đã chứng minh vai trò lãnh đạo trong công tác phát triển nhân lực và/hoặc M&E

•

Có kinh nghiệm hợp tác thành công trong các vấn đề liên quan đến M&E hoặc phát triển nhân lực

•

Hiểu biết về chính sách và các vấn đề nguồn nhân lực

•

Hiểu các yêu cầu biên chế cho M&E

•

Có khả năng tư duy sáng tạo và toàn diện

Bước 3:

Cẩn thận xem xét đánh giá phát triển nhân lực (hoặc thực hiện một đánh giá như vậy nếu chưa có)

Xem xét cẩn thận các phát hiện và kiến nghị của đánh giá phát triển nhân lực hiện tại nếu đánh giá đó đã được thực hiện gần đây, hoặc, nếu không thì có thể tiến hành một đánh giá như vậy (xem Phần 6 để biết thêm thông tin về cách thực hiện một đánh giá phát triển nhân lực). Kết quả: các kết quả đánh giá phát triển nhân lực được xem xét cẩn thận

Bước 4:

Xác định các vấn đề phát triển nhân lực cần ưu tiên giải quyết

Đánh giá phát triển nhân lực sẽ tiết lộ các lĩnh vực nhân lực cần được phát triển. Nhóm cần làm việc cùng nhau để xác định những kỹ năng quan trọng nhất cần phát triển và mức độ ưu tiên giải quyết. Các nguyên tắc để xác định ưu tiên có thể bao gồm: •

Các nhu cầu năng lực của những người làm việc chuyên trách và chịu trách nhiệm thực hiện và quản lý hệ thống M&E. Nếu không có sự lãnh đạo của họ trong hệ thống M&E, hệ thống sẽ không thể hoạt động đầy đủ.

•

Các nhu cầu năng lực của những người có trách nhiệm thu thập, nắm giữ và báo cáo dữ liệu thường quy, vì các hệ thống dữ liệu thường quy là xương sống nhưng lại thường bị bỏ quên nhiều nhất trong một hệ thống M&E

•

Các nhu cầu năng lực của những người chịu trách nhiệm giải thích và sử dụng dữ liệu, vì sử dụng dữ liệu là nguyên nhân để hệ thống M&E tồn tại (nếu không sử dụng dữ liệu, tất cả các quy trình M&E khác sẽ chẳng còn mấy giá trị).

Kết quả: Một danh sách các ưu tiên phát triển nhân lực

106

Triển khai các hệ thống Theo dõi và Đánh giá

Bước 5:

Xác định các khó khăn khi giải quyết các khoảng trống năng lực

•

Các nhà quản lý cấp cao không sẵn sàng đầu tư vào hệ thống M&E thông qua đầu tư phát triển nguồn nhân lực

•

Thiếu cơ sở đào tạo hoặc giảng viên trong nước để cung cấp dịch vụ xây dựng năng lực M&E

•

Thiếu kinh phí để xây dựng năng lực M&E

•

Thiếu giáo trình được phê duyệt và chuẩn hóa, dẫn đến chất lượng đào tạo không nhất quán

•

Thiếu những nỗ lực đào tạo được phối hợp, dẫn đến sự lặp lại và thiếu tính tối ưu trong sử dụng nguồn kinh phí vốn đã hạn chế cho xây dựng năng lực

•

Các chiến lược xây dựng năng lực có tính phiến diện, ví dụ như chỉ dựa vào các hội thảo

•

Văn hóa hội thảo trong đó các cuộc hội thảo gắn liền với ý nghĩ về khoản công tác phí được nhận thêm và được một ngày xa khỏi văn phòng, thay vì nghĩ về hội thảo như một cơ hội để xây dựng kỹ năng

•

Thiếu nhu cầu về dữ liệu và M&E, dẫn đến tỷ lệ tham gia các khóa đào tạo M&E thấp

Chương 2

Đánh giá các khó khăn có thể xuất hiện, và nguyên nhân của chúng sẽ giúp tạo điều kiện cho cách tiếp cận quan hệ đối tác để xác định và thực hiện các giải pháp. Những khó khăn khi phát triển nguồn nhân lực có thể bao gồm:

Kết quả: xác định các khó khăn trong phát triển nhân lực liên quan đến M&E và các cách để giải quyết vấn đề.

Bước 6:

Xác định các chiến lược/cách tiếp cận phát triển nhân lực thích hợp nhất

Nên đi theo một loạt các chiến lược phát triển nhân lực để đảm bảo rằng những người đã được xây dựng năng lực sẽ giữ lại và sử dụng các kiến thức tốt. (Xem Phần 5 (d) để biết thêm về một loạt các chiến lược phát triển nhân lực có thể áp dụng) Kết quả: Một tập hợp các chiến lược/cách tiếp cận phát triển nhân lực để đưa vào chiến lược phát triển nhân lực

Bước 7:

Xây dựng dự thảo Chiến lược và Quy hoạch phát triển nhân lực và các cách vận động chính sách cho Chiến lược và Quy hoạch

Hãy xây dựng một dự thảo chiến lược và kế hoạch hành động phát triển nhân lực với thời hạn và các khuyến nghị để đối phó trước tiên với các vấn đề bức xúc

Nguồn nhân lực cho các hệ thống M&E

107

Chương 2

nhất nhưng không bỏ qua các vấn đề phát triển nhân lực đã trở nên thâm căn cố đế. Ngoài ra, cũng nên xem xét cách thực hiện chiến lược như thế nào: có thể phải vận động chính sách cho chiến lược mới (ví dụ, họp khởi động, các cuộc họp với những người chủ chốt, xác định một người ở vị trí cao đấu tranh cho chiến lược, v.v). (Xem Chương 6 để biết thêm chi tiết về các chiến lược vận động chính sách). Hãy đưa vào kế hoạch hành động các hoạt động vận động chính sách cho chiến lược phát triển nhân lực mới. Trình dự thảo chiến lược và kế hoạch lên nhóm TWG M&E, Ủy ban Dịch vụ Công, hoặc một cơ quan khác liên quan phê duyệt. Kết quả: chiến lược phát triển nhân lực được phê duyệt, và kế hoạch hành động thực hiện chiến lược được lập dự toán chi phí

Bước 8:

Thực hiện, theo dõi và báo cáo về các hoạt động và tiến độ tăng cường năng lực

Theo dõi và đánh giá phát triển năng lực là hoạt động rất quan trọng và cần được quy hoạch. Theo dõi phát triển nhân lực bao gồm việc đếm số lượng các khóa đào tạo và số lượng người được đào tạo. Có thể sử dụng một cơ sở dữ liệu đào tạo nhưng không bắt buộc. Đánh giá phát triển nhân lực bao gồm đánh giá các kết quả trung hạn đến dài hạn của các nỗ lực phát triển năng lực (ví dụ như, những người đã được xây dựng năng lực có làm việc tốt hơn không và họ có tiếp thu nỗ lực phát triển năng lực thông qua thay đổi hành vi, thái độ hay thói quen của mình không). Thư viện ERL có thể cung cấp nhiều thông tin khác nữa về đánh giá phát triển năng lực. Hãy tìm kiếm các vị lãnh đạo (tức là một nhóm các lãnh đạo có quyền ra quyết định trong nhiều ngành) để giúp thực hiện kế hoạch hành động và theo dõi kết quả. Kết quả: các báo cáo tiến độ phát triển năng lực; cải thiện nguồn nhân lực cho hệ thống M&E. Câu hỏi tư duy 2: Hãy hình dung về các quy trình nhân lực trong tổ chức của bạn. Các bước đánh giá phát triển nhân lực này và/hoặc các bước xây dựng chiến lược này có thể có hiệu quả không? Hãy nêu một số khó khăn không ngờ tới khi đi theo các bước này? Các bước này có thể giải quyết mọi lo ngại của bạn không? Hãy nêu một số thách thức về phát triển nhân lực trong tổ chức của bạn? Tại sao các chiến lược phát triển nhân lực trước đây lại thất bại?

108

Triển khai các hệ thống Theo dõi và Đánh giá

8. Tóm tắt Chương 2 Kiến thức và Kỹ năng

Chương 2

Trong chương này, bạn đã học về phát triển nhân lực cho hệ thống M&E, trong đó tập trung cụ thể vào cấp độ cá nhân, đó là những cá nhân ở cấp quốc gia, địa phương và cấp cung ứng dịch vụ thực hiện các chức năng M&E hoặc quản lý những người chịu trách nhiệm về M&E. Bạn đã học về lý thuyết và các bước quy trình kỹ thuật để tiến hành Đánh giá nhân lực cho M&E cũng như xây dựng Chiến lược và Quy hoạch phát triển nhân lực. Bạn đã học về các lợi ích của việc phát triển nhân lực cho hệ thống M&E cũng như những thách thức có thể phải đối mặt khi cố gắng tuỳ chỉnh và kết hợp các bước phát triển nhân lực vào tổ chức của bạn. Bạn đã biết về tầm quan trọng của sự ủng hộ từ các nhà chính trị và quản lý cấp cao khi bắt đầu quá trình, và sự cần thiết phải xác định/ưu tiên các nhu cầu năng lực và chiến lược, và tầm quan trọng của việc theo dõi giám sát và báo cáo về năng lực nhằm tăng cường quy trình cho tương lai.

9. Bài tập a)

Xem lại Phần 6 (thực hiện một đánh giá phát triển nhân lực)

Đọc cẩn thận Phần 7 (xây dựng một chiến lược và quy hoạch phát triển nhân lực)

Bây giờ, hãy tưởng tượng rằng Bộ Nông nghiệp đã tiến hành một đánh giá phát triển nhân lực. Đánh giá này cho thấy tình trạng thiếu kỹ năng M&E trong các nhóm sau. CÁC NHÓM CẦN ĐƯỢC XÂY DỰNG NĂNG LỰC VỀ M&E: • Các vị vụ trưởng trong Bộ Nông nghiệp

•

Các cán bộ tài chính trong Bộ Nông nghiệp

•

Các nhân viên khuyến nông làm việc tại các phòng hội đồng cấp huyện

•

Các thành viên của ủy ban nông nghiệp thuộc quốc hội

Thảo luận trong nhóm của bạn (hoặc tự suy nghĩ) về các loại kiến thức và kỹ năng M&E mà mỗi nhóm người trên cần đến, và những cách tốt nhất để xây dựng năng lực cho họ. ‘Kiến thức’ là những gì người ta nên BIẾT hoặc HIỂU và ‘kỹ năng’ là những gì người ta có khả năng LÀM. Nếu một người có cả kiến thức và kỹ năng không chỉ để làm một việc gì đó mà còn để dạy lại cho người khác, thì người đó được cho là có đầy đủ năng lực trong lĩnh vực đó. Bạn có thể tham khảo Phụ lục B, trong đó có một danh sách mẫu các loại kỹ năng mà các cán bộ đánh giá cần có (hãy nhớ rằng ở đây nói về các kỹ năng theo dõi và đánh giá, chứ không chỉ nói đến đánh giá; và năng lực của các cán bộ đánh giá được mô tả như một ví dụ để bạn xem xét khi làm bài tập này).

Nguồn nhân lực cho các hệ thống M&E

109

Chương 2

Xin lưu ý rằng những kiến thức và kỹ năng được nêu trong bài tập này là kiến thức và kỹ năng liên quan đến theo dõi, đánh giá, và các hệ thống M&E, và không phải là kiến thức và kỹ năng mà những người này cần đến để thực hiện nhiệm vụ của họ ở phạm vi rộng hơn. Hãy ghi lại câu trả lời của bạn trong một bảng giống như ở dưới: Nhóm cần được xây dựng năng lực M&E

Các loại kiến thức và kỹ năng VỀ M&E họ cần có

Làm thế nào để xây dựng năng lực cho nhóm?

Các vụ trưởng trong Bộ Nông nghiệp

Người thuộc nhóm này sẽ cần biết về (KIẾN THỨC): • Thông tin mà hệ thống M&E sẽ tạo ra • Các nguồn lực tài chính cần thiết cho hệ thống M&E • Các sản phẩm thông tin (báo cáo) mà hệ thống M&E sẽ tạo ra • Người thuộc nhóm này sẽ cần có khả năng làm những việc sau (KỸ NĂNG): • Giải thích các dữ liệu từ các kết quả điều tra/ khảo sát mà họ được cung cấp • Đấu tranh cho M&E và khuyến khích các lãnh đạo khác trong vụ thiết lập các hệ thống M&E

Hội thảo kỹ thuật về thiết kế điều tra/khảo sát và diễn giải dữ liệu Các chuyến tham quan học tập tại các Bộ khác nơi hệ thống M&E đã được thực hiện thành công

Nguồn: Các tác giả

110

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục A: Thông tin sử dụng khi đánh giá các năng lực M&E Chương 2

A: Hồ sơ kỹ năng cho một chuyên gia M&E Hồ sơ kỹ năng cho một chuyên gia M&E bao gồm bốn lĩnh vực quan trọng: Phân tích thể chế, Thiết kế hệ thống và các ứng dụng, Công cụ phương pháp luận, và Sử dụng thông tin/kiến thức (Nguồn: Kusek và Rist, 2004). Hãy thử tìm hiểu nhanh từng lĩnh vực: Phân tích thể chế: •

Khả năng đánh giá tình hình chính trị có liên quan đến nhu cầu/lợi ích trong việc xây dựng một hệ thống M&E

•

Khả năng hiểu vai trò của M&E trong bối cảnh rộng lớn hơn trong một quốc gia (ví dụ, cải cách khu vực công, các quan hệ với nhà tài trợ)

•

Khả năng tiến hành đánh giá nhu cầu của một tổ chức đối với hệ thống M&E

•

Khả năng tiến hành đánh giá năng lực thể chế trong các tổ chức là đối tượng mục tiêu, đánh giá về các thế mạnh của họ liên quan đến việc xây dựng một hệ thống M&E

•

Khả năng xác định các cá nhân đấu tranh cho M&E trong các tổ chức, và thành công khi làm việc với họ để xây dựng sự hiểu biết và hỗ trợ cho một sáng kiến M&E

Thiết kế hệ thống và các ứng dụng: •

Khả năng xác định khái niệm và đóng góp vào việc thiết kế một hệ thống M&E cho một tổ chức/bộ/cơ quan thuộc khu vực công

•

Khả năng nhìn thấy các ứng dụng của một hệ thống M&E cho các cấp và các thành phần khác nhau của chính phủ

•

Khả năng nhìn thấy các ứng dụng của một hệ thống M&E cho các hoạt động khác nhau của khu vực công (các dự án, chương trình và chính sách)

•

Khả năng nhìn thấy mối liên kết của một hệ thống M&E với các chức năng nòng cốt khác như ngân sách, trách nhiệm giải trình và giám sát

•

Khả năng thiết kế ít nhất một chiến lược thu thập dữ liệu thống kê tối thiểu về các biến số/chỉ số M&E

Công cụ Phương pháp luận: •

Khả năng hiểu được lô-gich và các ứng dụng của dữ liệu được thu thập thông qua một hệ thống M&E

•

Khả năng đánh giá chất lượng của dữ liệu và thông tin thống kê thu thập được trong một hệ thống M&E, tức là, có hiểu biết nhất định về độ tin cậy và căn cứ của dữ liệu

Nguồn nhân lực cho các hệ thống M&E

111

•

Khả năng xác định các công cụ thu thập dữ liệu thích hợp cho các biến số/chỉ số khác nhau được sử dụng trong hệ thống M&E

•

Khả năng tiến hành phân tích thích hợp từ các dữ liệu có liên quan

Chương 2

Sử dụng Thông tin/kiến thức: •

Khả năng hiểu được các ứng dụng của dữ liệu M&E cho các nhu cầu thông tin của tổ chức

•

Khả năng hướng các thông tin thích hợp đến các quan chức/cán bộ thích hợp

•

Khả năng hiểu được cách thức tích lũy các thông tin về xu hướng hoặc thông tin theo thời gian về các lĩnh vực chính sách quan tâm

B: Các vị trí M&E tiêu biểu ở tất cả các cấp các ngành Bảng này (xem trang sau) tóm tắt về các vị trí M&E điển hình (chuyên trách cũng như bán chuyên trách) mà các quốc gia có thể xem xét khi xây dựng mạng lưới các tổ chức có chức năng M&E.

112

Triển khai các hệ thống Theo dõi và Đánh giá

Khu vực công

Liên kết với các cơ quan thuộc cơ cấu Chính quyền địa phương • Người chịu trách nhiệm về M&E trong chính quyền địa phương

Đơn vị M&E với 4 nhân viên chuyên trách

• Quản lý cơ sở dữ liệu

• Những cá nhân chịu trách nhiệm thu thập dữ liệu thường quy

• Nhà thống kê

• Nhà dịch tễ học/Chuyên gia phân tích

Đơn vị M&E với 3 cán bộ chuyên trách

Bộ chủ quản thực hiện chương trình

Cơ quan đầu mối chương trình, và/hoặc Cán bộ M&E

Bộ ngành trung ương

• Cán bộ nghiên cứu

• Cán bộ chịu trách nhiệm về dữ liệu thường quy

• (Các) cá nhân chịu trách nhiệm về nắm giữ và kiểm soát chất lượng dữ liệu

• Cá nhân chịu trách nhiệm về Hệ thống Thông tin Quản lý (MIS)

Nhóm quản lý thuộc cơ quan thực hiện chủ chốt ở địa phương

• Cơ quan đầu mối chương trình có các trách nhiệm M&E (nghĩa là bán chuyên trách về M&E)

• Cán bộ M&E cho LGA, hoặc

• Cán bộ M&E chương trình, hoặc

Các cơ quan chính quyền địa phương

Ủy ban điều phối phân cấp

NCA

• Quản lý quốc gia

Cấp địa phương

Cấp quốc gia

• (Các) cá nhân chịu trách nhiệm ghi chép, tổng hợp, báo cáo và kiểm soát chất lượng dữ liệu

Các đơn vị cung cấp dịch vụ thuộc các Bộ (ví dụ, các cơ sở y tế)

Không áp dụng

Cấp chuyển giao dịch vụ

Chương 2

Nguồn nhân lực cho các hệ thống M&E

113

Chính Phủ

114

Triển khai các hệ thống Theo dõi và Đánh giá

Chính Phủ

Khu vực công

Liên kết với các cơ quan thuộc cơ cấu Chính quyền địa phương

Đơn vị M&E với 4 nhân viên chuyên trách

• Những cá nhân chịu trách nhiệm thu thập dữ liệu thường quy

• Nhà thống kê

• Nhà dịch tễ học/Chuyên gia phân tích

Đơn vị M&E với 3 cán bộ chuyên trách

Bộ chủ quản thực hiện chương trình

• Cán bộ M&E chương trình, hoặc

Cơ quan đầu mối chương trình, và/hoặc Cán bộ M&E

• (Các) cá nhân chịu trách nhiệm về nắm giữ và kiểm soát chất lượng dữ liệu

• Cá nhân chịu trách nhiệm về Hệ thống Thông tin Quản lý (MIS)

Nhóm quản lý thuộc cơ quan thực hiện chủ chốt ở địa phương

• Cơ quan đầu mối chương trình có các trách nhiệm M&E (nghĩa là bán chuyên trách về M&E)

• Cán bộ M&E cho LGA (không chỉ có mỗi cán bộ này), hoặc

Các cơ quan chính quyền địa phương

Bộ ngành trung ương

• Cán bộ nghiên cứu

• Cán bộ chịu trách nhiệm về dữ liệu thường quy

• Quản lý cơ sở dữ liệu

• Không có người làm về M&E trong ủy ban: M&E được thực hiện bởi người chịu trách nhiệm về M&E trong chính quyền địa phương

Ủy ban điều phối phân cấp

NCA

• Quản lý quốc gia

Cấp địa phương

Cấp quốc gia

• (Các) cá nhân chịu trách nhiệm ghi chép, tổng hợp, báo cáo và kiểm soát chất lượng dữ liệu

Các đơn vị cung cấp dịch vụ thuộc các Bộ (ví dụ, các cơ sở y tế)

Không áp dụng

Cấp chuyển giao dịch vụ

Chương 2

Chính phủ

Các đối tác quốc gia

Xã hội dân sự

Điểm đầu mối có các trách nhiệm M&E

• (Các) cá nhân chịu trách nhiệm nắm giữ và kiểm soát chất lượng dữ liệu điện

• Người chịu trách nhiệm tổng hợp, báo cáo và xác minh dữ liệu M&E như một bộ phận trong hệ thống theo dõi của tổ chức ô

Các tổ chức ô tại các quốc gia có những vùng địa lý rộng lớn cũng có thể có nhiều văn phòng điều phối địa phương

• Người chịu trách nhiệm tổng hợp, báo cáo và xác minh dữ liệu M&E như một bộ phận trong hệ thống theo dõi của tổ chức

Điểm đầu mối chương trình có các trách nhiệm M&E

(Các) tổ chức ô cho các hiệp hội người hưởng lợi từ chương trình

Các văn phòng khu vực của các tổ chức xã hội dân sự điều phối các hoạt động

• Cán bộ đầu mối bán chuyên trách (hầu hết không phải là chuyên trách) được giao nhiệm vụ ghi chép, tóm tắt, báo cáo, phân tích và xác minh chất lượng dữ liệu

Các hiệp hội người hưởng lợi (các tổ chức thành viên)

Các tổ chức xã hội dân sự thực hiện dịch vụ

• Cán bộ đầu mối bán chuyên trách (hầu hết không phải là chuyên trách) được giao nhiệm vụ ghi chép, tóm tắt, báo cáo, phân tích và xác minh chất lượng dữ liệu liên quan đến chương trình

• Người chịu trách nhiệm tổng hợp, báo cáo và xác minh các dữ liệu M&E, như một bộ phận của hệ thống thông tin quản lý hoặc song song với hệ thống này (EMIS) • (Các) cá nhân chịu trách nhiệm nắm giữ và kiểm soát chất lượng dữ liệu điện tử

Các cơ sở khác cung cấp dịch vụ của chính phủ, ví dụ các trường học

Cấp chuyển giao dịch vụ

Các nhóm/cán bộ điều phối địa phương, ví dụ phòng giáo dục huyện

Cấp địa phương

(Các) tổ chức ô cho các tổ chức xã hội dân sự

• Cơ quan đầu mối chương trình có các chức năng M&E

Các Bộ khác thuộc Chính phủ (các chương trình có nhiều Bộ tham gia thực hiện)

Cấp quốc gia

Chương 2

Nguồn nhân lực cho các hệ thống M&E

115

Chính phủ

Các đối tác quốc gia

116

Triển khai các hệ thống Theo dõi và Đánh giá

Khối các đơn vị nghiên cứu quốc gia

Khu vực tư nhân

Hội đồng nghiên cứu quốc gia, Viện nghiên cứu của các trường đại học, các Ủy ban đánh giá đạo đức, v.v.

• Điểm đầu mối có các trách nhiệm M&E Không áp dụng

Người chịu trách nhiệm tổng hợp, báo cáo và xác minh dữ liệu M&E như một bộ phận trong hệ thống theo dõi của tổ chức

• Điểm đầu mối có các trách nhiệm M&E

Trụ sở chính của các công ty

Các văn phòng khu vực của các doanh nghiệp điều phối hoạt động

Cấp địa phương

Tổ chức ô cho khu vực doanh nghiệp

Cấp quốc gia

Không áp dụng

• Cán bộ đầu mối bán chuyên trách (hầu hết không phải là chuyên trách) được giao nhiệm vụ ghi chép, tóm tắt, báo cáo, phân tích và xác minh chất lượng dữ liệu nhận được

Các doanh nghiệp đã lồng ghép chương trình vào hoạt động của họ

Cấp chuyển giao dịch vụ

Chương 2

Văn phòng quốc gia của tổ chức Văn phòng quốc gia của tổ chức Điểm đầu mối có các trách nhiệm M&E Văn phòng quốc gia của tổ chức Cán bộ M&E Văn phòng quốc gia của tổ chức applicable Cố vấn hỗ trợ kỹ thuật, ví dụ cố vấn M&E của UNAIDS, cán bộ M&E của UNICEF Văn phòng quốc gia của tổ chức

Các quỹ tài trợ

Các viện nghiên cứu

Các cơ quan song phương

Các cơ quan đa phương

Các tổ chức phi chính phủ quốc tế

Cấp quốc gia

Không áp dụng

Cấp chuyển giao dịch vụ

Không áp dụng

Cấp địa phương

Chương 2

Nguồn nhân lực cho các hệ thống M&E

117

Các đối tác quốc tế

C: Các chức năng chính của các vị trí M&E chuyên trách

Chương 2

(trích từ tài liệu của Ngân hàng Thế giới về 11 cấu phần của một hệ thống M&E hoạt động tốt) Các cán bộ chuyên trách trong mạng lưới các tổ chức chịu trách nhiệm về M&E có những vai trò và trách nhiệm khác nhau. Dưới đây sẽ tóm tắt các vai trò và trách nhiệm gợi ý cho các cán bộ này.

Ở cấp quốc gia 1.

Cán bộ quản lý M&E quốc gia • Phối hợp để tạo ra và kiểm tra các tư liệu của hệ thống M&E • Quản lý và giám sát các nhân viên của đơn vị M&E • Quản lý hệ thống M&E (giám sát kỹ thuật) • Phối hợp lập dự toán chi phí cho kế hoạch M&E và đánh giá hàng năm • Chủ trì Nhóm công tác kỹ thuật (TWG) M&E, và điều phối hoạt động của nhóm • Đóng vai trò quan trọng trong việc phối hợp quy hoạch, thực hiện và phổ biến các kết quả tìm hiểu của tất cả các cuộc điều tra/khảo sát và giám sát (phối hợp với tổ chức đầu mối về khía cạnh này) • Vận động chính sách và trao đổi thông tin về M&E trong tất cả các ngành ở mức độ ra quyết định để xây dựng các quan hệ đối tác M&E mạnh mẽ • Phát triển và giám sát chiến lược xây dựng năng lực M&E, các hoạt động đi kèm với chiến lược, và đóng một vai trò quan trọng trong việc huy động nguồn lực cho hoạt động này. • Phối hợp và hành động dựa trên các kết quả báo cáo giám sát và kiểm định dữ liệu • Tạo ra các sản phẩm thông tin (báo cáo hàng năm, v.v) • Giám sát tất cả các quy trình phổ biến dữ liệu và phản hồi • Đại diện cho tổ chức/bộ chủ quản tại các diễn đàn M&E trong nước • Đóng vai trò đầu mối liên lạc với nhóm giám sát đói nghèo và các nhóm liên quan khác

Cán bộ dữ liệu • Tạo ra và quản lý một cơ sở dữ liệu quốc gia phù hợp với các nhu cầu M&E quốc gia • Nhập dữ liệu từ các bộ/tổ chức của chính phủ và các đơn vị điều phối được phân cấp và tiến hành phân tích theo yêu cầu của Đơn vị M&E •

118

Cài đặt cơ sở dữ liệu ở các cấp độ phân cấp và giám sát hoạt động của cơ sở dữ liệu

Triển khai các hệ thống Theo dõi và Đánh giá

Đào tạo các cơ quan được phân cấp về sử dụng cơ sở dữ liệu

•

Giải quyết các vấn đề cơ sở dữ liệu cho các cơ quan được phân cấp

•

Cung cấp dữ liệu cho tất cả các sản phẩm thông tin của tổ chức/bộ ngành

Chương 2

•

Cán bộ nghiên cứu • Điều phối xây dựng chiến lược và chương trình nghiên cứu và học tập

•

Phối hợp thực hiện chiến lược

•

Đóng vai trò đầu mối liên lạc với Hội đồng Nghiên cứu về các phê chuẩn đạo đức cho tất cả các nghiên cứu

•

Bảo đảm rằng chương trình nghiên cứu và học tập được quản lý và thực hiện.

•

Đại diện cho tổ chức/bộ ở tất cả các diễn đàn nghiên cứu ở địa phương

•

Dẫn dắt các nghiên cứu do tổ chức/bộ tài trợ

•

Phổ biến kết quả nghiên cứu trong các tạp chí học thuật, hội nghị nghiên cứu, các bài giảng chuyên đề tại trường đại học, các diễn đàn ra quyết định/chính trị v.v

(Các) cán bộ Hệ thống giám sát thường quy • Thực hiện các hoạt động đã được lên lịch trình và/hoặc đã thoả thuận trong kế hoạch hoạt động M&E hàng năm (lộ trình) • Với sự hỗ trợ của lãnh đạo của tổ chức/Bộ, hãy thống nhất về các cam kết báo cáo dữ liệu (bao gồm cả thời hạn) với các nhà cung cấp dữ liệu •

Phối hợp giám sát, kiểm định dữ liệu giám sát chương trình

•

Phối hợp với Cán bộ dữ liệu để nắm giữ dữ liệu điện tử vào cơ sở dữ liệu quốc gia

•

Đóng vai trò đầu mối liên lạc với bộ y tế (hoặc cơ quan khác có liên quan) về thu thập dữ liệu ngành y tế

•

Phối hợp phổ biến các dữ liệu cấp độ đầu ra.

•

Vận động sử dụng các dữ liệu theo dõi đầu ra.

Tại chính quyền khu vực/huyện (địa phương) Phần này phù hợp với những nơi mà các hoạt động được điều phối tại các cơ quan được phân cấp của chính phủ, ví dụ như, các hội đồng huyện, thành phố. Cần có các nguồn lực M&E sau đây ở các cấp được phân cấp (liên kết với và là một bộ phận của các văn phòng chính quyền địa phương): 1.

Các cán bộ M&E huyện/khu vực • Thực hiện vận động chính sách M&E ở các cấp thực hiện và được phân cấp

Nguồn nhân lực cho các hệ thống M&E

119

Chương 2

•

Phối hợp xây dựng năng lực M&E (ví dụ, đào tạo, hướng dẫn các đối tác)

•

Phối hợp triển khai thực hiện hệ thống giám sát chương trình ở cấp độ phân cấp

•

Liên lạc với các bên liên quan về thực hiện hệ thống giám sát chương trình

• Quản lý việc nắm giữ, đệ trình và xuất dữ liệu của hệ thống giám sát chương trình sang hệ thống M&E chính • Quản lý việc phổ biến dữ liệu giám sát chương trình • Phối hợp với Cán bộ nghiên cứu, hỗ trợ phối hợp các cuộc điều tra/ khảo sát ở cấp được phân cấp • Tư vấn về các vấn đề M&E ở cấp được phân cấp • Quản lý xây dựng năng lực M&E ở cấp được phân cấp • Phân tích và trình bày dữ liệu M&E theo yêu cầu ở các cấp độ phân cấp • Phổ biến các sản phẩm thông tin • Đẩy mạnh việc sử dụng dữ liệu trong quá trình ra quyết định và lập kế hoạch can thiệp và sử dụng dữ liệu để ra quyết định. • Quản lý hệ thống đăng ký người thực hiện chương trình ở cấp được phân cấp • Đóng vai trò đầu mối liên lạc với tổ chức quốc gia quản lý hệ thống M&E về tất cả các vấn đề M&E ở cấp được phân cấp.

Ở cấp chuyển giao dịch vụ Một số tổ chức có các nhân viên chuyên trách, một số khác hoàn toàn không có. Dù có nhân viên chuyên trách về M&E hay không, mỗi tổ chức thực hiện các hoạt động vẫn phải bổ nhiệm một người để sửa đổi, bổ sung các công cụ lưu giữ hồ sơ ghi chép hàng ngày nhằm đảm bảo tuân thủ với hệ giám sát chương trình quốc gia (hoặc tạo ra những công cụ này nếu chưa có). Nhiệm vụ này bao gồm: • Giữ các hồ sơ ghi chép hàng ngày về việc thực hiện các hoạt động

120

•

Soạn các biểu mẫu giám sát chương trình và nộp các biểu mẫu đã điền dữ liệu

•

Tham dự các cuộc họp phản hồi về hệ thống giám sát chương trình đã được phân cấp

•

Thúc đẩy việc sử dụng các dữ liệu của hệ thống giám sát chương trình khi lập kế hoạch can thiệp

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục B: Năng lực đánh giá 1: Năng lực kiến thức đánh giá Chương 2

1.1 Đánh giá các vai trò chính trị và xã hội 1.1.1 Cho thấy nhận thức về lịch sử và kiến thức đánh giá 1.1.2 Đánh giá mối liên kết và sự khác biệt giữa nghiên cứu đánh giá và nghiên cứu xã hội 1.1.3 Hiểu lý thuyết chương trình và các ý nghĩa của lý thuyết chương trình 1.1.4 Có thể liên hệ đánh giá với các môi trường chính sách. 1.1.5 Chứng minh sự quen thuộc với các lý thuyết nhân quả và ghi công. 1.1.6 Cho thấy nhận thức về các phương pháp khái quát hóa 1.2 Hiểu các phương pháp và cách tiếp cận đánh giá 1.2.1 Sử dụng các khái niệm và điều khoản đánh giá thích hợp 1.2.2 Biết cách thiết kế và cấu trúc một đánh giá. 1.2.3 Hiểu thấu đáo giá trị của các cách tiếp cận đánh giá đa dạng. 1.2.4 Thể hiện việc sử dụng các cách tiếp cận thích hợp trong các ngữ cảnh cụ thể. 1.2.5 Cho thấy sự quen thuộc với phương pháp định lượng và định tính, và các giả định triết học ẩn dưới các phương pháp này 1.2.6 Nắm vững các tiềm năng và giới hạn của phương pháp định lượng (bao gồm các thử nghiệm ngẫu nhiên, phân tích lợi ích chi phí, khảo sát) và phương pháp định tính (bao gồm nghiên cứu tình huống cụ thể, phỏng vấn và quan sát). 1.3 Cho thấy khả năng sử dụng các công cụ đánh giá thu thập và phân tích dữ liệu để: 1.3.1 Thiết kế các tình huống nghiên cứu cụ thể, khảo sát, phỏng vấn, quan sát. 1.3.2 Thiết lập và sử dụng các hệ thống theo dõi đánh giá 1.3.3 Xác định các chỉ số và các câu hỏi thích hợp cho nhiệm vụ đánh giá. 1.3.4 Phân tích và diễn giải dữ liệu theo nhiều loại hình chiến lược. 1.3.5 Thiết lập các tiêu chí về tính hiệu lực và “định giá” đánh giá. 1.3.6 Báo cáo công bằng và khách quan cho các đối tượng đã thống nhất vì lợi ích công chúng

2: Năng lực thực hành chuyên nghiệp 2.1 Chứng tỏ năng lực thực hiện các đánh giá 2.1.1 Xác định chắc chắn bối cảnh đánh giá 2.1.2 Thẩm định lô-gich chính sách và lý thuyết chương trình.

Nguồn nhân lực cho các hệ thống M&E

121

2.1.3

Lựa chọn các cách tiếp cận, phương pháp và công cụ thích hợp

2.1.4 Chọn các tiêu chí đánh giá phù hợp và đúng đắn

Chương 2

2.1.5

Biết khi nào cần đến các cán bộ đánh giá với các kỹ năng khác nhau.

2.1.6 Chứng minh quản lý đánh giá một cách hiệu quả 2.1.7 Đưa ra các quyết định đạo đức thận trọng trong thực tế. 2.1.8 Diễn giải kết quả đánh giá trong bối cảnh.

2.2 Chứng minh các kỹ năng giao tiếp 2.2.1 Viết trôi chảy và giao tiếp rõ ràng. 2.2.2 Có khả năng làm việc độc lập và làm việc nhóm 2.2.3

Sử dụng các kỹ năng đàm phán tốt và thận trọng

2.2.4 Cho thấy sự nhạy cảm về mặt văn hóa/giới 2.2.5

Nuôi dưỡng các quan hệ nghề nghiệp

3: Các phẩm chất và năng lực tính cách 3.1 Giữ gìn các giá trị đạo đức và dân chủ 3.2 Tôn trọng khách hàng, các bên có lợi ích liên quan và các bên tham gia 3.3 Biết ứng phó và linh hoạt khi bối cảnh thay đổi 3.4 Đưa ra các đánh giá công bằng, đúng đắn và nghiêm khắc 3.5 Có khả năng xử lý mâu thuẫn và vẫn giữ thái độ không thiên vị 3.6 Thể hiện kiến thức của bản thân và theo đuổi sự phát triển chuyên môn

122

Triển khai các hệ thống Theo dõi và Đánh giá

3 Chương 3

Chương 3 Các quan hệ đối tác Theo dõi và Đánh giá Mục đích của Chương Mục đích của chương này là giúp bạn hiểu tầm quan trọng của việc thiết lập và duy trì quan hệ đối tác M&E mạnh mẽ như một cách để tập hợp những con người đa dạng đến từ các tổ chức khác nhau để cùng làm việc vì các mục tiêu và mục đích tương tự nhau. Các quan hệ đối tác M&E đặc biệt quan 5 những người liên quan có thể không cùng làm trọng, vì nhiều người trong số việc trong một tổ chức.

Kiến thức và Kỹ năng của chương Đến cuối chương này, bạn sẽ có thể: a)

Giải thích cho những người khác về các loại hình khác nhau của quan hệ đối tác, các lợi ích của quan hệ đối tác và các cơ chế đối tác khác nhau.

Nhận ra các vấn đề thực hiện liên quan đến việc thiết lập và duy trì quan hệ đối tác.

Thiết lập và duy trì một Nhóm công tác kỹ thuật (TWG) M&E quốc gia như là một cơ chế đối tác M&E.

Tổ chức một đoàn công tác / chuyến đi phối hợp với các đối tác phát triển khác.

Các quan hệ đối tác Theo dõi và Đánh giá

123

Trước khi bắt đầu ....

Chương 3

Hãy dành vài phút để đọc qua những câu hỏi dưới đây. Bạn có thể thấy chúng rất hữu ích để viết ra câu trả lời của bạn. Khi bạn đã tìm hiểu hết chương này, hãy so sánh các câu trả lời của bạn với các quan điểm của các tác giả. •

Tại sao các quan hệ đối tác quan trọng trong M&E?

•

Khi nào thì một quan hệ đối tác thành công?

•

Tại sao các quan hệ đối tác không thành công?

•

Điều gì làm cho một quan hệ đối tác trở nên mạnh mẽ?

•

Làm thế nào để xây dựng quan hệ đối tác với những người làm công tác M&E?

•

Tôi nên xây dựng quan hệ đối tác với ai?

•

Tại sao tôi nên tham gia vào một nhóm công tác kỹ thuật về theo dõi và đánh giá?

•

Làm thế nào tôi có thể phối hợp các nỗ lực của mình với các đối tác làm việc trong lĩnh vực M&E?

M&E là một vấn đề xuyên suốt và có nhiều người tham gia trong suốt quá trình. Những câu hỏi này nhắc nhở chúng ta rằng không chỉ có hệ thống M&E cần đến những con người có kĩ năng, mà bản thân họ cần phải lập kế hoạch và làm việc cùng nhau để đảm bảo sự thành công của hệ thống M&E. Những quan hệ đối tác cho M&E có ý nghĩa quan trọng ngay cả khi bạn thuộc một tổ chức nhỏ đang thực hiện một chương trình. Chương này sẽ dạy thêm cho bạn về cách xây dựng và gìn giữ các quan hệ đối tác mạnh mẽ cho hệ thống M&E.

124

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 3: Quan hệ đối tác M&E 1. Giới thiệu

Chương 3

“Sự kìm kẹp của AIDS sẽ chỉ được phá vỡ bởi các chương trình có hiệu quả ở cấp quốc gia. Khó khăn là ở chỗ các cơ quan và nhà tài trợ ... hoạt động gần như độc lập với nhau. Một điều sẽ không bao giờ xảy ra – đó là một sự kiện hoặc quá trình phát triển các chiến lược quốc gia tổng hợp trong đó chỉ tập trung vào quốc gia đó - “...chứ không phải tập trung vào lợi ích của cơ quan, nhà tài trợ, hoặc khu vực bầu cử“ Richard Horton, The Lancet, số 368, 26/8/2006: tr. 716-718 Quan hệ đối tác M&E là một phần trong chuỗi con người, quan hệ đối tác và lập kế hoạch của 12 cấu phần thuộc một hệ thống M&E hoạt động tốt. Thiết lập và duy trì quan hệ đối tác mạnh là cách để một nhóm người khác nhau từ các tổ chức khác nhau có thể làm việc cùng nhau vì cùng một tập hợp mục tiêu giống nhau. Điều này đặc biệt quan trọng đối với một hệ thống M&E, vì nhiều người trong số những người liên quan không làm việc trong cùng một tổ chức hoặc không ở trong cùng một ngành. Khái quát về Cấu phần 3: Cấu phần này bắt đầu bằng phần mô tả khái quát và các định nghĩa liên quan đến quan hệ đối tác M&E, các loại quan hệ đối tác đang tồn tại, và các cơ chế để hỗ trợ thành lập và duy trì các quan hệ đối tác (Phần 2). Phần 3 và 4 mô tả các kết quả mong muốn cho chương này (trong việc phát triển và duy trì quan hệ đối tác M&E) và lợi ích của các quan hệ đối tác. Các vấn đề thực hiện liên quan tới các quan hệ đối tác M&E được trình bày trong Phần 5, trong đó bao gồm sự hiểu biết về các nguyên tắc phát triển quan hệ đối tác, đặc điểm của một quan hệ đối tác thành công, và cơ chế phát triển và duy trì Nhóm công tác kỹ thuật (TWG) M&E. Phần 6 trực tiếp dành cho những người chịu trách nhiệm về các quan hệ đối tác cho hệ thống M&E, và tập trung vào việc làm thế nào để thiết lập và duy trì một nhóm TWG M&E quốc gia. Phần 7 thảo luận cách thức để các đại diện của các đối tác phát triển, những người đang có kế hoạch hỗ trợ kỹ thuật tại một quốc gia, có thể thực hiện các đoàn công tác hoặc chuyến đi phối hợp với các đối tác phát triển khác. Chương này kết thúc bằng phần tóm tắt các bài học kinh nghiệm (Phần 8), và một bài thực hành để củng cố những gì bạn đã học trong chương (Phần 9).

2. Thông tin khái quát & Định nghĩa a)

Quan hệ đối tác cho M&E: Một quan hệ đối tác là một thỏa thuận cùng làm việc giữa hai bên hoặc nhiều bên để đạt được mục tiêu chung. Các đối tác (cá nhân và các tổ chức) chia sẻ các nguồn tài nguyên, ý tưởng và kinh nghiệm, nhằm hỗ trợ và làm phong phú thêm năng lực của nhau và thực hiện mục tiêu chung tốt hơn.

Các quan hệ đối tác Theo dõi và Đánh giá

125

Các quan hệ đối tác cũng có thể được xem như là hai hoặc nhiều nhóm làm việc cộng tác với nhau để hướng tới mục tiêu chung, nhưng đồng thời vẫn đáp ứng các mục tiêu riêng. Quan hệ đối tác M&E là một loại quan hệ đối tác đặc biệt. Nó đề cập đến mối quan hệ hợp tác giữa nhiều người hoặc nhóm người đã đồng ý chia sẻ trách nhiệm trong việc thực hiện hệ thống M&E. Các quan hệ đối tác này có đặc trưng là có cam kết hợp tác, chia sẻ trách nhiệm chung, và đạt được mục tiêu chung. Chương 3

Các loại quan hệ đối tác M&E: Các loại quan hệ đối tác M&E sẽ phụ thuộc nhiều vào hệ thống M&E của tổ chức. Chẳng hạn như, một tổ chức nhỏ sẽ có ít quan hệ đối tác hơn so với Bộ Giáo dục của một quốc gia đang cố gắng triển khai một hệ thống M&E thống nhất cho toàn bộ ngành giáo dục. Các hệ thống M&E quốc gia liên quan đến các quan hệ đối tác phức tạp nhất và có cả hệ thống nội bộ (ví dụ như giữa các đơn vị trong một cơ quan) và hệ thống bên ngoài (ví dụ, giữa một cơ quan và các đối tác của cơ quan đó). Các đối tác bên ngoài có thể thuộc các ngành khác nhau (đa ngành), có thể là các cấp chính quyền địa phương và cộng đồng (đa cấp). Hai loại quan hệ đối tác cho một hệ thống M&E quốc gia được minh họa trong Hình C3-1 dưới đây.

Hình C3-1: Các loại quan hệ đối tác M&E trong hệ thống M&E CẤP QUỐC GIA

CẤP ĐỊA PHƯƠNG

CẤP THỰC HIỆN/DỰ ÁN

chính quyền địa phương các cấp

các cơ quan cung cấp dịch vụ của chính phủ

CHÍNH PHỦ Bộ Đơn vị M&E của Bộ

Các Bộ khác các đơn vị M&E

các tổ chức khung

các tổ chức học thuật và nghiên cứu

các đối tác phát triển

các NGO, CBO và FBO cung cấp dịch vụ các doanh nghiệp đang thực hiện chương trình các đề án nghiên cứu CHÚ THÍCH Mũi tên trắng = quan hệ đối tác nội bộ Mũi tên đen = quan hệ đối tác bên ngoài

Nguồn: Tác giả

126

Triển khai các hệ thống Theo dõi và Đánh giá

Có nhiều cơ chế đối tác khác nhau, qua đó có thể thành lập và duy trì quan hệ đối tác M&E: Nhóm công tác đặc biệt: Một nhóm người tạm thời được một cơ quan thường trực uỷ quyền thực hiện một mục tiêu cụ thể, thường là ngắn hạn

•

Nhóm công tác kỹ thuật M&E: một nhóm các chuyên gia, những người gặp nhau thường xuyên để thảo luận về các tiến triển kỹ thuật M&E và phê duyệt các tài liệu chính về M&E. Những nhóm như vậy có số thành viên cố định, các thành viên chỉ gồm những người được mời tham gia, và thường bao gồm các bên liên quan từ các ngành khác nhau.

•

Chuyến công tác học tập phối hợp: Đây là một cơ hội cho các nhóm gồm những người được đề cử từ một quốc gia để đến thăm các nhóm tương tự có những mối quan tâm tương tự ở các quốc gia khác, nhằm mục đích tìm hiểu thêm về cách hoạt động chương trình của họ.

•

Đánh giá chung: bao gồm từ hai đối tác trở lên cùng nhau thực hiện một đánh giá chương trình. Gần đây, OECD/DAC đã đưa các hướng dẫn đánh giá chung. Các lợi ích của đánh giá chung gồm có: cùng phát triển năng lực, hài hòa hóa và giảm chi phí giao dịch, có sự tham gia và liên kết, có tính khách quan và hợp pháp, và phạm vi rộng hơn. Những thách thức bao gồm sự phức tạp của việc đánh giá một chương trình đa ngành hay đa cơ quan, cũng như chi phí và sự phức tạp khi phối hợp hoạt động chung (OECD DAC, 2006).

•

Các đoàn công tác/chuyến công tác M&E phối hợp: bao gồm đại diện của 2 đối tác phát triển trở lên (tất cả đều hỗ trợ quốc gia thực hiện một hoặc nhiều khía cạnh của hệ thống M&E) đã đồng ý và lên kế hoạch cho một chuyến công tác chung đến quốc gia liên quan. Gần đây đã có nhiều kinh nghiệm liên quan đến các đoàn/chuyến công tác M&E phối hợp được ghi chép lại (tìm kiếm trên ERL về chủ đề “Đạt kết quả - các quan hệ đối tác M&E”.)

Chương 3

•

3. Các kết quả thu được khi thực hiện cấu phần này Kết quả lâu dài: •

Thiết lập và duy trì quan hệ đối tác nội bộ và bên ngoài để tăng cường hệ thống M&E

Kết quả ngắn hạn và trung hạn: •

Liệt kê tất cả các bên liên quan đến M&E

•

Cơ chế phối hợp và trao đổi thông tin với tất cả các bên liên quan đến M&E

•

Sự tham gia vào một Nhóm công tác kỹ thuật quốc gia về M&E

•

Sự lãnh đạo và năng lực của địa phương để phối hợp các bên liên quan

Các quan hệ đối tác Theo dõi và Đánh giá

127

Câu hỏi tư duy 1:

Chương 3

Nhớ lại các quan hệ đối tác M&E trong tổ chức của bạn, cũng như các quan hệ đối tác giữa hệ thống M&E trong tổ chức của bạn với các đối tác bên ngoài. Tổ chức của bạn có tham gia nhiều quan hệ đối tác như vậy không? Những quan hệ đối tác đó thành công khi nào? Bạn có thể xác định những khía cạnh nào góp phần tạo ra sự thành công đó không? Đâu là những thách thức của các quan hệ đối tác không thành công? Có bao nhiêu kết quả ngắn hạn và trung hạn liệt kê ở đây được thể hiện rõ ở tổ chức của bạn?

4. Lợi ích của các quan hệ đối tác M&E cho một hệ thống M&E

128

Các quan hệ đối tác M&E tăng cường và cải thiện việc trao đổi thông tin, sự tham gia và chia sẻ trách nhiệm giải trình giữa các bên liên quan tham gia vào M&E. Việc cải thiện trao đổi thông tin sẽ tạo điều kiện cho cách tiếp cận phối hợp để quản lý hệ thống M&E và giúp tạo ra một tầm nhìn chung cho hệ thống.

Các quan hệ đối tác M&E cho phép cơ quan chủ trì phối hợp các nỗ lực M&E từ các đối tác phát triển, các cơ quan chính phủ, xã hội dân sự, và khu vực tư nhân. Trong một đánh giá năm 2003 của OECD/DAC, các chính phủ thông báo rằng, việc không phối hợp được các nỗ lực của các đối tác phát triển đã tạo ra gánh nặng lớn thứ ba đối với quá trình hỗ trợ phát triển (OECD, 2003:13). Cải thiện sự phối hợp sẽ làm giảm sự nhầm lẫn và trùng lặp, tạo điều kiện học tập và chia sẻ, do đó, làm giảm các chi phí liên quan đến hệ thống M&E.

Các quan hệ đối tác M&E giúp đơn giản hóa, hài hòa hóa và gắn kết các thủ tục M&E và thủ tục báo cáo của chính phủ, xã hội dân sự, khu vực tư nhân và các đối tác phát triển. Một quan hệ đối tác mạnh có thể cho phép các tổ chức soạn ra một báo cáo chuẩn mực cho tất cả các đối tác, thay vì bỏ ra nhiều thời gian và tiền bạc để lập nhiều báo cáo một cách không cần thiết. Cách tiếp cận này giúp xây dựng một nền tảng chung cho việc chia sẻ thông tin, kế hoạch, kết quả, các công cụ và chiến lược.

Các quan hệ đối tác M&E giúp huy động sự hỗ trợ kỹ thuật và tài chính cần thiết để thực hiện hệ thống M&E. Khi các bên liên quan tham gia vào hệ thống M&E trao đổi thông tin thường xuyên và có hiệu quả, tất cả mọi người có liên quan đều sẽ hiểu những yêu cầu hỗ trợ nhân lực, tài chính và kỹ thuật cho hoạt động M&E. Các chức năng M&E có thể được phân chia hợp lý giữa các bên liên quan, những người này sau đó sẽ có thể chia sẻ các kỹ năng kỹ thuật của mình một cách hiệu quả. Các quan hệ đối tác như vậy cũng giúp liên kết các quá trình M&E với ngân sách của các bên liên quan và hỗ trợ sự phân công lao động rõ ràng.

Các quan hệ đối tác M&E giúp đạt được mục tiêu xây dựng một hệ thống M&E hài hoà: các hệ thống M&E hài hoà (như trong các quy tắc Three Triển khai các hệ thống Theo dõi và Đánh giá

Ones được thiết kế để tăng cường hiệu suất và hiệu quả trong các hỗ trợ cho AIDS1) được thiết kế để tránh sự phát triển lan tràn của các chiến lược, các ủy ban và hệ thống theo dõi đem lại sự nhầm lẫn, trùng lặp và làm tăng chi phí giao dịch cho các quốc gia. Các quan hệ đối tác M&E mạnh mẽ là chìa khóa để đạt được mục tiêu này. 6.

Chương 3

Việc thực hiện các đoàn/chuyến công tác chung đem lại những lợi ích cụ thể bổ sung cho các đối tác phát triển cùng hoạt động tại một quốc gia. Các quan hệ đối tác thông qua các đoàn công tác chung cho phép tổng hợp các phản hồi để được chia sẻ trong một khoảng thời gian ngắn hơn, giúp cho các cố vấn kỹ thuật M&E ở cấp quốc gia phát triển chiến lược mới hoặc tìm ra các giải pháp mới, giới thiệu các cán bộ mới ở cấp quốc gia và tìm hiểu các giải pháp có thể giải quyết những thách thức cấp quốc gia, nâng cao độ tin cậy của đối tác phát triển, và cung cấp cho cơ quan được hỗ trợ một cơ hội để vận động thêm sự hỗ trợ hợp lý.

5. Các vấn đề thực hiện liên quan đến việc thành lập và duy trì quan hệ đối tác M&E 5.1. Các nguyên tắc quản lý và duy trì quan hệ đối tác M&E một cách hiệu quả •

Cần có sự tin tưởng lẫn nhau giữa các đối tác. Điều này có thể được xây dựng thông qua đối thoại cởi mở và trao đổi ý kiến trong một khung cảnh tôn trọng các quan điểm khác nhau. Những hành động như vậy sẽ làm cho các đối tác cảm thấy được tôn trọng và giúp duy trì sự tham gia của họ.

•

Các đối tác cần có trách nhiệm giải trình với nhau để tôn trọng các quyền và trách nhiệm của mình với vai trò là các bên liên quan tham gia M&E.

•

Các quan hệ đối tác năng động. Các thay đổi sẽ xảy ra khi các cá nhân đại diện cho các tổ chức thay đổi, và khi các ưu tiên thể chế thay đổi. Duy trì quan hệ đối tác là một nỗ lực liên tục. Quan hệ đối tác cần phải linh hoạt và thích nghi được với sự thay đổi.

•

Các quan hệ đối tác cần có mục đích. Quan hệ đối tác cần phải có mục tiêu định sẵn và kết quả dự kiến để mọi người có liên quan có thể nhìn thấy giá trị của quan hệ đối tác. Ví dụ như, các kết quả dự kiến có thể là tạo ra được bốn sản phẩm thông tin mỗi năm.

•

Các quan hệ đối tác nội bộ (giữa đơn vị M&E và phần còn lại của cơ quan) và quan hệ đối tác với các đơn vị M&E của các bộ khác tham gia vào chương trình đang được theo dõi, có ý nghĩa rất quan trọng và cần được phát triển.

•

Hài hòa hóa để nâng cao hiệu quả viện trợ và quản lý theo kết quả vừa là các ưu tiên toàn cầu của các đối tác phát triển vừa là ưu tiên cho các cơ quan doanh nghiệp phát triển nhất. Động lực được tạo ra bởi sự hài hoà hóa ở cấp quốc tế và chương trình “quản lý theo kết quả” có thể được sử

Các quan hệ đối tác Theo dõi và Đánh giá

129

dụng để khuyến khích các đối tác trong một quốc gia tham gia vào hệ thống M&E.

Chương 3

•

Trong các quan hệ đối tác thành công, các kỹ năng bổ sung và đóng góp của tất cả các đối tác cần phải được công nhận. Sự phân công trách nhiệm giữa các đối tác theo thỏa thuận từ trước có thể hợp lý hóa sự đóng góp và ngăn ngừa các khoảng thiếu hụt. Một kế hoạch M&E có ước tính ngân sách (xem phần 5) trong đó có xác định trách nhiệm của tất cả các đối tác sẽ giúp phân công vai trò cụ thể cho các đối tác cụ thể.

5.2. Các đặc điểm của các quan hệ đối tác M&E thành công Quan hệ đối tác thành công khi: •

Chia sẻ một tầm nhìn chung về những gì có thể đạt được và với sự phân chia rõ ràng thẩm quyền hoặc chương trình nghị sự.

•

Các đối tác là các nhóm bầu cử hợp pháp quan tâm đến M&E và đồng ý rằng quan hệ đối tác là cần thiết.

•

Có sự tôn trọng và tin tưởng giữa các nhóm lợi ích khác nhau, cam kết của các nhóm lợi ích chính được phát triển thông qua một quy trình rõ ràng và cởi mở, và có tỷ lệ đại diện và ảnh hưởng cân bằng ở tất cả các cấp, trong tất cả các cơ quan và quy trình liên quan.

•

Dành thời gian để xây dựng quan hệ đối tác và phát triển những cách thức phù hợp và linh hoạt để làm việc cùng nhau (bao gồm cả sự nhạy cảm với các nhu cầu cụ thể và thách thức của tất cả các đối tác).

•

Trao đổi thông tin kịp thời và hiệu quả, ra quyết định dựa trên cơ sở phối hợp, với cam kết để đạt được sự đồng thuận.

•

Có tổ chức quản lý và điều phối hiệu quả trong các ngành và cơ chế lãnh đạo hiệu quả

•

Các đối tác có thể truy cập đầy đủ thông tin thích hợp và kịp thời.

•

Đào tạo và hỗ trợ kỹ thuật được cung cấp cho các đối tác để thúc đẩy tính chuyên nghiệp và văn hóa công bằng và minh bạch.

•

Có bằng chứng về sự tham gia không phân biệt đối xử của tất cả các đối tác, chia sẻ quyền sở hữu, trách nhiệm và cam kết.

•

Quan hệ đối tác được củng cố bằng sự hỗ trợ hành chính hiệu quả, chẳng hạn như thông báo trước và đầy đủ về các cuộc họp và các quy trình.

5.3. Sử dụng Nhóm công tác kỹ thuật M&E làm một cơ chế quan hệ đối tác TWG M&E là một quan hệ đối tác đa ngành thường đại diện cho tất cả các bên liên quan đến M&E trong một quốc gia, và thường được thiết lập cho các hệ thống M&E cấp quốc gia. Ở các quốc gia khác nhau, TWG M&E thực hiện nhiều chức năng khác nhau. Họ có thể phối hợp các hoạt động M&E, tư vấn về các vấn đề kỹ thuật M&E, và cung cấp một quan hệ đối tác hoặc diễn đàn tham vấn. Dưới đây là một số lời khuyên để giữ cho một TWG M&E hoạt động tích cực:

130

Triển khai các hệ thống Theo dõi và Đánh giá

Sự hình thành, thẩm quyền và chức năng của nhóm TWG M&E: Đưa việc hình thành một nhóm TWG M&E vào Kế hoạch chiến lược quốc gia nhằm cung cấp cho TWG tính hợp pháp và quyền hạn để có thể quyết định hoặc tư vấn.

ii)

Các thành viên TWG sẽ nhận được các khoản phụ cấp tương tự như của thành viên các uỷ ban thường trực khác, ví dụ như Diễn đàn Đối tác hoặc Ban Ủy viên.

iii)

Chính phủ nên chủ trì nhóm TWG M&E để TWG được coi như một cơ chế phối hợp hợp pháp do chính phủ điều hành.

iv)

Xây dựng một Điều khoản tham chiếu cho TWG. Tài nguyên thư viện GAMET HIV M&E bao gồm các tài liệu hướng dẫn về Điều khoản tham chiếu cho TWG M&E và nhiều ví dụ về tham chiếu công việc từ các nước khác nhau. (có thể truy cập tại http://gametlibrary.worldbank.org: khi ở trong thư viện, hãy bấm chuột vào biểu tượng Quan hệ đối tác M&E hoặc ô Quan hệ đối tác M&E ở bên tay trái của màn hình.)

Đảm bảo rằng TWG M&E theo dõi việc thực hiện kế hoạch công việc M&E (xem Cấu phần 5). Điều này có nghĩa rằng các thành viên TWG sẽ báo cáo lại về các hoạt động M&E của tổ chức mình trong quý trước đó theo phân giao nhiệm vụ của kế hoạch công việc M&E quốc gia. Bằng cách này, cuộc họp không bị chi phối bởi cơ quan điều phối và các bên tham gia không thụ động trong cuộc họp, mà trái lại có một vai trò và sự đóng góp như nhau.

vi)

Đôi lúc TWG có thể hình thành các tiểu ban, với những mục tiêu ngắn hạn và thời hạn hoạt động nhất định để đối phó với các vấn đề cụ thể (ví dụ như, một cuộc khảo sát cụ thể). Các tiểu ban này nên được chủ trì bởi các đại diện của chính phủ và phải báo cáo lại cho TWG M&E về tiến độ hoạt động.

Chương 3

Thành viên của TWG M&E và cơ chế tham gia các cuộc họp: Mọi tổ chức đã được giao chức năng M&E trong kế hoạch công việc M&E quốc gia đều phải có đại diện trong TWG M&E (bao gồm các cơ quan chính phủ có liên quan với M & E, các cơ cấu phân cấp, tổ chức xã hội dân sự). i)

Các đối tác phát triển có khả năng tham gia thường xuyên hơn nếu họ có một vai trò cụ thể, họ thấy được lợi ích cho tổ chức của họ, cảm nhận sự hữu ích của các cuộc họp và nhìn thấy sự tiến triển đang diễn ra.

ii)

Sự tham gia và quan tâm của các đối tác chủ chốt có thể được cải thiện bằng cách giao cho họ một vai trò nổi bật trong TWG (ví dụ, chủ tịch hoặc phó chủ tịch).

iii)

Các tổ chức xã hội dân sự là thành viên của các TWG M&E nên cung cấp thông tin phản hồi về hoạt động M&E cho các thành viên của họ.

iv)

Tại thời điểm khởi đầu của hệ thống M&E, TWG M&E có thể phải họp nhiều hơn so với sau khi hệ thống đã phát triển. Các thành viên TWG phải nhận thức được rằng họ cần họp mỗi tháng một lần trong 18 tháng đầu tiên triển khai hệ thống và sau đó, họp mỗi quý một lần để đảm bảo sự tham gia và biết được về sự tiến triển của hệ thống.

Các quan hệ đối tác Theo dõi và Đánh giá

131

5.4. Các hoạt động cụ thể nhằm tăng cường quan hệ đối tác M&E với các tổ chức dân sự

Chương 3

Bảng C3-1: Các hoạt động cụ thể để tăng cường vai trò của xã hội dân sự trong quan hệ đối tác M&E Hỗ trợ các đại diện của khu vực cộng đồng bằng cách:

Các đại diện của khu vực cộng đồng có thể hỗ trợ quan hệ đối tác bằng cách:

• Không phân biệt đối xử và chào đón sự tham gia của tất cả thành viên của khu vực cộng đồng

• Hiểu các áp lực và trách nhiệm mà ban thư ký phải đương đầu

• Thông báo trước và đầy đủ về các cuộc họp và các quy trình • Hỗ trợ hành chính (ví dụ, lấy và phân phát các biên bản họp) • Cung cấp miễn phí và dễ truy cập các thông tin chung về cơ quan điều phối hoặc quy trình phối hợp • Cung cấp thông tin về các cơ hội cho khu vực cộng đồng cung cấp đầu vào

• Cung cấp thông tin thích hợp và kịp thời (ví dụ như, về quá trình lựa chọn các đại diện khu vực của cộng đồng) • Cung cấp nguồn lực con người của cộng đồng (ví dụ, cung cấp các chuyên gia để tham gia làm việc nhóm) • Trao đổi thông tin thông tin cho khu vực cộng đồng rộng lớn hơn thông qua các tiêu điểm, chẳng hạn như các mạng lưới cộng đồng

• Cung cấp một đầu mối liên hệ cho khu vực cộng đồng (ví dụ, một cán bộ của đối tác) Trích dẫn từ: ICASO, AfriCASO, Liên minh, 2007

5.5. Các hoạt động cụ thể cho các đối tác phát triển tăng cường quan hệ đối tác với chính phủ Các đối tác phát triển có thể góp phần xây dựng các quan hệ đối tác xoay quanh hệ thống M&E bằng cách hỗ trợ các thể chế (về tài chính và kỹ thuật) chủ trì TWG M&E và liên kết các quy trình lập kế hoạch và quy trình lập ngân sách của mình với các quy trình của chính phủ. Các đối tác phát triển cần được biết những thông tin mới nhất về tiến triển của quan hệ đối tác, và trao đổi thông tin với chính phủ một cách thông suốt và có phối hợp nhằm đảm bảo rằng họ quen thuộc với các chính sách mới nhất của chính phủ.

6. Hướng dẫn thực hành C3-1: Thành lập và quản lý một nhóm TWG M&E Như đã đề cập trong mục 5.3, các TWG M&E là một cơ chế để tạo ra một quan hệ đối tác M&E trong nước. Những bước dưới đây mô tả cách thiết lập một TWG M&E. Chú ý: Nhiều bước trong số các bước dưới đây cũng có thể được sử dụng và điều chỉnh để củng cố một TWG M&E đang tồn tại.

132

Triển khai các hệ thống Theo dõi và Đánh giá

Bước 1:

thu thập thông tin cần thiết về M&E và các quan hệ đối tác khác, và xác định điểm mạnh và điểm yếu

Khi lập kế hoạch thiết lập quan hệ đối tác M&E, cần tìm hiểu: Chiến lược của chính phủ cho quan hệ đối tác M&E là gì? (để tránh làm ảnh hưởng hoặc vô tình làm hỏng chiến lược này)

•

Hiện đang có bất kỳ kế hoạch nào cho quan hệ đối tác không?

•

Ý định của chính phủ trong việc phối hợp hỗ trợ kỹ thuật trong nước là gì?

•

Có một kế hoạch công việc M&E quốc gia hay không, và nếu có thì kế hoạch đó được sử dụng thế nào?

•

Có nhóm công tác kỹ thuật M&E trong nước hay không và, nếu có thì nhóm đó hoạt động như thế nào?

•

Gần đây có đánh giá hệ thống M&E nào được tiến hành không? Nếu có thì đánh giá đó cho biết những gì về bản chất và sức mạnh của quan hệ đối tác?

•

Ai là các đối tác M&E chính trong nước?

Chương 3

•

Một khi bạn đã tìm ra tất cả các thông tin này, hãy lên danh sách các đối tác, và tự giới thiệu về mình cho các đối tác khác trong cùng lĩnh vực. Hãy hỏi các đối tác xem các nhu cầu của họ là gì, và đảm bảo rằng bạn hiểu rõ những cảm nhận cũng như tuyên bố chính thức của họ về các nhu cầu của quan hệ đối tác. Xác định những hoạt động M&E mà các đối tác đó tham gia. Mục đích của các giới thiệu ban đầu này là tìm hiểu những điểm nhạy cảm trong nước và các nghi thức thiết lập quan hệ chính thức và phi chính thức. Tiến hành phân tích SWOT phi chính thức cho quan hệ đối tác M&E: thông qua các cuộc phỏng vấn ban đầu và thảo luận với các đối tác (Bước 1), xác định các điểm mạnh và điểm yếu trong nội bộ (nghĩa là trong phạm vi kiểm soát của cơ quan điều phối) và các mối đe dọa và cơ hội từ bên ngoài (nghĩa là ngoài tầm kiểm soát của cơ quan điều phối) liên quan đến việc hình thành một quan hệ đối tác M&E quốc gia. ERL chứa đựng các thông tin về cách tiến hành một phân tích SWOT và một mẫu phân tích SWOT. Kết quả: phân tích SWOT cho thấy các điểm mạnh và điểm yếu của quan hệ đối tác M&E.

Bước 2:

Lập kế hoạch cho TWG M&E

Động não các ý tưởng với các đồng nghiệp: Khi nghĩ đến việc thiết lập một quan hệ đối tác, hãy hỏi một vài câu hỏi sơ bộ mang tính chất thăm dò, có lẽ là với một vài đồng nghiệp đáng tin cậy trong một khung cảnh động não: •

Các mục đích và mục tiêu của chính phủ khi hình thành một quan hệ đối tác M&E là gì?

Các quan hệ đối tác Theo dõi và Đánh giá

133

Chương 3

•

Quan hệ đối tác sẽ bao gồm các cá nhân, hay các tổ chức, hay cả hai?

•

Quan hệ đối tác M&E quốc gia mới này sẽ liên kết như thế nào với các nhóm/diễn đàn quan hệ đối tác hiện tại?

•

Có một nhóm nòng cốt nào có khả năng thiết lập mạng lưới trong giai đoạn lập kế hoạch không?

•

Những ai khác cần tham gia vào quan hệ đối tác trong 1-3 năm tới?

•

Ai có thể cần được kết nối trong tương lai?

•

Mỗi thành viên tiềm năng có thể đóng góp những gì (ví dụ, thời gian làm việc của nhân viên, tiền bạc, không gian làm việc, dữ liệu, quan hệ với phương tiện truyền thông, uy tín và kỹ năng)?

•

Các cá nhân có đại diện cho các nhóm cử tri khác nhau hoặc những quan điểm văn hóa khác nhau không? Có nhóm nào hay quan điểm nào còn thiếu không?

•

Có những tổ chức, cá nhân nào cần được khuyến khích để tham gia? Họ sẽ thu được gì khi tham gia các nỗ lực thiết lập quan hệ đối tác (ví dụ, tăng kỹ năng, thiết lập mạng lưới, và tiếp cận với các nhà hoạch định chính sách)?

•

Điều gì cấu thành tư cách thành viên trong quan hệ đối tác cộng đồng? Có các cấp độ hội viên hoặc mức đóng phí hội viên khác nhau không?

•

Có một môi trường thuận lợi cho quan hệ đối tác liên cơ quan không?

•

Hiện có tồn tại cơ chế nào để thúc đẩy quan hệ đối tác M&E không?

•

Làm thế nào các quan hệ đối tác M&E được cải thiện và / hoặc xấu đi trong vòng 2-5 năm qua? Những bài học gì có thể rút ra được từ những kinh nghiệm này?

•

Có thể kiến nghị những chiến lược gì để tối ưu hóa sự hỗ trợ cho hệ thống M&E?

•

Ai sẽ được hưởng lợi và ai có thể chống lại quan hệ đối tác M&E? Vì những lý do gì? Làm thế nào để thuyết phục những người phản đối các quan hệ đối tác rằng quan hệ đối tác là một ý tưởng tốt?

Lập kế hoạch cho TWG M&E: Khi lập kế hoạch cho TWG M&E, hãy đảm bảo rằng kế hoạch dựa trên các nguyên tắc quan hệ đối tác vững chắc (xem Bước 4 dưới đây) và không có đối tác nào đóng vai trò chi phối. Lập kế hoạch cho quan hệ đối tác bằng cách mời các đối tác đầu tiên đến họp để:

134

•

Đạt sự nhất trí về các vai trò và trách nhiệm (bao gồm cả cơ chế lãnh đạo của quan hệ đối tác).

•

Thỏa thuận về một diễn đàn chung để chia sẻ thông tin.

•

Xây dựng một khuôn khổ để quan hệ đối tác hoạt động

•

Đồng ý cách thức làm việc của các đối tác để tối đa hóa sự tham gia.

•

Xác định cách giải quyết những sự khác biệt hoặc mâu thuẫn

Triển khai các hệ thống Theo dõi và Đánh giá

•

Đánh giá năng lực tài chính, nhân lực và công nghệ hiện có để hỗ trợ quan hệ đối tác.

•

Khái quát cách thức chia sẻ các nguồn lực có giá trị.

•

Xác định cách thức để quan hệ đối tác phù hợp với các kế hoạch của chính phủ.

•

Thống nhất về tên gọi cho quan hệ đối tác M&E (tên thường dùng nhất là TWG M&E). Chương 3

Xây dựng Điều khoản tham chiếu (TOR) cho TWG M&E. Phụ lục A có các tài liệu hướng dẫn về những gì được ghi trong Điều khoản tham chiếu của TWG M&E. Kết quả: Dự thảo TOR cho nhóm TWG M&E.

Bước 3: Thiết lập nhóm TWG M&E Khởi động TWG M&E: Mời các tổ chức đồng ý trở thành thành viên của quan hệ đối tác M&E quốc gia để lựa chọn người đại diện và tổ chức một cuộc họp khởi động ban đầu của TWG M&E. TOR của họ phải được hoàn tất trong cuộc họp khởi động. Ngoài các thành viên thường xuyên, hãy mời các đại diện cấp cao của tất cả các tổ chức đối tác cùng chủ trì cuộc họp vì điều này sẽ làm tăng mức độ nhận thức tầm quan trọng của TWG (và khuyến khích các cá nhân tham dự). Giới thiệu cho các thành viên: Không phải tất cả các đại diện của TWG M&E đều biết về hệ thống M&E trong nước. Có thể cần tổ chức một khóa giới thiệu để cung cấp cho họ các thông tin và kỹ năng cần thiết. Nâng cao nhận thức về công việc của nhóm TWG bằng cách lập kế hoạch cho một

Các quan hệ đối tác Theo dõi và Đánh giá

Tại sao quan hệ đối tác thất bại? •

Lịch sử mâu thuẫn giữa các nhóm lợi ích chính

•

Sự mất cân đối về quyền lực và kiểm soát trong số các đối tác, trong đó một số ít đối tác thao túng và chi phối các quá trình

•

Thiếu mục đích rõ ràng trong tất cả những gì quan hệ đối tác thực hiện

•

Các đối tác đặt ra các mục tiêu không thực tế không bao giờ đạt được

•

Căng thẳng do sự khác biệt về nguyên lý và phương pháp luận của các đối tác

•

Thiếu thông tin liên lạc giữa các đối tác

•

Một số thành viên ít tham gia hoặc quan tâm đến các hoạt động của quan hệ đối tác

•

Thiếu sự trung thực và cởi mở hoặc chương trình nghị sự bị che giấu giữa các đối tác

•

Sự khác biệt về giá trị và hệ tư tưởng

•

Các mâu thuẫn về tính cách cá nhân

•

Sự không rõ ràng và hiểu lầm trong thông tin liên lạc và một số đối tác cố gắng kiểm soát quyền lực, các quyết định và nguồn lực

135

chiến dịch truyền thông và vận động chính sách cụ thể (xem Cấu phần 6), và xem đây là một trong những nhiệm vụ đầu tiên của nhóm TWG mới thành lập. Kết quả: TOR của nhóm TWG M&E được phê duyệt; nhóm TWG được thành lập.

Bước 4:

Duy trì nhóm TWG M&E

Chương 3

Dưới đây là một số lựa chọn để duy trì quan hệ đối tác, bao gồm: a)

Tổ chức các cuộc họp quan hệ đối tác như dự kiến và chuẩn bị và phổ biến biên bản họp ngay sau cuộc họp

Công nhận và công bố thành quả của quan hệ đối tác và trao đổi thông tin với các thành viên cao cấp của các tổ chức liên quan

Xây dựng các diễn đàn chia sẻ thông tin ở cấp khu vực và quốc gia, ví dụ, diễn đàn đối tác M&E khu vực và các nhóm TWG quốc gia

d) Hỗ trợ các quyết định và hành động của các thành viên quan hệ đối tác

Liên tục cung cấp đào tạo và hỗ trợ kỹ thuật cho các thành viên của quan hệ đối tác khi có yêu cầu (ví dụ, nếu một phương pháp đánh giá mới cho M&E được sử dụng trong nước)

f) Hỗ trợ cơ quan điều phối để nuôi dưỡng các giá trị sau đây cho nhóm TWG M&E: •

Sự cởi mở, khoáng đạt, linh hoạt, chia sẻ tầm nhìn và minh bạch

•

Lòng tin, chia sẻ các giá trị chung và tinh thần đồng đội

•

Liên kết quan hệ đối tác với các quy trình đang diễn ra trong chương trình quốc gia.

•

Thông qua các đối tác đóng góp nguồn lực để đảm bảo tính bền vững

•

Đảm bảo tinh thần làm chủ được nuôi dưỡng trong các đối tác.

•

Nhận thức được sức mạnh của tất cả các đối tác.

•

Phản ánh một tinh thần cộng tác tích cực

•

Khả năng thương lượng và thỏa hiệp khi mâu thuẫn nảy sinh.

•

Tính dân chủ và chia sẻ quyền lực giữa các đối tác

Ngoài ra, cần theo dõi và đánh giá sức mạnh của quan hệ đối tác M&E được thiết thông qua nhóm TWG M&E. Các phương án theo dõi gồm có lưu giữ hồ sơ về tỷ lệ thành viên tham gia, theo dõi quá trình thực hiện sau khi ra quyết định, và theo dõi số lượng các sự kiện chính sách quốc gia mà TWG được yêu cầu cử đại diện tham dự. Ngoài ra, còn phải đánh giá hiệu quả, thành công hay thất bại của quan hệ đối tác để hiểu được điểm mạnh và điểm yếu của quan hệ đối tác và khắc phục các lĩnh vực thất bại. Các đánh giá này có thể được tiến hành trong khuôn khổ một đánh giá quan hệ đối tác rộng lớn hơn (ví dụ như bằng cách sử dụng Công cụ Hài hòa hóa và Gắn kết Quốc gia của UNAIDS - “CHAT”), hoặc thực hiện như một đánh giá có chủ điểm cụ thể. Hãy tiến hành các thay đổi cần thiết sau khi đánh giá quan hệ đối tác.

136

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả: Nhóm TWG trong đó các thành viên tham dự và tích cực tham gia các cuộc họp Câu hỏi tư duy 2:

Chương 3

Hãy nhớ lại quan hệ đối tác M&E trong tổ chức của bạn. Tổ chức của bạn có phải là một phần trong nhóm TWG M&E quốc gia không? Nếu có thì bạn có biết nhóm đó hoạt động như thế nào không? Điều gì có ích cho bạn từ một quan hệ đối tác M&E quốc gia như vậy? Đâu là những khó khăn không ngờ đến khi làm theo các bước được liệt kê trong chương này để phát triển và duy trì quan hệ đối tác? Liệu các bước đó có giải quyết được tất cả những mối lo ngại của bạn không? Nêu một số thách thức đối với quan hệ đối tác M&E mà tổ chức của bạn tham gia?

7. Hướng dẫn thực hành C3-2: Lập kế hoạch và tổ chức đoàn/chuyến công tác M&E phối hợp Chú ý: Đã có hướng dẫn cụ thể về vai trò và trách nhiệm trong việc thực hiện các đoàn công tác phối hợp để đánh giá các hệ thống M&E. Các bước được liệt kê ở đây là những bước chung cho một đoàn công tác phối hợp, không phân biệt mục đích là gì. Nếu mục đích của đoàn công tác phối hợp là tiến hành một đánh giá phối hợp về tình trạng của hệ thống M & E, hãy tham khảo các hướng dẫn hoạt động với nhiều đối tác khi đánh giá M&E và lựa chọn các công cụ đánh giá M&E.

Bước 1:

Thu thập thông tin trước khi tổ chức đoàn công tác

Liên hệ với chính phủ để đưa vấn đề đoàn công tác phối hợp vào các vòng thảo luận. Bước này nên bắt đầu bằng cách liên lạc với tổ chức chính phủ đã yêu cầu hỗ trợ thông qua đoàn công tác M&E. Đầu mối liên hệ của chính phủ cần được biết về các kế hoạch liên hệ với các cơ quan khác, cũng như mục đích của những liên hệ đó (để thiết lập các cơ hội hợp tác). Cần cố gắng khẳng định những điểm sau với đầu mối liên hệ của chính phủ: •

Chiến lược của chính phủ cho quan hệ đối tác M&E, để không vô tình gây ảnh hưởng xấu đến chiến lược

•

Đã có các kế hoạch thực hiện đoàn công tác phối hợp hay chưa

•

Chính phủ có dự định gì đối với việc phối hợp hỗ trợ kỹ thuật trong nước

•

Đã có kế hoạch công việc M&E trong nước chưa? (Nếu đã có, hãy yêu cầu được cung cấp một bản sao của kế hoạch. Lý tưởng nhất là có một kế hoạch công việc cấp quốc gia cho nhiều năm với nhiều đối tác, với thông tin về các chức năng M&E và người thực hiện chúng)

•

Đã có một nhóm TWG M&E trong nước chưa

Các quan hệ đối tác Theo dõi và Đánh giá

137

•

Đã có đánh giá hệ thống M&E nào được thực hiện gần đây không (Nếu có, hãy yêu cầu một bản sao của báo cáo đánh giá)

Nếu không có kế hoạch công việc M&E nào ở cấp quốc gia đã được ước tính ngân sách, hãy cố gắng thông qua các phương cách khác để tìm hiểu các đối tác trong nước và các đối tác từ xa là những ai (nghĩa là những người đến và đi), ví dụ như, liên hệ với các văn phòng đối tác phát triển khu vực, hỏi đầu mối liên hệ của chính phủ, v.v. Chương 3

Kết quả: Soạn thảo được Tuyên bố Mục tiêu và các đầu ra của đoàn công tác

Bước 2:

Tạo dựng và khám phá cơ hội cho các đoàn công tác phối hợp với các đối tác

Tổ chức các hoạt động của một tổ chức đơn lẻ dễ dàng hơn và đòi hỏi ít sự phối hợp hơn, nhưng đem lại ít lợi ích tiềm năng hơn cho các khách hàng. Khi cố gắng để tổ chức một đoàn công tác phối hợp, hãy cố gắng để phù hợp với các kế hoạch của chính phủ, nếu có thể, và hãy nhớ rằng không phải lúc nào một đối tác cũng phải chiếm ưu thế. Đi đến quốc gia liên quan vào cùng ngày với các tổ chức đối tác là một khởi đầu tốt, ngay cả khi các mục tiêu của các đối tác trong đoàn không giống nhau. Việc này cũng giúp quốc gia tập trung các nỗ lực vào đoàn công tác và không bị xao lãng khi các đoàn công tác lặp đi lặp lại, tất cả đều mất nhiều thời gian và nỗ lực của các đại diện quốc gia.

138

•

Giới thiệu bản thân bạn với các đối tác khác trong nước. Tìm hiểu tính chất các hoạt động M&E của họ, kế hoạch đi công tác, và bất kỳ thông tin nào khác có liên quan. Hãy nhớ liên lạc với đại diện trong nước của các đối tác quốc tế (và sau đó cũng liên lạc với cả các đại diện khu vực/trụ sở chính của họ).

•

Tiến hành thảo luận về đoàn công tác phối hợp. Các thảo luận để xác định tính khả thi của một đoàn công tác phối hợp M&E quốc gia có thể được triển khai thông qua cơ quan điều phối hoặc với một hoặc nhiều đối tác phát triển có văn phòng tại nước chủ nhà. Quyết định tiến hành một đoàn công tác phối hợp luôn luôn phải có sự thống nhất và hướng dẫn của nước chủ nhà.

•

Tổ chức các cuộc họp sơ bộ qua điện thoại, cầu truyền hình, hoặc họp trực tiếp. Các cuộc họp sơ bộ cung cấp một diễn đàn cho các đối tác khác nhau để so sánh các mục tiêu chiến lược về hỗ trợ kỹ thuật M&E của họ dành cho nước chủ nhà và hài hòa hóa các mục tiêu đó với nhau. Các cuộc họp này cũng tạo cơ hội để thảo luận về các nhu cầu hỗ trợ kỹ thuật được cảm nhận hoặc tuyên bố rõ ràng của nước sở tại. Các đoàn công tác phối hợp sẽ đem lại hiệu quả lớn nhất nếu các mối quan hệ được xây dựng qua các cuộc họp sơ bộ được nuôi dưỡng và phát triển, và đáp ứng các nhu cầu thay đổi của nước sở tại.

•

Chính thức quyết định các mục tiêu của đoàn công tác phối hợp. Các mục tiêu của đoàn công tác phối hợp sẽ là cơ sở để tiếp tục lập kế hoạch. Chúng Triển khai các hệ thống Theo dõi và Đánh giá

cũng có thể xác định những khoảng trống trong kế hoạch thực hiện hỗ trợ kỹ thuật và đem lại cơ hội để thu hút sự tham gia của các đối tác khác. Thông thường, các đối tác khởi xướng sẽ soạn bản thảo đầu tiên về các mục tiêu của đoàn công tác, và các thành viên khác sẽ bổ sung sửa đổi bản thảo. Các mục tiêu sẽ quyết định kế hoạch làm việc và lịch biểu thời gian của đoàn công tác, và phải được xây dựng cùng với nước sở tại/khách hàng và chia sẻ với tất cả các bên liên quan sau khi đã hoàn chỉnh. •

Chương 3

Xây dựng lịch biểu thời gian cho đoàn công tác phối hợp. Đối tác khởi xướng có thể chủ trì quá trình chính thức hóa sự tham gia của các đối tác khác, để tổng hợp các công tác chuẩn bị hậu cần, lập lịch biểu thời gian, và tạo thuận lợi cho các cuộc họp với các cơ quan nước sở tại và các đối tác khác trong đoàn công tác. Trước khi tổ chức đoàn, việc rất quan trọng là phải rà soát toàn diện các thông tin phù hợp gắn liền với chương trình nghị sự M&E của nước sở tại. Những thông tin này phải được cung cấp vài tuần trước chuyến công tác để đảm bảo rằng tất cả các đối tác tham gia có đủ thời gian đọc và lĩnh hội nội dung tài liệu.

Kết quả: Xác định các đối tác cho đoàn công tác phối hợp; xây dựng chương trình của đoàn công tác phối hợp.

Bước 3:

Tổ chức đoàn công tác phối hợp

•

Các thành viên của đoàn giữ liên lạc với nhau. Chia sẻ kết quả tìm hiểu, phát triển các chiến lược phối hợp và liên kết với các đối tác M&E địa phương nhằm đảm bảo sự liên lạc thông suốt giữa các đối tác phát triển. Trợ giúp các đối tác M&E trong nước để họ nhìn thấy những liên kết này, ngay cả khi các bên sử dụng các thuật ngữ hay biệt ngữ khác nhau.

•

Thúc đẩy các nguyên tắc chia sẻ trong tư tưởng, ngôn từ, và hành động, trong khi vẫn hoàn thành thẩm quyền của tổ chức và Điều khoản tham chiếu của đoàn công tác.

•

Khi kết thúc đoàn công tác, tổ chức một buổi họp tổng kết với cấp quản lý của cơ quan điều phối và nhóm TWG M&E.

Kết quả: chuẩn bị cuộc họp tổng kết của đoàn công tác.

Bước 4: •

Viết và phổ biến báo cáo của đoàn công tác phối hợp

Xây dựng báo cáo của đoàn công tác, trong đó mô tả các hoạt động mà đoàn đã hoàn thành và các hoạt động ngắn hạn sẽ tiến hành sau khi kết thúc đoàn. Việc viết báo cáo của đoàn phải tuân theo cùng một quy trình

Các quan hệ đối tác Theo dõi và Đánh giá

139

Chương 3

như khi soạn thảo các mục tiêu của đoàn. Đối tác khởi xướng sẽ soạn bản thảo đầu tiên của báo cáo, và các thành viên khác sẽ bổ sung sửa đổi bản thảo. Báo cáo này không chỉ là một sản phẩm thông tin, mà còn có thể được coi như một công cụ quản lý để hướng dẫn các hoạt động tiếp theo sau khi kết thúc đoàn. •

Đăng tải thông tin về đoàn công tác phối hợp trên bất kỳ trang web nào hiện có hoặc có thể phù hợp với mục đích sử dụng trong tương lai.

•

Chia sẻ báo cáo của đoàn với cán bộ quản lý của từng cơ quan và Diễn đàn Các đối tác M&E khu vực (nếu có) để đảm bảo rằng họ được thông báo về những tiến triển mới nhất và tình hình trong khu vực.

Kết quả: Báo cáo của đoàn công tác phối hợp.

8. Tóm tắt Chương 3 - Kiến thức và Kỹ năng Trong chương này, bạn đã học về quan hệ đối tác M&E và lợi ích/tầm quan trọng của quan hệ đối tác. Bạn đã học về lý thuyết và các bước của quy trình kỹ thuật nhằm thiết lập và duy trì các quan hệ đối tác nội bộ và bên ngoài, và tìm hiểu các đặc điểm của một quan hệ đối tác thành công. Bạn đã học về cách hình thành, thẩm quyền và chức năng của một Nhóm công tác kỹ thuật (TWG) M&E. Bạn sẽ có được kỹ năng để thiết lập một nhóm TWG M&E, để tăng cường hoạt động cho quan hệ đối tác giữa cơ quan điều phối M&E, các cơ quan tổ chức khác của chính phủ, và xã hội dân sự. Cuối cùng, bạn đã học được những bước cần thiết để lập kế hoạch và tổ chức một đoàn/chuyến công tác M&E phối hợp nhằm tiến hành đánh giá hệ thống M&E.

9. Bài tập Giả sử rằng hiện nay tại nước bạn chưa có Nhóm công tác kỹ thuật M&E nào. Nhóm của bạn có nhiệm vụ xây dựng Điều khoản tham chiếu (TOR) cho một Nhóm công tác kỹ thuật M&E quốc gia để áp dụng cho một hệ thống M&E mới sẽ được triển khai cho toàn bộ chính phủ. Hãy thực hiện các hướng dẫn trong chương này để xây dựng một TOR làm cơ sở cho nhóm làm việc của bạn. Hãy tham khảo Phụ lục A để được trợ giúp và hướng dẫn về những nội dung cần có trong Điều khoản Tham chiếu. Đầu ra của Bài tập: Điều khoản tham chiếu cho TWG M&E.

140

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục A: Những nội dung cần có Điều khoản tham chiếu cho một TWG M&E quốc gia •

Khái quát về TWG Mục đích chính của TWG

•

Thẩm quyền của TWG (giải thích TWG được thiết lập dựa trên yêu cầu/ quyền hạn của ai) và khung thời gian mà TWG được thành lập

•

Chủ tọa của TWG và thủ tục lựa chọn một chủ tọa mới

•

Các dịch vụ của Ban Thư ký TWG

•

Vai trò và trách nhiệm cụ thể của TWG cần phải được nêu rõ (đây là nội dung chính của TOR), bao gồm cả khả năng của TWG trong việc xem xét và phê duyệt các tài liệu hoặc tư vấn về nội dung (tức là, giới hạn các quyết định mà các thành viên TWG chấp nhận)

•

TWG báo cáo lên ai, theo mẫu nào, và với tần suất báo cáo như thế nào

•

Các sản phẩm đầu ra đã được TWG phê duyệt có mang logo của các cơ quan không

•

Tư cách thành viên TWG sẽ được xem xét lại khi nào và như thế nào

Các quan hệ đối tác Theo dõi và Đánh giá

Chương 3

Các thành viên của TWG và quy trình lựa chọn thành viên mới

141

4 Chương 4

Chương 4 Kế hoạch GS&ĐG Mục tiêu của Chương Mục tiêu của chương này6là giúp người đọc xây dựng hay phân tích kế hoạch TD&ĐG của cơ quan mình. Cùng với kế hoạch thực hiện TD&ĐG kèm chi phí, kế hoạch này là cấu phần trọng tâm của hệ thống GS&ĐG. Kế hoạch cho biết mục đích của hệ thống, những dữ liệu hệ thống sẽ thu thập và phương thức vận hành của hệ thống.

Kiến thức, Kỹ năng trong Chương Khi đến cuối chương, độc giả sẽ có thể: a)

Biết được thế nào là kế hoạch TD&ĐG và kế hoạch TD&ĐG quốc gia cũng như cách phân biệt những kế hoạch này với khung TD&ĐG và kế hoạch thực hiện GS&ĐG.

Hiểu được mối liên hệ giữa kế hoạch TD&ĐG quốc gia và các kế hoạch TD&ĐG của từng đơn vị.

Trình bày được nội dung nào cần đưa vào kế hoạch GS&ĐG.

Biết cách xây dựng hay phân tích được kế hoạch TD&ĐG cấp quốc gia hay tổ chức.

Biết cách xây dựng kế hoạch TD&ĐG của địa phương hay của ngành, liên hệ với kế hoạch TD&ĐG quốc gia.

Kế hoạch GS&ĐG

143

Trước khi bắt đầu .... Hãy dành một vài phút đọc qua các câu hỏi dưới đây. Nếu cần hãy ghi lại câu trả lời để trong quá trình nghiên cứu nội dung chương, ta có thể so sánh câu trả lời với quan điểm của tác giả.

Chương 4

Làm thế nào để biết một kế hoạch TD&ĐG là kế hoạch tốt và làm thế nào để biết được kế hoạch đó có đủ các nội dung cần thiết hay không? •

Đâu là sự khác biệt giữa kế hoạch TD&ĐG và kế hoạch thực hiện GS&ĐG?

•

Kế hoạch TD&ĐG khác với khung TD&ĐG như thế nào?

•

Đâu là sự khác biệt giữa kế hoạch TD&ĐG và hệ thống GS&ĐG?

•

Trong kế hoạch TD&ĐG cần có những chỉ số nào?

•

Số lượng chỉ số bao nhiêu là tối ưu?

•

Tiến độ tối ưu của kế hoạch TD&ĐG cần như thế nào?

Những câu hỏi này nhắc cho ta biết rằng chúng ta không chỉ cần có con người (Cấu phần 1), kỹ năng (Cấu phần 2) và sự sẵn sàng hợp tác (Cấu phần 3), mà ta còn cần có một phương pháp có tổ chức và kế hoạch để đưa hệ thống TD&ĐG vào hoạt động thực tiễn. Chính vì vậy mà ta cần có kế hoạch GS&ĐG. Chương này sẽ cho ta biết mọi nội dung cần có trong kế hoạch TD&ĐG và làm thế nào để lập một kế hoạch như vậy.

144

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 4: Kế hoạch GS&ĐG 1. Giới thiệu “Điều cần làm trước khi làm một việc gì đó là phải biết tổ chức công việc để khi ta bắt tay vào việc, mọi việc sẽ không bị rối.“ Winnie the Pooh

Chương 4

Kế hoạch TD&ĐG là một phần trong chuỗi con người, sự phối hợp và lập kế hoạch gồm 12 Cấu phần trong hệ thống TD&ĐG hiệu quả. Cùng với kế hoạch thực hiện kèm theo chi phí (xem Cấu phần 5), kế hoạch TD&ĐG là một cấu phần trọng tâm trong hệ thống GS&ĐG. Kế hoạch này cho biết mục đích của hệ thống, những dữ liệu hệ thống sẽ thu thập và hệ thống sẽ vận hành ra sao. Kế hoạch TD&ĐG bao gồm một danh mục các chỉ số cần đo đạc nhưng không chỉ hạn chế ở đó. Kế hoạch TD&ĐG là một cuốn cẩm nang tổng hợp về cách xây dựng toàn bộ hệ thống TD&ĐG cũng như duy trì hoạt động của hệ thống đó. Bố cục Chương: Mở đầu chương là các thông tin chung, khái niệm và phân biệt giữa kế hoạch GS&ĐG, hệ thống TD&ĐG và kế hoạch thực hiện TD&ĐG (Phần 2). Kết quả mong đợi của chương này và lợi ích của kế hoạch TD&ĐG quốc gia sẽ được trình bày trong các Phần 3 và 4. Để đạt được và thực hiện các kết quả mong đợi (xây dựng và duy trì hệ thống TD&ĐG hiệu quả), ta cần phải hiểu rõ thế nào là kế hoạch TD&ĐG và hệ thống GS&ĐG, mối quan hệ giữa kế hoạch TD&ĐG đối với kế hoạch chiến lược của chương trình cần giám sát và cả bản thân chương trình. Phần 5 sẽ trình bày những mối liên hệ này và các vấn đề triển khai khác. Phần 6 cho biết các bước và hướng dẫn cách thức xây dựng (hay bổ sung) kế hoạch TD&ĐG quốc gia. Phần tiếp theo (Phần 7) trình bày các bước liên hệ kế hoạch TD&ĐG địa phương hay của chuyên ngành với kế hoạch TD&ĐG quốc gia. Kết thúc chương là tóm tắt các bài học kinh nghiệm (Phần 8) và một bài tập thực hành giúp củng cố những gì đã học (Phần 9).

2. Thông tin chung và Khái niệm Kế hoạch GS&ĐG: Kế hoạch TD&ĐG và một tài liệu diễn giải tổng hợp về toàn bộ các hoạt động GS&ĐG, cho biết những vấn đề TD&ĐG chính cần giải quyết; những chỉ số cần đo đạc; cần thu thập các số liệu chỉ số như thế nào, bao lâu một lần, từ đâu, kể cả số liệu ban đầu, mục tiêu, giả định; cần phân tích hay diễn giải dữ liệu như thế nào; báo cáo chỉ số sẽ được xây dựng và phân phối như thế nào hay bao lâu một lần; và 12 Cấu phần của hệ thống TD&ĐG sẽ vận hành ra sao (theo Rugg, Peersman và Carael, 2004). Kế hoạch TD&ĐG quốc gia: Kế hoạch TD&ĐG quốc gia là một dạng kế hoạch TD&ĐG đặc biệt chú trọng vào cách thức vận hành của hệ thống TD&ĐG quốc gia (chẳng hạn như các vấn đề HIV, giáo dục, y tế, khu vực phi chính phủ, các

Kế hoạch GS&ĐG

145

vấn đề khác). Thông thường, hệ thống TD&ĐG quốc gia (và theo đó là kế hoạch TD&ĐG quốc gia) đòi hỏi các hệ thống TD&ĐG (và cả kế hoạch GS&ĐG) của các tổ chức khác nhau phải có sự liên kết và thống nhất lẫn nhau. Bởi vậy, kế hoạch TD&ĐG quốc gia sẽ xác định các vấn đề TD&ĐG chính cần giải quyết ở cấp quốc gia (có nghĩa là làm thế nào để xác định mức độ hoàn thành các mục tiêu quốc gia như những mục tiêu trong Kế hoạch Phát triển Quốc gia, Kế hoạch Giảm nghèo Quốc gia hay Chiến lược Phòng chống HIV/AIDS Quốc gia). Khác biệt giữa kế hoạch TD&ĐG và hệ thống GS&ĐG: Kế hoạch TD&ĐG bao gồm mọi lĩnh vực của hệ thống GS&ĐG. Trong hệ thống TD&ĐG có con người và các quy trình gắn kết với nhau để tạo ra một môi trường để làm sao đạt được 12 mục tiêu kết quả của hệ thống GS&ĐG. Chương 4

Khác biệt giữa kế hoạch TD&ĐG và kế hoạch thực hiện GS&ĐG: Kế hoạch TD&ĐG là một tài liệu diễn giải trình bày chi tiết phương thức hoạt động của hệ thống TD&ĐG (xem định nghĩa kế hoạch TD&ĐG ở trên). Kế hoạch hoạt động TD&ĐG là một kế hoạch ngân sách của từng hoạt động, cho biết các nhiệm vụ, trách nhiệm, thời hạn và chi phí GS&ĐG. Nói cách khác, kế hoạch thực hiện TD&ĐG (xem Cấu phần 5) là một danh mục hoạt động kèm chi phí nhằm triển khai kế hoạch TD&ĐG để vận hành 12 Cấu phần trong hệ thống GS&ĐG. Kế hoạch thực hiện TD&ĐG có thể (và thường là) phụ lục trong kế hoạch GS&ĐG. Hình C4-1 minh họa bằng hình ảnh và về nội dung sự khác biệt giữa hai loại tài liệu. Hình C4-1: Khác biệt giữa Kế hoạch TD&ĐG và Kế hoạch thực hiện GS&ĐG A: Kế hoạch GS&ĐG

Nguồn: Ủy ban AIDS Quốc gia Zanzibar, 2005

146

Triển khai các hệ thống Theo dõi và Đánh giá

B: Kế hoạch thực hiện GS&ĐG Kế hoạch thực hiện GS&ĐG 2008 costs T10 – T12

T7 – T9

T4 – T6

T10 – T12

2009 T1 – T3

T4 – T6

Hoạt động

T7 – T9

STT

Đối tác hỗ trợ

T1 – T3

2008 Cơ quan chủ trì

Cost

Nguồn ngân sách

2009 costs Chi phí

Nguồn ngân sách

Cấu phần 1: Cơ cấu, tổ chức hệ thống GS&ĐG Mục tiêu kết quả: Xác lập và duy trì mạng lưới tổ chức hiệu quả để thực hiện TD&ĐG HIV ở cấp quốc gia, địa phương và cơ sở

1.10 Sửa đổi mô tả công việc

CNLS

CDLS

1.20 Thực hiện giám sát thường quy

Tất cả các đơn vị

Không cần thiết

2.000

UNAIDS

9.400

Từng đơn vị

10,000.00

Từng đơn vị

Chương 4

Khác biệt giữa kế hoạch TD&ĐG và khung GS&ĐG: Một trong những câu hỏi thường gặp nhất về kế hoạch TD&ĐG là ‘Đâu là sự khác biệt giữa kế hoạch TD&ĐG và khung GS&ĐG?’ Hai khái niệm này nói chung có cùng một nội dung. Thuật ngữ và khái niệm thường có sự khác biệt. Ngay cả trong ví dụ ở Hình C4-1, kế hoạch TD&ĐG cũng được gọi là Khung hoạt động. Trong khóa học này, chúng ta sử dụng thuật ngữ kế hoạch TD&ĐG để chỉ văn bản trong đó các chỉ số của hệ thống TD&ĐG được trình bày dưới dạng diễn giải (có liên hệ với mục tiêu chung và mục tiêu cụ thể), phương thức vận hành của hệ thống GS&ĐG, và các đặc trưng khác của hệ thống GS&ĐG. Khái niệm này cũng thường được gọi là khung GS&ĐG. Tuy nhiên, cần lưu ý rằng trong các tài liệu hay chương trình tập huấn khác về GS&ĐG, thuật ngữ khung TD&ĐG đôi lúc cũng được sử dụng để chỉ Khung Kết quả hay Khung Lôgích (xem chi tiết ở Phụ lục A).

3. Kết quả cần đạt được khi triển khai Cấu phần này Kết quả dài hạn: xây dựng và cập nhật định kỳ kế hoạch TD&ĐG của tổ chức đáp ứng những nội dung như: nhu cầu dữ liệu xác định, chỉ số chuẩn quốc gia; công cụ và quy trình thu thập số liệu, vai trò và trách nhiệm trong triển khai hệ thống TD&ĐG hiệu quả. Kết quả ngắn hạn và trung hạn: •

Sự tham gia của tất cả các bên liên quan trong xây dựng kế hoạch GS&ĐG

•

Kế hoạch TD&ĐG đáp ứng những yêu cầu sau: a) các chỉ số được xây dựng dựa trên và có liên hệ với các mục tiêu chiến lược/chương trình mà bản thân các chỉ số đó được sử dụng để đo đạc; b) cho biết tiến độ triển khai của tất cả 12 Cấu phần của hệ thống GS&ĐG; c) tuân thủ các tiêu chuẩn kỹ thuật quốc tế và quốc gia về GS&ĐG.

•

Kế hoạch TD&ĐG và các bản sửa đổi dựa trên kế quả đánh giá định kỳ hệ thống GS&ĐG.

•

Các kế hoạch TD&ĐG của ngành, địa phương và đơn vị có liên hệ với kế hoạch TD&ĐG quốc gia

Kế hoạch GS&ĐG

147

Câu hỏi tư duy 1: Suy nghĩ một chút về kế hoạch TD&ĐG của cơ quan mình. Nếu được, hãy xin một bản sao kế hoạch để suy ngẫm và xem xét trước khi trả lời các câu hỏi sau.

Chương 4

Cơ quan bạn có hệ thống GS&ĐG, kế hoạch TD&ĐG và/hoặc kế hoạch thực hiện TD&ĐG chưa? Nếu có, kế hoạch TD&ĐG này có liên hệ gì với hệ thống TD&ĐG nói chung? Lần cuối kế hoạch TD&ĐG của cơ quan bạn được cập nhật là khi nào? Nội dung của kế hoạch TD&ĐG của cơ quan bạn gồm có những gì? Bạn có biết gì về kế hoạch TD&ĐG quốc gia không? Kế hoạch TD&ĐG của cơ quan bạn có liên hệ với kế hoạch TD&ĐG quốc gia không? Có bao nhiêu kết quả ngắn hạn và trung hạn liệt kê ở trên trong kế hoạch TD&ĐG của cơ quan bạn?

4. Lợi ích của kế hoạch TD&ĐG với tư cách là Cấu phần của Hệ thống GS&ĐG

148

Kế hoạch TD&ĐG cho ta khái niệm chung về thế nào là một hệ thống TD&ĐG thành công. Kế hoạch TD&ĐG xác định toàn bộ những lĩnh vực mà hệ thống TD&ĐG sẽ đo đạc và phương thức vận hành của hệ thống GS&ĐG. Do vậy, kế hoạch TD&ĐG có thể được nhiều đối tượng chuyên ngành sử dụng ở vào nhiều thời điểm khác nhau để xây dựng quan niệm chung về thế nào là một hệ thống TD&ĐG khi đã chính thức đi vào hoạt động.

Kế hoạch TD&ĐG là tiêu chuẩn để đo lường tiến độ triển khai hệ thống GS&ĐG. Do kế hoạch TD&ĐG cho biết thế nào là một hệ thống TD&ĐG khi đã chính thức đi vào hoạt động nên có thể được sử dụng làm tiêu chuẩn để đo lường kết quả triển khai hệ thống.

Kế hoạch TD&ĐG chuẩn hóa và kiểm chứng nhiệm vụ, quyền hạn và trách nhiệm của các bên tham gia GS&ĐG. Nếu không có nhiệm vụ và quyền hạn triển khai các chức năng GS&ĐG, những đơn vị có nhiệm vụ thực hiện công việc này sẽ khó có thể thực thi được trách nhiệm TD&ĐG của mình. Kế hoạch TD&ĐG là một giải pháp để tất cả các nhiệm vụ, quyền hạn, trách nhiệm trong hệ thống TD&ĐG của các bên liên quan được xác định, phê chuẩn và kiểm chứng bởi chính phủ, tổ chức xã hội và khu vực tư nhân.

Kế hoạch TD&ĐG quy định trách nhiệm cụ thể cho từng tổ chức. Vì kế hoạch TD&ĐG xác định nhiệm vụ và quyền hạn của các bên liên quan trong hệ thống TD&ĐG nên cũng quy định trách nhiệm rõ ràng trong từng chức năng TD&ĐG cụ thể cho từng tổ chức (hoặc thậm chí từng vị trí trong một tổ chức). Đây là điều cực kỳ hữu ích khi xây dựng kế hoạch thực hiện TD&ĐG và khi báo cáo tiến độ triển khai hệ thống GS&ĐG.

Triển khai các hệ thống Theo dõi và Đánh giá

Kế hoạch TD&ĐG là cơ sở để quyết định các hoạt động TD&ĐG cần triển khai. Thông tin trong kế hoạch TD&ĐG về việc ai chịu trách nhiệm về lĩnh vực nào trong hệ thống TD&ĐG có thể được sử dụng để xác định ưu tiên các hoạt động TD&ĐG và quyết định ai cần phụ trách từng hoạt động trong kế hoạch thực hiện GS&ĐG.

Kế hoạch TD&ĐG cho ta công thức triển khai chung. Ngoài những lợi ích của kế hoạch TD&ĐG đã nêu trên, kế hoạch TD&ĐG quốc gia còn có thêm một lợi ích là cẩm nang chung để từng cá nhân áp dụng trong triển khai. Nhờ có kế hoạch mà ta biết làm thế nào để tuân thủ đúng các yêu cầu về báo cáo quốc gia và biết được có thể sử dụng những loại dữ liệu nào từ hệ thống TD&ĐG quốc gia. Chương 4

5. Những vấn đề triển khai liên quan đến kế hoạch GS&ĐG 5.1. Mối liên hệ giữa kế hoạch chiến lược/chương trình và kế hoạch GS&ĐG Mục đích của hệ thống TD&ĐG là xác định mức độ hoàn thành mục tiêu của chương trình, dù đó là mục tiêu giáo dục quốc gia, giải pháp phòng chống HIV quốc gia hay chương trình của một tổ chức cụ thể. Do kế hoạch TD&ĐG mô tả hệ thống TD&ĐG còn kế hoạch chiến lược/chương trình mô tả các chiến lược và chương trình được sử dụng để giải quyết vấn đề nên mối liên hệ đầu tiên giữa kế hoạch TD&ĐG và kế hoạch chiến lược/chương trình là ở chỗ các chỉ số trong kế hoạch TD&ĐG được xây dựng trực tiếp dựa trên (và tương ứng với) các mục tiêu của kế hoạch chiến lược/chương trình (xem Hình C4-2). Nếu mục tiêu của một chương trình hay kế hoạch chiến lược thay đổi thì các chỉ số của kế hoạch TD&ĐG cũng cần thay đổi. Để hệ thống TD&ĐG vận hành tốt và có mục đích cụ thể, các mục tiêu, chiến lược giúp hệ thống TD&ĐG đạt hiệu quả cần được đưa vào kế hoạch chiến lược/ chương trình và cho ta mối liên hệ thứ hai. Các mối liên hệ thứ ba và cuối cùng hơi bao quát hơn một chút do thông tin của hệ thống TD&ĐG được sử dụng để ra các quyết định về phương hướng chương trình trong tương lai.

Kế hoạch GS&ĐG

149

Hình C4-2: Mối liên hệ giữa Kế hoạch/Chiến lược chương trình và Kế hoạch GS&ĐG

Triển khai Chương trình Vấn đề

KH TD&ĐG có chỉ số

Chiến lược/KH

Lấy thông tin từ nguồn DỮ LIỆU

có mục tiêu (hay kết quả) cụ thể

Chương 4

Hệ thống GS&ĐS

3 loại nguồn dữ liệu 1. Nghiên cứu & ĐG

Đơn vị TH 1

Đơn vị TH 3

Đơn vị TH 2

3. Số liệu giám sát thường quy

(thu thập từ người (NC riêng lẻ, độc thực hiện lập hay của các chương trình. 2. Surveys nhóm chươngtrình. Xem TP 8) Xem TP 11). Khảo sát độc lập toàn quốc.

CHÚ THÍCH: Chỉ số xác định những yếu tố được đo đạc để biết mức độ thành công trong hoàn thành mục tiêu (hay kết quả).

CHÚ THÍCH: Chỉ số xác định những yếu tố được đo đạc để biết mức độ thành công trong hoàn thành mục tiêu (hay kết quả). Nguồn: Tác giả

Ba mối liên hệ giữa kế hoạch chương trình và kế hoạch TD&ĐG cho biết 5 trọng tâm TD&ĐG trong quá trình khảo sát hay xây dựng kế hoạch/chiến lược chương trình như đã minh họa trong Hình C4-3 và trình bày dưới đây: LĨNH VỰC A. Dữ liệu từ hệ thống TD&ĐG giúp xác định những tồn tại trong cung cấp dịch vụ của chương trình, công tác dữ liệu và nghiên cứu v.v. Hiểu được những tồn tại này và lý do dẫn đến các tồn tại sẽ giúp xây dựng được các chiến lược thực chứng trong kế hoạch/chiến lược chương trình mới (Bước 1 trong Hình C4-3). LĨNH VỰC B. Cần đánh giá hoạt động của bản thân hệ thống TD&ĐG để đưa được những chiến lược TD&ĐG phù hợp nhằm khắc phục những yếu kém của hệ thống TD&ĐG vào kế hoạch/chiến lược chương trình. Có một số công cụ đánh giá TD&ĐG chuẩn có thể sử dụng (Bước 1 trong Hình C4-3). LĨNH VỰC C. Trong kế hoạch/chiến lược chương trình cần có một phần về TD&ĐG xác định những chiến lược TD&ĐG cụ thể để khác phục những yếu kém trong hệ thống TD&ĐG (Bước 3 và 4 trong Hình C4-3). LĨNH VỰC D. Cần xây dựng/rà soát kế hoạch TD&ĐG song song với kế hoạch/chiến lược chương trình (Bước 5 trong Hình C4-3).

150

Triển khai các hệ thống Theo dõi và Đánh giá

Các bước trên cho phép: •

Điều chỉnh (lại) các chỉ số trong kế hoạch TD&ĐG với các mục tiêu mới hay sửa đổi trong kế hoạch/chiến lược chương trình.

•

Điều chỉnh (lại) các nguồn dữ liệu và sản phẩm thông tin của các chỉ số.

•

Khắc phục những yếu điểm đã chỉ ra trong đánh giá hệ thống TD&ĐG (xem Lĩnh vực B).

•

Đưa các chiến lược TD&ĐG của kế hoạch/chiến lược chương trình vào kế hoạch TD&ĐG và các tài liệu liên quan. Chương 4

LĨNH VỰC E. Có thể cần sửa đổi kế hoạch thực hiện TD&ĐG (Bước 6 trong Hình C4-3). Sau khi đã chỉnh sửa kế hoạch GS&ĐG, các kế hoạch thực hiện TD&ĐG quốc gia, ngành và địa phương cần được xây dựng hay xem xét lại (xem Cấu phần 5). Phần 6 trong Cấu phần 5 trình bày hướng dẫn từng bước trong xây dựng hay rà soát kế hoạch thực hiện TD&ĐG quốc gia, ngành hay địa phương. Hình C4-3: trọng tâm của TD&ĐG trong chu trình xây dựng kế hoạch chiến lược/chương trình Triển khai chiến lược và hệ thống TD&ĐG nhằm xác định tiến độ hoàn thành kết quả chiến lược

Sử dụng dữ liệu từ hệ thống TD&ĐG hiện có (hay dữ liệu khác) và phân tích dữ liệu để hiểu rõ hơn thực trạng. Xác định/ chỉnh sửa các kết quả và xây dựng báo cáo kết quả về mức độ tác động và kết quả (có dữ liệu ban đầu và các giá trị mục tiêu phục vụ kiểm điểm giữa kỳ và thời kỳ cuối chiến lược).

Xây dựng kế hoạch hoạt động hàng năm kèm chi phí theo chiến lược (dựa trên các mục tiêu phạm vi dịch vụ đã xác định); Đưa ước tính chi phí kế hoạch TD&ĐG (tức kế hoạch thực hiện GS&ĐG) vào chi phí chung của chiến lược chương trình.

Xây dựng kế hoạch GS&ĐG, sử dụng tác động, kết quả và các hiệu quả đẩu ra đã xác định ở bước 2 và 4 Xây dựng/chỉnh sửa chiến lược; xác định can thiệp cụ thể, xây dựng kết quả ở cấp độ đầu ra (các mục tiêu phạm vi dịch vụ của từng can thiệp).

Chọn các chương trình chiến lược dành cho nhóm dân cư mục tiêu cụ thể nhằm đạt tác động và mục tiêu kết quả tối ưu, cũng như ước tính nguồn lực. Thay đổi chương trình hay mục tiêu nếu nguồn lực không bền vững.

Nguồn: phỏng theo nghiên cứu của Rodriguez-Garcia và Kusek, 2007

5.2. Mối liên hệ giữa kế hoạch TD&ĐG quốc gia của từng ngành Quản lý vì kết quả ngày càng trở thành một ưu tiên trên toàn cầu. Kết quả là mỗi ngành (thuộc chính phủ, tổ chức xã hội, tư nhân) đã xây dựng các hệ thống giám sát và đánh giá và qua đó là cả các kế hoạch GS&ĐG.

Kế hoạch GS&ĐG

151

Chương 4

Hệ thống TD&ĐG Hoạt động thống kê quốc gia của một ngành có thể cần lấy dữ liệu từ hệ Hệ thống giám sát giảm nghèo các hệ thống Hệ thống của chính phủ trung ương thống TD&ĐG của các TD&ĐG của thông tin chính phủ ngành khác cũng như quản lý y tế khác cần cung cấp số liệu cho hệ thống TD&ĐG Hệ thống của các ngành khác để Hệ thống thông tin giám sát trẻ tránh trùng lắp, chồng quản lý mồ côi giáo dục chéo và tạo gánh nặng Hệ thống cho người triển khai Hệ thống TD&ĐG của giám sát của các tổ chức chương trình. Hình tư nhân xã hội C4-4 cho biết những Nguồn: tác giả mối liên hệ có thể có giữa hệ thống TD&ĐG Hình C4-4: Mối liên hệ giữa các hệ thống TD&ĐG của từng ngành, xét quốc gia của từng ngành từ góc độ của một hệ thống TD&ĐG xuyên suốt (chẳng hạn các chương trình phòng chống HIV hay giảm nghèo).

5.3. Mối liên hệ giữa kế hoạch TD&ĐG quốc gia và kế hoạch TD&ĐG của từng tổ chức Một dạng liên kết khác cần hiểu rõ là liên hệ giữa kế hoạch TD&ĐG quốc gia và kế hoạch TD&ĐG của từng tổ chức. Trong ngành giáo dục chẳng hạn, Bộ Giáo dục có thể đã xây dựng kế hoạch TD&ĐG riêng của ngành giáo dục trên toàn quốc. Vấn đề ở đây là “Làm thế nào để kế hoạch TD&ĐG của một trường đại học hay phổ thông hay một chương trình NGO đào tạo giáo viên có liên hệ với kế hoạch TD&ĐG quốc gia của ngành giáo dục?” Kế hoạch TD&ĐG quốc gia là cuốn cẩm nang chung cho biết phải báo cáo những gì với bộ chủ quản cũng như những gì bộ chủ quản cần báo cáo. Từng tổ chức cần đưa vào hệ chỉ số của mình toàn bộ các chỉ số cấp quốc gia đối với những nội dung cần báo cáo (với Bộ Giáo dục trong ví dụ trên) và cần sử dụng dữ liệu phù hợp do bộ chủ quản cung cấp (dữ liệu tổng hợp) trong lập kế hoạch. Hình C4-5 minh họa mối liên hệ giữa các chỉ số và mục tiêu ở cấp quốc gia, cũng như các chỉ số và mục tiêu ở cấp chương trình (và theo đó là giữa các kế hoạch TD&ĐG quốc gia và kế hoạch TD&ĐG của từng tổ chức). Trong ví dụ này (Hình C4-5), kế hoạch chiến lược quốc gia gồm 2 loại mục tiêu là mục tiêu OVC và mục tiêu PMTCT (liên quan tới các chương trình dành cho Trẻ mồ côi và Khó khăn, và phòng tránh lây truyền HIV từ mẹ sang con). Những mục tiêu này được đo đạc trong hệ thống TD&ĐG quốc gia bằng cách đưa một chỉ số vào kế hoạch TD&ĐG có liên hệ tới mọi mục tiêu kế hoạch chiến lược quốc gia. Cấp độ triển khai chương trình, các hướng dẫn triển khai chương trình không chỉ bao gồm

152

Triển khai các hệ thống Theo dõi và Đánh giá

Hình C4-5: Mối liên hệ giữa Hệ thống TD&ĐG quốc gia và hệ thống TD&ĐG của từng tổ chức Hướng dẫn OVC Hệ thống TD&ĐG quốc gia

Mục tiêu OVC 1 Mục tiêu OVC 2 Mục tiêu OVC 3 Mục tiêu OVC 4

Chỉ số OVC 1 Chỉ số OVC 2 Chỉ số OVC 3 Chỉ số OVC 4

Mục tiêu PMTCT 1 Mục tiêu PMTCT 2 Mục tiêu PMTCT 3

Chỉ số PMTCT 1 Chỉ số PMTCT 2 Chỉ số PMTCT 3

Chỉ số OVC 1 Chỉ số OVC 2 Chỉ số OVC 5 Chỉ số OVC 6

Hướng dẫn PMTCT Chỉ số PMTCT 1 Chỉ số PMTCT 2 Chỉ số PMTCT 5 Chỉ số PMTCT 6

Dữ liệu của chỉ số OVC 1 Dữ liệu của chỉ số OVC 2 Dữ liệu của chỉ số OVC 5 Dữ liệu của chỉ số OVC 6

Chương 4

Kế hoạch chiến lược quốc gia

Dữ liệu thường quy chương trình của người triển khai OVC

Dữ liệu thường quy chương trình của người triển khai PMTCT Dữ liệu của chỉ số PMTCT 1 Dữ liệu của chỉ số PMTCT 2 Dữ liệu của chỉ số PMTCT 5 Dữ liệu của chỉ số PMTCT 6

Nguồn: Nhóm GAMET Ngân hàng Thế giới, 2008

các chỉ số ở cấp quốc gia mà còn xác định cả các chỉ số đơn vị triển khai cần thu thập. Đơn vị triển khai thu thập tất cả các dữ liệu đã xác định trong hướng dẫn chương trình và chỉ chuyển những dữ liệu cần thiết cho văn phòng quốc gia để đo đạc các chỉ số ở cấp quốc gia.

5.4. Nội dung của kế hoạch TD&ĐG Kế hoạch TD&ĐG cần cung cấp thông tin chung, xác định hệ thống TD&ĐG cần đo đạc những gì (các chỉ số liên hệ với mục tiêu của kế hoạch chiến lược/chương trình đang được giám sát và đánh giá) và cách thức vận hành của hệ thống TD&ĐG để thực hiện những tính toán này. Những yêu cầu về nội dung này của kế hoạch TD&ĐG có thể trình bày theo 3 phần như sau: Phần 1 của kế hoạch GS&ĐG:

Thông tin chung

Phần 2 của kế hoạch GS&ĐG:

Khung kết quả hay Khung lôgích kèm theo mục tiêu và chỉ số chương trình (xem ví dụ về Khung Kết quả hay Khung lôgích trong Phụ lục A)

Phần 3 của kế hoạch GS&ĐG:

Cần quản lý hệ thống TD&ĐG như thế nào?

Trong Phụ lục B có trình bày chi tiết nội dung điển hình của từng phần trong 3 phần của kế hoạch TD&ĐG trên. Cũng có thể sử dụng phụ lục này làm bảng

Kế hoạch GS&ĐG

153

kiểm để rà soát nội dung của các kế hoạch TD&ĐG hiện có khi quyết định cần phải bổ sung kế hoạch TD&ĐG như thế nào. Một số câu hỏi thường gặp về nội dung của kế hoạch TD&ĐG được giải đáp như sau: i)

Kế hoạch TD&ĐG của tôi cần có những chỉ số nào? Các chỉ số thường được xác định trong cái gọi là chuỗi kết quả, cho biết trình tự kết quả (và theo đó là trình tự chỉ số) cần đạt được để can thiệp hay chiến lược đạt được thành công. Ví dụ về chuỗi kết quả được minh họa trong Hình C4-6.

Chương 4

Hình C4-6: Chuỗi kết quả của ngành Nông nghiệp bang Goldstar, kèm theo Khung Kết quả Tác động (chú trọng vào hiệu quả) – đầu ra có được chuyển thành kết quả và tác động hay không?

Kết quả ở cấp tác động, dài hạn (thay đổi trong toàn bộ xã hội hay một phần xã hội): Ví dụ: số người dân sống ở mức nghèo giảm. Đây là một mục tiêu dài hạn trong hỗ trợ ngành nông nghiệp (một phần trong mục tiêu phát triển quốc gia).

Kết quả

Kết quả trung hạn ở mức chương trình (người thụ hưởng nhận được gì từ những dịch vụ được cung cấp): Ví dụ: tăng sản lượng nông nghiệp (tăng sản lượng mùa vụ hiện thời, tăng số lượng cây, con) (mục tiêu chương trình)

Chương trình

Đầu ra

Kết quả ngắn hạn ở mức đầu ra (những gì người tài trợ, điều phối và triển khai chương trình đạt được, làm được và những gì nằm trong tầm quản lý): Ví dụ: tăng số lượng sản phẩm, dịch vụ cung cấp cho mọi đối tượng nông dân (khuyến nông, đối tượng hỗ trợ v.v) (đầu ra chương trình).

Hoạt động (Quy trình)

Kết quả ngắn hạn ở mức hoạt động (những gì người tài trợ, điều phối và triển khai dự tính trong kế hoạch thực hiện nhằm đạt đầu ra); thường được coi là chỉ số hoạt động trong kế hoạch thực hiện: Ví dụ: nâng cao năng lực khuyến nông, họp ban kế hoạch ở cấp vùng, v.v

Chiến lược

(chú trọng vào hiệu quả) — đầu vào và hoạt động đã triển khai có làm tăng phạm vi cung ứng dịch vụ không? Người triển khai và điều phối kiểm soát được những yếu tố nào?

Đầu vào

Kết quả trực tiếp ở mức đầu vào (người triển khai, tài trợ và điều phối cung cấp được những gì để triển khai chương trình): Ví dụ: tăng đầu vào nông nghiệp cho những đối tượng có nhu cầu (đầu vào chương trình)

Nguồn: phỏng theo nghiên cứu của Rodriguez-Garcia và Zall Kusek, 2007

ii)

154

Kế hoạch TD&ĐG của tôi cần có bao nhiêu chỉ số? Các chỉ số có liên hệ với mục tiêu và do vậy, yếu tố đầu tiên quyết định số lượng chỉ số là số lượng mục tiêu trong kế hoạch chiến lược/chương trình. Tuy nhiên, không phải mục tiêu nào cũng cần chỉ số vì một chỉ số có thể dùng để đo đạc nhiều hơn một mục tiêu. Đồng thời, mỗi chỉ số cũng không nhất thiết cần phải có một nguồn dữ liệu riêng. Trên thực tế, ta nên chú trọng vào số lượng nguồn dữ liệu cần có để tạo ra các giá trị chỉ số chứ không phải vào số lượng chỉ số thực tế. Một kế hoạch TD&ĐG có 20 chỉ số từ 20 nguồn dữ liệu thường quy thường khó triển khai và tốn nhiều thời gian thực hiện hơn một kế hoạch có 60 chỉ số trong đó mọi dữ liệu chỉ số đều chỉ đến từ hai khảo sát. Chúng tôi đề xuất hướng dẫn chung là nên thiết kế hệ thống TD&ĐG không phụ thuộc vào nhiều hơn 6-8 nguồn dữ liệu (cả nguồn dữ liệu thường quy (xem Chương 7) và nguồn dữ liệu không thường xuyên (xem Chương 8).

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả Kết quả dài hạn ở mức tác động: Giảm số người sống ở mức nghèo. Đây là mục tiêu dài hạn của việc hỗ trợ ngành nông nghiệp (một phần trong mục tiêu phát triển quốc gia).

Tỉ lệ người dân Goldstar sống dưới mức 2 Đô-la một ngày

34% năm 2004

25% năm 2009

Cà phê

300 tấn năm 2003

Cà phê

500 tấn năm 2009

Chỉ số ở mức kết quả chương trình:

Chè

20 tấn năm 2003

Chè

60 tấn năm 2009

Sản lượng sản xuất nông nghiệp theo loại nông sản

Sắn

5 tấn năm 2003

Sắn

15 tấn năm 2009

Vani

3 tấn năm 2009

Hoa quả

10 tấn năm 2009

Tỉ lệ số huyện có ruộng mẫu trồng giống mới

4% số huyện năm 2004

Tỉ lệ huyện có phiên chợ tại chỗ mở ít nhất tuần một lần

6% số huyện năm 2003

Số lượng giờ khuyến nông bình quân của cán bộ khuyến nông trên mỗi nông dân đã đăng ký hàng năm

3 giờ mỗi năm tại năm 2004

Chỉ số ở mức đầu vào:

Kết quả trực tiếp ở mức đầu vào: tăng số lượng đầu vào nông nghiệp khả dụng cho những đối tượng có nhu cầu (đầu vào chương trình)

Kế hoạch GS&ĐG

Mục tiêu

Chỉ số ở mức tác động:

Chỉ số ở mức đầu ra: Kết quả ngắn hạn ở mức đầu ra: tăng sản lượng sản phẩm, dịch vụ cung cấp cho mọi đối tượng nông dân (dịch vụ khuyên nông, đối tượng hỗ trợ v.v) (đầu ra chương trình)

Số liệu ban đầu

Tỉ lệ số nông dân tự cấp tự túc được cung cấp đầu vào nông nghiệp

21% số nông dân tự cấp tự túc năm 2002

Tỉ lệ chi tiêu ngân sách ngành nông nghiệp dành cho cung ứng đầu vào (giống v.v)

8% chi tiêu năm tài chính 2003/2004

Số lượng bình quân nông dân trên cán bộ khuyến nông

350 nông dân trên cán bộ khuyến nông năm 2001

50% số huyện năm 2007 65% số huyện năm 2009

50% số huyện năm 2009

12 giờ mỗi năm trong năm 2007 24 giờ mỗi năm trong năm 2009 30% số nông dân tự cấp tự túc năm 2007 60% số nông dân tự cấp tự túc năm 2009 10% chi tiêu năm tài chính 2006/2007 15% chi tiêu năm tài chính 2009/2010 300 nông dân trên cán bộ khuyến nông năm 2007 200 nông dân trên cán bộ khuyến nông năm 2009

155

Chương 4

Kết quả trung hạn ở mức chương trình: tăng sản lượng nông nghiệp (tăng sản lượng mùa vụ hiện nay, tăng số lượng cây, con sản xuất ra) (mục tiêu chương trình)

Chỉ số

Tuy vậy, cần lưu ý rằng cấp độ trong chuỗi kết quả chỉ là tương đối và phụ thuộc vào quan điểm ai tạo ra những cấp độ đó. Để minh họa, tài liệu tập huấn thường được coi là đầu vào nhưng đối với một đơn vị đào tạo, tài liệu tập huấn có thể là đầu ra hay thậm chí kết quả của mọi hoạt động. Khái niệm quan điểm này được minh họa trong Hình C4-7. Hình C4-7: Mối liên hệ giữa Hệ thống TD&ĐG quốc gia và hệ thống TD&ĐG của từng tổ chức Nhóm triển khai Dự án Năng lượng

Chương 4

Bộ Năng lượng Tác động (cấp quốc gia)

Nâng cao mức việc làm và thu nhập của người dân nông thôn và thành thị

Tác động (cấp dự án)

Kết quả (cấp quốc gia)

Khu vực sản xuất tư nhân tăng năng suất và khả năng cạnh tranh

Tác động (cấp dự án)

Người dân sử dụng năng lượng không độc, không ô nhiễm, ổn định

Kết quả (cấp dự án)

Hệ thống sản xuất và phân phối điện năng được cải thiện

Đầu ra (cấp dự án)

Trang thiết bị và thiết kế mới được triển khai

Hoạt động (cấp dự án)

Kết quả (cấp quốc gia)

Đầu ra (cấp quốc gia)

iii) Thế nào là chỉ số có chất lượng tốt? Cho tới nay, nhiều tiêu chí đã được sử dụng để xác định chất lượng của một chỉ số. Mỗi trường hợp có thể cần những loại tiêu chí khác nhau. Phụ lục C trình bày tóm tắt các tiêu chí của một chỉ số tốt, cũng như đề xuất quy trình lựa chọn chỉ số. Ngoài ra còn có một hướng dẫn khác có thể áp dụng để lựa chọn và đánh giá các chỉ số đã được xây dựng. Đây là một quy trình chính quy trong đó một chỉ số được chấm điểm dựa trên 5 tiêu chí và là một quy trình kỹ lưỡng và toàn diện trong lựa chọn chỉ số. Tuy hướng dẫn này được xây dựng cho trường hợp phòng chống HIV nhưng các tiêu chí chấm điểm cũng có thể áp dụng tương ứng vào tình huống này (UNAIDS và MERG, 2009):

156

Là chỉ số cần thiết và hữu ích.

Là chỉ số có giá trị kỹ thuật.

Là chỉ số đã được định nghĩa đầy đủ.

Triển khai các hệ thống Theo dõi và Đánh giá

Việc đo đạc chỉ số là khả thi.

Là chỉ số đã được kiểm chứng thực tế hay sử dụng trong hoạt động.

Ngoài ra, nếu các chỉ số lập thành một nhóm thì cần có sự gắn kết và cân đối.

Mỗi một tiêu chí trong số 6 tiêu chí về chỉ số này lại có một bộ câu hỏi cụ thể, có thang điểm cho từng câu hỏi. Nhờ vậy mà cho phép kiểm định từng chỉ số và chấm điểm mỗi chỉ số, giúp cho việc lựa chọn và cải thiện cách xác định chỉ số dễ dàng hơn nhiều. Làm thế nào để xác định chỉ số? Mỗi chỉ số cần một quy trình xác định trong đó có định nghĩa đầy đủ về chỉ số đó (UNAIDS và MERG, 2009):

•

Chỉ số có tên gọi và định nghĩa rõ ràng.

•

Chỉ số có mục đích và cơ sở rõ ràng.

•

Phương pháp đo đạc chỉ số được định nghĩa rõ ràng, trong đó có mô tả tử số, mẫu số, cách tính, nếu được (4 điểm).

•

Phương pháp thu thập số liệu chỉ số được xác định rõ.

•

Tần suất đo đạc chỉ số được xác định rõ.

•

Mọi cách phân loại dữ liệu phù hợp đều được xác định rõ.

•

Có hướng dẫn rõ ràng về cách diễn giải và sử dụng số liệu từ chỉ số.

•

Ưu điểm, nhược điểm, khó khăn trong sử dụng chỉ số được định rõ.

•

Các nguồn thông tin bổ sung về chỉ số được xác định.

Chương 4

iv)

Hướng dẫn của UNAIDS và MERG về Tiêu chuẩn Chỉ số (có thể truy cập tại www.worldbank.org/aids > tools and guidelines) cũng cung cấp thêm chi tiết về xác định chỉ số và là một nguồn thông tin hữu dụng. v)

Thời hạn trong kế hoạch TD&ĐG cần xác định thế nào? Kế hoạch TD&ĐG không phải là những tài liệu được xây dựng tách biệt hay biệt lập. Kế hoạch TD&ĐG cần có cùng thời kỳ như kế hoạch chiến lược/chương trình (ví dụ như trong chiến lược phòng chống HIV quốc gia 2004-2008 sẽ có kế hoạch TD&ĐG về HIV giai đoạn 2004-2008). Lý do để kế hoạch TD&ĐG trùng hợp về mặt thời gian với kế hoạch chiến lược là để bảo đảm luôn có các chiến lược giám sát và đánh giá kế hoạch chiến lược trong suốt vòng đời của kế hoạch.

vi)

Đây là một tài liệu khung hay kế hoạch? Một số nước có kế hoạch GS&ĐG, một số có khung TD&ĐG trong khi nước khác có cả hai hay thậm chí còn có cả khung thực hiện GS&ĐG. Tên gọi và số lượng văn bản không phải là điều quan trọng mà chính là nội dung của kế hoạch TD&ĐG đó. Trong toàn bộ Khóa học về nâng cao năng lực gồm 12 cấu phần này, thuật ngữ “kế hoạch TD&ĐG” được sử dụng để chỉ các tài liệu diễn giải mô tả và định nghĩa cách thức vận hành của hệ thống TD&ĐG (cẩm nang thực hiện hệ

Kế hoạch GS&ĐG

157

thống GS&ĐG) và những gì mà hệ thống TD&ĐG đo đạc (như khung kết quả được các chỉ số sử dụng để đo lường kết quả trong chiến lược của đơn vị/chính phủ). Một lời khuyên cuối cùng về kế hoạch TD&ĐG là hãy sử dụng ngôn ngữ đơn giản và rõ ràng. Kế hoạch TD&ĐG cần có đủ mức độ chi tiết để bao hàm mọi thông tin kỹ thuật phù hợp đồng thời vẫn bảo đảm sự rõ ràng và dễ hiểu. Thư viện điện tử GAMET về tài nguyên TD&ĐG (tại địa chỉ http:// gametlibrary.worldbank.org; kích vào mảnh đố chữ màu đỏ ở giữa với tên gọi “Phổ biến và sử dụng số liệu”) có chứa các tư liệu nguồn về văn phong chuyên nghiệp và cách viết các câu, đoạn dễ đọc, dễ hiểu.

Chương 4

6. Hướng dẫn thực hành C4-1: Xây dựng hay chỉnh sửa kế hoạch TD&ĐG quốc gia Phần này sẽ hướng dẫn đọc giả cách xây dựng kế hoạch TD&ĐG quốc gia, đồng thời các bước xây dựng cũng có thể dễ dàng áp dụng cho kế hoạch TD&ĐG của đơn vị.

Bước 1:

Thu thập thông tin và đánh giá phạm vi công việc TD&ĐG cần thực hiện

Bước này cần được thực hiện từ 6-8 tháng trước khi triển khai chương trình cần giám sát. Xác định xem đã có những thông tin sau chưa; thu thập và đọc các tài liệu phù hợp: •

Thông tin toàn diện, cập nhật về những yếu tố quan trọng nhất có ảnh hưởng đến mục tiêu chương trình

•

Đã có sẵn NCTKT GS&ĐG

•

Đã có sẵn kế hoạch GS&ĐG

•

Đã có sẵn kế hoạch thực hiện TD&ĐG

•

Đánh giá hệ thống TD&ĐG quốc gia

•

Những đánh giá khác có chứa thông tin TD&ĐG

•

Thông tin phù hợp do nhóm TD&ĐG đưa ra

•

Các nghiên cứu phù hợp về hiệu quả của can thiệp chương trình

Kết quả: Thu thập tất cả các tài liệu hiện có phù hợp với hệ thống GS&ĐG.

158

Triển khai các hệ thống Theo dõi và Đánh giá

Bước 2:

Thực hiện đánh giá thực trạng để xác định những khó khăn chính trong khu vực chương trình

Bước này tùy thuộc vào việc đã có sẵn dữ liệu hay không và nếu được thực hiện thì cần phải bắt đầu ít nhất từ 6 tháng trước quá trình rà soát kế hoạch chiến lược và hệ thống GS&ĐG. Bước này bao gồm việc tìm hiểu tính chất của vấn đề và giải pháp cho đến nay với thông tin hiện có về hệ thống TD&ĐG (Bước 1, Hình C4-3). Cần thực hiện đánh giá thực trạng để tìm hiểu những vấn đề chính sau đây: Xu hướng, mức độ và các yếu tố nhân quả liên quan đến những vấn đề hiện có ra sao?

Các chính sách và chiến lược có phù hợp với bằng chứng mới nhất về hiệu quả can thiệp?

Chương trình nào được triển khai cho nhóm dân cư mục tiêu nào và với phạm vi, mức độ nào?

Các chương trình có được triển khai một cách hiệu quả nhất hay không?

Ngân sách có được chi tiêu cho những chương trình hiệu quả nhất không?

Chương trình có được quản lý một cách hiệu quả nhất không?

Chương 4

Kết quả: Báo cáo có nội dung về những khó khăn của chương trình.

Bước 3: Thu thập kết quả đánh giá hệ thống GS&ĐG Thu thập các kết quả đánh giá hệ thông TD&ĐG M&E là một bước cần thiết trong rà soát kế hoạch chiến lược và cần phải thực hiện ít nhất 4 tháng trước quá trình rà soát kế hoạch chiến lược và hệ thống GS&ĐG. Có thể thu thập các kết quả đánh giá hệ thống TD&ĐG từ một đánh giá hệ thống TD&ĐG hiện có hay bằng cách thực hiện một đánh giá hệ thống TD&ĐG mới. Việc quyết định cách thức thu thập kết quả đánh giá hệ thống TD&ĐG là một quy trình lôgích nêu chi tiết trong các bước sau: a)

Cần xác định xem có cần tiến hành đánh giá mới hệ thống TD&ĐG hay không trong quy trình rà soát kế hoạch chiến lược. Phụ lục D trình bày sơ đồ dạng cây về các quyết định hữu ích trong giai đoạn này (Bước 1, Hình C4-3). Nếu cần đánh giá hệ thống TD&ĐG ...

Lên kế hoạch quy trình rà soát hệ thống TD&ĐG bằng cách lập Danh mục Yêu cầu đối với quy trình đánh giá GS&ĐG. Trong Danh mục yêu cầu đánh giá GS&ĐG, cần nêu chi tiết:

Kế hoạch GS&ĐG

159

Chương 4

•

160

Cần sử dụng công cụ đánh giá TD&ĐG nào (xem khung bên phải)

•

Cần thực hiện quy trình đánh giá hệ thống TD&ĐG như thế nào

•

Ngân sách cần có để đánh giá hệ thống TD&ĐG

•

Quy trình đánh giá hệ thống TD&ĐG có liên hệ thế nào với quy trình rà soát hay xây dựng kế hoạch chiến lược/ chương trình

Xác định nguồn lực kỹ thuật cần có để đánh giá hệ thống GS&ĐG. Xác định xem đã có đủ năng lực kỹ thuật và thời gian để bộ phận TD&ĐG thực hiện các bước từ 4-10 trong hướng dẫn này chưa, cần nhớ rằng công việc rà soát này sẽ cần ít nhất 30-50 ngày làm việc. Trình bày Danh mục yêu cầu đánh giá TD&ĐG kèm theo ngân sách với NCTKT GS&ĐG, nếu có (xem Cấu phần 3), để huy động đầu vào kỹ thuật và nguồn lực. Đưa trình bày khái niệm về đánh giá hệ thống TD&ĐG vào quy trình rà soát kế hoạch chiến lược/ chương trình, để mọi cá nhân liên quan biết rõ

Phạm vi công cụ đánh giá hệ thống GS&ĐG Có nhiều phương án thực hiện đánh giá hệ thống GS&ĐG. Trong hướng dẫn có sự khác nhau về: a)

Mức độ hướng dẫn về cách thức thực hiện đánh giá. Có nhiều hướng dẫn từ tóm tắt ngắn gọn một trang của Mackay (2007) hay của UNAIDS về đánh giá hệ thống TD&ĐG HIV trong quy trình đánh giá “Ba nhất” (xem Phụ lục I), tới hướng dẫn chi tiết và các công cụ bảng tính cho phép chấm điểm hệ thống TD&ĐG trong 12 Thành phần. Công cụ chi tiết nhất các tác giả biết được là Công cụ Đánh giá hệ thống TD&ĐG 12 Thành phần, được trình bày tại địa chỉ www.worldbank.org/aids > tools and guidelines hay tại www.unaids.org (tìm tên công cụ).

Số lượng cấu phần cần chú trọng và mức độ đánh giá từng thành phần. Các công cụ đánh giá TD&ĐG chỉ chú trọng vào một hay một số cấu phần bao gồm công cụ Bảo đảm Chất lượng Dữ liệu thường quy tập trung riêng vào cấu phần đó chứ không phải tất cả các thành phần.

Đánh giá được thực hiện ra sao. Một số hướng dẫn đề xuất sử dụng ý kiến từ bên ngoài, bằng cách sử dụng cá nhân ngoài hệ thống TD&ĐG thực hiện đánh giá, trong khi các công cụ khác đề xuất thực hiện tự đánh giá.

Ta cần chọn công cụ phù hợp nhất để thực hiện đánh giá, cho dù để nắm được thực trạng chung của hệ thống TD&ĐG hay để xây dựng các chương trình củng cố hệ thống TD&ĐG hay để rà soát chi tiết một cấu phần nào đó, nhằm các mục đích như cải thiện công tác giám sát thường quy hay cải thiện toàn bộ các khảo sát trên toàn quốc. Mặt khác, ta không cần sử dụng công cụ đánh giá TD&ĐG để đánh giá thực trạng hệ thống TD&ĐG mà chỉ cần nhìn vào: a) các kết quả dài hạn đã xác định được cho từng cấu phần trong hệ thống GS&ĐG, b) kế hoạch triển khai hệ thống GS&ĐG. Bằng cách đánh giá tiến độ thực hiện các kết quả dài hạn của từng cấu phần và tiến độ hoạt động của kế hoạch thực hiện GS&ĐG, ta sẽ biết được thực trạng hệ thống GS&ĐG.

Triển khai các hệ thống Theo dõi và Đánh giá

rằng những hoạt động rà soát này có liên hệ với nhau và kết quả sẽ có ảnh hưởng lẫn nhau. Tham khảo ý kiến của NCTKT TD&ĐG (nếu có) để xác định có cần sử dụng tư vấn bên ngoài thực hiện công tác này hay không. e)

Nếu cần sử dụng tư vấn độc lập thì cần lập Danh mục yêu cầu đối với tư vấn, trình phê duyệt và xin ngân sách thực hiện rà soát.

Tiến hành đánh giá hệ thống TD&ĐG và trình bày kết quả để NCTKT TD&ĐG kiểm chứng.

Nếu KHÔNG cần thực hiện đánh giá hệ thống TD&ĐG … Thu thập báo cáo đánh giá mới nhất về hệ thống TD&ĐG và nghiên cứu chi tiết báo cáo để nắm được mọi khó khăn trong đánh giá hệ thống TD&ĐG . Chương 4

Kết quả: Nắm được ưu điểm, nhược điểm của hệ thống GS&ĐG.

Bước 4:

Rà soát các mục tiêu của kế hoạch chiến lược sau khi đã xây dựng

Đây là một bước quan trọng và chính là bước đầu trong quy trình chỉnh sửa kế hoạch chiến lược. Bước này chính là bước kiểm soát chất lượng của kế hoạch chiến lược. Khi đã xây dựng được các mục tiêu của kế hoạch chiến lược thì cần tham khảo các dữ liệu cụ thể. Mục đích của công đoạn rà soát này là bảo đảm để tất cả những đối tượng chịu trách nhiệm rà soát kế hoạch chiến lược đã tham khảo mọi nguồn dữ liệu phù hợp trong quá trình ra quyết định. Thành viên của NCTKT TD&ĐG có thể thực hiện công tác rà soát này trong khuôn khổ hoạt động của nhóm công tác kế hoạch chiến lược (Bước 2, Hình C4-3). Kết quả: Kế hoạch chiến lược mới có các mục tiêu và kết quả SMART (các mục tiêu bảo đảm tính Cụ thể, Định lượng được, Khả thi, Thực tế và có Thời hạn).

Bước 5:

Xây dựng mục tiêu TD&ĐG để đưa vào kế hoạch chiến lược

Đây cũng là một bước rất quan trọng trong kế hoạch chiến lược. Đánh giá hệ thống TD&ĐG sẽ cho biết ưu điểm, nhược điểm của hệ thống TD&ĐG và cho phép ta xác định các mục tiêu TD&ĐG và nếu đạt được các mục tiêu này thì sẽ khắc phục được những nhược điểm của hệ thống TD&ĐG và cùng với NCTKT TD&ĐG đề ra được những chiến lược TD&ĐG phù hợp nhất để đạt được các mục tiêu (Bước 2, Hình C4-3). Kết quả: Các mục tiêu hay kết quả TD&ĐG đưa vào kế hoạch chiến lược.

Kế hoạch GS&ĐG

161

Bước 6:

Xây dựng các chỉ số của kế hoạch chiến lược

Sau khi đã nhất trí được về các mục tiêu của kế hoạch chiến lược, ta cần xây dựng các chỉ số phù hợp (Bước 2, Hình C4-3). Xây dựng chỉ số là một quy trình hệ thống gồm một số nhiệm vụ và tiêu chí. Quy trình này cần được thực thiện với sự cộng tác của tất cả các đối tác phát triển tham gia chương trình (tốt nhất là thông qua NCTKT GS&ĐG) để đạt được sự nhất trí chung khi thông qua các chỉ số. Xây dựng chỉ số đòi hỏi thực hiện các nhiệm vụ sau: Làm rõ các mục tiêu hay kết quả và xác định nội dung cần đo đạc. Đây chính là định nghĩa về sự thành công của chương trình cần đánh giá đối với tổ chức. Các mục tiêu sẽ không được đo đạc trực tiếp mà phải được chuyển thành các chỉ số được đo đạc để xác định xem chương trình có theo đúng tiến độ đề ra trong việc thực hiện các mục tiêu chung và mục tiêu cụ thể theo kế hoạch hay không (Kusek và Rist, 2004).

Nhiệm vụ 2.

Cùng suy nghĩ, lập danh mục chỉ số đối với mục tiêu chung, mục tiêu cụ thể hay kết quả.

Nhiệm vụ 3.

Đánh giá từng chỉ số có thể sử dụng dựa trên quan điểm kỹ thuật. Xem tiêu chí lựa chọn chỉ số trong Phụ lục C.

Nhiệm vụ 4.

Chọn ra những chỉ số phù hợp nhất dựa trên kết quả đánh giá (Nhiệm vụ 3).

Nhiệm vụ 5.

Xác định xem đã có sẵn các giá trị ban đầu của từng chỉ số hay chưa. Giá trị ban đầu phải tồn tại (tùy vào dữ liệu giám sát thường quy) đối với mọi chỉ số đầu ra trong khung kết quả. Nếu chưa có giá trị ban đầu của chỉ số kết quả thì cần bổ sung ngân sách thu thập số liệu cần có trong kế hoạch thực hiện TD&ĐG quốc gia (xem Cấu phần 5).

Nhiệm vụ 6.

Ghi chép các giá trị ban đầu của chỉ số (kể cả trường hợp không có đủ giá trị ban đầu của tất cả các chỉ số), phổ biến rộng rãi kết quả.

Nhiệm vụ 7.

Tổng hợp các quy trình chỉ số dự án. Quy trình chỉ số là định nghĩa chi tiết về chỉ số [xem mô tả chi tiết nội dung quy trình chỉ số ở phần 5.4 (iv)].

Nhiệm vụ 8.

Hoàn thiện chỉ số (kèm quy trình) để giám sát tiến độ thực hiện mục tiêu đề ra trong kế hoạch chiến lược.

Chương 4

Nhiệm vụ 1.

Kết quả: Danh mục chỉ số (kèm quy trình) sử dụng để giám sát tiến độ thực hiện các mục tiêu đề ra trong kế hoạch chiến lược.

Bước 7:

Rà soát kế hoạch TD&ĐG (hay xây dựng mới nếu chưa có)

Khi kế hoạch chiến lược (kèm chỉ số) đã hoàn thành và phê duyệt, ta cần xây dựng và rà soát kế hoạch TD&ĐG (Bước 5, Hình C4-3). Để làm việc này, ta cần: 162

Triển khai các hệ thống Theo dõi và Đánh giá

Bảo đảm các yêu cầu thực tiễn của mọi chiến lược TD&ĐG trong kế hoạch chiến lược đã được xác định trong kế hoạch GS&ĐG.

Bảo đảm thu thập đủ mọi thông tin liên quan về luật pháp, chính sách, chiến lược liên quan đến hoạt động GS&ĐG.

Bảo đảm mọi chỉ số và nguồn dữ liệu phù hợp với mục tiêu chung, mục tiêu cụ thể hay kết quả của kế hoạch chiến lược chương trình.

Khắc phục các nhược điểm của 12 Cấu phần trong hệ thống TD&ĐG ở cấp trung ương, địa phương và cấp ngành.

Chương 4

Có thể sử dụng Phụ lục B để làm bảng kiểm nội dung cần có trong kế hoạch TD&ĐG quốc gia. Sau khi rà soát kế hoạch TD&ĐG quốc gia, ta cần xem xét các kế hoạch thực hiện TD&ĐG của địa phương và ngành. Hướng dẫn về cách đối chiếu kế hoạch TD&ĐG của ngành hay địa phương với kế hoạch TD&ĐG quốc gia được trình bày trong phần Hướng dẫn ở Phần 7 của chương này. Kết quả: Kế hoạch TD&ĐG quốc gia mới/sửa đổi.

Bước 8:

Xây dựng hay chỉnh sửa kế hoạch thực hiện GS&ĐG

Bước kỹ thuật cuối cùng là rà soát các kế hoạch thực hiện TD&ĐG đã xây dựng được (xem Chương 5) để triển khai kế hoạch TD&ĐG nhằm đưa vào các ước tính chi phí trong kế hoạch chiến lược quốc gia (Bước 6, Hình C4-3). Phần Hướng dẫn trong Phần 6, Chương 5, sẽ trình bày chỉ dẫn chi tiết về cách lập hay xem xét kế hoạch thực hiện TD&ĐG cấp quốc gia, địa phương hay cấp ngành. Khi xây dựng kế hoạch TD&ĐG và kế hoạch thực hiện TD&ĐG quốc gia, cần bảo đảm thời hạn nêu trong các kế hoạch trùng với thời hạn của kế hoạch chương trình để có các chiến lược TD&ĐG nhằm xác định tiến độ triển khai chương trình trong toàn bộ chu trình. Kết quả: Kế hoạch thực hiện TD&ĐG quốc gia lập mới/sửa đổi

Bước 9:

Tuyên truyền, vận động, nâng cao năng lực phục vụ hệ thống TD&ĐG mới

Sau khi đã hoàn thành công việc kỹ thuật, ta cần phổ biến kế hoạch TD&ĐG và các kế hoạch thực hiện liên quan tới mọi đối tác cấp cao tham gia, kể cả tổ chức điều phối chương trình cần giám sát. Thông qua cơ chế này, cần bảo đảm để các bên nắm được ưu tiên trong TD&ĐG ở từng năm; huy động đủ nguồn lực (từ chính phủ và các nguồn khác); và bảo đảm công tác báo cáo tiến độ về hệ thống GS&ĐG. Cần bảo đảm để kế hoạch và kế hoạch thực hiện TD&ĐG là ưu tiên chính trong công tác điều phối của NCTKT TD&ĐG (xem Cấu phần 3). Kết quả: Mọi bên liên quan biết, nắm rõ và ủng hộ kế hoạch TD&ĐG mới.

Kế hoạch GS&ĐG

163

Câu hỏi tư duy 2: Suy nghĩ một chút về quy trình xây dựng kế hoạch TD&ĐG quốc gia ở nước mình. Bạn có tham gia quy trình này hay có biết về quy trình này không? Quy trình được thực hiện ra sao? Có liên hệ gì với việc xây dựng hay chỉnh sửa kế hoạch chương trình quốc gia không? Các bước nêu ở đây có phù hợp với quốc gia hay chuyên ngành của bạn không? Vì sao? Cần điều chỉnh các bước ra sao cho phù hợp với hoàn cảnh nước bạn?

Chương 4

7. Hướng dẫn thực hành C4-2: Xây dựng kế hoạch TD&ĐG của đơn vị có liên hệ với Kế hoạch TD&ĐG quốc gia Bước 1:

Huy động sự tham gia của các cấp lãnh đạo

Cần bảo đảm sự tham gia và ủng hộ của các cấp lãnh đạo để bảo đảm kế hoạch được hiểu rõ, chấp nhận và hỗ trợ bởi lãnh đạo cơ quan. Điều này cũng sẽ bảo đảm cho sự hỗ trợ của cấp lãnh đạo đối với hệ thống GS&ĐG, cũng như nguồn ngân sách. Kết quả: Cấp lãnh đạo bảo đảm ngân sách và quan tâm tới quá trình lập kế hoạch GS&ĐG.

Bước 2:

Xác định các mục tiêu của tổ chức trong lĩnh vực chương trình

Tìm đọc kế hoạch chương trình quốc gia hay kế hoạch phát triển quốc gia, cũng như tìm đọc mọi chiến lược ngành có liên quan đến ngành của mình ở cùng cấp công tác, kể cả các chính sách phân cấp quản lý. Trên cơ sở những chiến lược này, xác định vai trò của cơ quan trong việc thực hiện các mục tiêu đề ra trong kế hoạch quốc gia. Những vai trò này có thể bao gồm điều phối, lập kế hoạch, quản lý và/hoặc triển khai, và chắc chắn là cả giám sát, đánh giá. Tiếp theo là xây dựng mục tiêu cho cơ quan, có liên hệ hay góp phần vào các mục tiêu chương trình quốc gia. Kết quả: Các mục tiêu/kết quả đóng góp của cơ quan vào chương trình cấp quốc gia hay các tuyến trên.

Bước 3:

Đánh giá thực trạng hệ thống TD&ĐG của cơ quan

Đánh giá để nắm được thực trạng 12 Cấu phần của hệ thống TD&ĐG hiện có, kể cả ưu điểm, nhược điểm. Thực hiện các bước tương tự như Bước 3, Hướng dẫn C4-1. Nếu đã có đánh giá trước rồi thì không cần làm đánh giá mới.

164

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả: Báo cáo đánh giá hệ thống GS&ĐG.

Bước 4

Xây dựng chỉ số cho các mục tiêu của cơ quan

Khi đã xây dựng được các mục tiêu và chiến lược của ngành, địa phương, cơ quan hay dự án thì ta cần xác định các chỉ số phù hợp. Xây dựng chỉ số là một quy trình hệ thống gồm một số nhiệm vụ và lựa chọn tiêu chí. Công việc này cần thực hiện với sự cộng tác của tất cả các đối tác phát triển tham gia chương trình (tốt nhất là thông qua nhóm công tác GS&ĐG) để đảm bảo các chỉ số được thống nhất phê duyệt. Thực hiện các bước tương tự như đã trình bày trong Hướng dẫn C4-1, xem tiêu chí lựa chọn chỉ số hợp lý trong Phụ lục C. Chương 4

Kết quả: Các chỉ số mục tiêu/kết quả chương trình của cơ quan.

Bước 5:

Xây dựng các cấu phần của hệ thống GS&ĐG

Dựa trên đánh giá hệ thống GS&ĐG, xây dựng toàn bộ 12 Cấu phần của hệ thống GS&ĐG. Cần nhớ rằng không nhất thiết phải áp dụng toàn bộ 12 Cấu phần cho cơ quan bạn. Cần bắt đầu bằng cách thảo luận từng cấu phần một: •

Nội dung nào trong cấu phần này sẽ có hiệu quả trong cơ quan bạn?

•

Cấu phần có liên hệ gì hay sử dụng dữ liệu nào trong các nguồn dữ liệu hiện có?

•

Cấu phần có liên hệ thế nào với cấp quốc gia?

•

Cấu phần phát huy tác dụng thế nào với những gì đã có trong hoạt động TD&ĐG trong ngành?

Kết quả: Hiểu biết chung, rõ ràng về cách thức vận hành của hệ thống TD&ĐG của cơ quan bạn.

Bước 6:

Xây dựng quy trình giám sát thường quy

Giám sát thường quy bao gồm cả giám sát chương trình và giám sát tài chính. Công tác này đòi hỏi phải có quy trình quản lý dữ liệu để bảo đảm thu thập và báo cáo được các dữ liệu có chất lượng tốt. Phần Hướng dẫn trong Phần 6, Chương 8, cho biết thêm thông tin về cách xây dựng một hệ thống giám sát chương trình kèm theo các hướng dẫn, luồng dữ liệu và công cụ thu thập số liệu để thu thập được tất cả các dự liệu thường quy cần có để đo đạc các chỉ số đã chọn. Khi cần, hãy sử dụng các công cụ thu thập số liệu có sẵn và cải tiến các công cụ này.

Kế hoạch GS&ĐG

165

Kết quả: Các công cụ thu thập dữ liệu và quy trình xử lý dữ liệu áp dụng cho mọi dữ liệu giám sát thường quy của cơ quan.

Bước 7:

Soạn thảo kế hoạch GS&ĐG

Chương 4

Khi đã xây dựng được quy trình giám sát chương trình thì bước tiếp theo là soạn thảo kế hoạch GS&ĐG. Kế hoạch TD&ĐG thường chứa đựng các thông tin sau: •

Các mục tiêu của tổ chức và yêu cầu về một hệ thống GS&ĐG

•

Các số liệu (thông tin và chỉ số quản lý) sẽ được cơ quan thu thập (Phụ lục A là một ví dụ về Khung kết quả hay Khung lôgích có chứa tất cả các thông tin liên quan).

•

Nguồn, phương pháp, tần suất và lịch trình thu thập số liệu [(tóm tắt trong bảng ma trận nguồn số liệu (xem Phụ lục E)], trong đó có thông tin về nhóm hay cá nhân chịu trách nhiệm thu thập số liệu.

•

Phương thức phân tích, so sánh, rà soát, trình bày số liệu và sử dụng các công cụ liên quan được tổng hợp trong bảng ma trận sản phẩm thông tin (xem Phụ lục F).

•

Các kế hoạch, lịch trình, công cụ phổ biến thông tin được tổng hợp trong bảng ma trận phổ biến thông tin (xem Phụ lục G).

•

Hợp tác để thực hiện thành công

•

Các kế hoạch, lịch trình, công cụ đánh giá thông tin

•

Quản trị hệ thống GS&ĐG, xác định vai trò, kế hoạch thực hiện, kiểm tra dữ liệu, phần mềm và xem xét kế hoạch.

Có thể sử dụng Phụ lục B làm bảng kiểm các nội dung cần có trong kế hoạch TD&ĐG của dự án. Kết quả: Kế hoạch TD&ĐG của cơ quan.

Bước 8:

Lập kế hoạch thực hiện GS&ĐG

Sau khi đã có kế hoạch (diễn giải) TD&ĐG thì bước tiếp theo là lập kế hoạch thực hiện. Phần Hướng dẫn trong Phần 6, Chương 5, cho biết chi tiết cách thức lập hay xem xét kế hoạch thực hiện GS&ĐG. Kết quả: Kế hoạch thực hiện TD&ĐG kèm theo chi phí của cơ quan.

Bước9:

Tiến hành tuyên truyền, vận động, tập huấn, nâng cao năng lực

Sau khi đã hoàn thành các công việc kỹ thuật, ta cần phổ biến kế hoạch TD&ĐG và các kế hoạch thực hiện liên quan tới mọi cá nhân trong cơ quan. Thông qua

166

Triển khai các hệ thống Theo dõi và Đánh giá

cơ chế này, cần bảo đảm để mọi người nắm được ưu tiên trong TD&ĐG cho các năm tới; huy động đủ nguồn lực (từ chính phủ và các nguồn khác); và bảo đảm công tác báo cáo tiến độ về hệ thống GS&ĐG. Cần bảo đảm để kế hoạch và kế hoạch thực hiện TD&ĐG được sử dụng để định hướng hoạt động TD&ĐG của cơ quan và công tác báo cáo trong cơ quan về các hoạt động đã triển khai. Kết quả: Các bên liên quan biết, nắm rõ và ủng hộ kế hoạch TD&ĐG mới.

8. Tóm tắt Kiến thức, Kỹ năng Chương 4 Chương 4

Trong chương này, ta đã học về kế hoạch GS&ĐG, lợi ích/tầm quan trọng của việc xây dựng hệ thống GS&ĐG. Ta cũng được học về mối liên hệ giữa kế hoạch TD&ĐG quốc gia, kế hoạch chiến lược quốc gia của chương trình được giám sát và kế hoạch thực hiện GS&ĐG. Ta cũng học về mối liên hệ giữa kế hoạch TD&ĐG quốc gia và kế hoạch TD&ĐG của cơ quan. Sau đó, ta được học về lý thuyết và các bước quy trình kỹ thuật cần thiết để lập hay xem xét kế hoạch TD&ĐG quốc gia, bao gồm xác định nhu cầu dữ liệu, các chỉ số chuẩn quốc gia, các công cụ và quy trình thu thập số liệu, vai trò và trách nhiệm nhằm triển khai hệ thống TD&ĐG quốc gia hiệu quả. Cuối cùng, ta được học về cách thức lập kế hoạch TD&ĐG của cơ quan có liên hệ với kế hoạch TD&ĐG quốc gia.

9. Bài tập THỰC HÀNH 1: BÌNH LUẬN VỀ CÁC KẾ HOẠCH TD&ĐG HIỆN CÓ Nội dung Chương 4 là về kế hoạch TD&ĐG của cơ quan. Do vậy, trong bài thực hành này, chúng ta sẽ xem xét kế hoạch TD&ĐG của một số tổ chức, sau đó bạn sẽ xác định ưu điểm và nhược điểm của từng kế hoạch. Đọc kỹ các Phần 5, 6, 7.

Kế hoạch GS&ĐG

167

Nhớ dành thời gian đọc các nhận định vì phần này sẽ giúp bạn làm các bài tập dưới đây. Đọc 3 kế hoạch TD&ĐG mẫu (Mục lục) trong Phụ lục H của chương này. Xem xét 3 kế hoạch này về tính toàn diện (xem các tiêu chí trong Phụ lục B). KH TD&ĐG 1 có đáp ứng được tiêu chí này không?

KH TD&ĐG 2 có đáp ứng được tiêu chí này?

KH TD&ĐG 3 có đáp ứng được tiêu chí này?

Chương 4

Tiêu chí kế hoạch TD&ĐG criteria

BÀI THỰC HÀNH 2: SUY NGHĨ TÌM CÁCH CẢI THIỆN CÁC KẾ HOẠCH GS&ĐG 2.1. Bạn đã học được gì thông qua việc lập kế hoạch TD&ĐG và việc sử dụng 12 Thành phần? 2.2. Đề xuất các cải tiến đối với 3 kế hoạch GS&ĐG.

168

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục A: Ví dụ về Khung Lôgích và Khung Kết quả VÍ DỤ 1: Khung Lôgích của dự án phát triển kinh tế Chỉ số ngành

Báo cáo ngành/ quốc gia

Tăng cường chính sách công và năng lực triển khai

% dân số ở các thị trấn trong thời kỳ quá độ có thu nhập tăng

Điều tra quốc gia

Mục tiêu phát triển dự án

Chỉ số kết quả

Báo cáo dự án

(từ mục tiêu cụ thể đến mục tiêu chung)

1. x% số thị trấn tham gia đánh giá khả 1. Điều tra của thị năng cải thiện kế hoạch và triển khai trấn các chương trình đầu tư (hệ thống kiểm soát, lập kế hoạch, giám sát) là đáp ứng tiêu chuẩn hay cao hơn là gắn chỉ tiêu này với dự án tính đến ngày, tháng, năm ...

Các thị trấn hiện chưa được nhận hỗ trợ, có thể được nhận hỗ trợ cần có từ các nhà tài trợ khác

Các thị trấn ít điều kiện thực hiện hiệu quả, tự lực công tác phát triển kinh tế

Kế hoạch GS&ĐG

2. % số thị trấn tham gia tăng được tỉ trọng nguồn thu của mọi khoản thu nhập hiện tại của địa phương được ít nhất x% tính đến ngày, tháng, năm ...

2. Hệ thống giám sát quốc gia

3. % số tiểu dự án của các thị trấn tham gia đạt mức thu nhập phát triển kinh tế và duy trì được tác động đến ngày, tháng, năm ...

3. Hệ thống giám sát quốc gia

(từ mục tiêu tới nhiệm vụ của ngân hàng)

169

Chương 4

Mục tiêu ngành

VÍ DỤ 2: Khung Lôgích dự án phát triển nông thôn Mục tiêu chiến lược hỗ trợ quốc gia

Chương 4

Nâng cao sức khỏe của người dân nông thôn

Mục tiêu chiến lược hỗ trợ quốc gia

Chỉ số

Nguồn dữ liệu

Mục tiêu chiến lược hỗ trợ quốc gia với nhiệm vụ của ngân hàng

1. Giảm 5% tỉ lệ mắc bệnh địa phương hàng năm giai đoạn ’93 - ’99

1.1.1 Báo cáo của Tổ chức Y tế Thế giới

3. Tỉ lệ tử vong giảm xuống còn 120/1000 tính đến năm 2000

1.2.1. Báo cáo của Tổ chức Y tế Thế giới

4. Tỉ lệ tử vong giảm xuống còn 100/1000 tính đến năm 2000

1.3.1. Báo cáo của Tổ chức Y tế Thế giới

1. Nâng cao sức khỏe làm tăng năng suất của người lao động 2. Các dự án hạ tầng xã hội khác đạt được Mục tiêu Chiến lược Hỗ trợ Quốc gia của NH Thế giới

Chỉ số

Người dân nông 1.1. Số bệnh nhân được bệnh viện thôn sử dụng địa phương phục vụ tăng 20% dịch vụ y tế thứ cấp nâng cao 1.2. 65% trẻ em trong khu vực dự án được tiêm phòng 1.3. 70% dân số có nhu cầu được sử dụng dịch vụ

Nguồn dữ liệu

Mục tiêu chiến lược hỗ trợ quốc gia với nhiệm vụ của ngân hàng

1.1.1 Nghiên cứu quốc gia độc lập của Bộ Y tế

1. Không có dịch bệnh lớn

1.2.1. Nghiên cứu quốc gia độc lập của Bộ Y tế

2. Mức an ninh lương thực hiện tại được duy trì

1.3.1. Nghiên cứu quốc gia độc lập của Bộ Y tế

Nguồn: Ngân hàng Thế giới, 2005. Cẩm nang Khung Lôgích

170

Triển khai các hệ thống Theo dõi và Đánh giá

VÍ DỤ 3: Khung kết quả Chương trình Phòng chống HIV quốc gia TÁC ĐỘNG từ mọi hoạt động [Kết quả dài hạn (hoàn thành trong 5 năm)] CÂU HỎI CẦN NÊU: Chúng ta cần đạt được điều gì? Viễn cảnh lý tưởng Kết quả cần đạt Tiếp tục xu thế đảo ngược sự lây lan HIV và AIDS n năm 2013.

Chỉ số cho biết đã đạt được kết quả hay chưa Xây dựng mô hình tỉ lệ nhiễm HIV % trẻ sơ sinh, trẻ có mẹ nhiễm HIV nhiễm bệnh % người trưởng thành và trẻ em có HIV vẫn còn sống và được tiếp tục điều trị ở thời điểm 12 tháng sau khi bắt đầu liệu pháp ARV % phụ nữ và nam giới độ tuổi 15-49 thể hiện thái độ chấp nhận đối với người có HIV % người cần dịch vụ giảm thiểu tác động hài lòng với dịch vụ nhận được Tỉ lệ trẻ mồ côi và không mồ côi độ tuổi 10-14 được đi học

Giải pháp phòng chống HIV được quản lý hiệu quả đến năm 2013.

Điểm đánh giá theo Chỉ số Chính sách Tổng hợp quốc gia

KẾT QUẢ của mọi loại dịch vụ [Kết quả trực tiếp (hoàn thành trong 2-3 năm)] CÂU HỎI CẦN NÊU: Điều gì cản trở việc thực hiện viễn cảnh này? Cần có những thay đổi nào để biến viễn cảnh lý tưởng trên thành hiện thực? Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa % phụ nữ và nam giới độ tuổi 15-24 chưa kết hôn chưa từng quan hệ tình dục % phụ nữ và nam giới độ tuổi 15-49 có quan hệ tình dục với hơn một bạn tình trong 12 tháng qua

Giảm phơi nhiễm HIV

% phụ nữ trẻ độ tuổi 15-24 có quan hệ tình dục trước tuổi 15 % người có quan hệ tình dục để đổi lấy vật chất hay ơn huệ trong 12 tháng qua % phụ nữ độ tuổi 15-24 có bạn tình hơn từ 10 tuổi trở lên % người có bạn tình lâu năm còn quan hệ

Kế hoạch GS&ĐG

171

Chương 4

Đến năm 2013, người có HIV dương tính sống lâu hơn.

Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa % phụ nữ mang thai nhiễm HIV được điều trị ARV để giảm nguy cơ lây truyền từ mẹ sang con % người cần điều trị chủng ngừa tiền phơi nhiễm (dùng thuốc tránh lây truyền HIV) theo hướng dẫn quốc gia được điều trị

Giảm lây truyền

% nam giới có HIV âm tính đã cắt bao quy đầu % nam giới và phụ nữ nhiễm HIV mức độ nặng được sử dụng liệu pháp ARV hoạt tính cao

Chương 4

Tăng tiếp cận dịch vụ HIV Chuẩn mực xã hội đã thay đổi, khuyến khích các hành vi, thái độ tích cực đối với vấn đề HIV

Chuẩn mực xã hội đã thay đổi, khuyến khích các hành vi, thái độ tích cực đối với vấn đề HIV Cộng đồng hỗ trợ người có HIV dương tính và gia đình đáp ứng những yêu cầu tương ứng

% ước tính ca đồng nhiễm HIV dương tính và lao được điều trị lao và HIV % lãnh đạo cộng đồng công khai về bạn tình hiện tại tại các buổi họp cộng đồng ít nhất 2 lần trong 12 tháng qua % phụ nữ và năm giới độ tuổi 15-49 có nhiều hơn một bạn tình trong 12 tháng qua cho biết có sử dụng bao cao su trong lần quan hệ tình dục gần nhất % nam giới và phụ nữ cảm thấy việc phụ nữ từ chối quan hệ tình dục hay yêu cầu sử dụng bao cao su là hợp lý nếu bạn tình có LNĐTD % người cảm thấy việc phân phát bao cao su cho trẻ 12-14 tuổi là chấp nhận được % trẻ mồ côi và khó khăn độ tuổi 0-17 có gia đình được nhận hỗ trợ cơ bản bên ngoài miễn phí trong chăm sóc trẻ % hộ khó khăn cho biết đã được nhận mọi loại dịch vụ có nhu cầu

Cung ứng DỊCH VỤ (KẾT QUẢ) [Kết quả trực tiếp (Hoàn thành ngay sau khi triển khai hoạt động theo kế hoạch thực hiện)] CÂU HỎI CẦN NÊU: Ta có cần góp phần biến những thay đổi trên thành hiện thực không? Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa

CHƯƠNG TRÌNH PHÒNG NGỪA HIV

CHỈ SỐ CHƯƠNG TRÌNH PHÒNG NGỪA HIV

Phòng lây truyền từ mẹ sang con: Mọi phụ nữ có thai và bạn tình biết tình trạng lây nhiễm HIV của mình, được tư vấn phòng ngừa, được hỗ trợ và điều trị phù hợp.

% phụ nữ có thai và bạn tình được xét nghiệm HIV và biết kết quả

KHH gia đình và phòng ngừa HIV cho người có HIV dương tính: phụ nữ có HIV dương tính không sinh con ngoài kế hoạch.

% phụ nữ có HIV dương tính được sử dụng dịch vụ KHH gia đình

An toàn truyền máu: Mọi đơn vị máu và chế phẩm máu không nhiễm HIV.

% đơn vị máu cho, tặng được sàng lọc HIV với chất lượng cách bảo đảm

172

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa

CHƯƠNG TRÌNH PHÒNG NGỪA HIV

CHỈ SỐ CHƯƠNG TRÌNH PHÒNG NGỪA HIV

Tuyên truyền những thay đổi xã hội đến với thanh niên (15–24) và người trưởng thành (25 trở lên): mọi đối tượng, từ trẻ đến già, đều nhận được những thông điệp phù hợp và có được năng lực giúp họ có những quyết định phòng tránh lây truyền HIV.

% trường học triển khai giáo dục nội dung phòng ngừa HIV dựa trên kỹ năng sống trong năm học trước % chương trình giáo dục đồng đẳng có thông điệp cụ thể về chuẩn mực xã hội liên quan đến LTMSC Tổng số bao cao su nam giới và nữ giới được phân phát toàn quốc trong 12 tháng qua trên đầu người độ tuổi 15–49 và 15–19% cơ sở chăm sóc sức khỏe ban đầu thực hiện dịch vụ cắt bao quy đầu

Cắt bao quy đầu ở nam giới: mọi nam giới chưa cắt bao quy đầu được thực hiện thủ thuật

% cơ sở chăm sóc sức khỏe ban đầu thực hiện dịch vụ cắt bao quy đầu

CHƯƠNG TRÌNH ĐIỀU TRỊ, CHĂM SÓC HIV

CHỈ SỐ CHƯƠNG TRÌNH ĐIỀU TRỊ, CHĂM SÓC HIV

Xét nghiệm, tư vấn HIV: Nam giới, phụ nữ và các cặp vợ chống ở mọi độ tuổi biết được tình trạng HIV của mình và được giới thiệu đến cơ sở phù hợp

% phụ nữ, nam giới độ tuổi 15-49 được xét nghiệm HIV trong 12 tháng qua và biết kết quả xét nghiệm (theo nơi cung cấp dịch vụ). % người trưởng thành và trẻ em nhiễm HIV mức độ nặng được sử dụng liệu pháp ARV

Liệu pháp ARV: Mọi nam giới, phụ nữ cần điều trị HIV trong mọi giai đoạn bệnh được điều trị.

% bệnh nhân lao có kết quả xét nghiệm HIV ghi trong sổ theo dõi lao % ước tính số ca đồng nhiễm HIV dương tính và lao được điều trị lao và HIV % cơ sở điều trị ARV có hỗ trợ dinh dưỡng

Chăm sóc tại cộng đồng và tại nhà: Các cá nhân, gia đình, cụm dân cư, cộng đồng khó khăn được hỗ trợ và chăm sóc thông qua chăm sóc tại nhà, phục hồi chức năng và các dịch vụ khác. Liệu pháp y học cổ truyền và các liệu pháp khác: Thày thuốc y học cổ truyền và các đối tượng thày thuốc khác hành nghề theo các cơ chế cung ứng dịch vụ đã thống nhất, bổ sung cho dịch vụ của cơ sở y tế.

Kế hoạch GS&ĐG

% hộ khó khăn được hỗ trợ chăm sóc tại nhà ít nhất một lần mỗi tuần trong 6 tháng qua % hộ gia đình có trẻ em là chủ hộ được chăm sóc tại nhà ít nhất một lần mỗi tuần trong 6 tháng qua

% người hành nghề có đăng ký được tập huấn cung cấp dịch vụ HIV

173

Chương 4

Phân phát bao cao su: Có đủ bao cao su cho mọi người có nhu cầu.

% phụ nữ có thai và bạn tình được xét nghiệm HIV và biết kết quả

Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa

CHƯƠNG TRÌNH GIẢM NHẸ TÁC ĐỘNG CỦA HIV

CHỈ SỐ CỦA CHƯƠNG TRÌNH GIẢM NHẸ TÁC ĐỘNG HIV

Chương 4

Hệ thống truyền thông điều phối dịch vụ giảm nhẹ tác động: Các cộng đồng xác định được ai là người cần dịch vụ giảm nhẹ tác động của HIV, ra quyết định về việc ai được hưởng loại dịch vụ giảm nhẹ tác động HIV, thời điểm nào, sau đó lên kế hoạch, điều phối và triển khai dịch vụ giảm nhẹ tác động HIV. Cơ sở dịch vụ hợp tác với các tổ chức cộng đồng trong điều phối, triển khai dịch vụ giảm nhẹ tác động HIV.

Cung ứng dịch vụ giảm nhẹ tác động theo yêu cầu và lồng ghép: Các cá nhân và gia đình có khó khăn được tiếp cận dịch vụ có nhu cầu và cải thiện được cuộc sống.

% trung tâm chăm sóc có sổ theo dõi được cập nhật ít nhất một lần trong 3 tháng qua, về số cụm dân cư khó khăn và các dịch vụ giảm nhẹ tác động đã thực hiện.

% cơ sở dịch vụ có báo cáo và gặp trực tiếp trung tâm chăm sóc trao đổi về dịch vụ giảm nhẹ tác động HIV đã cung cấp.

% số cụm dân cư khó khăn có nhu cầu dịch vụ giảm nhẹ tác động được các cơ sở tiếp cận % người khó khăn cần DVGNTĐ được các cơ sở GNTĐ tiếp cận (phân biệt theo loại dịch vụ và giới tính)

Tăng cường huy động nguồn vốn xã hội: Các cộng đồng xác định được và cùng chung trách nhiệm chăm sóc các nhóm dân cư, đối tượng trưởng thành, trẻ em khó khăn.

% cụm dân cư khó khăn cảm thấy có thể trông cậy vào gia đình, bạn bè, hàng xóm khi cần

QUẢN LÝ PHÒNG CHỐNG HIV

CHỈ SỐ VỀ QUẢN LÝ PHÒNG CHỐNG HIV

Điều phối và hợp tác: các bên liên quan biết vai trò của mình trong phòng chống HIV và hợp tác cùng nhau trong thực hiện vai trò này.

Phát triển nguồn nhân lực: Có nguồn nhân lực đầy đủ và có năng lực cho từng năm ở tất cả các ngành để triển khai mọi lĩnh vực trong công tác phòng chống HIV. Lập kế hoạch chung hàng năm: các bên liên quan trong cùng ngành lập chung kế hoạch can thiệp phòng chống HIV hàng năm, trên nguyên tắc quản lý dựa trên kết quả, giới và nhân quyền.

174

% kế hoạch hoạt động của đối tác phát triển thể hiện các kết quả của Kế hoạch Chiến lược HIV Quốc gia và các can thiệp HIV dự định hỗ trợ % bên liên quan hài lòng về việc NAC, các ngành, lĩnh vực và khu vực đã thực hiện vai trò điều phối của mình theo đúng Kế hoạch Chiến lược HIV Quốc gia % vị trí công tác cần có để triển khai phòng chống HIV hiệu quả còn trống % cán bộ các vị trí công tác đủ năng lực thực hiện mọi nhiệm vụ liên quan đến HIV theo mô tả công việc

% bên liên quan (vùng, ngành, lĩnh vực, Ủy ban AIDS quốc gia, đơn vị triển khai) đã nộp kế hoạch phòng chống HIV hàng năm theo mẫu kế hoạch quốc gia

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả cần đạt

Chỉ số cho biết đã đạt được kết quả hay chưa

QUẢN LÝ PHÒNG CHỐNG HIV

CHỈ SỐ VỀ QUẢN LÝ PHÒNG CHỐNG HIV % nghiên cứu về HIV trong chương trình nghiên cứu HIV quốc gia được thực hiện và được phổ biến kết quả.

TD&ĐG và nghiên cứu HIV: Thông tin chính xác, toàn diện về dịch HIV và các biện pháp phòng chống có sẵn khi cần để tăng cường quyết định về phòng chống HIV

% sản phẩm thông tin theo kế hoạch (báo cáo phòng chống HIV hàng quý và hàng năm) được phổ biến kịp thời trong 12 tháng qua

Chi tiêu cho AIDS trong và ngoài nước theo loại và nguồn tài trợ Quản lý nguồn lực: có nguồn nhân lực, kỹ thuật và tài chính đầy đủ, phù hợp kịp thời để triển khai và quản lý hoạt động phòng chống HIV.

% ngân sách cần có trong Kế hoạch Hành động AIDS Quốc gia được cung cấp kịp thời

Bảo đảm, bảo vệ các quyền pháp lý, đạo đức và xã hội: Luật pháp, quy định hỗ trợ người sống chung với HIV và người bị ảnh hưởng bởi HIV

Điểm Chỉ số Chính sách Tổng hợp Quốc gia

Kế hoạch GS&ĐG

% đơn vị triển khai, Ủy ban AIDS quốc gia, các vùng, ngành và lĩnh vực chậm được nhận ngân sách theo kế hoạch hoạt động phòng chống HIV.

175

Chương 4

% các vùng, ngành, lĩnh vực đã điều chỉnh chiến lược HIV và kế hoạch hoạt động HIV dựa trên các thông tin về HIV từ các đánh giá, nghiên cứu chung và các nguồn khác

Phụ lục B: Bảng kiểm nội dung cần có trong Kế hoạch TD&ĐG của cơ quan

Chương 4

Nhìn chung, kế hoạch TD&ĐG gồm 3 phần. Phần 1 trình bày thông tin chung về kế hoạch, như nhiệm vụ, phương thức lập kế hoạch, mục tiêu chung của hệ thống GS&ĐG. Phần 2 trả lời câu hỏi: “Cần đo đạc những gì? bằng cách đề ra mục tiêu (lấy từ kế hoạch chương trình) cần đo đạc, cùng với các chỉ số mục tiêu. Phần 3 giúp xác định “cách thức đo đạc mục tiêu?” bằng cách xác định 12 Cấu phần của hệ thống TD&ĐG [mọi hệ thống GS&ĐG, bất kể hoạt động ở cấp nào, đều phải có toàn bộ (hoặc phần lớn) 12 Cấu phần này]. Nội dung đề xuất của 3 phần này sẽ được trình bày trong ví dụ dưới đây (coi như hướng dẫn chung nhưng sẽ cần điều chỉnh cho phù hợp với bối cảnh từng nước).

Nội dung phần 1: THÔNG TIN CHUNG, TẦM QUAN TRỌNG VÀ SỰ PHÙ HỢP CỦA KẾ HOẠCH GS&ĐG; THẨM QUYỀN TRONG HỆ THỐNG GS&ĐG (Đánh dấu tích nếu có)

Nội dung trong kế hoạch GS&ĐG Mục tiêu của kế hoạch GS&ĐG Cấu trúc kế hoạch GS&ĐG Tham chiếu luật, chính sách, chiến lược phù hợp trong đó nêu nhiệm vụ và quyền hạn TD&ĐG của chính phủ và các tổ chức khác, như Luật Thống kê Quốc gia có thể quy định Tổng cục Thống kê quốc gia chịu trách nhiệm thu thập số liệu trong nước, các chính sách quốc gia/đơn vị khác, chiến lược giảm nghèo v.v Công nhận sự tồn tại và nêu mối liên h với các hệ thống TD&ĐG khác Định hướng và kết quả dài hạn của hệ thống GS&ĐG

Nội dung phần 2: CẦN ĐO ĐẠC NHỮNG GÌ BẰNG HỆ THỐNG GS&ĐG? (Đánh dấu tích nếu có)

Nội dung trong kế hoạch GS&ĐG Khung Kết quả hay Khung Lôgích (xem Phụ lục A), liên hệ với các mục tiêu hay kết quả cụ thể trong kế hoạch chiến lược/chương trình, hay chiến lược của tổ chức Định nghĩa và quy trình chỉ số chi tiết (hay ít nhất là tham chiếu đến tài liệu có các nội dung này) Bảng ma trận nguồn dữ liệu (xem Phụ lục E)

176

Triển khai các hệ thống Theo dõi và Đánh giá

Nội dung trong kế hoạch GS&ĐG

1. Cơ cấu tổ chức của hệ thống GS&ĐG

(Đánh dấu tích nếu có)

Cơ cấu tổ chức chung của cơ quan trong đó có vị trí của hệ thống GS&ĐG Cơ cấu tổ chức chi tiết của đơn vị TD&ĐG (nếu có đơn vị TD&ĐG riêng) Mô tả công việc, định hướng nghề nghiệp GS&ĐG, đánh giá kết quả công tác của các vị trí GS&ĐG Đối tượng nâng cao năng lực GS&ĐG Kiến thức, kỹ năng, năng lực nhân lực các vị trí TD&ĐG hay hay quá trình phát triển nguồn nhân lực này

Chương 4

2. Năng lực nhân sự trong hệ thống GS&ĐG

Các cơ chế nâng cao năng lực điển hình Quy trình (và thời điểm) đánh giá nhu cầu nâng cao năng lực nhân sự trong GS&ĐG Quy trình xây dựng và cập nhật danh mục các bên liên quan trong GS&ĐG

3. Hợp tác trong GS&ĐG

Nhiệm vụ và mục đích của NCTKT GS&ĐG Quy trình và tiêu chí lựa chọn thành viên NCTKT GS&ĐG Các cơ chế hợp tác và kênh liên lạc thường quy khác

4. Kế hoạch GS&ĐG

Kế hoạch TD&ĐG sẽ được rà soát như thế nào? Mô tả quy trình xây dựng/rà soát hàng năm kế hoạch thực hiện TD&ĐG kèm chi phí

5. Kê hoạch thực hiện TD&ĐG kèm chi phí

Kế hoạch thực hiện TD&ĐG có liên hệ thế nào với chu kỳ ngân sách của chính phủ Định nghĩa nguồn lực hiện có và các vấn đề về nguồn lực Kế hoạch thực hiện TD&ĐG kèm chi phí, đa ngành, nhiều năm, nhiều cấp

6. Tuyên truyền, vận động và văn hóa trong GS&ĐG

Những đối tượng chính cần liên lạc Thông điệp chính cần truyền đạt đến các đối tượng chính trên Các chiến lược tuyên truyền, vận động tiêu biểu Công cụ thu thập số liệu chuẩn

7. Giám sát thường quy

Kế hoạch GS&ĐG

Mô tả 6 quá trình quản lý số liệu giám sát thường quy Mô tả mối liên hệ giữa lập kế hoạch và giám sát chương trình thường quy 177

Nội dung trong kế hoạch GS&ĐG

8. Điều tra và giám sát

(Đánh dấu tích nếu có)

Loại điều tra cần thực hiện để đáp ứng các yêu cầu về chỉ số, kể cả các quy trình cần áp dụng (danh sách các điều tra) Ai sẽ quản lý từng cuộc điều tra Dữ liệu luân chuyển như thế nào giữa các đối tác – có thể dùng sơ đồ quy trình để minh họa

Chương 4

9. Những Cơ sở dữ liệu dùng trong hệ thống GS&ĐG

Khẳng định nhu cầu thông tin về hệ thống GS&ĐG Liệt kê các mối liên hệ với các hệ dữ liệu hiện có Xây dựng cơ sở dữ liệu và các yêu cầu bảo trì

Giám sát hỗ trợ TD&ĐG và các quá trình kiểm tra dữ liệu (sử dụng cùng sơ đồ luân chuyển dữ liệu như dữ 10. Giám sát và kiểm tra liệu thường quy) số liệu Yêu cầu xây dựng hướng dẫn giám sát và kiểm tra dữ liệu trong TD&ĐG Liệt kê các đánh giá, nghiên cứu of theo từng nước đã hoàn thành và đang triển khai hay quá trình xây dựng Quy trình xây dựng chiến lược nghiên cứu 11. Đánh giá và nghiên cứu

Quy trình xây dựng lịch trình nghiên cứu hàng năm Liên hệ với các cơ sở nghiên cứu hiện có Quy trình đánh giá đạo đức, tham chiếu đến các hướng dẫn đánh giá và tiêu chuẩn nghiên cứu Chiến lược phổ biến kết quả nghiên cứu

12. Sử dụng thông tin để cải thiện kết quả

178

Ma trận sản phẩm thông tin (xem Phụ lục F) Mẫu sản phẩm thông tin kèm theo kế hoạch dạng bảng dữ liệu Ma trận phổ biến kết quả (xem Phụ lục G)

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục C: Lựa chọn Chỉ số có Chất lượng tốt Quy trình lựa chọn chỉ số Phỏng theo: McCoy, KL., Ngari, PN., và Krumpe, EE. 2005. Building monitoring, evaluation and reporting systems For HIV/AIDS programs. PACT: Washington DC, tr. 41 và 42. Bước 1: Làm rõ kết quả; xác định nội dung cần đo đạc Bước 2: Lên danh sách các chỉ số có thể chọn dựa trên kết quả thông qua thảo luận chung và nghiên cứu Chương 4

Bước 3: Đánh giá từng chỉ số Bước 4: Lựa chọn những chỉ số tối ưu Bước 5: Lập quy trình chỉ số Bước 6: Thu thập số liệu ban đầu Bước 7: Hoàn thiện các chỉ số, quy trình và hoàn tất lựa chọn

10 tiêu chí đánh giá chỉ số Phỏng theo: McCoy, KL., Ngari, PN., và Krumpe, EE. 2005. Building monitoring, evaluation and reporting systems for HIV/AIDS programs. PACT: Washington DC, tr. 41 và 42. Tiêu chí lựa chọn chỉ số 1.

Đo lường được: Có thể lượng hóa, đo đạc được bằng một thước đo nhất định. Các chỉ số định lượng có dạng số. Các chỉ số định tính là các quan sát mô tả. Các chỉ số định lượng tuy không nhất thiết có tính khác quan cao hơn nhưng tính chính xác từ các con số của các chỉ số này sẽ có lợi hơn khi cần nhất trí về cách diễn giải dữ liệu kết quả, do đó thường được ưa thích hơn. Tuy nhiên, ngay cả khi sử dụng các chỉ số định lượng hiệu quả thì các chỉ số định tính vẫn có thể có vai trò bổ sung nhờ cung cấp những thông tin đa dạng giúp đưa các kết quả chương trình vào cuộc sống.

Thực tế: Có thể thu thập dữ liệu kịp thời và với chi phí hợp lý. Các nhà quản lý đòi hỏi thu thập dữ liệu thường xuyên để biết được tiến độ và đưa ra các quyết định. Các tổ chức sẵn sàng chi trả hợp lý chứ không phải với giá quá cao các thông tin hữu ích. Quy tắc chung là lập kế hoạch phân bổ 3-10% tổng ngân sách chương trình cho giám sát, đánh giá.

Kế hoạch GS&ĐG

Ví dụ tốt và không tốt KHÔNG! Cảm nhận của người dân về các cuộc bầu cử CÓ! Tỉ lệ người dân đi bầu

KHÔNG! Số lượng dân cư mục tiêu hiểu rõ quyền bầu cử (tổng điều tra) CÓ! % dân cư mục tiêu hiểu được quyền bầu cử (mẫu đại diện, thông qua bầu phiếu)

179

Ví dụ tốt và không tốt

Chương 4

Tiêu chí lựa chọn chỉ số

Tin cậy: Có thể đo đạc số liệu lặp đi lặp lại một cách chính xác, do nhiều người thực hiện. Tuy những số liệu nhà quản lý chương trình cần để ra các quyết định có độ tự tin hợp lý về chương trình không cần phải tuân thủ những tiêu chuẩn ngặt nghèo như của các khoa học gia nhưng phải đo lường liên tục mọi chỉ số với độ chính xác tương đối và do nhiều người thực hiện.

KHÔNG! Số người nhận được dịch vụ chăm sóc, hỗ trợ có chất lượng thông qua chương trình hỗ trợ nơi làm việc CÓ! Số người được xét nghiệm HIV tại nơi làm việc trong 12 tháng qua

Phù hợp: Gắn với ít nhất một phần của chương trình đang được giám sát. Kết quả phần nào được tạo ra từ hoạt động chương trình. Quan hệ này có được khi những mối liên hệ giữa đầu ra và kết quả chương trình được đo lường đã rõ ràng và đáng kể.

KHÔNG! Sản lượng sản xuất nông nghiệp trong nước CÓ! Sản lượng sản xuất nông nghiệp huyện nơi triển khai dự án CHÍ SỐ MẪU: MỨC NĂNG LỰC CƠ SỞ

Có ích cho ban lãnh đạo: Thông tin có được thông qua đo đạc có vai trò quan trọng để ra quyết định. Tránh thu thập và báo cáo các thông tin không được sử dụng để giúp ban quản lý chương trình ra quyết định.

KHÔNG! Số lượng máy vi tính; số buổi họp giao ban CÓ! Số lượng nguồn lực huy động được theo loại CÓ! Số cơ chế tổ chức vận hành đầy đủ theo loại

180

Trực tiếp: Chỉ số theo dõi chặt chẽ kết quả cần đo đạc. Chỉ số phải đo đạc càng sát càng tốt kết quả cần đo đạc; chẳng hạn, mức sử dụng bao cao su là chỉ số trực tiếp về kết quả của hoạt động tăng cường sử dụng bao cao su. Nhưng số lượng cơ sở dịch vụ được tập huấn không phải là chỉ số trực tiếp về cải thiện cung ứng dịch vụ. Vì không phải cứ có người được tập huấn là sẽ cung ứng dịch vụ tốt hơn. Nếu không thể sử dụng chỉ số trực tiếp thì có thể sử dụng chỉ số thay thế; chẳng hạn, đối khi ta không có được dữ liệu đáng tin cậy về các chỉ số trực tiếp ở tần suất hữu ích. Chỉ số thay thế là những chỉ số gián tiếp có liên hệ với kết quả theo một hay nhiều giả định; chẳng hạn, ở nông thôn thường khó có thể đo đạc trực tiếp mức thu nhập. Các chỉ số như tỉ lệ hộ gia đình ở thôn bản có mái che (hay đài phát thanh, xe đạp) có thể có ích tuy có hơi gián tiếp. Giả định ở đây là khi người dân thôn bản có thu nhập cao hơn thì họ sẽ có xu hướng mua sắm một số mặt hàng. Lựa chọn các chỉ số thay thế có bằng chứng đáng tin về mối liên hệ với kết quả (ví dụ: số liệu nghiên cứu).

KẾT QUẢ: ĐA DẠNG HÓA SẢN XUẤT NÔNG NGHIỆP KHÔNG! Số loại giống nông nghiệp được phân phối CÓ! Sản lượng theo loại nông sản

Triển khai các hệ thống Theo dõi và Đánh giá

Tiêu chí lựa chọn chỉ số

10.

Phản ứng: Những gì chỉ số đo đạc có thể thay đổi theo hoạt động của chương trình. Các chỉ số cần phản ánh thay đổi do kết quả hoạt động chương trình và do đó, các chỉ số phản ánh kết quả ứng với hoạt động của chương trình.

Mục tiêu: Chỉ số này có tính chính xác theo hoạt động và một chiều. Chỉ số mục tiêu không có sự thiếu rõ ràng về đối tượng đo đạc. Có nghĩa là, có sự nhất trí chung về cách diễn giải kết quả. Một chiều có nghĩa là chỉ số này chỉ đo lường một hiện tượng một lúc. Tránh kết hợp quá nhiều nội dung trong một chỉ số.

Có khả năng tách biệt: Có thể chia nhỏ số liệu theo giới, độ tuổi, vị trí hay tiêu chí khác nếu được. Tách biệt dữ liệu theo giới, độ tuổi, vị trí hay tiêu chí khác thường có vai trò quan trọng trong chương trình hay khi báo cáo. Kinh nghiệm cho thấy các hoạt động phát triển thường đòi hỏi phải có nhiều phương thức tiếp cận đối với nhiều đối tượng khác nhau và có ảnh hưởng khác nhau đến những đối tượng này. Dữ liệu tách biệt cho phép biết được một đối tượng cụ thể có tham gia và hưởng lợi từ các hoạt động định hướng riêng cho họ hay không.

Kế hoạch GS&ĐG

KHÔNG! Tổng Sản phẩm Quốc nội CÓ! Lượng lúa gạo tiêu thụ của hộ gia đình một năm KHÔNG! % dân cư thất nghiệp CÓ! % học sinh cấp 2 tốt nghiệp và được cấp bằng đạt 60% trở lên

Chương 4

Nhạy cảm: Chỉ số này là dấu hiệu cảnh báo sớm về thay đổi trong tình hình. Chỉ số nhạy cảm sẽ thay đổi nhiều và cùng hướng với thay đổi trong điều kiện hay nội dung đo lường, do vậy có thể sử dụng các chỉ số nhạy cảm thay thế làm chỉ số kết quả (hay cảnh báo) sắp tới.

Ví dụ tốt và không tốt

KHÔNG! Số lượng hội phụ huynh được mở rộng và thành công CÓ! Số lượng hội phụ huynh có số lượng thành viên hàng năm tăng ít nhất 5%

CÓ! Giới, độ tuổi, vị trí, dân tộc

181

Phụ lục D: Sơ đồ cây giúp ra quyết định về việc có cần tiến hành đánh giá hệ thống TD&ĐG hay không BẮT ĐẦU

Trong nước có hệ thống TD&ĐG chưa?

KHÔNG

Chuyển đến Bước 8 trong Hướng dẫn C4-1

CÓ

Chương 4

Hệ thống TD&ĐG có được đánh giá trong 12 tháng qua chưa?

KHÔNG

CÓ Có báo cáo văn bản về kết quả đánh giá hệ thống TD&ĐG không?

KHÔNG

Thực hiện đánh giá hệ thống TD&ĐG – Chuyển đến Bước 3 Hướng dẫn C4-1

CÓ Trong báo cáo có nói rõ đánh giá cấu phần nào trong số 12 cấu phần không? CÓ

Toàn bộ 12 cấu phần đã được đánh giá chưa – kể cả khi các lĩnh vực không được gọi là 12 thành phần”?

KHÔNG

Xác định cấu phần nào trong số 12 TP CHƯA được đánh giá

Tìm hiểu từ các đối tác khác và chính phủ xem có kế hoạch đánh giá TD&ĐG hay không

CÓ

Có kế hoạch TD&ĐG nào trong vòng 6 tháng tới tập trung vào những cấu phần chưa được đánh giá không?

CÓ

KHÔNG Viêt báo cáo xác định lĩnh vực nào trong hệ thống TD&ĐG cần được hỗ trợ - Chuyển đến Bước 4 Hướng dẫn C4-1

182

Làm việc với các tổ chức lên kế hoạch đánh giá, thay vì lặp lại một đánh giá khác. Chuyển đến Bước 3 Hướng dẫn C4-1

Đánh giá những cấu phần chưa được đánh giá bằng công cụ đánh giá thích hợp – Chuyển đến Bước 3 Hướng dẫn C4-1

Triển khai các hệ thống Theo dõi và Đánh giá

Kế hoạch GS&ĐG

CSDL nghiên cứu HIV/ AIDS quốc gia

Điều tra nơi làm việc

Không có – cung cấp trực tuyến

4 tuần sau tuần cuối quý (lần đầu vào T12/’03)

T1 (lần đầu vào T1/2004)

Ngày ban hành

Ủy ban AIDS quốc gia

Cơ sở dịch vụ HIV

Thu thập liên tục, báo cáo hàng quý

Cập nhật định kỳ khi thông tin được nộp về

Cơ quan quản lý tài chính

Trách nhiệm của tổ chức

Thu thập liên tục, báo cáo hàng tháng

Tần suất thu thập dữ liệu

Xác định một phần trong kế hoạch này Sẽ thỏa thuận Ngân sách xây dựng trong kế hoạch này

Phương pháp Ngân sách

Phải có trong ngân sách của từng đơn vị triển khai

Ngân sách

Quy cách dữ liệu

Thỏa thuận trong H Đ với từng đơn vị triển khai

Phương pháp

Đã có – trong hợp đồng với Cơ quan Quản lý Tài chính

Ngân sách

xác định trong kế hoạch này

Thỏa thuận trong HĐ

Phương pháp

Quy cách dữ liệu

Xác định trong hợp đồng

Thời kỳ thu thập dữ liệu điều tra

T1 (lần đầu vào T1/2005)

2 năm một

Bộ Lao động, Dạy nghề

Mức độ sẵn sàng

Quy cách dữ liệu

Xác định trong hướng dẫn toàn cầu Cần thống nhất với Bộ LĐ, DN Sẽ chuẩn bị

Quy cách dữ liệu Phương pháp Ngân sách

CÁC NGUỒN DỮ LIỆU KHÔNG THƯỜNG XUYÊN (ĐIỀU TRA)

Tập hợp dữ liệu nhập vào CSDL

3 tháng (quý Báo cáo Phạm vi Dịch trước) vụ Hàng quý (Xem “Các nguồn dữ liệu chính: Báo cáo Phạm vi Dịch vụ Hàng quý”)

T1 – T12

Báo cáo hệ thống quản lý tài chính

CÁC NGUỒN DỮ LIỆU THƯỜNG QUY

Thời kỳ của nguồn dữ liệu

Chương 4

Nguồn dữ liệu

Phụ lục E: Ví dụ về Ma trận Nguồn dữ liệu

Ví dụ từ Kế hoạch Giám sát, Đánh giá HIV Quốc gia

183

184

Triển khai các hệ thống Theo dõi và Đánh giá

Đánh giá mức chấp nhận hướng dẫn xét nghiệm mới của bệnh nhân

Nghiên cứu bệnh viện (nghiên cứu khoa học cơ bản) để xác định cách điều trị tối ưu

Nghiên cứu hoạt động để xác định vấn đề trong triển khai chương trình phòng tránh HIV

Điều tra giám sát hành vi

Kết hợp với giám sát cơ sở y tế (T7)

Điều tra cơ sở y tế

T1 (lần đầu vào năm 2004)

T11 (lần đầu vào T11/2003)

Ngày ban hành

2 năm một

Hàng năm

Tần suất thu thập dữ liệu

Bộ Y tế, Dân số - Đơn vị Dịch tế

Bộ Y tế, Dân số - Đơn vị Kế hoạch

Trách nhiệm của tổ chức

Thỏa thuận: thông lệ quốc tế Sẽ chuẩn bị

Phương pháp Ngân sách

Sẽ chuẩn bị

Ngân sách

Đã xác định trong kế hoạch này

Sẽ thỏa thuận với Bộ Y tế, Dân số

Phương pháp

Quy cách dữ liệu

Đã xác định trong kế hoạch này

Quy cách dữ liệu

Mức độ sẵn sàng

Kể từ khi áp dụng hướng dẫn mới

Thời kỳ thu thập dữ liệu điều tra

2 năm qua

T6/2009

T1 (lần đầu vào T1/2005)

T6/2010

Một lần

2 năm một

Một lần

Bộ Y tế, Dân số - Đơn vị Nghiên cứu

Bộ Lao động, Dạy nghề

Bộ Y tế, Dân số - Đơn vị Nghiên cứu

Sẽ xác định quy trình đánh giá Phỏng vấn kết thúc Sẽ xác định quy trình đánh giá

Phương pháp Ngân sách

Sẽ chuẩn bị

Ngân sách Quy cách dữ liệu

Cần thống nhất với Bộ LĐ, DN

Phương pháp

Sẽ xác định quy trình nghiên cứu

Ngân sách

Xác định trong hướng dẫn toàn cầu

Sẽ xác định quy trình nghiên cứu

Phương pháp

Quy cách dữ liệu

Sẽ xác định quy trình nghiên cứu

Quy cách dữ liệu

CÁC NGUỒN DỰ LIỆU ĐƠN LẺ (NGHIÊN CỨU VÀ ĐÁNH GIÁ)

Thời kỳ thu thập dữ liệu điều tra

Thời kỳ của nguồn dữ liệu

Nguồn dữ liệu

Chương 4

Phụ lục F: Ví dụ về Ma trận Sản phẩm thông tin Ma trận Sản phẩm thông tin từ Hệ thống TD&ĐG của Bộ Du lịch Tên sản phẩm thông tin Bản tin thống kê du lịch hàng quý

Bản tin du lịch hàng năm

Tần suất 3 tháng một

1 lần một năm

Phân phối tới

Ngày ban hành

Thống kê về lượng du khách và số điển hình trong ngành

Mọi ấn phẩm du lịch có đăng ký

Ngày 15 hàng tháng sau tháng cuối quý

Đóng góp của ngành du lịch vào Tổng sản phẩm quốc nội

Mọi ấn phẩm du lịch có đăng ký

Địa điểm du lịch nổi tiếng nhất Kết quả điều tra mức độ hài lòng của du khách

Mọi văn phòng du lịch khu vực

3 tháng sau khi bắt đầu năm tài chính chính thức

Tất cả các ban ngành chính phủ khác Tất cả các hội đồng địa phương Mọi cơ sở du lịch tư nhân

Đánh giá thực trạng ngành du lịch 2 năm một lần

2 năm một

Tiến độ thực hiện mục tiêu du lịch quóc gia của ngành du lịch Kết quả điều tra thương hiệu toàn cầu của quốc gia trên thế giới Đóng góp của ngành du lịch vào nền kinh tế quốc gia trong 2 năm qua Kế hoạch cho tương lai

Kế hoạch GS&ĐG

Mọi ấn phẩm du lịch có đăng ký Mọi văn phòng du lịch khu vực

2 tháng sau khi kết thúc năm tài chính chính thức

Tất cả các ban ngành chính phủ khác Tất cả các hội đồng địa phương Mọi cơ sở du lịch tư nhân

185

Chương 4

Nội dung

Chương 4

Thông tin cần phổ biến cho ai

Sản phẩm thông tin và các nguồn dữ liệu cần phổ biến Bên liên quan

Tóm tắt tỉ lệ đi học hàng tháng

Nghiên cứu về đạo đức nhà giáo

Báo cáo giáo dục hàng năm

Bộ trưởng

Tóm tắt nội dung chính bằng e-mail

Bản in, trực tiếp trình bày

Quan chức chính phủ địa phương

Báo cáo đầy đủ bằng e-mail

Bản in, gửi bưu điện

Các tổ chức cộng đồng

Báo cáo đầy đủ bằng e-mail

Trình bày tại hội thảo

Tóm tắt bằng thổ ngữ

Các bộ

Báo cáo đầy đủ bằng e-mail

Bản in

Tệp báo cáo đầy đủ gửi bằng email

Các đối tác giáo dục tư nhân

Báo cáo đầy đủ đăng tải trên trang web, liên kết e-mail

Hội thảo nghiên cứu hàng năm

Báo cáo đầy đủ đăng tải trên trang web, liên kết e-mail

Cách thức phổ biến thông tin (kênh phổ biến)

186

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục H: Ví dụ về Kế hoạch TD&ĐG (Mục lục) MỤC LỤC 1 I)

Đặt vấn đề

II)

Định hướng và Mục tiêu

III) Chỉ số theo Mục tiêu chiến lược IV)

Thu thập và Báo cáo dữ liệu

Cập nhật Khung GS&ĐG

VI) Bảng Hoạt động và Báo cáo Chương 4

Phụ lục A: Khung Lôgích các Thay đổi Phụ lục B: Công cụ Báo cáo chuẩn B1: Báo cáo hoạt động B2: Tóm tắt vấn đề B3: Biên bản họp B4: Bảng kiểm quan sát phiên họp B5: Thảo luận nhóm Phụ lục C: Công cụ Thu thập thông tin chuẩn C1: Mẫu theo dõi truyền thông C2: Mẫu tham gia hợp tác C3: Mẫu theo dõi vận động công chúng C4: Điều tra đối tượng cung cấp thông tin chính

MỤC LỤC 2 PHẦN 1:

GIỚI THIỆU HỆ THỐNG TD&ĐG NGÀNH GIAO THÔNG

Đặt vấn đề

Hệ thống TD&ĐG ngành giao thông

Mô tả tóm tắt Kế hoạch chiến lược ngành giao thông giai đoạn 2006-2011

PHẦN 2: 4.

HỆ THỐNG TD&ĐG ĐO ĐẠC NHỮNG GÌ

Khung kết quả quốc gia 4.1. Các chỉ số quốc gia 4.2. Mối liên hệ giữa các hệ thống TD&ĐG cấp quốc gia và chương trình

Kế hoạch GS&ĐG

187

PHẦN 3:

HỆ THỐNG TD&ĐG QUỐC GIA SẼ HOẠT ĐỘNG RA SAO ĐỂ ĐÁNH GIÁ ĐƯỢC KẾ HOẠCH CHIẾN LƯỢC NGÀNH GIAO THÔNG

Giới thiệu 12 Cấu phần của Hệ thống GS&ĐG

Mô tả các Nguồn dữ liệu thường quy của Chỉ số

Mô tả các Điều tra và Giám sát được sử dụng làm Nguồn dữ liệu thường xuyên cho Chỉ số

Quản lý Dữ liệu Hệ thống TD&ĐG ngành giao thông 8.1. Hệ thống CDSL

Chương 4

8.2. Kho dữ liệu và thông tin TD&ĐG điện tử 9.

Phổ biến, sử dụng dữ liệu của hệ thống TD&ĐG ngành giao thông 9.1. Các chiến lược phổ biến dữ liệu 9.2. Sản xuất sản phẩm thông tin 9.2.1.

Báo cáo lưu lượng giao thông cấp huyện hàng quý

9.2.2.

Báo cáo tiến độ ngành giao thông hàng năm

9.2.3.

Cập nhật thông tin thường xuyên

9.2.4.

Nhu cầu thông tin đột xuất

10. Nâng cao năng lực cán bộ trong Giám sát, Đánh giá liên quan đến ngành giao thông 11. Kiểm tra dữ liệu và Giám sát hỗ trợ 12. Đánh giá & Nghiên cứu 13. Điều phối và Vai trò của các bên trong Hệ thống TD&ĐG ngành giao thông 14. Tuyên truyền, vận động Hệ thống TD&ĐG ngành giao thông 15.

Khảo sát kế hoạch TD&ĐG ngành giao thông

MỤC LỤC 3 1.

188

Giới thiệu hệ thống GS&ĐG •

Vì sao cần hệ thống GS&ĐG?

•

Hệ thống TD&ĐG cần đạt được kết quả gì?

•

Các hệ thống TD&ĐG khác phối hợp với hệ thống này như thế nào?

•

Hệ thống TD&ĐG giúp thực hiện vai trò của ngành giáo dục như thế nào?

Triển khai các hệ thống Theo dõi và Đánh giá

Chỉ số •

Nguồn dữ liệu của hệ thống GS&ĐG •

Dữ liệu thường quy – dữ liệu thường quy được quản lý như thế nào? Làm thế nào để bảo đảm chất lượng dữ liệu?

•

Các điều tra cần thực hiện

•

Các đánh giá, nghiên cứu khác cần thực hiện

Sản phẩm thông tin •

Các sản phẩm thông tin hệ thống TD&ĐG tạo ra là gì?

•

Các sản phẩm này được tổ chức ra sao?

•

Ai phê duyệt các sản phẩm thông tin? Thực hiện phân tích như thế nào?

Chương 4

Chỉ số nào sẽ được sử dụng để đo đạc các mục tiêu chung và mục tiêu cụ thể của ngành giáo dục?

Phổ biến tới các bên liên quan •

Nhu cầu thông tin của các bên liên quan là gì?

•

Thông tin sẽ được phổ biến cho các bên liên quan như thế nào?

Quản lý hệ thống GS&ĐG •

Nâng cao năng lực trong hệ thống GS&ĐG

•

Văn hóa tối ưu về TD&ĐG tổ chức cố gắng đạt đến

•

Các tổ chức sẽ phối hợp ra sao trong GS&ĐG?

•

Thông tin sẽ được thu thập dưới dạng điện tử như thế nào?

•

Việc xây dựng kế hoạch TD&ĐG được thực hiện như thế nào trong quy trình ngân sách hàng năm của chính phủ?

•

Khi nào hệ thống TD&ĐG và kế hoạch TD&ĐG sẽ được rà soát và công cụ đánh giá nào được sử dụng?

Kế hoạch GS&ĐG

189

Phụ lục I: Công cụ Đánh giá hệ thống GS&ĐG 1.

Công cụ chẩn đoán Hệ thống TD&ĐG của Mackay (2007) Các lĩnh vực trong hệ thống TD&ĐG cần chẩn đoán [trích Mackay (2007) tr 69, Khung 12.1] Sự hình thành của hệ thống TD&ĐG hiện tại—Vai trò của việc vận động trong công tác GS&ĐG; những sự kiện chính làm nên ưu tiên về thông tin TD&ĐG (chẳng hạn, bầu phiếu cho chính phủ có khuynh hướng cải cách, khủng hoảng tài chính)

Bộ, ngành chịu trách nhiệm quản lý đánh giá hệ thống TD&ĐG và kế hoạch— Vai trò, trách nhiệm của các bên liên quan chính trong hệ thống GS&ĐG, chẳng hạn như bộ tài chính, bộ kế hoạch, văn phòng chính phủ, các bộ chuyên ngành, thượng nghị viện hay hạ nghị viện; khả năng tồn tại một số hệ thống TD&ĐG không có sự phối hợp ở cấp quốc gia và cấp ngành; tầm quan trọng của các vấn đề về hệ thống TD&ĐG của liên bang/ tiểu bang/ địa phương

Môi trường tư nhân và việc tạo điều kiện hay gây khó khăn cho các nhà quản lý áp dụng các tiêu chuẩn cao và chịu trách nhiệm về kết quả—Khuyến khích các bên liên quan coi trọng GS&ĐG, tăng cường nhu cầu về thông tin GS&ĐG. Cải cách trong khu vực nhà nước có thể hưởng lợi từ việc chú trọng đánh giá hiệu quả hoạt động của nhà nước, như chiến lược giảm nghèo, hiệu quả ngân sách, nâng cao kỹ năng phân tích chính sách, tạo văn hóa hiệu quả trong khu vực nhà nước, tăng cung ứng dịch vụ như các tiêu chuẩn phục vụ khách hàng, phân cấp quản lý nhà nước, tăng cường tham gia của tổ chức xã hội hay chiến lược chống tham nhũng?

Chương 4

190

Triển khai các hệ thống Theo dõi và Đánh giá

Các lĩnh vực trong hệ thống TD&ĐG cần chẩn đoán [trích Mackay (2007) tr 69, Khung 12.1] 4.

Các l ĩnh vực chính trong quản lý nhà nước có sự hỗ trợ lớn từ hệ thống TD&ĐG—i) quyết định ngân sách, ii) lập kế hoạch quốc gia hay của ngành, iii) quản lý chương trình, iv) quan hệ trách nhiệm giải trình (đối với bộ tài chính, văn phòng chính phủ, nghị viện, các bộ ngành, tổ chức xã hội): • Vai trò thực tế của thông tin TD&ĐG ở từng giai đoạn trong quy trình ngân sách: như tư vấn và lập kế hoạch chính sách, quyết định ngân sách, đánh giá và báo cáo kết quả; khả năng tách biệt giữa hoạt động TD&ĐG của các bộ ngành và việc sử dụng thông tin trong quy trình ngân sách; sự hiện diện của các gián đoạn giữa quy trình ngân sách và kế hoạch quốc gia; cơ hội tăng cường vai trò của TD&ĐG trong ngân sách. Chương 4

• Mức độ sử dụng thông tin TD&ĐG do các cơ quan chính chủ trì (như bộ tài chính) của các đối tác khác, như các bộ ngành; trường hợp không được sử dụng, là những cản trở trong sử dụng; bằng chứng rõ ràng về mức độ sử dụng của nhiều bên liên quan (như khảo sát chẩn đoán hay điều tra); ví dụ về những đánh giá lớn có nhiều ảnh hưởng đối với chính phủ. 5.

Các loại công cụ TD&ĐG được chú trọng sử dụng trong hệ thống GS&ĐG: các chỉ số kết quả thường xuyên, rà soát, đánh giá nhanh, thanh tra hoạt động, đánh giá tác động sâu, nghiêm ngặt; quy mô, chi phí của từng loại hình GS&ĐG; cách xác định ưu tiên đánh giá – chú trọng vào các chương trình có vấn đề, các chương trình thí điểm, chương trình có chi phí hay mức độ phổ biến cao, hay lịch trình nghiên cứu hệ thống nhằm trả lời các câu hỏi về hiệu quả chương trình.

Ai có trách nhiệm thu thập thông tin về kết quả và thực hiện đánh giá (ví dụ: chính các bộ ngành, viện hay công ty tư vấn); các vấn đề về chất lượng hay độ tin cậy của số liệu hay chất lượng của đánh giá; ưu điểm, nhược điểm trong cung ứng dịch vụ TD&ĐG tại chỗ; những hạn chế năng lực chính và ưu tiên nâng cao năng lực của chính phủ.

Mức độ hỗ trợ của nhà tài trợ về TD&ĐG trong những năm gần đây; những dự án tài trợ hỗ trợ TD&ĐG ở cấp toàn chính phủ, ngành hay cơ sở—Hỗ trợ kỹ thuật, các hình thức nâng cao năng lực và tài trợ khác nhằm thực hiện các đánh giá lớn như đánh giá tác động nghiêm ngặt.

Kết luận: Ưu, nhược điểm chung của hệ thống GS&ĐG; tính bền vững, xét theo khả năng bị ảnh hưởng do có thay đổi trong chính phủ, hoặc mức độ phụ thuộc vào tài trợ hay các nguồn hỗ trợ khác; kế hoạch củng cố hệ thống TD&ĐG sau này.

Nguồn: Mackay, 2007

Kế hoạch GS&ĐG

191

Công cụ đánh giá hệ thống TD&ĐG theo cơ chế đánh giá “Ba nhất” của UNAIDS

Cơ quan chính thức điều phối và triển khai TD&ĐG toàn quốc

Có tồn tại cơ quan này không?

Chương 4

Nếu có, •

Cơ quan này nằm ở đâu (Bộ y tế chẳng hạn)?

•

Cơ quan này có thẩm quyền gì và căn cứ vào đâu? (theo luật định, quy định, chuyên môn khác?)

•

Cơ quan có được phân bổ ngân sách không?

•

Có bao nhiêu nhân viên?

•

Có sơ đồ tổ chức cho biết ai thực hiện công tác TD&ĐG không?

•

Có chiến lược chia sẻ thông tin không? Cơ quan điều phối có vai trò gì?

Nếu không có, •

Có kế hoạch thành lập cơ quan điều phối không?

•

Hiện nay tổ chức nào thực hiện GS&ĐG?

•

Có chia sẻ thông tin với các bên liên quan không?

Nhóm công tác TD&ĐG quốc gia thực hiện điều phối

Nhóm này có tồn tại không? Nếu có, •

Có Danh mục yêu cầu không?

•

Có phân bổ ngân sách không?

•

Có bao nhiêu nhân viên?

•

Ai tham gia (ví dụ: các bộ ngành, tổ chức tài trợ, các tổ chức LHQ, các viện, tổ chức xã hội)? Lấy danh sách tổ chức tham gia.

•

Các đơn vị tổ chức họp bao lâu một lần?

•

Những sản phẩm chính từ diễn đàn này là gì?

Nếu không có,

192

•

Có kế hoạch thành lập nhóm công tác điều phối với sự hiện diện của tất cả các bên liên quan chủ yếu không?

Hệ thống quản lý dữ liệu chung cấp quốc gia có các thông tin và cơ sở dữ liệu thích hợp

•

Hệ thống đặt ở đâu?

•

Ai nhập dữ liệu vào hệ thống?

•

Hệ thống có bao nhiêu CSDL khác nhau?

Triển khai các hệ thống Theo dõi và Đánh giá

CRIS (Hệ thống Thông tin Đáp ứng Quốc gia) đã được cài đặt chưa và có vai trò gì trong kế hoạch này?

•

Có kế hoạch triển khai CRIS không?

•

Có cách nào để đồng bộ hóa CRIS với các CSDL quốc gia khác không?

Báo cáo và sử dụng dữ liệu

•

Các cấp quyết sách có nhận được báo cáo thường quy không?

•

Có cơ chế báo cáo thường quy với các cấp quyết sách cấp cao không (ví dụ: thượng nghị viện)?

•

Lấy bản sau báo cáo gần đây có dữ liệu GS&ĐG

Kế hoạch hành động TD&ĐG đa ngành cấp quốc gia được các bên liên quan chính thông qua?

Chương 4

•

Có kế hoạch này không? Nếu có, •

Kế hoạch được thông qua khi nào?

•

Thời kỳ trong kế hoạch là gì?

•

Có bộ chỉ số chuẩn được tất cả các bên liên quan phê duyệt không? (Bên liên quan nào phê chuẩn kế hoạch này?)

•

Có phân hệ chỉ số nào lấy từ hướng dẫn toàn cầu về chỉ số không?

•

Có chiến lược thu thập dữ liệu không?

•

Có ngân sách quản lý và triển khai không?

•

Có chiến lược phổ biến, sử dụng dữ liệu không?

•

Có chiến lược đánh giá chất lượng và độ chính xác của dữ liệu không?

•

Có kế hoạch nâng cao năng lực TD&ĐG không?

Nếu có kế hoạch nâng cao năng lực GS&ĐG, •

Kế hoạch được thông qua khi nào? Ai thông qua?

•

Trong kế hoạch có số người được tập huấn không?

•

Kế hoạch có xác định các lĩnh vực kỹ thuật và quản lý cần tăng cường không?

•

Có CSDL/danh mục người được tập huấn trước đây?

•

Có chiến lược nâng cao năng lực TD&ĐG ở cấp địa phương không?

Nếu không có kế hoạch nâng cao năng lực GS&ĐG, •

Có đề xuất lập kế hoạch hay soạn thảo kế hoạch không?

Nếu không có, •

Có đề xuất lập kế hoạch hành động quốc gia không?

•

Có dự thảo kế hoạch nào đang được sử dụng không?

Kế hoạch GS&ĐG

193

Hệ thống quản trị dữ liệu

Chương 4

Trong hệ thống quản lý dữ liệu có các dữ liệu sau không?

194

•

Giám sát huyết thanh và hành vi

•

Phạm vi cung ứng dịch vụ thiết yếu

•

Đánh giá chất lượng dịch vụ

•

Theo dõi tài chính

•

Tác động của dịch bệnh, kể cả số liệu thống kê về đăng ký khai sinh

•

Đánh giá môi trường chính sách trong triển khai các chương trình HIV/AID

•

Danh mục các hoạt động nghiên cứu đánh giá hiện có và đề xuất đang triển khai trong nước

Đánh giá

•

Có đánh giá chung nào được thực hiện có sự tham gia của đại diện quốc gia, nhà tài trợ, LHQ, tổ chức xã hội không?

•

Có bao nhiêu đánh giá tài trợ cá nhân được thực hiện năm ngoái?

•

Trong số đó, có bao nhiêu hoạt động chung?

•

Có báo cáo hoạt động được chia sẻ với cơ quan phòng chống AIDS quốc gia không?

Triển khai các hệ thống Theo dõi và Đánh giá

6 5

Chương 5

Chương 5 Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Mục tiêu của Chương Chương này nhằm mục đích giúp bạn xây dựng, dự toán chi phí và xác định ưu tiên trong kế hoạch hoạt động M&E, và huy động các nguồn lực cho kế hoạch. Kế hoạch hoạt động M&E là một kế hoạch hành động bao gồm các hoạt động, trách nhiệm, khung thời gian, và chi phí để triển khai từng cấu phần trong số 12 cấu phần của hệ thống M&E.

Kiến thức và kỹ năng của Chương Đến cuối chương này, bạn sẽ có thể: a)

Hiểu biết về các phương pháp dự toán chi phí khác nhau

Xây dựng một kế hoạch hoạt động M&E

Dự toán chi phí cho một kế hoạch hoạt động M&E (sử dụng phương pháp dự toán ABC)

Sử dụng kế hoạch hoạt động M&E cho các mục đích quản lý

Triển khai các hệ thống M&E

195

Trước khi bắt đầu ....

Chương 5

Bạn hãy dành ra vài phút để đọc qua các câu hỏi dưới đây. Bạn có thể viết câu trả lời của mình ra giấy. Sau đó, khi tìm hiểu chương này, hãy so sánh các câu trả lời của bạn với quan điểm của các tác giả. •

Kế hoạch M&E có điểm gì khác với kế hoạch hoạt động M&E?

•

Trong kế hoạch hoạt động M&E cần có những nội dung gì?

•

Một kế hoạch cần chi tiết đến mức độ nào? Có cần đưa tất cả các nhiệm vụ riêng biệt của các nhân viên trong đơn vị vào kế hoạch hoạt động hay không, hay chỉ đưa vào kế hoạch những hoạt động thuộc trách nhiệm của đơn vị?

•

Kế hoạch hoạt động M&E cần bao quát khoảng thời gian như thế nào?

•

Các hoạt động cần được mô tả như thế nào, theo cách nhìn của ai, của cá nhân hay tổ chức?

•

Khi chỉnh sửa kế hoạch công việc, có cần xóa các hoạt động đã hoàn thành đi không?

•

Trong cột mô tả trách nhiệm, nên ghi tên ai, tất cả các cơ quan hay chỉ ghi tên cơ quan chủ trì?

•

Có thể sử dụng phần mềm cho quy trình lập kế hoạch này không, và sử dụng phần mềm nào là tốt nhất?

Những câu hỏi này cần chỉ ra cho bạn sự khác nhau giữa trọng tâm chung, bao quát của kế hoạch M&E với trọng tâm cụ thể và chi tiết của kế hoạch M&E. Chương này sẽ giúp bạn tìm hiểu cách xây dựng kế hoạch hoạt động M&E cho nhiều năm, nhiều ngành và nhiều cấp độ; cách lập dự toán chi phí cho kế hoạch công việc; và cách sử dụng kế hoạch này để quản lý hệ thống M&E.

196

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Cấu phần 5: Các kế hoạch hoạt động M&E có dự toán chi phí

1. Giới thiệu “Lập kế hoạch mà không hành động là thiếu hiệu quả, hành động mà không có kế hoạch là tai họa.“ Vô danh

Chương 5

Để triển khai và duy trì hoạt động của hệ thống M&E ở cấp quốc gia, cần phải điều phối các nỗ lực của tất cả các bên có lợi ích liên quan tham gia hệ thống M&E. Sự điều phối đó sẽ dễ dàng hơn, đặc biệt là khi có nhiều bên liên quan tham gia, nếu xây dựng được một tập hợp gồm tất cả các hoạt động M&E. Những hoạt động này cần bao gồm tất cả các cấu phần của hệ thống, và phân công các tổ chức riêng biệt nhận trách nhiệm chủ trì các hoạt động cụ thể. Kế hoạch hoạt động M&E cho nhiều năm, nhiều ngành, nhiều cấp độ và có dự toán chi phí sẽ là một công cụ rất hữu ích để xác định ưu tiên, lập kế hoạch và điều phối các hoạt động liên quan đến hệ thống M&E. Bố cục của Chương: Chương 5 bắt đầu với các thông tin khái quát và định nghĩa liên quan đến các kế hoạch hoạt động M&E cho nhiều năm, nhiều ngành, nhiều cấp độ và có dự toán chi phí (phần 2). Kết quả mong muốn cho chương này và các lợi ích của các kế hoạch hoạt động M&E có dự toán chi phí1 sẽ được trình bày tiếp theo trong Phần 3 và Phần 4. Ba phần tiếp theo mô tả các bước và hướng dẫn liên quan đến các kế hoạch hoạt động M&E. Phần 5 trình bày các bước xây dựng/ cập nhật kế hoạch hoạt động M&E bằng cách xác định một tập hợp các hoạt động được ưu tiên và kết nối với 12 cấu phần của một hệ thống M&E hoạt động tốt. Phần 6 mô tả các bước cụ thể để lập dự toán chi phí và huy động nguồn lực cho kế hoạch hoạt động M&E, xác định chi phí con người và chi phí tài chính cho từng hoạt động trong kế hoạch công việc, và luồng tiền cần thiết hàng năm. Phần 7 giải thích cách sử dụng kế hoạch hoạt động M&E để quản lý hệ thống M&E. Điều này có nghĩa là sử dụng một kế hoạch hoạt động M&E cho nhiều năm, nhiều ngành và nhiều cấp độ để quản lý công việc của đơn vị M&E. Chương này kết thúc bằng phần tóm tắt các bài học và bài tập thực hành để củng cố những gì đã học.

2. Thông tin khái quát và các định nghĩa Kế hoạch hoạt động M&E có dự toán chi phí là gì? Kế hoạch hoạt động M&E cho nhiều năm, nhiều ngành, nhiều cấp độ và có dự toán chi phí là một kế hoạch mô tả và dự toán ngân sách cho tất cả các hoạt động M&E cần thiết để triển khai một hệ thống M&E trong một khoảng thời gian xác định trước (thường là 1-2 năm). Có thể xây dựng một kế hoạch hoạt động cho 1 “Kế hoạch hoạt động M&E” sẽ được đề cập đến trong suốt Chương 5, có thể là kế hoạch hoạt động M&E quốc gia, kế hoạch hoạt động M&E cụ thể cho ngành, hoặc kế hoạch hoạt động M&E cho các tổ chức riêng biệt. Các bước ở phần 5-7 sẽ được áp dụng cho mọi trường hợp, với những điều chỉnh thích hợp.

Triển khai các hệ thống M&E

197

một tổ chức riêng biệt hoặc cho toàn bộ hệ thống M&E quốc gia. Nếu được xây dựng một cách toàn diện, một kế hoạch hoạt động chung sẽ đem lại một tầm nhìn chung cho tất cả bên liên quan và một khuôn khổ hoạt động riêng để mỗi tổ chức có thể phát triển cách tiếp cận riêng của mình. Kế hoạch hoạt động cần có dự toán chi phí để xác định chính xác yêu cầu vốn, huy động nguồn lực, và phân bổ mức cấp vốn thích hợp. Một kế hoạch hoạt động M&E quốc gia thường dành cho nhiều năm, nhiều ngành và nhiều cấp độ.

Chương 5

Nhiều năm bởi vì: •

Bản thân kế hoạch M&E là một kế hoạch nhiều năm tương ứng với khung thời gian của chương trình được theo dõi, giám sát;

•

Quy trình ngân sách của chính phủ là một quy trình nhiều năm; và

•

Một ngân sách cho nhiều năm sẽ tạo điều kiện cho quốc gia xây dựng các ước tính luồng tiền mặt và đưa các yêu cầu cấp vốn cho M&E vào các đề xuất huy động vốn để trình lên chính phủ và các đối tác phát triển.

Nhiều ngành bởi vì có nhiều bên liên quan tham gia hệ thống M&E. Mỗi bên liên quan đều cần nguồn lực để thực hiện các hoạt động M&E thuộc trách nhiệm của mình. Bằng cách đưa vào kế hoạch hoạt động các hoạt động thuộc trách nhiệm của mỗi bên liên quan đến M&E cũng như chi phí cho các hoạt động đó, ta sẽ thấy rõ ràng các nguồn lực cần được huy động và phân bổ để đáp ứng các yêu cầu đó.

Nhiều cấp độ bởi vì không chỉ có các bộ chủ quản ở cấp quốc gia (trụ sở chính) tham gia các hoạt động M&E mà còn có các tổ chức lớn nhiều chi nhánh hoặc chính quyền địa phương tham gia ở cấp địa phương. Tuy nhiên, một kế hoạch hoạt động M&E quốc gia không chỉ là kế hoạch hoạt động M&E cho các bộ chủ quản mà là một kế hoạch hoạt động chung cho tất cả các bên liên quan tham gia các hoạt động M&E trong cả nước. Kế hoạch này sẽ cho phép các bên liên quan đến M&E lập kế hoạch và làm việc cùng nhau một cách hài hòa và bổ trợ lẫn cho nhau để hướng tới một tầm nhìn chung về M&E trong chương trình quốc gia.

Các hình thức hoạt động trong kế hoạch hoạt động M&E có dự toán chi phí Các hoạt động trong kế hoạch hoạt động M&E có dự toán chi phí cần phải bao gồm các hoạt động một lần cũng như hoạt động định kỳ cần thiết khi thiết lập hệ thống M&E (ví dụ như xây dựng tài liệu đào tạo) và các hoạt động thường xuyên phải được thực hiện lặp đi lặp lại, với tần suất xác định trước để đảm bảo sự hoạt động liên tục của hệ thống (ví dụ như xử lý các dữ liệu theo dõi giám sát thường quy). Sự khác biệt giữa kế hoạch hoạt động M&E và kế hoạch M&E Kế hoạch M&E (xem Cấu phần 4) là một tài liệu diễn giải trong đó mô tả cụ thể cách thức hoạt động của hệ thống M&E. Mặt khác, kế hoạch hoạt động M&E là 198

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

một kế hoạch hành động (với các hoạt động, trách nhiệm, khung thời gian, và chi phí cho từng cấu phần trong số 12 Cấu phần). Một kế hoạch hoạt động M&E thường là phụ lục cho kế hoạch M&E.

3. Các kết quả thu được khi thực hiện cấu phần này Kết quả dài hạn: Một kế hoạch hoạt động M&E với nhiều đối tác và dành cho nhiều năm được sử dụng làm cơ sở để lập kế hoạch, xác định ưu tiên, dự toán chi phí, huy động nguồn lực và cấp vốn cho tất cả các hoạt động M&E. Kết quả ngắn hạn và trung hạn Kế hoạch hoạt động M&E bao gồm các hoạt động, những bên chịu trách nhiệm thực hiện, khung thời gian, chi phí hoạt động được tính toán dựa theo bảng đơn giá và xác định nguồn vốn

•

Kế hoạch hoạt động M&E liên kết với các kế hoạch hoạt động của chương trình và khung chi tiêu trung hạn cũng như ngân sách hàng năm của chính phủ

•

Các nguồn lực (con người, vật chất và tài chính) được cam kết để thực hiện kế hoạch hoạt động M&E

•

Tất cả các bên liên quan cam kết thực hiện và đóng góp cho kế hoạch hoạt động M&E

•

Kế hoạch hoạt động M&E được xây dựng/cập nhật hàng năm dựa trên kết quả theo dõi hiệu quả hoạt động

Chương 5

•

Câu hỏi tư duy 1: Hãy nhớ lại kế hoạch M&E hiện nay trong tổ chức của bạn. Tổ chức của bạn có hệ thống M&E, kế hoạch M&E và/hoặc kế hoạch hoạt động M&E không? Nếu có, kế hoạch hay hệ thống đó có được sử dụng thực sự không? Và sử dụng ra sao? Cho mục đích quản lý hàng ngày và xác định ưu tiên? Hay chủ yếu cho mục đích lập ngân sách? Kế hoạch hoạt động M&E có được đưa vào các kế hoạch hoạt động và kế hoạch ngân sách rộng hơn của tổ chức không? Bạn có thể nhìn thấy bao nhiêu kết quả ngắn hạn và trung hạn trong kế hoạch hoạt động M&E hiện tại của tổ chức?

4. Các lợi ích từ kế hoạch hoạt động M&E có dự toán chi phí như một phần của hệ thống M&E Các tổ chức đã thực hiện hệ thống M&E dựa trên kế hoạch hoạt động M&E đã rút ra những lợi ích sau đây từ việc cùng phát triển và lập ngân sách cho tất cả các hoạt động M&E: 1.

Giúp làm rõ và tạo thuận lợi cho việc triển khai thẩm quyền đối với hệ thống M&E. Phân công vai trò có thẩm quyền và các trách nhiệm cụ thể

Triển khai các hệ thống M&E

199

Chương 5

trong hệ thống M&E là một bước khởi đầu tốt. Một kế hoạch hoạt động trong đó xác định hoạt động mà các bên chính liên quan đến M&E sẽ làm đồng thời xác định chi phí của hoạt động sẽ là một công cụ mạnh để đảm bảo thực hiện các thẩm quyền M&E. Với các kế hoạch hoạt động M&E quốc gia, kế hoạch hoạt động được củng cố bằng việc đưa vào kế hoạch ngân sách của chính phủ.

200

Cung cấp một công cụ quản lý hữu ích để điều phối hệ thống M&E. Tổ chức chịu trách nhiệm giám sát hệ thống M&E có thể tham khảo kế hoạch hoạt động M&E để tìm hiểu trách nhiệm và nhiệm vụ của mỗi bên liên quan trong hệ thống M&E. Nhân viên có thể theo dõi các hoạt động cụ thể của các bên liên quan, theo dõi tiến độ, và chủ động quản lý các chậm trễ hay trở ngại tiềm tàng.

Giúp thành lập các quan hệ đối tác thực sự. Thống nhất và cam kết xây dựng kế hoạch hoạt động M&E sẽ tạo điều kiện cho các bên liên quan với M&E thuộc các ngành khác nhau và ở tất cả các cấp độ trong cả nước lập kế hoạch kỹ lưỡng và cùng làm việc với nhau để xây dựng một hệ thống M&E.

Cho phép đánh giá các hình thức hỗ trợ M&E cần thiết. Các nhóm công tác kỹ thuật M&E cần đánh giá một cách khách quan về việc đất nước có yêu cầu hỗ trợ kỹ thuật hoặc các nguồn lực cụ thể cho M&E hay không để hỗ trợ kế hoạch hoạt động đã thống nhất. Khi có một kế hoạch rõ ràng và chi tiết, người ra quyết định có thể quyết định cần hay không cần đến sự hỗ trợ nào từ bên ngoài, để tránh những hỗ trợ tài chính có tính ràng buộc và hỗ trợ kỹ thuật theo hướng cung không phù hợp với kế hoạch hoạt động .

Tạo cơ sở xác định các thành viên của Nhóm công tác kỹ thuật M&E. Đại diện của tất cả các tổ chức được liệt kê trong cột “trách nhiệm” của kế hoạch hoạt động M&E cần được tham gia và là thành viên của nhóm công tác kỹ thuật M&E.

Giúp huy động và hợp lý hoá các nguồn lực cho hệ thống M&E. Một kế hoạch hoạt động có dự toán chi phí sẽ cho phép các quốc gia xác định mức độ và nguồn nhân lực tài chính cần thiết. Một kế hoạch hoạt động rõ ràng có dự toán chi phí cho phép các đối tác phát triển điều chỉnh hỗ trợ M&E của họ một cách hiệu quả theo các nhu cầu ưu tiên M&E của quốc gia nhận hỗ trợ, và cam kết hỗ trợ các khía cạnh cụ thể của hệ thống M&E. Kế hoạch hoạt động có dự toán chi phí có nhiều công dụng: •

Giải trình khối lượng nguồn lực trong nước và quốc tế cần thiết (thay vì dựa vào những khuyến nghị chung chung như phân bổ từ 7% đến 10% ngân sách chương trình cho M&E);

•

Có thể được sử dụng khi xây dựng đề xuất lên các đối tác phát triển và mô tả tình trạng thiếu nguồn lực;

•

Có thể được sử dụng để thúc đẩy việc tái phân bổ và ưu tiên các nguồn lực sẵn có; và

•

Cho phép các bộ ngành trung ương, các cơ quan, và LGA đưa chi phí M&E vào ngân sách của họ và cho phép Bộ tài chính đưa các chi phí này vào khung chi tiêu trung hạn quốc gia.

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Giúp theo dõi tiến độ thực hiện hệ thống M&E. Ngoài việc là một công cụ lập kế hoạch trong đó xác định nhiệm vụ và trách nhiệm, TWG M&E có thể sử dụng kế hoạch hoạt động M&E quốc gia để theo dõi và đánh giá tiến độ thực hiện hệ thống M&E. Nếu tất cả các hoạt động trong kế hoạch hoạt động M&E đã được thực hiện đúng hạn theo các tiêu chuẩn yêu cầu, TWG sẽ có thể báo cáo rằng việc thực hiện hệ thống M&E trong nước đang đi đúng hướng.

5. Các vấn đề liên quan đến thực hiện Cấu phần này 5.1. Đảm bảo sự hỗ trợ của lãnh đạo các cấp và các Bộ ngành trung ương

Chương 5

Các nhà quản lý cấp cao cần phải nhận thức, ủng hộ, và dẫn dắt quá trình xây dựng, duy trì và cập nhật kế hoạch hoạt động M&E quốc gia. TWG M&E cần chủ trì quá trình xây dựng, dự toán chi phí và cập nhật kế hoạch hoạt động M&E quốc gia. Giám đốc tài chính của các tổ chức có trách nhiệm M&E cũng phải tham gia lập dự toán chi phí và tìm hiểu xem kế hoạch này, sau khi được lên ngân sách, sẽ tác động và kết nối như thế nào với ngân sách chung lớn hơn của tổ chức.

5.2. Lôi cuốn tất cả các bên liên quan tham gia một cách có ý nghĩa trong mọi khía cạnh của quá trình Cần có cam kết của các đối tác phát triển trong việc xây dựng kế hoạch hoạt động M&E quốc gia. Có thể tạo thuận lợi cho việc này bằng cách lôi cuốn sự tham gia của các điều phối viên chương trình, các cán bộ thực hiện, và các cơ cấu phân cấp đang điều phối các chương trình quốc gia được theo dõi, giám sát; cũng như các bộ ngành trung ương, viện nghiên cứu và trường đại học, nhóm chịu trách nhiệm rà soát chiến lược chương trình và kế hoạch hoạt động quốc gia, và đại diện người hưởng lợi khi xây dựng kế hoạch hoạt động .

5.3. Liên kết kế hoạch hoạt động M&E với cơ chế và chu kỳ ngân sách của tổ chức chính (ví dụ như chính phủ) Các kế hoạch hoạt động M&E cần được xây dựng vào thời gian chu kỳ ngân sách hàng năm của chính phủ và cần được sử dụng làm cơ sở cho các đơn vị M&E của các bên liên quan ước tính khung chi tiêu trung hạn (MTEF) và kế hoạch hoạt động hàng năm của họ. Ngoài ra còn phải đảm bảo rằng ngân sách cho kế hoạch hoạt động M&E được ghi vào thành cấu phần M&E trong tổng ngân sách dành cho chương trình được theo dõi, giám sát.

5.4. Bao gồm tất cả các hình thức hoạt động Bao gồm các hoạt động cho tất cả các chiến lược M&E trong chương trình quốc gia và bao gồm tất cả các hình thức hoạt động M&E (cả hoạt động một lần cũng như hoạt động thường xuyên).

Triển khai các hệ thống M&E

201

5.5. Đồng bộ hóa về mặt thời gian Xây dựng kế hoạch hoạt động M&E nhiều năm, mà ít nhất phải bao quát cùng thời kỳ với kế hoạch chương trình quốc gia và kế hoạch M&E.

5.6. Ngân sách cho các đóng góp hỗ trợ kỹ thuật của các đối tác phát triển Chỉ định một đơn giá chuẩn về thời gian làm việc chuyên môn và thời gian hỗ trợ của các đối tác phát triển, kể cả khi các chi phí này không được tài trợ từ các nguồn lực quốc gia.

5.7. Từ kế hoạch hoạt động nhiều năm, với nhiều ngành và nhiều cấp độ, hãy rút ra các hoạt động M&E riêng biệt thuộc trách nhiệm của từng bên liên quan

Chương 5

Sử dụng kế hoạch hoạt động nhiều năm để lập kế hoạch hàng năm và xác định các mốc quan trọng, kể cả các mốc thời gian quản lý các đơn vị M&E hàng tuần. Liên kết kế hoạch hoạt động với các hoạt động hàng ngày và công tác quản lý hàng tuần như một công cụ quản lý theo thời gian thực.

5.8. Sử dụng các phương pháp, chiến lược và phần mềm lập kế hoạch dự án Xây dựng, lập dự toán chi phí và sử dụng kế hoạch hoạt động M&E như một yếu tố không thể thiếu trong quản lý dự án. Sử dụng các nguyên tắc quản lý dự án và phần mềm lập kế hoạch và quản lý dự án sẵn có.

6. Hướng dẫn thực hành C5-1: Xây dựng/cập nhật kế hoạch hoạt động M&E quốc gia Hãy lưu ý, mặc dù Hướng dẫn thực hành này được xây dựng để thiết kế một kế hoạch hoạt động M&E quốc gia nhưng những bước này cũng có thể được sử dụng để xây dựng một kế hoạch hoạt động M&E cho tổ chức của bạn.

Bước 1:

Vận động xây dựng và sử dụng kế hoạch hoạt động M&E quốc gia

Sự ủng hộ chính trị ngay từ đầu sẽ đảm bảo cho kế hoạch hoạt động M&E được triển khai. Hãy sử dụng các thành công hoặc thất bại trong chu kỳ lập kế hoạch trước đó để điều chỉnh quy trình lập kế hoạch hoạt động M&E mới. Hãy tìm ra người đấu tranh cho M&E để thúc đẩy và huy động các nguồn lực để thực hiện kế hoạch hoạt động M&E và tìm kiếm các đối tác phát triển để sử dụng kế hoạch hoạt động làm cơ sở lập kế hoạch cho riêng họ. Hãy trình bày quy trình lập kế hoạch cho các bên liên quan ngay từ đầu để đảm bảo tính toàn diện và chia sẻ quyền làm chủ. Kết quả: có người đấu tranh cho kế hoạch hoạt động M&E quốc gia

202

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Bước 2:

Tiến hành đánh giá các hệ thống M&E quốc gia, nếu cần

Một đánh giá hệ thống sẽ giúp các bên liên quan tập trung, xác định ưu tiên và chia giai đoạn các hoạt động trong kế hoạch hoạt động M&E. Đánh giá này giúp đảm bảo rằng cố gắng triển khai cùng một lúc tất cả 12 cấu phần của hệ thống M&E sẽ không quá sức nhóm công tác được chỉ định. Theo thỏa thuận với các đối tác phát triển, không nên đánh giá hệ thống M&E nếu đã có một đánh giá khác được tiến hành trong vòng 12 tháng trước đó. Kết quả: đánh giá hệ thống M&E quốc gia hoặc đánh giá năng lực cho tổ chức của bạn.

Bước 3:

Thu thập bản sao các kế hoạch hoạt động và ngân sách từ tất cả các bên liên quan

Chương 5

Kế hoạch hoạt động của các đơn vị khác trong tổ chức của bạn hoặc các bộ ngành khác (ví dụ Bộ Y tế, Giáo dục, Cục Thống kê quốc gia) rất quan trọng để khẳng định những hoạt động M&E nào đã được lên kế hoạch và họ có quan điểm như thế nào về các ưu tiên cấp vốn. Cần nhấn mạnh rằng kế hoạch hoạt động M&E quốc gia không phải là một khối kết hợp các kế hoạch hoạt động M&E hiện tại. Kế hoạch hoạt động M&E quốc gia phải là một danh sách các hoạt động ưu tiên được các bên thống nhất với nhau để triển khai 12 cấu phần của hệ thống M&E quốc gia, bất kể chính phủ hay các đối tác phát triển đã lên kế hoạch thực hiện các hoạt động ưu tiên đó hay chưa. Kết quả: Bản sao các kế hoạch hoạt động và ngân sách M&E từ tất cả các bên liên quan.

Bước 4:

Đảm bảo rằng TWG M&E có đại diện đông đủ từ tất cả các bên liên quan

Tất cả các bên liên quan sẽ thực hiện các chức năng M&E và các bên đang cấp vốn hoặc bày tỏ quan tâm đến việc cấp vốn cho các hoạt động M&E đều phải được cử đại diện tham gia hội thảo lập kế hoạch và lập dự toán. Kết quả: các bên liên quan/cấp vốn có chức năng M&E có đại diện trong nhóm xây dựng danh sách các hoạt động cho kế hoạch hoạt động M&E

Bước 5:

Suy nghĩ động não để đưa ra một danh sách các hoạt động mong muốn cho kế hoạch hoạt động M&E

Trước hết, hãy thỏa thuận về khung thời gian của kế hoạch hoạt động. Khung thời gian của kế hoạch hoạt động phải trùng với khung thời gian của kế hoạch M&E quốc gia, và khung thời gian của chiến lược chương trình quốc gia.

Triển khai các hệ thống M&E

203

Kinh nghiệm cho thấy tiếp cận theo từng cấu phần là cách làm hiệu quả nhất. Hãy lấy ví dụ về Cấu phần 1 (sự phù hợp về tổ chức và cơ cấu M&E). Hãy thảo luận ngắn gọn về hiện trạng (có liên hệ đến kết quả đánh giá hệ thống M&E mới nhất), liên hệ với mục tiêu kết quả hoạt động (trạng thái lý tưởng của cấu phần), và sau đó hãy xây dựng một danh mục các hoạt động, cả hoạt động một lần cũng như hoạt động thường xuyên, để đảm bảo sự hoạt động tốt cho cấu phần. Khi hoàn tất xong những yêu cầu trên cho một cấu phần, hãy chuyển sang cấu phần tiếp theo.

•

Không phải tất cả các hoạt động cho một cấu phần đều cần phải được thực hiện (hay có thể được thực hiện) trong cùng một năm. Điều quan trọng khi xác định ưu tiên và chia giai đoạn hoạt động, đó là phải nhận thức được rằng những hoạt động đó có thể có những mục tiêu và tác động ngắn hạn, trung hạn và dài hạn khác nhau, và do đó cần được phân chia giai đoạn một cách thận trọng.

•

Kế hoạch hoạt động cũng không chỉ bao gồm các hoạt động cần thiết để củng cố hệ thống M&E mà còn phải bao gồm cả các hoạt động đã hoạt động tốt và cần được duy trì để toàn bộ hệ thống tiếp tục hoạt động tốt (ví dụ như giám sát bệnh thường quy). Do đó, kế hoạch hoạt động và dự toán chi phí cần bao quát toàn bộ việc triển khai hệ thống M&E, chứ không chỉ bao gồm các hoạt động củng cố hệ thống M&E. Theo cách đó, chính phủ vẫn tiếp tục kiểm soát việc thực hiện và điều phối hệ thống M&E theo thỏa thuận với các đối tác phát triển quốc tế.

Chương 5

•

Kết quả: Thống nhất khung thời gian và dự thảo danh mục các hoạt động cho kế hoạch hoạt động M&E.

Bước 6:

204

Xây dựng sự đồng thuận về các hoạt động được đưa vào kế hoạch

•

Sau khi xây dựng dự thảo đầu tiên của danh mục các hoạt động (bước 5), có thể cần phải nhắc lại và thảo luận một vài lần về danh mục này. Các thảo luận cần tập trung vào việc xác định hoạt động hệ thống M&E nào cần ưu tiên, ví dụ như các hoạt động giúp đem lại những thắng lợi nhanh chóng, cũng như các hoạt động quan trọng nhất để xây dựng hệ thống quốc gia.

•

Cần giao trách nhiệm cho mỗi cơ quan thực hiện từng hoạt động. Một số quốc gia chia cột trách nhiệm thành 2 phần: một bên ghi tên cơ quan chủ trì, và một bên ghi tên các cơ quan hỗ trợ.

•

Điều chỉnh mẫu kế hoạch hoạt động M&E cho phù hợp với mục đích sử dụng ở quốc gia sở tại. Có thể làm việc này bằng cách cộng thêm vài năm cho đủ khung thời gian trong cột khung thời gian M&E. Tốt nhất là khung thời gian của kế hoạch hoạt động trùng khớp với khung thời gian kế hoạch của chương trình được theo dõi, giám sát và với khung thời gian của kế hoạch M&E quốc gia.

•

Hoàn chỉnh mẫu kế hoạch hoạt động M&E (xem Phụ lục A).

•

Sau khi thống nhất về từng hoạt động, hãy xác định cụ thể khi nào các hoạt động này sẽ diễn ra và thể hiện vào bản kế hoạch hoạt động, đồng thời ghi nhớ khung ngắn hạn, trung hạn và dài hạn của các hoạt động khác và

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

mối liên hệ giữa các hoạt động. Cuối cùng, cần phải dự toán chi phí cho kế hoạch hoạt động (xem phần sau). Kết quả: hoàn thành và điều chỉnh kế hoạch hoạt động M&E để cụ thể hóa các hoạt động, khung thời gian, chi phí ước tính và cơ quan chịu trách nhiệm về hoạt động

Bước 7:

Trình kế hoạch hoạt động M&E lên TWG M&E để xin phê duyệt

Cần tổ chức một cuộc họp chính thức của TWG M&E với đủ số đại biểu cần thiết theo quy định và đủ thời gian để hoàn thành nhiệm vụ. Các quyết định được đưa ra sẽ ảnh hưởng đến nguồn phân bổ của tất cả các đối tác phát triển dành cho M&E, do đó điều quan trọng là các đối tác cần phải có mặt tại cuộc họp này.

Chương 5

Xét đến các ảnh hưởng mà kế hoạch hoạt động có thể gây ra, lãnh đạo bộ phận tài chính và hành chính của cơ quan chủ trì M&E cũng cần phải tham dự cuộc họp này (hoặc một cuộc họp khác sau đó để nghe trình bày bản dự thảo dự toán chi phí), để biết về các hoạt động của kế hoạch, ước tính chi phí và tầm quan trọng của việc đưa các hoạt động này vào quy trình ngân sách hàng năm và trung hạn của chính phủ. Lãnh đạo bộ phận tài chính hoặc quản lý hành chính của các bộ ngành chủ chốt cũng phải tham gia cuộc họp, nhất là các bộ chủ quản có lợi ích liên quan. Kết quả: TWG M&E chính thức phê duyệt kế hoạch hoạt động M&E

Bước 8:

Cập nhật và hoàn thiện cơ cấu thành viên của TWG M&E

Sauk hi hoàn chỉnh kế hoạch hoạt động và kiểm tra cột trách nhiệm, một số tổ chức có chức năng M&E có thể vô tình bị loại trừ khỏi TWG M&E. Mặc dù cần khắc phục điều này nếu có thể, nhưng cần thận trọng để TWG M&E không trở nên quá lớn. Kinh nghiệm cho thấy nhóm không nên có quá 15-20 thành viên. •

Thường xuyên cập nhật cơ cấu thành viên (và TOR) của TWG để đảm bảo rằng tất cả các tổ chức liên quan đều có đại diện tại TWG M&E.

•

Có thể dùng kế hoạch hoạt động làm cơ sở cập nhật cho TWG M&E về tiến bộ đạt được trong việc thực hiện hệ thống M&E. Từ đây, mỗi một đối tác có thể báo cáo lại cho các cử tri về tiến độ đạt được trong các hoạt động thuộc trách nhiệm của mình.

Kết quả: Cập nhật cơ cấu thành viên trong TWG M&E.

Bước 9:

Sử dụng kế hoạch hoạt động M&E trong các cuộc họp TWG M&E để đánh giá tình trạng của từng hoạt động

Điều này sẽ đảm bảo rằng các kế hoạch hoạt động là một công cụ quản lý trực tiếp và TWG vẫn tập trung vào trách nhiệm và hoạt động của mình. Xác định các

Triển khai các hệ thống M&E

205

mốc thời gian quan trọng trong mỗi quý từ kế hoạch này cũng là một ý tưởng tốt. Bằng cách này, hàng quý, TWG có thể tập trung vào các mốc thời gian đã dự kiến trong quý (và các mốc thời gian khác chuyển tiếp từ quý trước sang, nếu có). Kết quả: Đánh giá thực trạng các hoạt động trong kế hoạch hoạt động M&E cũng như rà soát lại các mốc thời gian trong quý được xác định dựa trên kế hoạch hoạt động M&E.

Bước 10:

Rà soát và cập nhật kế hoạch hoạt động M&E hàng năm

Chương 5

Thời gian để cập nhật kế hoạch hoạt động M&E phải trùng với năm tài chính và khung thời hạn ngân sách của chính phủ, để các kết quả dự toán chi phí trong kế hoạch hoạt động M&E quốc gia được đưa vào ngân sách của chính phủ. Hãy chắc chắn rằng đơn vị M&E của cơ quan điều phối công việc M&E biết các chu kỳ ngân sách và khung thời gian của tất cả các đối tác phát triển, để họ có thể gửi yêu cầu cấp vốn cho M&E kịp thời. Kết quả: Rà soát và cập nhật kế hoạch hoạt động M&E trước khi hết hạn ngân sách của các đối tác phát triển

Những lời khuyên thực tế để xây dựng kế hoạch hoạt động M&E

206

Căn các năm trong kế hoạch hoạt động với các năm tài chính của chính phủ: Nếu năm tài chính của chính phủ bắt đầu từ tháng tư năm trước đến tháng ba năm sau, hãy sử dụng thời hạn này làm kỳ niên lịch cho kế hoạch hoạt động (nghĩa là năm thứ 1 từ tháng 4/2008 đến tháng 3/2009, năm thứ 2 từ tháng 4/2009 đến tháng 10/2010, v.v.)

Mô tả các hoạt động tập trung vào cá nhân / tổ chức chịu trách nhiệm về hoạt động đó: Kế hoạch hoạt động nhiều đối tác bao gồm các hoạt động của nhiều đối tác. Do đó, có nhiều cách khác nhau để gọi tên các hoạt động, tùy theo cách nhìn của tổ chức. Tốt hơn hết là mô tả một hoạt động theo quan điểm của tổ chức thực hiện hoạt động đó. Ví dụ như, xem xét những quan điểm thay thế trong ví dụ này từ một dự thảo kế hoạch hoạt động:

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Hoạt động

Trách nhiệm

Nhận xét

Tiếp nhận ý kiến từ các thành viên của TWG M&E

Lãnh đạo đơn vị M&E

χχ Đơn vị M&E không phải là cơ quan chủ trì thực hiện các hoạt động trên thực tế; do đó nếu mô tả hoạt động như vậy thì có nguy cơ khi TWG nhìn vào cột “trách nhiệm”, họ có thể bỏ qua thực tế là họ cần phải đóng góp ý kiến nhận xét

Thảo luận về dự thảo văn bản và trình lên cơ quan hoặc bộ chủ quản chủ trì về M&E

TWG M&E

√√ TWG M&E phải thực hiện hoạt động, vì vậy tốt nhất là mô tả hoạt động theo quan điểm của TWG

Chương 5

Làm thế nào để quyết định mức độ chi tiết khi lập kế hoạch: Khi xây dựng một kế hoạch hoạt động, điều quan trọng là lập kế hoạch đến mức độ chi tiết thích hợp. Kinh nghiệm của GAMET cho thấy rằng lựa chọn tốt nhất là lên kế hoạch theo các hoạt động, trong đó một hoạt động được định nghĩa (cho mục đích này) như một nhóm các hành động hoặc nhiệm vụ mà một cá nhân trong một tổ chức có thể dẫn dắt thực hiện trên thực tế trong một thời hạn hợp lý, và có thể phân bổ chi phí cụ thể cho hoạt động hoặc nhiệm vụ đó. Điều cần thiết là phải nghĩ đến các hoạt động như hoạt động toàn thể. Như vậy, kế hoạch hoạt động phải mô tả cấp độ cao nhất của hoạt động mà bất kỳ một đơn vị tổ chức nào cũng có thể thực hiện được.

Hãy xem xét ví dụ sau đây: Quá tổng hợp

Nguyên nhân

Thực hiện một cuộc khảo sát.

Một cuộc khảo sát bao gồm nhiều bước liên quan đến nhiều bên liên quan, ví dụ, chính phủ cần chỉ định nhà thầu; một cơ quan hay bộ chủ quản quản lý công việc; và TWG M&E hỗ trợ kỹ thuật và phê duyệt. Hãy chắc chắn rằng mỗi hoạt động này có thể được một bên liên quan chủ trì thực hiện một cách hiệu quả

Quá chi tiết (các nhiệm vụ)

Nguyên nhân

Gọi điện cho các bộ để lấy tên các công nhân thực địa

Đây chỉ là một nhiệm vụ trong hoạt động toàn thể để tiến hành khảo sát.

Triển khai các hệ thống M&E

207

Nguyên nhân

Lập kế hoạch khảo sát chương trình (một bộ ngành cụ thể). Phê duyệt TOR khảo sát chương trình (TWG M&E). Mua sắm các dịch vụ của nhà thầu (cơ quan đấu thầu của chính phủ). Tiến hành khảo sát (đội khảo sát). Phân tích dữ liệu và viết báo cáo (đội khảo sát) Phê duyệt báo cáo khảo sát chương trình (TWG M&E)

Mỗi nhiệm vụ là một nhiệm vụ tổng thể mà một tổ chức có trách nhiệm thực hiện (xem tên minh họa cho từng nhiệm vụ trong ngoặc đơn).

Sử dụng phần mềm lập kế hoạch: bản thân công tác quy hoạch có thể được thực hiện theo cách thủ công hoặc sử dụng bảng tính có sẵn, hoặc phần mềm quản lý dự án. Lợi thế của việc sử dụng phần mềm là có thể dễ dàng thay đổi (với điều kiện là phần mềm được sử dụng thích hợp). Tuy nhiên, điểm bất lợi là mọi người cần phải biết cách sử dụng, duy trì và thay đổi phần mềm. Hãy cẩn thận trước khi cho phép tư vấn xây dựng kế hoạch hoạt động bằng một phần mềm không chuẩn, vì như vậy có thể khó sử dụng hoặc duy trì phần mềm sau khi tư vấn rời khỏi chương trình. Phần mềm quản lý dự án có thể là một lựa chọn tốt hơn so với phần mềm bảng tính, vì nó cho phép người sử dụng xác định đường găng, phân tích các hoạt động, và trình bày các hoạt động theo nhiều cách khác nhau.

Khi xây dựng một kế hoạch hoạt động mới (hoặc cập nhật kế hoạch gần nhất), nhớ đừng xóa các hoạt động đã hoàn thành trong năm trước. Chỉ bắt đầu một kế hoạch hoạt động mới khi kế hoạch M&E đã hết thời hạn.

Chia cột trách nhiệm của kế hoạch hoạt động thành hai phần, một bên cho cơ quan chủ trì và một bên cho các cơ quan hỗ trợ, trong đó cơ quan chủ trì thường là một thực thể thuộc chính phủ, với hàm ý rằng chính phủ thường đóng vai trò điều phối/chủ trì).

Có thể sử dụng phương pháp dự toán chi phí trên cơ sở hoạt động (ABC) (xem bên dưới) ngay cả khi chưa bao giờ sử dụng phương pháp này trước đó. Khi sử dụng phương pháp ABC, điều quan trọng là phải nhóm các chi phí hoạt động theo loại hình (ví dụ, chi phí tiền lương, chi phí đấu thầu mua sắm, hoặc chi phí tư vấn), để bạn có thể cung cấp những khoản mục chi phí này (và các chi phí thực tế cho từng khoản mục) cho nhóm xây dựng ngân sách hàng năm hoặc ngân sách nhiều năm của chính phủ (ngân sách của chính phủ thường không dựa trên hoạt động mà dựa theo loại hoạt động.)

Chương 5

208

Mức độ chi tiết thích hợp (các hoạt động)

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

7. Hướng dẫn thực hành C5-2: Dự toán chi phí cho một kế hoạch hoạt động M&E nhiều năm, nhiều ngành và nhiều cấp độ Bước 1:

Chọn một phương pháp lập dự toán

Cẩn thận xem xét phương pháp lập kế hoạch và dự toán chi phí sẽ sử dụng trước khi bắt tay vào quy trình này. Có bốn phương pháp có thể sử dụng để lập dự toán liên quan đến việc triển khai thực hiện hệ thống M&E: 1.

Phương pháp Kế toán chi phí thông thường (CCA): Phương pháp này tập trung chủ yếu vào việc xác định các chi phí tài chính dựa trên các khoản mục chi phí trực tiếp và gián tiếp liên quan đến một sản phẩm, dịch vụ, hoặc quy trình cụ thể (ví dụ, chi phí tiền lương, chi phí đấu thầu mua sắm, hoặc chi phí tư vấn) như minh họa trong ví dụ dưới đây. CCA có hiệu quả trong các tổ chức có quy trình công việc chuẩn mực hoặc được điều tiết tốt, chẳng hạn như các cơ quan chính phủ. 10.000$

Chi phí duy tu bảo trì các khu phòng học

4.000$

Sách giáo khoa

8.000$

Chi phí hoạt động

8.000$

Tổng cộng

30.000$

Phương pháp lập mô hình toán học: phương pháp lập mô hình toán học sử dụng các công thức (có nguồn gốc từ các số liệu đầu vào cụ thể cho mô hình) để tính toán các chi phí dự kiến của chương trình.

Phương pháp tính chi phí đơn vị (đơn giá): phương pháp này trước hết xác định chi phí đơn vị cho các chức năng hoặc quy trình cụ thể, sau đó nhân với số người dự kiến được nhận dịch vụ cụ thể đó. Phương pháp này có hiệu quả với các quy trình lặp đi lặp lại nếu đã biết chi phí đơn vị. Mô hình GOALS do Tập đoàn Futures giới thiệulà một ví dụ của một phương pháp chi phí đơn vị. Trong mô hình này, trước hết ta xác định diện bao phủ dịch vụ ước tính, và chi phí đơn vị để cung cấp dịch vụ, tiếp đó, nhân hai kết quả vừa tính với nhau, như minh họa trong ví dụ sau đây:

Chương 5

Chi phí lương cho tất cả giáo viên

Diện bao phủ dịch vụ ……………….. 1.000 trẻ em phải được đi học tiểu học Chi phí đơn vị để cung cấp dịch vụ……. 60$/năm để cung cấp dịch vụ giáo dục tiểu học cho một em học sinh

Tính toán để xác định tổng chi phí: 1.000 em x 60$/em = 60.000 $ để cung cấp giáo dục tiểu học cho 1.000 trẻ em Triển khai các hệ thống M&E

209

Phương pháp lập dự toán dựa trên hoạt động (ABC): gán chi phí cho tất cả các nguồn lực cần thiết để thực hiện một hoạt động công việc cụ thể. Phương pháp này cũng xét đến các chi phí hoạt động mềm và gián tiếp, như minh họa trong ví dụ dưới đây. Kết quả là một bức tranh tài chính đầy đủ hơn so với khi sử dụng các phương pháp kế toán khác (ví dụ, lập dự toán tiêu chuẩn), và giúp ta phân biệt rõ ràng các hoạt động đem lại giá trị gia tăng và các hoạt động không đem lại giá trị gia tăng. Có thể sử dụng phương pháp ABC để xác định và kiểm soát các chi phí và nâng cao hiệu quả và hiệu suất hoạt động của các tổ chức.

Chương 5

Hoạt động

Thời gian

Chi phí

Đào tạo giáo viên

3 tuần

50 giáo viên x 15 ngày x 15$/ngày/người = 11.250$

Mua sách giáo khoa

2 tuần

3 môn x 1000 cuốn/môn x 3$/cuốn = 9.000$

Phát sách giáo khoa

1 tuần

1 xe chở sách x 550 km (xe phải chở sách đến tất cả các trường) x 1$/km = 550$

Sơn các khu phòng học

4 tuần

20 trường x 400$/trường = 8.000$

Trả chi phí điện thoại văn phòng hàng tháng

Hàng tháng

100$/tháng x 12 tháng = 1.200$ Tổng chi phí = 30.000$

Kết hợp giữa phương pháp ABC và phương pháp chi phí đơn vị sẽ có hiệu quả nhất khi lập dự toán cho một kế hoạch hoạt động M&E nhiều ngành, nhiều cấp và nhiều năm do các nguyên nhân sau đây: a)

phương pháp ABC tỏ ra hiệu quả nhất khi thời gian làm việc là nguồn lực chính cần thiết để thực hiện các hoạt động.

Thực hiện một hệ thống M&E không phải là một chuỗi các quy trình lặp đi lặp lại không đổi. Có thể có những thay đổi lớn hàng năm, tùy theo ưu tiên của hệ thống M&E. Các chi phí thực hiện một hệ thống M&E quốc gia có thể khác nhau đáng kể từ năm này sang năm khác. Ví dụ, chỉ riêng một khảo sát dựa trên dân số quy mô lớn đã có thể tốn kém bằng tất cả các hoạt động M&E khác kết hợp lại trong ngân sách của năm đó.

Các chi phí trong hai năm đầu tiên thực hiện kế hoạch hoạt động M&E có thể gấp hai hoặc ba lần so với chi phí hàng năm để duy trì hoạt động một hệ thống M&E. Điều này có thể bóp méo một mô hình toán hoặc đơn giá.

CCA sẽ không hiệu quả trong một môi trường nơi mà phần lớn chi phí là dành cho nhà thầu phụ. CCA cũng không dự toán được các đóng góp của các đối tác phát triển cung cấp hỗ trợ kỹ thuật M&E trực tiếp.

Có sự khác biệt lớn trong các loại chi phí liên quan với từng cấu phần trong số 12 cấu phần. Một số cấu phần chỉ cần vốn trong vài năm, không phải trong tất cả các năm (ví dụ, khảo sát, nghiên cứu), trong khi các cấu phần khác (ví dụ, quan hệ đối tác M&E) đòi hỏi dòng vốn ổn định và liên tục.

Có thể lựa chọn các phương pháp lập dự toán khác vì nhiều lý do, nguyên nhân đơn giản có thể là sự cần thiết phải xác định một ước tính hệ thống M&E toàn cầu, trong trường hợp không cần một kế hoạch hoạt động chi tiết

210

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

và có thể áp dụng mô hình GOALS. Nếu không, trong trường hợp hệ thống M&E đã đạt đến một mức độ phát triển mà trong đó chỉ có các hoạt động lặp đi lặp lại và có thể xác định chính xác đơn giá, thì mô hình đơn giá có thể sẽ hiệu quả hơn. Kết quả: lựa chọn phương pháp lập dự toán dựa trên nhu cầu và bối cảnh.

Bước 2:

Động não suy nghĩ để lên danh sách các loại chi phí có thể sẽ phát sinh trong khi thực hiện kế hoạch hoạt động

Khi suy nghĩ để lên danh sách này, đừng lặp lại một loạt các hoạt động trong kế hoạch hoạt động. Thay vào đó, từ kế hoạch hoạt động, hãy thử liệt kê tất cả các loại chi phí khác nhau. Khi xác định các loại chi phí, hãy ghi đơn vị cần dự toán (ví dụ, km, mức lương hàng ngày/người, v.v). Các đơn vị này sau đó sẽ được đưa vào dự toán và nhân với số lượng đơn vị để xác định tổng chi phí của hoạt động.

•

Chi phí đi lại bằng đường bộ (tính cho mỗi km)

•

Chi phí đi máy bay (tính cho mỗi chuyến bay trong nước/quốc tế)

•

Mức lương cho tư vấn trong nước/quốc tế - cán bộ tư vấn cấp dưới/cấp cao (người/ngày)

•

Chi phí tham dự hội thảo cho những đại biểu ở nơi sở tại (người/ngày)

•

Chi phí tham dự hội thảo cho những đại biểu ở nơi khác đến (người/đêm xa nhà)

Chương 5

Ví dụ về các loại chi phí gồm:

Trong ví dụ trên, đơn vị để dự toán chi phí hội thảo cho các đại biểu ở nơi sở tại và ở nơi khác đến có sự khác nhau: với các đại biểu ở nơi sở tại, đơn vị để tính chi phí là người/ngày; với các đại biểu ở nơi khác đến, đơn vị để tính chi phí là người/đêm xa nhà. Lý do của sự khác biệt này là cần phải đếm số đêm xa nhà của đại biểu từ nơi khác đến để trả tiền công tác phí. Kết quả: động não suy nghĩ để đưa ra danh sách các khoản mục hoặc loại chi phí cho các hoạt động trong kế hoạch hoạt động M&E..

Bước 3:

Xây dựng bảng đơn giá

Tìm hiểu các bảng đơn giá đã có sẵn. Tìm hiểu từ chính phủ và từ các đối tác phát triển khác xem họ đã xây dựng bảng đơn giá cho một số loại chi phí trong danh sách liệt kê ở bước trên hay chưa. Ví dụ, các chính phủ thường có mức giá cố định cho chi phí đi lại bằng đường bộ, công tác phí, các chi phí liên quan đến đi lại, mức lương tối đa cho các nhà thầu tư vấn, v.v. Ngoài ra, còn có thể sử dụng các đơn giá khác. Ví dụ, một số cơ quan hỗ trợ kỹ thuật phát hành các bảng đơn vị chi phí tiêu biểu cho công tác giám sát trọng điểm, hoặc DHS, v.v. Cũng có thể tham khảo các bảng đơn giá trước đây (ví dụ, các bảng đơn giá của đối tác phát triển). Nếu nước sở tại đã từng có một đề xuất lên Quỹ toàn cầu, chắc chắn họ

Triển khai các hệ thống M&E

211

đã phải lập bảng đơn giá tương tự (đề xuất gửi Quỹ toàn cầu thường sử dụng phương pháp dự toán ABC). Ghép các loại chi phí (như liệt kê ở bước 2) với bảng đơn giá (thu thập từ nhiều nguồn khác nhau, chẳng hạn như chính phủ, các đối tác phát triển, hoặc bộ phận tài chính trong tổ chức của bạn) và xác định các đơn vị chi phí chưa có sẵn đơn giá. Bắt đầu tổng hợp bảng đơn giá, như sau: Đơn vị tính chi phí

Đơn giá

Chi phí tiền lương hàng năm cho các nhân viên trong đơn vị M&E của NCA – cán bộ quản lý cấp thấp, cấp trung và cấp cao (theo loại hình chức vụ)

Chương 5

Chi phí đi lại bằng đường bộ (theo km)

Nguồn lấy đơn giá

500.000

Các hồ sơ của chính phủ

Đơn giá của chính phủ

Đi lại bằng máy bay (theo chuyến bay trong nước)

2.000 Đơn giá của Quỹ Toàn cầu

Đi lại bằng máy bay (theo chuyến bay quốc tế)

8.000 Đơn giá của Quỹ Toàn cầu

Mức lương tư vấn trong nước – cán bộ cấp thấp (người/ngày)

300

Ước tính

Mức lương tư vấn trong nước – cán bộ cấp cao (người/ngày)

400

Ước tính

Mức lương tư vấn phí quốc tế (người/ngày)

500 Quy định của chính phủ

Phí tham dự hội thảo không ở nơi sở tại

100 Theo tính toán

Phí tham dự hội thảo ở nơi sở tại

300

Theo tính toán

Chú ý: bảng trên chưa quy định loại tiền tệ và số tiền ghi ở trong bảng chỉ nhằm mục đích minh họa. Kết quả: bảng đơn giá cho kế hoạch hoạt động M&E

Bước 4:

Xác định số lượng đơn vị cần thiết cho từng hoạt động

Bây giờ hãy ước tính số lượng đơn vị cần thiết cho từng hoạt động và viết vào bản kế hoạch hoạt động M&E, ở cột có tiêu đề mô tả chi phí (xem Phụ lục A, kế hoạch hoạt động M&E). Làm như vậy cho mỗi năm có hoạt động đó, vì kế hoạch hoạt động cần phải cho biết chi phí trên cơ sở hàng năm. Tính toán để có số tổng chi phí cho từng hoạt động trong từng năm diễn ra hoạt động. Nếu kế hoạch hoạt động dài hơn một năm, hãy ghi nhiều cột dự toán, mỗi cột ứng với một năm. Khi xác định số lượng đơn vị cần thiết và bổ nhiệm chi phí cho các hoạt động, hãy ghi nhớ rằng không phải tất cả các hoạt động đều tạo ra chi phí bổ sung. Một số hoạt động có thể được kết hợp hoặc triển khai thực hiện đồng thời với các hoạt động khác. Kết quả: bản kế hoạch hoạt động M&E theo mẫu, trong đó ước tính số đơn vị cần thiết cho từng hoạt động và tổng chi phí cho từng hoạt động trong từng năm.

212

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Bước 5:

Xác định tổng nguồn lực được huy động

Muốn huy động nguồn lực, trước hết phải biết nguồn lực nào cần thiết. Số lượng và loại tài nguyên cần thiết cho M&E được tính như sau: Số lượng và loại tài nguyên cần thiết (từ Bước 4) TRỪ ĐI Số tiền & loại tài nguyên đã có sẵn và được lập kế hoạch (xem ở dưới) BẰNG

Lượng nguồn lực được huy động (từ các nguồn khác nhau)

Chương 5

Để xác định các nguồn lực sẵn có và các nguồn lực dự kiến (tức là, những nguồn lực đã được lên kế hoạch hoặc cam kết nhưng chưa được chuyển giao), có thể cần thảo luận với thủ trưởng tài chính của các tổ chức, các Bộ liên quan, cũng như thảo luận song phương với các đối tác phát triển để xem nơi nào sẵn có các nguồn lực đó và mỗi đối tác có thể hỗ trợ các hoạt động nào trong kế hoạch hoạt động. Sau khi hoàn tất bước này, sẽ biết tổng số kinh phí ước tính cần huy động từ nguồn lực trong nước và quốc tế. Kết quả: ước tính số kinh phí bổ sung cần thiết từ các nguồn lực trong nước và quốc tế.

Bước 6:

Phân bổ các nguồn lực sẵn có cho các hoạt động cụ thể và xác định những thiếu hụt nguồn lực, phân theo hoạt động

Sau khi hoàn thành một danh sách các hoạt động có kèm theo dự toán chi phí (Bước 4), có thể chỉ định các nguồn lực sẵn có/dự kiến (xem Bước 5) cho từng hoạt động. Lưu ý rằng các nguồn lực sẵn có cho một hoạt động có thể khác nhau từ năm này sang năm khác. Nếu khung kế hoạch hoạt động dài hơn một năm, phải đảm bảo có các cột bổ sung cho từng năm trong phần dự toán chi phí của kế hoạch hoạt động . Khi giao nguồn lực, phải đảm bảo rằng các nguồn lực phù hợp với các điều kiện của đối tác phát triển (ví dụ, một số loại hình vốn của đối tác phát triển chỉ có thể được sử dụng cho một số hoạt động nhất định). Các nguồn lực của chính phủ phải được giao về những nơi cần thiết nhất và cho các hoạt động được xác định ưu tiên. Các hoạt động trong kế hoạch công việc cần được xác định ưu tiên để đảm bảo rằng các hoạt động quan trọng và cấp bách nhất được tài trợ trước hết từ các nguồn lực đã có trong tay. Khi đã chỉ định xong các nguồn lực sẵn có, có thể vẫn còn những chỗ thiếu hụt nguồn lực. Hãy nghiên cứu những điểm thiếu hụt đó để xem có thể nhóm chúng lại với nhau một cách lô-gich hay không (ví dụ như, một nhóm các hoạt động liên quan đến việc tiến hành khảo sát) và lưu ý các nhóm hoạt động này. Kết quả: xác định những khoảng thiếu hụt nguồn lực cho các hoạt động hoặc các nhóm hoạt động cụ thể

Triển khai các hệ thống M&E

213

Bước 7:

Huy động và đảm bảo nguồn lực trong nước và quốc tế

Xác định các nguồn lực tiềm tàng trong nước và quốc tế. Điều cần thiết là bảo đảm các cam kết nguồn lực bằng văn bản. ERL chứa đựng thông tin về cách viết đề xuất và huy động nguồn lực. Kết quả: các cam kết bằng văn bản và được bảo đảm về các nguồn lực trong nước và quốc tế.

Chương 5

Một số lời khuyên thực tế khi lập dự toán chi phí

214

Sử dụng phần mềm lập dự toán: việc lập dự toán có thể được tiến hành hiệu quả nhất bằng cách sử dụng phần mềm bảng tính hay phần mềm quản lý dự án.

Bao gồm việc lập dự toán cho các kế hoạch hoạt động M&E quốc gia trong khi lập dự toán cho các kế hoạch hành động quốc gia: Điều này sẽ giúp đảm bảo rằng M&E được lồng ghép trong các quy trình lập kế hoạch và lập dự toán của tổ chức.

Tránh bị cuốn sâu quá mức vào quá trình: ABC là một công cụ làm cho việc lập dự toán dễ dàng hơn, nhưng khi được sử dụng, nó có thể “tiêu thụ” hết tất cả mọi thứ.

Đừng đánh giá thấp nhiệm vụ: Việc thiết lập và duy trì phương pháp ABC có thể khiến cho bạn nản chí. Các tổ chức có thể phải chuẩn bị một dự toán sơ bộ để duy trì nhiệm vụ này trong các giới hạn thực tế. Tuy nhiên, có một mức độ chi tiết nhất định là điều cần thiết. Ví dụ, các nghiên cứu thời gian có thể được thực hiện để ước lượng thời gian thực hiện cho một công việc mới hoặc đơn giản, bạn có thể yêu cầu ai đó đã từng làm công việc tương tự ước tính xem cần bao lâu để hoàn thành một hoạt động. Các phương pháp khác có thể cần ít đầu vào hơn nhưng có thể mang tính chủ quan đến nỗi toàn bộ nhiệm vụ bị thỏa hiệp. Hơn nữa, các phương pháp đó có thể không xác định được chính xác những nơi đang sử dụng nhân viên thiếu hiệu quả (hoặc ngược lại), hoặc bỏ lỡ những xu hướng đáng kể.

Cẩn thận kẻo sử dụng sai công cụ: Nếu một tổ chức cố gắng triển khai phương pháp ABC mà không có sự trợ giúp của phần mềm máy tính thích hợp, đây có thể trở thành một sự lãng phí thời gian, tiền bạc và công sức. ABC là một quy trình phức tạp và cần được tự động hóa càng nhiều càng tốt và bằng những cách thích hợp nhất.

Duy trì hệ thống: Giống như bất kỳ phương pháp kế toán nào khác, ABC là một hoạt động liên tục cần được thường xuyên cập nhật khi hoàn cảnh có sự phát triển và thay đổi.

Hãy chuẩn bị và lường trước những tác động: ABC có tiềm năng chuyển hướng sự chú ý vào bất kỳ khu vực nào của một tổ chức khiến cho khu vực đó để lộ ra các khiếm khuyết, hoặc cũng có thể xác định những gì đang hoạt động tốt. Nếu một tổ chức quyết định áp dụng ABC, tổ chức đó cần phải sẵn sàng đương đầu với khó khăn và hành động dựa trên những phát hiện của mình để thực sự gặt hái được lợi ích. Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Câu hỏi tư duy 2: Hãy nhớ về tổ chức của bạn. Tổ chức của bạn có một hệ thống M&E, kế hoạch M&E và/hoặc một kế hoạch hoạt động M&E không? Nếu có, hãy tập trung vào kế hoạch hoạt động. Có thể thực hiện phương pháp lập dự toán ABC khi mà tổ chức phối hợp hệ thống M&E đã sử dụng nó trong khi các tổ chức khác chưa sử dụng?

8. Hướng dẫn thực hành C5-3: Sử dụng Kế hoạch hoạt động M&E để quản lý hệ thống M&E Một kế hoạch hoạt động M&E nhiều năm, nhiều ngành và nhiều cấp độ thường rất cồng kềnh. Để có giá trị, nó cần phải được sử dụng, đặc biệt là cho công tác quản lý hàng ngày của hệ thống M&E. Bốn công dụng chính của kế hoạch hoạt động M&E được mô tả ở đây nhưng lưu ý rằng có thể có những công dụng khác nữa.

Chương 5

Bất kỳ tổ chức nào có trách nhiệm M&E đều có thể sử dụng kế hoạch hoạt động M&E để xây dựng một ngân sách và kế hoạch hoạt động cho các hoạt động M&E của mình, như một phần trong quy trình lập ngân sách ở quy mô lớn hơn của tổ chức, cụ thể như sau: Bước 1:

Tách riêng các hoạt động, khung thời gian và chi phí mà tổ chức chịu trách nhiệm thực hiện từ kế hoạch hoạt động nhiều năm, nhiều ngành và nhiều cấp độ

Bước 2:

Nghiên cứu các hoạt động này và cụ thể hóa thêm một cấp nữa (các nhiệm vụ).

Bước 3:

Lập dự toán cho các nhiệm vụ này theo cùng cách lập dự toán cho kế hoạch hoạt động M&E.

Bước 4:

Chỉ định các cá nhân trong tổ chức (các chức vụ trong sơ đồ tổ chức) để hoàn thành các nhiệm vụ cụ thể trong kế hoạch hoạt động .

Bước 5:

Xác định các nguồn lực sẵn có, xem xét khả năng ngân sách bằng 0 và các hoạt động đồng thời nếu có thể, cũng như các thiếu hụt nguồn lực.

Bước 6:

Huy động thêm nguồn lực cho các nhiệm vụ này.

Đơn vị M&E có thể sử dụng kế hoạch hoạt động M&E để quản lý các hoạt động của đơn vị mình và các nhân viên hàng ngày, hàng tháng hoặc hàng quý, cụ thể như sau: Bước 1:

Tách riêng các hoạt động, khung thời gian và chi phí mà tổ chức chịu trách nhiệm thực hiện từ kế hoạch hoạt động nhiều năm, nhiều ngành và nhiều cấp độ trong thời hạn 1 năm

Triển khai các hệ thống M&E

215

Chương 5

216

Bước 2:

Nghiên cứu các hoạt động này và cụ thể hóa thêm một cấp nữa (các nhiệm vụ).

Bước 3:

Lập dự toán cho các nhiệm vụ này theo cùng cách lập dự toán cho kế hoạch hoạt động M&E.

Bước 4:

Chỉ định các cá nhân trong tổ chức (các chức vụ trong sơ đồ tổ chức) để hoàn thành các nhiệm vụ cụ thể trong kế hoạch hoạt động .

Bước 5:

Mở rộng các khung thời gian trong kế hoạch hoạt động để tạo ra khung thời gian hàng tuần.

Bước 6:

Sử dụng kế hoạch hoạt động mỗi tuần để xem xét lại các hoạt động thực hiện trong tuần trước và các hoạt động được lên kế hoạch cho tuần tiếp theo.

Bước 7:

Tổng kết các hoạt động được thực hiện hàng quý và tiến hành đánh giá hàng quý về các mốc thời gian đó

Bất kỳ tổ chức nào có trách nhiệm M&E cũng có thể sử dụng kế hoạch hoạt động M&E để cập nhật (nếu đã có kế hoạch) hoặc xây dựng (nếu chưa có) các mô tả công việc cho các nhân viên chịu trách nhiệm về M&E, cụ thể như sau: Bước 1:

Bước 2:

Nghiên cứu các hoạt động này và cụ thể hóa thêm một cấp nữa (các nhiệm vụ).

Bước 3:

Lập dự toán cho các nhiệm vụ này theo cùng cách lập dự toán cho kế hoạch hoạt động M&E.

Bước 4:

Cập nhật các mô tả công việc cho từng chức vụ giữ các trách nhiệm được giao theo kế hoạch hoạt động.

TWG M&E có thể sử dụng kế hoạch hoạt động M&E để theo dõi tiến độ phát triển và xây dựng hệ thống M&E, như sau: Bước 1:

Tách riêng các hoạt động, khung thời gian, và chi phí cho năm tài chính hiện tại từ kế hoạch hoạt động nhiều năm, nhiều ngành và nhiều cấp độ

Bước 2:

Tổng kết các hoạt động được thực hiện hàng quý, coi như các mốc thời gian quan trọng hàng quý

Bước 3:

Ở mỗi cuộc họp hàng quý của TWG M&E, hãy xem lại những mốc quan trọng của quý trước đó, nhận báo cáo tiến độ, và lập kế hoạch cho các mốc thời gian quan trọng trong quý tiếp theo.

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

9. Tóm tắt Chương 5 Kiến thức và Kỹ năng Trong chương này, bạn đã học về cách làm cho một kế hoạch hoạt động M&E nhiều năm, nhiều ngành và nhiều cấp độ trở thành một công cụ hữu ích để xác định ưu tiên, lập kế hoạch và điều phối các hoạt động liên quan đến hệ thống M&E. Bạn đã học về cách thức để kế hoạch hoạt động M&E cung cấp một tầm nhìn chung cho tất cả các bên liên quan để mỗi bên biết được họ sẽ đi theo cách tiếp cận nào và sẽ tiến hành các hoạt động nào trong một khuôn khổ hoạt động duy nhất. Bạn đã học về lý thuyết và các bước của quy trình kỹ thuật cần thiết để phát triển và cập nhật kế hoạch hoạt động M&E nhiều năm, nhiều ngành và nhiều cấp độ, và cách lập dự toán cho kế hoạch này bằng phương pháp ABC. Cuối cùng, bạn đã học về bốn công dụng chính của kế hoạch hoạt động M&E cho công tác quản lý hàng ngày.

10. Bài tập Chương 5

BÀI TẬP 1: NHẬN XÉT VỀ MỘT KẾ HOẠCH HOẠT ĐỘNG M&E HIỆN CÓ Phụ lục B bao gồm các kết quả tìm hiểu chính của một đánh giá hệ thống M&E cho Bộ Giáo dục tại nhà nước Goldstar, bảng đơn giá, và một kế hoạch hoạt động M&E có dự toán chi phí. Hãy nhận xét về kế hoạch này bằng cách nhìn vào những khía cạnh sau đây: •

Các hoạt động trong kế hoạch có đáp ứng các thách thức chính của hệ thống M&E như đã mô tả trong đánh giá hệ thống M&E không?

•

Các ưu tiên ngân sách có phản ánh các thách thức chính của hệ thống M&E không?

•

Các khoản ngân sách có thích hợp cho những ưu tiên của hệ thống M&E không?

•

Kế hoạch hoạt động có theo định dạng sử dụng được cho mục đích quản lý không (xem định dạng mẫu ở Phụ lục A)?

•

Các hoạt động có được trình bày và triển khai ở cấp độ phù hợp không (xem Hướng dẫn thực hành để biết thêm chi tiết)?

Sau khi đã nhận xét về kế hoạch hoạt động, hãy gợi ý các cách để cải thiện kế hoạch hoạt động (bằng cách thêm hoặc loại bỏ các hoạt động, thay đổi các cột, thêm cột, và thay đổi các ưu tiên kinh phí).

BÀI TẬP 2:

XÁC ĐỊNH ƯU TIÊN CHO CÁC HOẠT ĐỘNG TRONG KẾ HOẠCH HOẠT ĐỘNG M&E

Giả sử bạn vừa được cấp 4.100.000G (G = Goldens, đơn vị tiền tệ của nhà nước Goldstar) để thực hiện kế hoạch hoạt động mô tả ở Phụ lục B trong năm tài chính tiếp theo (2010). Chưa có dự báo ngân sách chi tiết cho 2011-2013 nhưng ít có khả năng ngân sách này vượt quá 4.000.000G / năm (theo giá trị hiện tại).

Triển khai các hệ thống M&E

217

•

Hãy cải tiến kế hoạch hoạt động bằng cách triển khai các gợi ý bạn đã đưa ra trong Bài tập 1. Có nghĩa là bạn phải xây dựng một KẾ HOẠCH HOẠT ĐỘNG MỚI sử dụng mẫu trong Phụ lục A.

•

Khi xây dựng kế hoạch hoạt động mới, hãy nhớ đến giới hạn ngân sách mà bạn được cấp cho năm tài chính 2010, và cho những năm tài chính tiếp theo. Bạn sẽ phải ưu tiên những hoạt động nào cấp bách và quan trọng nhất, hoặc tìm ra các cách ít tốn kém hơn để triển khai các hoạt động đó, hoặc giảm bớt quy mô của các hoạt động.

BÀI TẬP 3:

SỬ DỤNG KẾ HOẠCH HOẠT ĐỘNG M&E

Bạn sẽ đề nghị Bộ Giáo dục sử dụng kế hoạch hoạt động mô tả ở Phụ lục B như thế nào (sau khi kế hoạch được cải tiến) để quản lý hệ thống M&E của Bộ trên cơ sở hàng tuần?

BÀI TẬP 4:

M&E ĐỐI VỚI HỆ THỐNG M&E

Chương 5

Xét đến các thách thức của hệ thống M&E, bạn sẽ sử dụng chỉ số nào để theo dõi tiến độ của hệ thống M&E giáo dục trong vòng 4 năm tới?

218

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Triển khai các hệ thống M&E

Hiện trạng thực hiện

Khung thời gian thực hiện Q = Quý v.v.

Các tài liệu cần thiết để hoàn thành hoạt động

Tổ chức chịu Mô tả chi trách nhiệm phí (một tổ chức chủ trì, với các tổ chức khác đóng vai trò hỗ trợ)

Chương 5

Số hiệu và mô tả hoạt động

Tính toán chi phí

Chi phí (cho từng năm thực hiện)

Nguồn vốn

Phụ lục A: Kế hoạch hoạt động M&E

219

Phụ lục B:

Ví dụ kế hoạch hoạt động M&E dùng cho bài tập

Chương 5

Các kết quả đánh giá hệ thống M&E của Bộ Giáo dục Nhà nước Goldstar Cấu phần của hệ thống M&E

Hiện trạng cấu phần này trong hệ thống M&E ở cấp quốc gia và cấp huyện

Hiện trạng cấu phần này trong các hệ thống M&E của xã hội dân sự có cung cấp dữ liệu

1. Cơ cấu tổ chức cho hệ thống M&E

Ở cấp trung ương, Bộ Giáo dục có một đơn vị M&E hiện đang thiếu nhân viên do 2 người vừa từ chức. Mỗi huyện trong số 10 huyện ở nhà nước Goldstar đều có một cán bộ số liệu của Bộ Giáo dục.

Đánh giá năng lực của xã hội dân sự cho thấy những thiếu hụt lớn về nhân sự M&E ở cấp độ xã hội dân sự.

2. Nhân lực cho hệ thống M&E

Bộ Giáo dục đã tiến hành xây dựng năng lực cho các CSO về M&E, nhưng chưa đủ về số lượng và mức độ xây dựng năng lực.

Đánh giá năng lực của xã hội dân sự cho thấy sự thiếu hụt lớn về các kỹ năng M&E trong các tổ chức xã hội dân sự đang thực hiện các chương trình giáo dục

3. Các quan hệ đối tác M&E

Một nhóm công tác kỹ thuật M&E quốc gia đã được thành lập. Tuy nhiên, cơ cấu thành viên cũng như tần suất họp của nhóm công tác đều chưa được như dự kiến và cần phải được tăng cường.

Một số tổ chức xã hội dân sự tham gia các diễn đàn quốc gia và các thảo luận giữa các tổ chức xã hội dân sự cũng được tổ chức thông qua các diễn đàn quốc gia, tuy nhiên chưa có quan hệ đối tác M&E giữa các tổ chức xã hội dân sự (CSO) ở cấp huyện và cấp thực thi.

4. Các kế hoạch M&E

Đã có kế hoạch hoạt động M&E quốc gia, và kế hoạch này đã được rà soát vào tháng 10/2008 sau khi tiến hành một đánh giá với hệ thống M&E.

Đánh giá năng lực của xã hội dân sự cũng cho biết không phải tất cả các CSO đều đã có kế hoạch M&E. Ở những tổ chức có kế hoạch M&E, trọng tâm được đặt vào việc thu thập và báo cáo dữ liệu theo dõi chương trình, và ít chú ý hơn đến việc đánh giá hoặc sử dụng thông tin để cải tiến việc lập chương trình hoặc kế hoạch.

5. Các kế hoạch hoạt động M&E có dự toán chi phí

Kế hoạch hoat động M&E quốc gia tuy đã được xây dựng nhưng chưa có hiệu lực và chưa lập dự toán.

Đánh giá năng lực của xã hội dân sự cũng cho thấy M&E hầu hết chưa được đưa vào ngân sách của các CSO. Ở những nơi có phân bổ vốn cho M&E thì chủ yếu mới dành cho theo dõi và giám sát chương trình.

6. Trao đổi thông tin và văn hóa

Các nỗ lực vận động chính sách và trao đổi thông tin rất hạn chế và không được điều phối, dẫn đến sự thiếu rõ ràng về mục đích và giá trị của M&E trong trong ngành giáo dục.

Các CSO không có trọng tâm cụ thể.

7. Các khảo sát

Giám sát hành vi ở cấp toàn quốc cần có nhiều biện pháp thường xuyên hơn và cần tiến hành giám sát hành vi

Không áp dụng – Các CSO có thể tiếp cận các khảo sát và giám sát ở cấp quốc gia mặc dù còn nhiều khó khăn trong việc giải thích số liệu

220

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Hiện trạng cấu phần này trong hệ thống M&E ở cấp quốc gia và cấp huyện

Hiện trạng cấu phần này trong các hệ thống M&E của xã hội dân sự có cung cấp dữ liệu

8. Theo dõi thường quy

GOMSES (Hệ thống theo dõi đầu ra ngành giáo dục của nhà nước Goldstar) đã được xây dựng như một hệ thống thu thập tất cả các dữ liệu thường quy về các dịch vụ giáo dục trong nước. Với dữ liệu về các dịch vụ giáo dục được cung cấp tại các địa điểm cộng đồng, các mẫu biểu đã được thiết kế cho các CSO và các bộ ngành của chính phủ sử dụng. Tuy nhiên không có dữ liệu theo dõi tài chính nào được thu thập.

Một số CSO đã có các hệ thống theo dõi chương trình, một số không có, một số khác hoàn toàn không thu thập số liệu.

9. Cơ sở dữ liệu

Có một cơ sở dữ liệu quốc gia, nhưng không giống với hệ thống được sử dụng ở cấp huyện; số liệu cũng không được lưu giữ trong cơ sở dữ liệu này.

Chỉ có các CSO lớn tại các vùng thành thị có hệ thống thông tin

10. Giám sát và kiểm định dữ liệu

Các hướng dẫn quốc gia mới được xây dựng trong thời gian gần đây nhưng chưa được thực hiện. Hiện tại không hề có hoạt động kiểm định dữ liệu giám sát.

Không có – Các CSO không tiến hành giám sát.

11. Đánh giá và nghiên cứu

Nghiên cứu ngành giáo dục chưa được điều phối một cách hiệu quả; dữ liệu về các nghiên cứu trong ngành giáo dục chưa được phổ biến một cách thích hợp.

Phạm vi các đánh giá chương trình của các CSO không được phổ biến và trao đổi thông tin rõ ràng – nhưng cảm nhận chung là các đánh giá này còn nhiều hạn chế về phạm vi và tần suất.

12. Phân tích dữ liệu, phổ biến và sử dụng thông tin

Ở cấp quốc gia, Bộ Giáo dục có các báo cáo hàng năm về tình hình tiến bộ trong ngành giáo dục, trong đó báo cáo tất cả những số liệu chỉ số mới nhất hiện có trong cả nước, và các thông tin khác liên quan đến hiện trạng hệ thống giáo dục quốc gia. Đến nay, đã có hai báo cáo như vậy nhưng các số liệu trong báo cáo chưa được kiểm chứng và các báo cáo chỉ chứa đựng số liệu từ các tổng điều tra và khảo sát giáo dục, và không hề có bất kỳ dữ liệu thường quy nào từ các trường học hoặc phòng giáo dục huyện. Trong báo cáo đầu tiên, Bộ Giáo dục đã báo cáo về 7 trong số 21 chỉ số, và trong năm tiếp theo, Bộ đã có thể báo cáo về 14 trong 21 chỉ số.

Các CSO sử dụng dữ liệu ở một mức độ hạn chế. Khi mỗi CSO sử dụng dữ liệu, trước hết đó là dữ liệu của riêng CSO đó và không dựa trên quan hệ ba bên hoặc quan hệ đối tác với các CSO khác.

Triển khai các hệ thống M&E

221

Chương 5

Cấu phần của hệ thống M&E

Bảng đơn giá cho Kế hoạch hoạt động M&E của Bộ Giáo dục Nhà nước Goldstar Loại chi phí

Đơn giá

Tư vấn trong nước

1.000G /ngày

Tư vấn khu vực

2.000G/ngày

Chi phí in ấn

150G/một cuốn sổ tay trung bình

Vé máy bay trong nước

4.000G/chuyến bay

Vé máy bay trong khu vực

10.000G/chuyến bay

Chi phí hội thảo (với những người ở nơi khác đến)

250G/người/ngày (bao gồm tất cả các chi phí như đi lại, chi phí địa điểm, và chi phí tài liệu)

Chi phí hội thảo (với những người ở nơi sở tại)

650G/người/ngày (bao gồm tất cả các chi phí như đi lại, địa điểm, ăn ở, công tác phí, chi phí tài liệu)

Kế hoạch hoạt động M&E của Bộ Giáo dục Nhà nước Goldstar

Chương 5

Hoạt động 1

2010

2011

2012

In ấn và phổ biến kế hoạch M&E

G20,000

Các cuộc họp của nhóm công tác kỹ thuật

G35,000

G140,000

Đánh giá phối hợp thường niên

G200,000

G800,000

222

Tổng cộng

G250,000

G1,000,000

Lập mô hình các kết quả thi

G30,000

G120,000

Khảo sát các kỹ năng dạy nghề

G200,000

Đánh giá chất lượng học tập

G100,000

G60,000

Các nguồn dữ liệu thường quy Thu thập số liệu hàng tháng ở cấp huyện

2013

Điều phối và vai trò của các bên có lợi ích liên quan trong hệ thống M&E

Các khảo sát và giám sát là các nguồn số liệu định kỳ G200,000 G150,000

G150,000

G400,000 G150,000

G550,000

Quản lý dữ liệu của hệ thống M&E Kho điện tử lưu giữ dữ liệu và thông tin liên quan đến M&E ở cấp quốc gia và cấp huyện

G100,000

G200,000

Cơ sở GIS

G50,000

G100,000

Thiết lập liên kết giữa GIS và cơ sở dữ liệu liên quan

G20,000

G80,000

Các kế hoạch hoạt động Theo dõi và Đánh giá có dự toán chi phí

Hoạt động 5

2011

2012

2013

Tổng cộng

Phổ biến báo cáo thường niên của ngành giáo dục

G100,000

G120,000

G460,000

Cập nhật hồ sơ quốc gia trên trang web

G100,000

G120,000

G340,000

Các nhu cầu thông tin bất thường

G50,000

G100,000

Phổ biến và sử dụng dữ liệu của hệ thống M&E ngành giáo dục

Xây dựng nhân lực Đào tạo các cán bộ phụ trách số liệu ở cấp huyện

G60,000

G240,000

Đào tạo các cán bộ thực hiện

G300,000

G1,200,000

Chứng chỉ/văn bằng sau khi tốt nghiệp

G7,000,000

G28,000,000

Đào tạo giảng viên

G500,000

Thực tập và hướng dẫn

G250,000

Điều chỉnh giáo trình giảng dạy M&E hiện tại

G50,000

G500,000 G250,000

G250,000

G1,000,000 G250,000

G50,000

G1,000,000

Chương 5

2010

G100,000

Đánh giá và nghiên cứu Huy động quỹ nghiên cứu

G300,000

Duy trì và cập nhật chương trình nghiên cứu

G250,000

G300,000

G300,000 G250,000

G300,000

G1,200,000 G500,000

Tạo điều kiện sửa đổi hướng dẫn nghiên cứu nhóm dân tộc thiểu số

G50,000

G100,000

Đào tạo các nghiên cứu viên về các kỹ thuật liên quan đến HIV/ AIDS

G150,000

G600,000

Các cuộc họp của ủy ban công tác nghiên cứu dân tộc thiểu số

G20,000

G80,000

Cập nhật cơ sở dữ liệu nghiên cứu

Kiểm định dữ liệu và giám sát hỗ trợ Xây dựng các hướng dẫn và công cụ kiểm chứng và kiểm định dữ liệu

G300,000

Xây dựng kế hoạch kiểm chứng dữ liệu

G20,000

G25,000

G45,000

Tiến hành các chuyến công tác kiểm chứng và kiểm định dữ liệu và kiểm tra tại chỗ 9

G300,000

G130,000

G520,000

G2,600,000

G2,900,000

G3,200,000

3,500,000

G12,200,000

Theo dõi giám sát NAC và nguồn nhân lực đánh giá Lương cho đơn vị M&E

Triển khai các hệ thống M&E

223

Chương 6 Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá Chương 6

Mục đích của chương Chương này nhằm mục đích giúp bạn lập kế hoạch, xây dựng và quản lý chiến lược vận động chính sách và trao đổi thông tin cho tổ chức bạn đang làm việc hoặc cho hệ thống M&E của quốc gia. Mục đích của chiến lược vận động chính sách và trao đổi thông tin là giúp đảm bảo kiến thức về M&E và cam kết đối với M&E cũng như hệ thống M&E của các nhà hoạch định sách, các nhà quản lý chương trình, nhân viên chương trình và các bên liên quan khác.

Kiến thức và kỹ năng của chương a)

Giải thích cho người khác sự khác biệt giữa vận động chính sách và trao đổi thông tin

Hiểu được tại sao vận động chính sách và trao đổi thông tin về M&E có ý nghĩa quan trọng

Hiểu cách thức để vận động chính sách và trao đổi thông tin có thể đóng góp đáng kể vào việc tạo ra một văn hóa M&E tích cực trong tổ chức của bạn

Lập kế hoạch và quản lý kế hoạch vận động chính sách và trao đổi thông tin cho hệ thống M&E quốc gia

Làm quen với các loại chiến lược trao đổi thông tin và kênh trao đổi thông tin

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

225

Trước khi bắt đầu .... Bạn hãy dành vài phút để đọc qua toàn bộ các câu hỏi dưới đây. Bạn có thể viết câu trả lời ra giấy. Sau đó, trong quá trình tìm hiểu chương này, hãy so sánh câu trả lời của bạn với các quan điểm của các tác giả. •

Đâu là sự khác biệt giữa vận động chính sách và trao đổi thông tin?

•

Tại sao chúng ta phải tiến hành vận động chính sách cho công tác M&E?

•

Tại sao việc thử nhìn mọi thứ từ quan điểm của người/những người mà bạn đi vận động chính sách lại có ý nghĩa quan trọng?

•

Ai là những người đấu tranh cho M&E trong tổ chức của bạn?

•

Một chiến lược vận động chính sách và trao đổi thông tin về M&E cần phải như thế nào?

•

Bạn xây dựng kế hoạch vận động chính sách và trao đổi thông tin M&E cho tổ chức của bạn như thế nào?

•

Chiến lược củ cà rốt và cái gậy phải như thế nào để M&E hoạt động tốt trong một tổ chức?

Chương 6

Những câu hỏi này nhắc chúng ta nhớ lại, mặc dù các tổ chức có thể có những chiến lược vận động chính sách và trao đổi thông tin cho nhiều chương trình khác nhau, nhưng nhiều tổ chức không có chiến lược vận động chính sách và trao đổi thông tin về theo dõi và đánh giá. Chương này sẽ dạy bạn cách xây dựng và triển khai một kế hoạch vận động chính sách và trao đổi thông tin M&E cho tổ chức của bạn.

226

Triển khai các hệ thống theo dõi và đánh giá

Cấu phần 6: Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E

1. Giới thiệu “Nếu bạn nghĩ bạn quá nhỏ bé để tạo nên tác động, thì cứ thử đi ngủ cùng với một con muỗi xem sao.“ Anita Roddick Nhiều tổ chức đã xây dựng các chiến lược vận động chính sách và trao đổi thông tin để xác định cách lập kế hoạch trao đổi thông điệp về các chương trình của mình đến công chúng và các đối tượng đích khác cụ thể hơn. Tuy nhiên, không nhiều chiến lược trong số đó đề cập đến sự cần thiết phải trao đổi thông tin, và vận động chính sách cho theo dõi và đánh giá. Vận động chính sách, trao đổi thông tin và văn hóa cho các hệ thống M&E là cấu phần cuối cùng thuộc vòng ngoài Lập kế hoạch, Quan hệ đối tác và Con người của 12 cấu phần trong một hệ thống M&E hoạt động tốt. Cấu phần này được đưa vào vòng ngoài vì văn hóa tích cực đối với M&E là một phần quan trọng và thiết yếu để có một môi trường thuận lợi xây dựng hệ thống M&E cho tổ chức của bạn. Chương 6

Bố cục của Chương: Chương này tập trung vào Cấu phần 6 và bắt đầu bằng phần mô tả khái quát và các định nghĩa khái niệm vận động chính sách, trao đổi thông tin, và văn hóa (phần 2). Kết quả mong muốn cho chương này được trình bày trong Phần 3. Tại sao vận động chính sách và trao đổi thông tin lại quan trọng đối với M&E? Các lợi ích từ vận động chính sách và trao đổi thông tin được liệt kê ở dưới cùng với các câu hỏi và vấn đề quan trọng cần suy nghĩ khi triển khai các quy trình vận động chính sách và trao đổi thông tin (Phần 4 và 5). Phần 6 cung cấp một số ý tưởng giúp cho văn hóa của tổ chức đối với M&E trở nên tích cực hơn. Phần 7 khái quát các bước để phát triển và thực hiện một kế hoạch vận động chính sách và trao đổi thông tin M&E quốc gia. Chương này kết thúc bằng phần tóm tắt các bài học đã rút ra được (Phần 8), và bài học thực tiễn để củng cố những gì bạn đã học được trong chương này (Phần 9).

2. Thông tin cơ bản và Các định nghĩa 1.

Vận động chính sách: hành động đưa ra lý lẽ để biện luận một điều gì đó, ví dụ nguyên nhân, ý tưởng hoặc chính sách. Vận động chính sách nhằm mục đích giáo dục, xây dựng nhận thức, gây ảnh hưởng và làm thay đổi ý kiến. Vận động chính sách có thể thúc đẩy hành động, chẳng hạn như bằng cách tạo ra và triển khai một chính sách thuận lợi. Vận động chính sách cần có lòng nhiệt tình và sự cam kết để thúc đẩy động cơ hoặc mối quan tâm của người khác. Nó thúc đẩy những người vận động chính sách đi đầu và làm nhiều hơn những gì cần thiết. Người vận động chính sách cần phải có cảm giác về tính cấp bách và thách thức trong hiện trạng.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

227

Trao đổi thông tin: Một quá trình trao đổi thông tin bằng nhiều phương tiện hoặc phương tiện truyền thông khác nhau. Trao đổi thông tin tốt có đặc trưng là mục đích, nội dung rõ ràng; nguồn đáng tin cậy; hình thức hấp dẫn, kênh truyền tải thông tin có hiệu quả; có đối tượng xác định hoặc đối tượng đích; và được chuyển giao tới một cách hiệu quả tới người nhận.

Văn hóa M&E: một tập hợp được chia sẻ các giá trị, quy ước, hoặc tập quán xã hội về M&E. Một văn hóa M&E tích cực là nơi mà M&E được chấp nhận, hoan nghênh, khuyến khích và được tất cả mọi thành viên trong nhóm đánh giá là một phần thiết yếu để đạt được thành công trong thực hiện.

Vận động và truyền thông để tạo ra một văn hóa M&E tích cực: Việc trao đổi thông tin về M&E để thay đổi thái độ, hành động, nhận thức và hành vi liên quan đến M&E. Bằng cách gây ảnh hưởng đến người dân, các tổ chức, hệ thống và cơ cấu ở các cấp, các nỗ lực vận động, truyền thông M&E tạo ra một tập hợp các giá trị chung tích cực về tầm quan trọng và giá trị của M&E.

3. Kết quả thu được khi thực hiện cấu phần này

Chương 6

Kết quả dài hạn: Kiến thức và cam kết về M&E và hệ thống M&E giữa các nhà hoạch định chính sách, quản lý chương trình, nhân viên chương trình, và các bên liên quan khác. Kết quả ngắn và trung hạn:

228

•

Kế hoạch vận động chính sách và trao đổi thông tin M&E là một phần của chiến lược truyền thông quốc gia (nếu có). Kế hoạch cần xác định mục tiêu của các nỗ lực vận động chính sách và trao đổi thông tin, đối tượng đích, thông điệp chính được truyền đạt, và các kênh vận động chính sách và trao đổi thông tin.

•

M&E được phản ánh trong quy hoạch và các chính sách của chương trình quốc gia đang được theo dõi giám sát.

•

Có những người đấu tranh cho M&E trong số các quan chức cấp cao để ủng hộ các hành động M&E. Một người đấu tranh cho M&E thường là một người có quyền ra quyết định hoặc người có ảnh hưởng với quan điểm tích cực, hoàn toàn đánh giá được và hiểu được lợi ích của việc sử dụng thông tin để ra quyết định. Một người đấu tranh cho M&E sẽ nói, hành động và viết thay mặt cho những người chịu trách nhiệm quản lý chương trình M&E để thúc đẩy, bảo vệ quá trình tạo ra một hệ thống M&E hoạt động tốt.

•

Các hoạt động vận động chính sách về M&E được lập kế hoạch, có cơ cấu chặt chẽ và có mục tiêu

•

Các tài liệu M&E dành cho các đối tượng khác nhau để trao đổi những thông điệp chính về M&E (như đã xác định trong kế hoạch vận động chính sách và trao đổi thông tin về M&E) (xem Phụ lục A để biết các ví dụ về tài liệu vận động chính sách và trao đổi thông tin M&E).

Triển khai các hệ thống theo dõi và đánh giá

Câu hỏi tư duy 1: Hãy nhớ lại văn hóa M&E trong tổ chức của bạn trong giây lát. Các quyết định có dựa trên bằng chứng rõ ràng về những gì hoạt động hiệu quả hoặc những gì đã được thử nghiệm không? Thông tin có được phản hồi lại cho những người ra quyết định về các vấn đề thiết kế và thực hiện với các chương trình và đầu ra chương trình và kết quả không? Thông tin đó có được xem xét khi quyết định mở rộng quy mô, thu hẹp quy mô, tiếp tục hay chấm dứt hoạt động không? Hay các quyết định thường chỉ dựa trên các nhu cầu hay kỳ vọng chính trị của các tổ chức và các nhà lãnh đạo tổ chức? Bạn có biết mọi người trong tổ chức của bạn cảm thấy như thế nào về M&E không? Họ có coi M&E là một chức năng quản lý hữu ích và quan trọng, giống như chức năng ngân sách hoặc nhân lực không? Liệu họ có tham gia các hoạt động M&E không? Họ có yêu cầu các báo cáo M&E không, và các báo cáo này có được sử dụng để ra quyết định không? Trong tổ chức của bạn có những người đấu tranh cho M&E không? Nếu không có thì những bên liên quan nào trong nội bộ và bên ngoài tổ chức của bạn cần được đưa vào chiến lược vận động chính sách, trao đổi thông tin? Bạn nghĩ có thể làm gì để cải thiện văn hóa M&E trong tổ chức của bạn?

Chương 6

4. Lợi ích của việc vận động chính sách và trao đổi thông tin cho hệ thống M&E Vận động chính sách và trao đổi thông tin M&E một cách hiệu quả có ý nghĩa rất quan trọng vì những nguyên nhân sau đây: 1.

Trợ giúp để vượt qua những quan niệm sai lầm và khoảng trống kiến thức: vận động chính sách và trao đổi thông tin là những công cụ hiệu quả để vượt qua các quan niệm sai lầm hoặc tình trạng thiếu thông tin về M&E trong số các cán bộ quản lý chương trình cấp cao, các cấp ra quyết định và các nhà hoạch định chính sách, những người thường không hiểu nhiều về chủ đề này.

Trợ giúp lồng ghép M&E thành một trong những chức năng chính của tổ chức: Điều này sẽ giúp thiết lập một văn hóa M&E tích cực trong tổ chức. M&E là một vấn đề xuyên suốt và đòi hỏi một câu hỏi tiêu chuẩn bất kỳ khi nào thảo luận một khía cạnh của chương trình: “Điều này liên kết thế nào, hay ảnh hưởng thế nào đến hệ thống M&E của chúng ta, hoặc, hệ thống M&E của chúng ta có thể đóng góp những gì?”

Trợ giúp gây ảnh hưởng đến các chính sách và chiến lược để có các quy định thích hợp về M&E: ở cấp độ chính trị, vận động chính sách có thể được dùng để kết hợp các yêu cầu M&E vào luật pháp, chính sách và các chiến lược quốc gia, ví dụ như Luật Thống kê; luật đăng ký NGO; Luật Giáo dục; các chính sách và chiến lược quốc gia về HIV; hoặc Chiến lược quốc gia về xóa đói giảm nghèo. Với bất kỳ chương trình nào, việc thu hút sự hỗ trợ chính trị để thúc đẩy tính minh bạch và trách nhiệm giải trình xung quanh chương trình sẽ là sự hỗ trợ tốt và làm cho chương trình hiệu quả hơn.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

229

Trợ giúp thuyết phục và khuyến khích các tổ chức, cá nhân thực hiện chức năng M&E. Ở cấp độ cá nhân và tổ chức, trao đổi thông tin một cách chiến lược có thể đóng vai trò quan trọng khiến cho các cá nhân trở nên tích cực hơn về M&E, cũng như sự tham gia của họ trong hệ thống M&E.

Trợ giúp để tạo ra nhu cầu về dữ liệu. Nếu các nhà hoạch định chính sách và các cấp ra quyết định yêu cầu dữ liệu (một yêu cầu có sự đóng góp của vận động chính sách và trao đổi thông tin), thì sự phát triển và tính bền vững của một hệ thống M&E có nhiều khả năng trở thành ưu tiên hơn và phải được phân bổ đầy đủ nguồn lực.

Giúp giảm thiểu hệ thống báo cáo hai lần. Nếu tất cả các bên liên quan đều hiểu rõ các mục đích, điểm trọng tâm và đầu ra của hệ thống M&E, tất cả sẽ muốn đóng góp cho hệ thống, qua đó có thể giảm bớt các yêu cầu báo cáo mà vô tình có thể dẫn đến việc báo cáo hai lần.

5. Các vấn đề liên quan đến thực hiện vận động chính sách, trao đổi thông tin và văn hóa

Chương 6

5.1. Tại sao việc suy nghĩ về quan điểm, nhu cầu và lợi ích của cá nhân / đối tượng vận động chính sách của bạn lại quan trọng? Để thúc đẩy ai đó trở nên tích cực với M&E và hỗ trợ hệ thống M&E, họ cần phải thấy được M&E phù hợp và đáng giá đối với họ, với công việc hay nhóm của họ. Nếu bạn có thể nhìn M&E từ quan điểm của họ, và giải thích cách thức M&E có thể giúp họ làm việc tốt hơn, hoặc đạt được mục tiêu của họ, bạn sẽ có khả năng thuyết phục họ nhiều hơn về giá trị của M&E. M&E có một mục đích rõ ràng để giúp một chương trình, tổ chức thành công hơn, hoặc để xác định và giải quyết vấn đề. Vì vậy, bằng cách giải thích với người khác cách mà M&E sẽ giúp giải quyết một thách thức mà họ đang phải đối mặt, M&E sẽ trở nên liên quan và thêm hấp dẫn. Vận động chính sách hiệu quả về M&E làm cho M&E thực tế và phù hợp với đối tượng mục tiêu. Khi đó vận động chính sách giải thích M&E từ quan điểm của người được vận động, thay vì trông chờ mọi người bị thuyết phục bởi lòng nhiệt tình hoặc các thông tin kỹ thuật của chuyên gia M&E.

5.2. Ai nên chủ trì các nỗ lực vận động chính sách và trao đổi thông tin? Đối với các hệ thống M&E của chính phủ, các đơn vị M&E của các Bộ, cơ quan quốc gia và tất cả các thành viên của nhóm TWG M&E đều phải trao đổi thông tin về hệ thống M&E. Các nỗ lực vận động chính sách để gây ảnh hưởng và thúc đẩy các cấp ra quyết định về hệ thống M&E cần được điều phối bởi các tổ chức chịu trách nhiệm chính về hệ thống M&E, và các nỗ lực vận động chính sách hướng đến các nhà lãnh đạo cấp địa phương cần được điều phối bởi các LGA. Các bộ phải chịu trách nhiệm về tất cả các nỗ lực vận động chính sách và trao đổi thông tin có liên quan đến M&E cho ngành mình quản lý. Đối với hệ thống M&E của các tổ chức đơn lẻ, vận động chính sách và trao đổi thông tin về M&E có thể được dẫn dắt bởi bất kỳ ai trong tổ chức là người tích cực và am hiểu về M&E.

230

Triển khai các hệ thống theo dõi và đánh giá

5.3. Các vấn đề M&E điển hình liên quan đến vận động chính sách và trao đổi thông tin Các vấn đề M&E cần truyền đạt phụ thuộc vào những thách thức mà hệ thống M&E đang phải đối mặt. Dưới đây là một số ví dụ về các thông điệp chính: M&E không phải là một chức năng kiểm soát. Nó thực sự hữu ích và cần thiết cho mỗi bên liên quan tham gia vào chương trình (sử dụng ví dụ cụ thể có liên quan đến đối tượng của bạn để củng cố thông điệp này).

•

Vì M&E có thể giúp các chương trình cải thiện và đạt được kết quả, nên cần phải dành riêng nhân sự và kinh phí cho M&E. Mức đề nghị là 7-10% kinh phí chương trình.

•

M&E tạo ra hệ thống dữ liệu và thông tin để có thể nhận ra và khắc phục các vấn đề, khuyến khích và khen thưởng sự thành công.

•

Các thông tin mà hệ thống M&E cung cấp tạo điều kiện thuận lợi cho việc đưa ra các quyết định đúng đắn.

•

Cơ quan / bộ / tổ chức chịu trách nhiệm phối hợp chương trình đồng thời cũng chịu trách nhiệm theo dõi và đánh giá chương trình.

•

Đặc biệt là khi có nhiều bên thực hiện chương trình, họ sẽ cần dữ liệu báo cáo thường xuyên để cho phép các cơ quan phối hợp hoàn thành vai trò của họ.

•

Khi đã có một hệ thống M&E, các bên liên quan nên trông chờ và yêu cầu các báo cáo tiến độ.

•

Cần xây dựng năng lực cho một hệ thống theo dõi và đánh giá để thành công.

•

Các nhà tài trợ (quốc gia và quốc tế) muốn biết đang thực hiện được những kết qả nào.

Chương 6

•

5.4. Các nỗ lực vận động chính sách và trao đổi thông tin cần hướng đến ai? Đối tượng mục đích là ai còn tùy thuộc vào các thông điệp sẽ được phát đi và tùy thuộc vào thực tế ai là người phản đối M&E trong và ngoài tổ chức. Đối tượng mục tiêu có thể bao gồm các cán bộ nhân viên trong nội bộ (nghĩa là trong tổ chức của bạn) và những người khác ở bên ngoài tổ chức: •

•

Các đối tượng mục tiêu nội bộ để vận động chính sách và trao đổi thông tin về M&E •

Các cán bộ quản lý trong tổ chức

•

Các đồng nghiệp của bạn

Các đối tượng mục tiêu bên ngoài để vận động chính sách và trao đổi thông tin về M&E •

Các cán bộ quản lý cấp cao ở các bộ chủ quản

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

231

•

Các cán bộ, nhân viên chương trình của các bộ

•

Các vị bộ trưởng, thứ trưởng, và người đứng đầu các cục, vụ, cơ quan chính phủ

•

Chủ tịch hội đồng nhân dân các cấp địa phương

•

Người đứng đầu các tổ chức xã hội dân sự và các tổ chức tư nhân

•

Các viện nghiên cứu và học thuật

•

Các cán bộ kỹ thuật và cán bộ chương trình của các tổ chức thực hiện dịch vụ cho chương trình

•

Các nhà tài trợ cho chương trình

•

Những người hưởng lợi từ các dịch vụ của chương trình (nghĩa là các nhóm đối tượng được nhận dịch vụ)

•

Truyền thông đại chúng

5.5. Những loại hình kênh trao đổi thông tin nào có hiệu quả nhất?

Chương 6

Không một kênh trao đổi thông tin nào có hiệu quả nhất cho tất cả các nỗ lực vận động chính sách và trao đổi thông tin. Để tạo ra một văn hóa M&E tích cực, cần phải mất nhiều thời gian, sự ngoại giao, nỗ lực và hiểu biết thích hợp về lý do dẫn đến cách xử sự và quan điểm của mọi người khi nói đến M&E. Chắc chắn là không thể có phương pháp duy nhất phù hợp với tất cả các nỗ lực vận động chính sách và trao đổi thông M&E. Để cung cấp cho bạn một ý tưởng về các phương án có thể lựa chọn, chúng tôi xin liệt kê các loại hình kênh trao đổi thông tin chính như sau:

232

•

Các kênh thông tin cá nhân: xác định, trang bị và hỗ trợ cho người đấu tranh cho M&E (nghĩa là một quan chức cấp cao có thể thúc đẩy M&E trong những người đồng cấp); tiến hành các cuộc họp chiến lược với các bên có lợi ích liên quan (ví dụ người đứng đầu các tổ chức có nhiều chi nhánh); tổ chức các bữa ăn công việc với các bên liên quan chính và giới truyền thông đại chúng để giúp họ xóa mù về M&E. Ví dụ như, đào tạo cho giới truyền thông đại chúng về M&E sẽ giúp đảm bảo rằng họ có thể giải thích và báo cáo các kết quả M&E.

•

Tài liệu in: các gói thông tin về hệ thống M&E; các tập sách hướng dẫn về hệ thống theo dõi giám sát chương trình; và các nhắc nhở về các khía cạnh chính của M&E in trên các bưu ảnh.

•

Các bài trình bày tiêu chuẩn dưới dạng PowerPoint: các bài trình bày này cần tóm tắt về hệ thống M&E và cung cấp các bài chú giải của diễn giả để những người tham gia M&E có thể tự tin khi giải thích cho những người khác về hệ thống M&E của chương trình.

•

Các bản tin trên đài: các bản tin trên đài có thể nhắc những người thực hiện chương trình nộp các mẫu biểu theo dõi chương trình, khẳng định tầm quan trọng của việc làm như vậy và đồng thời cũng nhắc những người hưởng lợi từ dịch vụ yêu cầu các thông tin về chương trình từ các LGA.

Triển khai các hệ thống theo dõi và đánh giá

5.6. Các kỹ thuật vận động chính sách nào có hiệu quả nhất? Các kỹ thuật vận động chính sách bao gồm nhiều cách tiếp cận, từ cách tiếp cận tạo ra ít áp lực đến cách tiếp cận tạo ra nhiều áp lực. Các thông điệp vận động chính sách cần được tổ chức và trình bày một cách rõ ràng và cô đọng, và được chuyển tải thông qua các kênh trao đổi thông tin khác nhau, từ các tài liệu in và tài liệu điện tử đến truyền thông công chúng bằng ngôn từ. Các thông điệp được in ra có thể sử dụng các phương tiện truyền thông như báo chí, sách, tập hướng dẫn, pa-nô, tờ bướm, hay mũ và áo phông có in chữ. Các thông điệp điện tử có thể được chuyển tải qua các kênh như email, internet, đài truyền thanh, vô tuyến, video, và điện thoại di động. Truyền thông công chúng có thể trao đổi thông tin bằng lời thông qua các hình thức như mít-tinh, các vở kịch, biểu diễn ca nhạc, nhảy và nhiều sự kiện xã hội khác. Không có một quy tắc đơn giản nào cho biết hình thức nào có hiệu quả nhất; bởi vì điều này còn tùy thuộc vào thông điệp và đối tượng mục tiêu là ai.

5.7. Triển khai các kế hoạch vận động chính sách và trao đổi thông tin về M&E

Chương 6

Giao trách nhiệm triển khai kế hoạch vận động chính sách và trao đổi thông tin cho cá nhân (hoặc một nhóm) hiểu biết về hệ thống M&E và giá trị của hệ thống, và có khả năng chuyển tải thông tin một cách rõ ràng. Các hoạt động vận động chính sách cần được phản ánh trong kế hoạch công việc M&E và kế hoạch thực hiện hàng năm có dự toán chi phí. Để gây ảnh hưởng cho một tổ chức, một ý tưởng tốt là sử dụng các đồng nghiệp đáng tin tưởng trong tổ chức đó để họ thay mặt bạn tiến hành các hoạt động vận động chính sách.

5.8. Theo dõi, đánh giá và báo cáo về vận động chính sách và trao đổi thông tin M&E Công tác vận động chính sách thường được theo dõi và báo cáo trong khuôn khổ và các yêu cầu của hệ thống M&E. Nơi nào chưa có hệ thống M&E, nơi đó cần xây dựng và triển khai một kế hoạch đơn giản để theo dõi, đánh giá và báo cáo về công tác vận động chính sách.

6. Hướng dẫn thực hành C6-1: Tạo ra một văn hóa tổ chức có tính hỗ trợ và cơ cấu lãnh đạo M&E Văn hóa của một tổ chức có thể bao gồm nguyên tắc quản lý theo kết quả, hoặc có thể phản ánh thái độ nước đôi, hoặc thậm chí có thể phản đối mạnh mẽ những nỗ lực quản lý theo kết quả. Do đó các nhân viên trong tổ chức có thể ủng hộ, hoặc phản đối, hoặc công khai làm suy yếu hệ thống M&E được thiết lập để đo lường các kết quả mà tổ chức đạt được (hoặc không đạt được). Ai là người tạo ra văn hóa của tổ chức? Văn hóa tổ chức có thể thay đổi như thế nào và do ai? Hướng dẫn thực hành này cung cấp những gợi ý về cách gây ảnh Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

233

hưởng để văn hóa của một tổ chức trở nên tích cực hơn đối với nguyên tắc quản lý theo kết quả. Trong một văn hóa tổ chức như vậy, các nhân viên sẽ hỗ trợ, củng cố và giữ cho hệ thống M&E hoạt động tốt và họ sẽ đánh giá dữ liệu từ hệ thống M&E của tổ chức, vì dữ liệu đó có thể giúp họ lập kế hoạch chính xác hơn, quản lý tốt hơn và cải thiện kết quả hoạt động của tổ chức.

Bước 1:

Đánh giá sự sẵn sàng của tổ chức để quản lý theo kết quả và đánh giá văn hóa chung của tổ chức

Trước khi triển khai nỗ lực để giải quyết các điểm yếu tiềm tàng trong văn hóa của tổ chức, cần phải đánh giá sự sẵn sàng của tổ chức để quản lý theo kết quả. Đánh giá này xác định mong muốn chính trị của tổ chức để theo dõi và đánh giá các mục tiêu của mình và xây dựng một khuôn khổ dựa trên kết quả hoạt động. Đánh giá này cũng sẽ giúp lọc ra những sắc thái và yếu tố phức tạp ẩn giấu trong môi trường mà hệ thống M&E sẽ hoạt động, vì môi trường hoạt động là yếu tố quyết định sự thành công hay thất bại của hệ thống M&E (Kusek và Rist, 2005).

Chương 6

Đánh giá sự sẵn sàng không nhất thiết phải tạo ra một báo cáo chính thức hoặc thậm chí một báo cáo đánh giá công khai; trên thực tế, đánh giá này có thể được thực hiện bởi một nhóm đánh giá đi hỏi và tìm kiếm câu trả lời cho các câu hỏi sau đây (Kusek và Rist, 2005): •

Đâu là các áp lực tiềm năng khuyến khích nhu cầu phải xây dựng một hệ thống M&E trong tổ chức và tại sao?

•

Ai là người vận động cho hệ thống M&E?

•

Điều gì thúc đẩy người đấu tranh cho M&E hỗ trợ các nỗ lực M&E?

•

Ai sẽ sở hữu hệ thống?

•

Ai sẽ được lợi từ hệ thống?

•

Cần bao nhiêu thông tin?

•

Làm thế nào để hệ thống hỗ trợ trực tiếp việc phân bổ nguồn lực và thực hiện các mục tiêu chương trình tốt hơn?

•

Tổ chức, những người đấu tranh cho M&E và các nhân viên sẽ phản ứng lại các thông tin tiêu cực do hệ thống M&E đem lại như thế nào?

•

Ở đâu đã có năng lực để hỗ trợ một hệ thống M&E dựa vào kết quả?

•

Hệ thống M&E sẽ kết nối với các mục tiêu của dự án, chương trình, ngành và quốc gia như thế nào?

Câu hỏi cuối cùng chỉ áp dụng trong trường hợp chúng ta đặt trọng tâm vào hệ thống M&E quốc gia. Câu trả lời cho các câu hỏi này sẽ giúp định hướng quá trình thay đổi văn hóa tổ chức để hỗ trợ và làm việc tích cực hướng tới việc triển khai và duy trì hoạt động cho hệ thống M&E. Bạn có thể đọc thêm về các đánh giá sự sẵn sàng trong Chương 1 cuốn sách của Kusek và Rist, “Mười bước hướng tới một hệ thống theo dõi và đánh giá dựa trên kết quả” (đã có trên mạng bằng tiếng Tây Ban Nha, tiếng Pháp và tiếng Việt).

234

Triển khai các hệ thống theo dõi và đánh giá

Kết quả: hoàn thành đánh giá sự sẵn sàng, hiểu được về văn hóa của tổ chức.

Bước 2:

Xác định những người phản đối M&E có thể gặp trong tổ chức

Đánh giá sự sẵn sàng giúp xác định những người có tiềm năng đấu tranh cho hệ thống M&E. Đồng thời cũng xác định những người có thể phản đối hoặc có thái độ tiêu cực đối với hệ thống M&E. Những người ủng hộ và những người phản đối M&E có liên quan như thế nào đến văn hóa của tổ chức khi nói đến quản lý theo kết quả? Họ không nhất thiết phải là các nhà lãnh đạo/quản lý trong tổ chức, mà thông thường đây là những người lên tiếng phản đối hoặc ủng hộ các nỗ lực theo dõi và đánh giá. Những người “lớn tiếng” như vậy có thể có ảnh hưởng lớn đến các quan niệm và thái độ của các nhân viên khác về tổ chức. Thái độ của nhân viên sẽ định hướng hành vi của họ đối với các quy trình M&E. Nếu lãnh đạo hoặc cấp quản lý của một tổ chức đấu tranh ủng hộ M&E thì điều này sẽ được phản ánh trong các hệ thống và quy trình lập kế hoạch và quản lý của tổ chức. Nếu cấp quản lý có cái nhìn tiêu cực về M&E hoặc không hiểu rõ về các lợi ích của M&E để giúp quản lý tổ chức tốt hơn, thì điều này sẽ được phản ánh qua mức độ cấp vốn cho hoạt động M&E; liệu cơ cấu tổ chức có các vị trí chuyên trách cho M&E không; và mức độ quan tâm mà M&E nhận được trong công tác điều hành tổ chức hàng ngày. Chương 6

Chúng ta không chỉ tìm thấy những người đấu tranh ủng hộ và những người phản đối M&E ở cấp quản lý của tổ chức. Các nhân viên khác cũng có thể là người ủng hộ hoặc người phản đối, và điều này sẽ ảnh hưởng đến thái độ của những người xung quanh họ về việc theo dõi đánh giá các mục tiêu của tổ chức (tiêu cực, tích cực, hoặc nước đôi). Nếu có thể, hãy cố gắng xác định tại sao những người phản đối lại cảm thấy như vậy về M&E. Một cuộc đối thoại thoải mái, với một tách cà phê ở một khung cảnh văn phòng bình thường, có thể khuyến khích người phản đối M&E cởi mở và nói chuyện một cách thoải mái về các lo ngại của mình mà không sợ bị chỉ trích hay phê phán. Kết quả: xác định những người phản đối (chống đối cải cách) và các nguyên nhân khiến họ phản đối theo dõi và đánh giá.

Bước 3:

Xây dựng và triển khai các chiến lược để gây ảnh hưởng đến văn hóa tổ chức

Để gây ảnh hưởng đến văn hóa tổ chức, cần gây ảnh hưởng đến những người ủng hộ và người phản đối theo dõi và đánh giá để tạo ra sự thay đổi trong quan niệm và thái độ của các nhân viên xung quanh họ. Để thay đổi văn hóa của tổ chức, cần phải mất nhiều thời gian. Đây là một quá trình được thực hiện qua một thời gian dài và không thể hoàn tất chỉ sau một lần hội thảo. Bảng C6-1 dưới đây gợi ý một số chiến lược thực tế mà các lãnh đạo và cán bộ cấp dưới có thể triển khai để tạo ra một văn hóa hỗ trợ M&E cho tổ chức.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

235

Bảng C6-1:

Gợi ý các hành động cho các cán bộ cấp dưới và các nhà lãnh đạo tạo ra một văn hóa hỗ trợ M&E trong tổ chức Gợi ý các hoạt động cho các cán bộ cấp dưới

• Tổ chức các chuyến tham quan học tập cho các nhà lãnh đạo trong tổ chức để họ có thể tự mình học hỏi kinh nghiệm về các lợi ích tích cực của hệ thống M&E • Thu xếp các cơ hội cho các nhà lãnh đạo của tổ chức mình tiếp xúc với lãnh đạo của các tổ chức khác đã triển khai M&E • Tìm ra một cán bộ cấp cao trong tổ chức là người đấu tranh cho M&E • Chuyển giao các sản phẩm M&E khi lập kế hoạch, để các cán bộ quản lý cấp cao có thể dựa vào các sản phẩm đó • Tích cực tìm kiếm các cơ hội vận động chính sách • Xóa bỏ các thuật ngữ chuyên môn M&E khỏi các tài liệu M&E phổ biến đến các cán bộ quản lý cấp cao • Chủ động bằng cách tìm ra và tích cực tận dụng các cơ hội để lồng ghép M&E vào các hoạt động của tổ chức, và giúp các đơn vị khác nhìn thấy lợi ích (không phải là gánh nặng) từ các hệ thống M&E • Hoàn thành mọi chức năng M&E mà các cán bộ quản lý cấp cao có thể sử dụng đơn vị M&E để làm ví dụ cho các nhân viên khác Gợi ý các hoạt động cho các nhà lãnh đạo

Chương 6

• Tạo ra một tầm nhìn đáng tin cậy, mạnh mẽ và hấp dẫn về tương lai của hệ thống M&E để mọi người tôn trọng và tin tưởng • Truyền thông về tầm nhìn của bạn đối với M&E • Học hỏi về M&E và hệ thống M&E để cảm thấy tự tin khi vận động cho hệ thống này, và để các nhân viên tôn trọng quan điểm và các tuyên bố của bạn về M&E • Thúc đẩy các nhân viên M&E của bạn làm việc chăm chỉ và khen thưởng kết quả hoạt động của họ • Bản thân bạn phải trở thành một người sử dụng dữ liệu bằng cách yêu cầu các sản phẩm thông tin (các báo cáo, dữ liệu) khi ra quyết định về các kế hoạch tương lai (yêu cầu một cách cương quyết nhưng hợp lý) • Tự mình nêu gương bằng cách ra quyết định dựa trên các dữ liệu, mặc dù đó có thể là những quyết định khó khăn • Giúp các nhân viên M&E xây dựng mối quan hệ tin cậy với các đồng nghiệp để lồng ghép M&E vào tất cả mọi chức năng của tổ chức • Hiểu và sử dụng sự năng động của các nhóm để đảm bảo rằng những người không tuân thủ các yêu cầu của hệ thống M&E chỉ là ngoại lệ và không phải là thói quen chung

Kết quả: thực hiện các chiến lược để thay đổi văn hóa tổ chức.

236

Triển khai các hệ thống theo dõi và đánh giá

7. Hướng dẫn thực hành C6-2: Xây dựng và thực hiện kế hoạch vận động chính sách và trao đổi thông tin M&E Các bước này đi theo cách tiếp cận dựa vào kết quả để thực hiện vận động chính sách và trao đổi thông tin liên quan đến M&E. Các bước này bắt đầu bằng việc tìm hiểu các thách thức trong vận động chính sách và trao đổi thông tin, và xác định các mục tiêu trao đổi thông tin trước khi quyết định các đối tượng đích bạn cần trao đổi thông tin và nội dung trao đổi với họ về M&E. Điều quan trọng cần nhớ, đó là vận động chính sách và trao đổi thông tin là một quá trình tăng dần và thường mất một thời gian dài (nhiều năm) mới hoàn thành và gặt hái được thành công. Những nỗ lực này diễn ra trong một môi trường năng động và hay thay đổi và các yếu tố bên ngoài có thể ảnh hưởng đến việc liệu bạn có đạt được các mục tiêu vận động chính sách và trao đổi thông tin hay không (Constella Futures, không nêu rõ ngày tháng).

Bước 1:

Tìm hiểu các kết quả mà bạn muốn đạt được thông qua các nỗ lực vận động chính sách và trao đổi thông tin M&E

Chương 6

Liệt kê các thách thức có ảnh hưởng tiêu cực đến hệ thống M&E của tổ chức bạn đang làm việc. Bạn có thể sử dụng các kết quả của các đánh giá hệ thống M&E gần đây, nếu có, hoặc các kết quả đánh giá khác nếu phù hợp. (Nếu không có đánh giá nào trong thời gian gần đây, thì không cần phải tiến hành đánh giá đầy đủ.) Từ danh sách các thách thức liên quan đến M&E, hãy xác định tất cả những thách thức có thể giải quyết, dù chỉ phần nào, thông qua các nỗ lực vận động chính sách và trao đổi thông tin M&E. Với mỗi một thách thức, hãy viết ra những tác động tiêu cực mà nếu không giải quyết được thì sẽ là một khó khăn đối với hệ thống M&E và chương trình được theo dõi, đánh giá. Sau đó hãy sắp xếp danh sách các thách thức theo thứ tự mức độ tác động tiêu cực từ lớn nhất đến nhỏ nhất. Điều quan trọng là tìm hiểu bối cảnh chính sách trong đó bạn đang làm việc và có thể tác động đến hệ thống M&E: ví dụ, giám đốc có sắp bị thay thế hay không, có đang tiến hành bầu cử mà kết quả có thể là thay bộ trưởng y tế mới hay không? Hãy suy nghĩ xem tình hình sẽ như thế nào khi thách thức đã được giải quyết (ví dụ, “các cán bộ quản lý có quan điểm tích cực về M&E và yêu cầu các báo cáo M&E”). Hãy xây dựng (các) mục tiêu vận động chính sách và trao đổi thông tin M&E. Hãy nhớ rằng các mục tiêu về vận động chính sách và trao đổi thông tin liên quan đến M&E không phải là mục tiêu liên quan đến sử dụng dữ liệu và phổ biến thông tin, mà là mục tiêu liên quan nhiều hơn đến văn hóa M&E tích cực trong tổ chức. Một khi đã xác định được các mục tiêu, bước tiếp theo là thực hiện các kết quả tác động (các kết quả trung gian). Bạn có thể thực hiện các hành động nào để đạt được các kết quả tác động trung gian? (các đầu ra). Bảng C6-2 cung cấp một

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

237

ví dụ thuộc loại áp dụng cách tiếp cận lô-gich cho nỗ lực vận động chính sách M&E. Bảng C6-2:

Kết quả chuỗi/lô-gich kết quả từ các nỗ lực vận động chính sách và trao đổi thông tin M&E

Kết quả tác động dài hạn

Các kết quả tác động trung gian

Các đầu ra

Văn hóa M&E trong tổ chức hỗ trợ cho các nỗ lực M&E

Các vị trí M&E trong tổ chức được đưa vào sơ đồ cơ cấu của tổ chức

• Tổ chức được 5 cuộc họp về các lợi ích của M&E • Chia sẻ báo cáo thiết kế cơ cấu tổ chức có M&E với cán bộ quản lý nhân sự

M&E là một nội dung phải có trong chương trình họp hàng tháng

• Cán bộ quản lý văn phòng được báo cáo tóm tắt về hệ thống M&E • Cán bộ quản lý văn phòng biết về các lợi ích của M&E đối với tổ chức

Chương 6

Kết quả: Liệt kê các thách thức chính ảnh hưởng đến hệ thống M&E của quốc gia và có thể giải quyết được, dù chỉ phần nào, thông qua các nỗ lực vận động chính sách và trao đổi thông tin, theo thứ tự mức tác động tiêu cực từ lớn nhất đến nhỏ nhất, và các kết quả lô-gich với các nỗ lực vận động chính sách và trao đổi thông tin M&E của bạn.

Bước 2:

Xác định các đối tượng đích

Dựa trên (các) mục tiêu vận động chính sách và trao đổi thông tin đã xác định ở Bước 1, hãy xác định các cá nhân và nhóm đối tượng cần được gây ảnh hưởng để đạt được các mục tiêu vận động chính sách và trao đổi thông tin. Các đối tượng đích có thể bao gồm các cá nhân (ví dụ Thủ tướng); các tổ chức (ví dụ các tổ chức xã hội dân sự hoặc LGA); hoặc các nhóm nhỏ đặc trưng (như các cán bộ M&E của tất cả các tổ chức). Kết quả: Danh sách các cá nhân và tổ chức là đối tượng đích của các nỗ lực vận động chính sách và trao đổi thông tin.

Bước 3:

Xác định các đồng minh của bạn và thành lập một nhóm những người vận động chính sách với các vai trò và trách nhiệm cụ thể

Liệt kê các lợi ích dự kiến khi hoàn thành đầy đủ các mục tiêu vận động chính sách và trao đổi thông tin. Liệt kê các tổ chức, các nhóm hoặc cá nhân sẽ được lợi trực tiếp hoặc ở trong tình huống tích cực nếu các mục tiêu vận động chính sách và trao đổi thông tin được thực hiện. Nhóm này sẽ tạo ra các đồng minh và cán bộ truyền thông chủ chốt. Hãy mời các đồng minh này thành lập nhóm những người vận động chính sách và yêu cầu từng đồng minh liệt kê các điểm mạnh và lợi ích mà họ sẽ mang đến cho công tác vận động. Hãy liệt kê tất cả các vai trò và trách nhiệm chính cần được phân công. Hãy giúp từng đồng minh xác định vị trí chiến lược của mình và cam kết thực hiện các vai trò và trách nhiệm của mình. 238

Triển khai các hệ thống theo dõi và đánh giá

Kết quả: Nhóm bao gồm những người vận động chính sách được xác định và có vai trò và trách nhiệm cụ thể

Bước 4:

Dẫn dắt những người vận động chính sách thống nhất về các thông điệp vận động và truyền thông chính

Rà soát và thảo luận các mục tiêu vận động chính sách và trao đổi thông tin liên quan đến M&E (xem Bước 2). Với nhóm vận động chính sách của bạn, hãy động não suy nghĩ xem bạn muốn truyền thông điều gì đến các cấp ra quyết định. Hãy thống nhất các thông điệp chính mà bạn cần truyền thông đến các đối tượng mục tiêu. Các thông điệp thu hút sự chú ý nhiều nhất là những thông điệp phù hợp nhất với đối tượng và giải quyết các nhu cầu, vấn đề, thách thức và mục đích của họ. Điều gì có khả năng là quan trọng nhất đối với từng đối tượng? M&E có thể giúp họ như thế nào? Đâu là những lợi ích cụ thể mà hệ thống M&E có thể đem lại cho đối tượng đó? Bảng C6-3 cung cấp các ví dụ về thông điệp vận động chính sách và trao đổi thông tin cho các đối tượng đích khác nhau. Như bạn có thể thấy thông qua các ví dụ này, lập bảng kết nối từng đối tượng đích với các thông điệp cụ thể sẽ rất có ích để xây dựng cách tiếp cận chiến lược và tập trung cho vận động chính sách và trao đổi thông tin liên quan đến M&E. Ví dụ về các đối tượng đích và các thông điệp truyền thông (tiếp theo các ví dụ ở bảng C6-2)

Các đối tượng đích

Chương 6

Bảng C6-3:

Thông điệp chính

Giám đốc điều hành

M&E có thể giúp tổ chức hoạt động tốt hơn

Những người thực hiện

M&E cung cấp dữ liệu về các kết quả và thành tựu giúp giải trình yêu cầu tiếp tục cấp vốn

Kết quả: Thống nhất các thông điệp chính cần truyền thông đến các đối tượng đích khác nhau.

Bước 5:

Hướng dẫn những người vận động chính sách lựa chọn các cách tiếp cận vận động và các kênh trao đổi thông tin

Sử dụng các nguồn lực khác nhau để dự thảo danh sách các kỹ thuật vận động chính sách và các kênh trao đổi thông tin sẽ sử dụng. Bổ sung danh sách này bằng một phiên suy nghĩ động não trong đó bạn cố gắng tìm tòi một cách sáng tạo các phương án lựa chọn để vận động chính sách và trao đổi thông tin. Đây là cơ hội lý tưởng để xem xét các phương án có ngân sách bằng 0. Ví dụ như, hãy tìm hiểu xem có thể bổ sung các hoạt động vận động chính sách và trao đổi thông tin cũng như các thông tin về M&E vào những hoạt động đào tạo, truyền thông, chia sẻ thông tin hoặc xây dựng năng lực nào đang được triển khai mà không phải bỏ thêm chi phí. Ngoài ra, hãy nhớ rằng các cuộc họp cá nhân trực tiếp có ý nghĩa quan trọng mà lại không tốn kém.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

239

Xét đến thực tế M&E là một vấn đề và công cụ có tính xuyên suốt, nên thường có nhiều cách để lồng ghép M&E vào các hoạt động của tổ chức. Ví dụ như, nếu một đơn vị khác tổ chức một hội thảo thì nhóm M&E có thể được dành cho vài phút trước khi bắt đầu hội thảo để trao đổi các thông tin quan trọng về M&E với các đại biểu. Bảng C6-4 cung cấp các ví dụ về các kênh trao đổi thông tin nhằm tiếp cận các đối tượng đích khác nhau Bảng C6-4:

Ví dụ về các kênh trao đổi thông tin cho các đối tượng đích khác nhau (tiếp theo ví dụ ở bảng C6-2)

Các đối tượng đích

Thông điệp chính

Các cách tiếp cận vận động chính sách/các kênh trao đổi thông tin

Giám đốc điều hành

M&E có thể giúp tổ chức hoạt động tốt hơn

Ăn sáng với giám đốc điều hành của một công ty đã bổ nhiệm cán bộ M&E chuyên trách

Những người thực hiện

M&E cung cấp dữ liệu về các kết quả và thành tựu giúp giải trình yêu cầu tiếp tục cấp vốn

Các cuộc họp lên kế hoạch làm việc, các hội thảo kỹ thuật, biên bản ghi nhớ về nguồn vốn mới

Chương 6

Kết quả: Danh sách các cách tiếp cận để vận động chính sách và kênh trao đổi thông tin.

Bước 6:

Thiết kế các tài liệu truyền thông

Xác định những người giỏi xây dựng các thông điệp vận động và truyền thông. Hãy tạo điều kiện cho họ làm việc với những người vận động chính sách để phân tích các thông điệp vận động và động não để suy nghĩ ra các ý tưởng về tài liệu truyền thông. Lập kế hoạch đủ thời gian cho các chuyên gia xây dựng tài liệu truyền thông. Thử trước các tài liệu truyền thông với một số lượng đối tượng đích được lựa chọn phù hợp. Hoàn chỉnh tài liệu truyền thông. Xem thêm mẫu tài liệu vận động và truyền thông ở Phụ lục A. Kết quả: Lập kế hoạch để tạo điều kiện thuận lợi và hỗ trợ những người đi vận động chính sách phân tích các thông điệp vận động, thiết kế tài liệu truyền thông, thử trước các tài liệu với một số đối tượng đích và hoàn chỉnh tài liệu.

Bước 7:

Thiết kế một kế hoạch để theo dõi và đánh giá các nỗ lực vận động chính sách và trao đổi thông tin

Điều quan trọng là phải nghĩ đến việc đánh giá các nỗ lực vận động và trao đổi thông tin. Để làm việc này, bạn cần xác định bạn sẽ đánh giá mục tiêu/kết quả vận động, truyền thông mà bạn đã xác lập như thế nào, và bạn sẽ theo dõi việc thực hiện các nỗ lực đó ra sao.

240

Triển khai các hệ thống theo dõi và đánh giá

Tuy nhiên, điều quan trọng cần nhớ, đó là có thể phải mất nhiều thời gian để đạt được các thay đổi nhờ vận động chính sách và truyền thông, nên “việc có thể đo lường tiến độ thực hiện mục tiêu mong muốn, và đo lường các thành công tích lũy được từ nỗ lực của bạn qua một khoảng thời gian, cũng quan trọng như việc đánh giá xem bạn có thực sự đạt được mục tiêu hay không” (Constella Future, không trích dẫn ngày tháng). Ngoài ra, các nỗ lực vận động chính sách, mục tiêu và môi trường nơi diễn ra các nỗ lực này cũng thường xuyên thay đổi (Weiss, 2007). “Có nhiều cách để đánh giá tính hiệu quả của một nỗ lực vận động chính sách, từ các hệ thống theo dõi đơn giản đến nghiên cứu cặn kẽ do các chuyên gia bên ngoài tiến hành. Loại hình đánh giá cần được chọn lựa theo các mục đích và mục tiêu cũng như nguồn lực sẵn có” (Shannon, 1998). Coffman còn tiếp tục gợi ý rằng để đánh giá các nỗ lực vận động chính sách, cần phải hiểu và thực thi các nguyên tắc sau đây (Coffman, 2007): Cung cấp thông tin thời gian thực cho nhóm vận động chính sách: Vì môi trường thay đổi, nên cần phải nhanh chóng thu thập, phân tích và trao đổi các thông tin M&E về các nỗ lực vận động chính sách. Điều này có thể dẫn đến yêu cầu báo cáo và đánh giá thường xuyên hơn so với các dự án khác.

Xem trọng các kết quả tạm thời: điều quan trọng là phải đánh giá sự tiến triển của các nỗ lực vận động chính sách bằng cách nhìn vào các đầu ra và kết quả ngắn hạn cũng như tác động dài hạn.

Lựa chọn các đánh giá đơn giản và tỏ ra sáng tạo: hãy chọn lựa những cách đơn giản để đánh giá mà không làm cho các nỗ lực vận động chính sách trở nên phức tạp, và hãy tìm các cách thức có tính đổi mới và sáng tạo để đánh giá các nỗ lực vận động chính sách.

Chương 6

Kết quả: Một kế hoạch được thiết kế chung nhằm theo dõi và đánh giá các chiến lược vận động chính sách và trao đổi thông tin, cũng như sự triển khai thực hiện các chiến lược đó trong khuôn khổ hệ thống M&E.

Bước 8:

Hỗ trợ những người đi vận động chính sách xây dựng một kế hoạch công việc và dự toán ngân sách cho hoạt động vận động chính sách

Hỗ trợ những người đi vận động chính sách xây dựng một kế hoạch công việc cụ thể trong đó chỉ rõ các hoạt động nào sẽ được tiến hành, và sẽ tiến hành khi nào và như thế nào. Hướng dẫn họ xây dựng dự toán ngân sách để thực hiện kế hoạch công việc và phân công cũng như thống nhất về vai trò và trách nhiệm của những người đi vận động chính sách theo kế hoạch công việc.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

241

Kết quả: kế hoạch công việc vận động chính sách và dự toán ngân sách, là một phần trong kế hoạch công việc và dự toán ngân sách M&E. (xem Cấu phần 5 để biết thêm thông tin về kế hoạch công việc và dự toán ngân sách cho hệ thống M&E của tổ chức).

Bước 9:

Làm việc với những người đi vận động chính sách để huy động các nguồn lực và thực hiện kế hoạch công việc vận động chính sách

Phân công trách nhiệm giữa những người đi vận động chính sách để huy động nguồn lực cung cấp tài chính cho các hoạt động trong kế hoạch công việc. Với những hoạt động không được cấp vốn, hãy liệt kê các nguồn lực có thể để giải quyết sự thiếu hụt vốn. Hãy tiếp cận các nguồn vốn có thể và kêu gọi sự hỗ trợ cho các hoạt động này. Kết quả: huy động các nguồn lực để tạo điều kiện thực hiện kế hoạch công việc vận động chính sách.

Chương 6

Bước 10: Tổ chức cho những người vận động chính sách theo dõi, đánh giá và báo cáo về công việc vận động chính sách Hãy thường xuyên nhắc nhở những người vận động chính sách về trách nhiệm của họ trong việc theo dõi và đánh giá công tác vận động chính sách và báo cáo về các nỗ lực của họ. Đảm bảo càng chắc chắn càng tốt rằng các báo cáo M&E của họ được sử dụng để gây ảnh hưởng và tạo ra sự thay đổi chính sách. Kết quả: Lên kế hoạch tổ chức cho những người vận động chính sách theo dõi, đánh giá và báo cáo về công việc của họ và các kết quả tìm hiểu M&E. Câu hỏi tư duy 2: Hãy nhớ lại các nỗ lực vận động chính sách và trao đổi thông tin về M&E đang được thực hiện trong tổ chức của bạn. Tại sao vận động chính sách cho công tác M&E lại quan trọng? Hãy nêu một số thách thức M&E trong tổ chức của bạn và liệu các chiến lược vận động và truyền thông M&E có thể giúp giải quyết những thách thức đó như thế nào? Bạn hình dung một chiến lược vận động và truyền thông hiệu quả như thế nào? Bạn sẽ thực hiện các bước mô tả ở trên trong tổ chức của bạn như thế nào?

242

Triển khai các hệ thống theo dõi và đánh giá

8. Tóm tắt Kiến thức và Kỹ năng của Chương 6 Trong chương này, bạn đã tìm hiểu tầm quan trọng của hoạt động vận động chính sách và truyền thông đối với việc tạo ra một văn hóa M&E tích cực và một chiến lược vận động chính sách và truyền thông có thể giúp ích như thế nào để đảm bảo rằng tất cả các bên liên quan (các nhà hoạch định chính sách ở cấp quốc gia và địa phương , các cán bộ quản lý chương trình, nhân viên chương trình và những người khác) có kiến thức về M&E và cam kết cho M&E cũng như hệ thống M&E. Bạn đã tìm hiểu về các lợi ích của vận động chính sách và trao đổi thông tin; nhất là cách thức mà vận động chính sách và trao đổi thông tin giúp vượt qua những hiểu nhầm, gây ảnh hưởng cho các chính sách và chiến lược chương trình cũng như giúp các tổ chức thực hiện các chức năng M&E của mình. Điều cuối cùng nhưng không kém phần quan trọng, bạn đã tìm hiểu về lý thuyết và các bước quy trình kỹ thuật cần thiết để xây dựng và thực hiện một kế hoạch vận động chính sách và trao đổi thông tin M&E. Bạn cũng đã biết rằng, các nỗ lực vận động chính sách cần được đánh giá và các nỗ lực vận động và truyền thông M&E cần được tiếp cận theo một cách khác, không giống như với các loại chương trình khác.

9. Bài tập

BÀI TẬP 1:

CHUẨN BỊ CÁC TÀI LIỆU VẬN ĐỘNG CHÍNH SÁCH VÀ TRAO ĐỔI THÔNG TIN

Viết một bài trình bày trong 10 phút cho người điều hành tổ chức của bạn để đề nghị tăng 200% nguồn vốn cấp cho M&E, và các cơ chế đảm bảo nguồn lực. Khi viết bài, hãy nhớ đến tầm quan trọng của thông điệp mà bạn đang cố gắng chuyển tải và thông điệp đó có thể được thể hiện như thế nào là tốt nhất, để cho người điều hành hiểu rõ điều gì là cần thiết (đọc thêm ở Phụ lục B).

Xây dựng một tập sách giới thiệu về hệ thống M&E quốc gia để dành riêng cho các tổ chức xã hội dân sự sẽ tham gia hội nghị xã hội dân sự quốc gia.

BÀI TẬP 2:

Chương 6

Chương 6 bàn về tất cả các hoạt động trao đổi thông tin và vận động chính sách cho hệ thống M&E, để cho các nhà quản lý và các cấp ra quyết định có thể phấn khích, ủng hộ và sử dụng dữ liệu M&E khi ra quyết định.

CÁC CƠ CHẾ KHUYẾN KHÍCH CÁC HỆ THỐNG M&E

Hãy viết ra tất cả các cơ chế khuyến khích như kiểu củ cà rốt (các cơ chế khuyến khích hấp dẫn và dễ chịu) và các cơ chế kiểu cái gậy (không hấp dẫn, mang tính phạt nhiều hơn) mà bạn có thể xây dựng cho hệ thống M&E ở tổ chức bạn đang làm việc.

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

243

Phụ lục A: Ví dụ về các tài liệu vận động và truyền thông cho các hệ thống M&E

Chương 6

Ví dụ từ Swaziland: các pa-nô tóm tắt quy trình dòng dữ liệu theo dõi chương trình HIV và AIDS ở Swaziland) và những người tham gia trong đó

Nguồn: Ủy ban Ứng phó Khẩn cấp với HIV/AIDS Quốc gia Swaziland

Ví dụ từ Swaziland: tập sách giải thích hệ thống thu thập dữ liệu thường quy về HIV

Nguồn: Ủy ban Ứng phó Khẩn cấp với HIV/AIDS Quốc gia Swaziland

244

Triển khai các hệ thống theo dõi và đánh giá

Ví dụ từ Zanzibar: tập sách giới thiệu M&E bằng thổ ngữ (kiSwahili) để nâng cao kiến thức BÌA TRƯỚC TẬP SÁCH

Chương 6

BÌA SAU TẬP SÁCH

Nguồn: Ủy ban AIDS Zanzibar

Vận động chính sách, trao đổi thông tin và văn hóa theo dõi và đánh giá

245

Phụ lục B: Các kênh trao đổi thông tin Trao đổi thông tin chủ yếu để phục vụ cho một trong ba mục đích sau đây, hoặc cho cả ba mục đích – đó là thông báo, chỉ dẫn, và gây ảnh hưởng. Có sự khác biệt giữa thông điệp dự kiến truyền thông, thông điệp được truyền thông trên thực tế, thông điệp mà người nghe tiếp nhận và thông điệp mà người nghe ghi nhớ và sử dụng để hành động (Vercic, không trích dẫn ngày tháng). Khi xây dựng các thông điệp truyền thông, điều quan trọng là phải giữ cho thông điệp dự kiến (nội dung mà một người muốn truyền thông) càng sát với thông điệp được tiếp nhận (và thông điệp được người nghe tiếp thu) càng tốt. Hình vẽ dưới đây tóm tắt các hành động cụ thể mà một người có thể thực hiện để tăng khả năng giữ cho thông điệp dự kiến và thông điệp được tiếp thu càng sát gần nhau càng tốt. Đây là thông điệp mà người đi truyền thông cho rằng người nghe sẽ nhận được

Chương 6

Thông thường sẽ xảy ra sự bóp méo (điểm mạnh và bản chất của thông điệp) giữa những gì người truyền thông DỰ ĐỊNH trao đổi với những gì được truyền thông trên thực tế

THÔNG ĐIỆP DỰ KIẾN

THÔNG ĐIỆP ĐƯỢC TRUYỀN THÔNG

THÔNG ĐIỆP

Được chuyển tải qua một hoặc nhiều kênh trao đổi thông tin (các bài diễn văn, tập sách giới thiệu, v.v.)

Thông điệp mà người được truyền thông nhận được không hoàn toàn giống hệt như thông điệp được truyền thông trên thực tế, do các quan niệm, rào cản, lựa chọn kênh trao đổi thông tin, v.v. Người nghe có thể chọn lọc những gì mình NGHE THẤY, và có thể không tiếp thu tất cả mọi điều mình nghe thấy. Nguyên nhân có thể là tính chất của thông điệp, các rào cản chính trị, rào cản kiến thức và các yếu tố khác ảnh hưởng đến sự tiếp thu và lưu giữ thông điệp

246

Tính chính xác và tác động của thông điệp có thể được cải tiến bằng cách xem xét thận trọng tất cả mọi thông tin trước khi thiết kế thông điệp

Có thể hạn chế những khác biệt giữa thông điệp được truyền thông và thông điệp nhận được bằng cách thí điểm các thông điệp với các đối tượng đích thích hợp, lựa chọn cẩn thận các kênh trao đổi thông tin và phương tiện truyền thông, thiết kế các yếu tố dễ nhìn thấy trong các thông điệp truyền thông theo nhiều cách thích hợp

THÔNG ĐIỆP NHẬN ĐƯỢC

THÔNG ĐIỆP ĐƯỢC TIẾP THU

Có thể hạn chế sự khác biệt giữa thông điệp nhận được với thông điệp được tiếp thu bằng cách sử dụng các tài liệu truyền thông và trình bày dữ liệu trực quan một cách thích hợp

Triển khai các hệ thống theo dõi và đánh giá

8 7

Chương 7 Theo dõi thường quy

Mục tiêu

9 10 Chương 7

Nội dung của chương này là nhằm giúp bạn có khả năng quản lý các dữ liệu theo dõi thường quy mà đơn vị của bạn cần thu thập, báo cáo, và sử dụng số liệu một cách hữu hiệu nhất.

Kiến thức và Kỹ năng Vào cuối Chương này, bạn sẽ có thể: a)

Hiểu được lợi ích của việc theo dõi thường quy nhằm diễn giải các kết quả và tác động của chương trình

Giải thích được cho mọi người và tiến hành sáu quy trình quản lý dữ liệu thường quy

Chú ý tới chất lượng dữ liệu trong mỗi bước quản lý dữ liệu

Biết cách liên kết các nỗi lực quản lý dữ liệu của tổ chức của bạn với các nỗi lực của bộ ban ngành của chính phủ và các hệ thống chủ chốt khác của tổ chức của bạn và biết cách xây dựng các yêu cầu báo cáo của nhà nước vào hệ thống theo dõi thường quy của tổ chức của bạn

Biết cách liên hệ giữa dữ liệu theo11 dõi chương trình và dữ liệu tài chính trong tổ chức của bạn

Thiết kế và xây dựng hệ thông theo dõi thường quy mới cho tổ chức của bạn

Xây dựng các hướng dẫn theo dõi thường quy cho tổ chức của bạn

Theo dõi thường quy

247

Trước khi bắt đầu … Hãy giành vài phút đọc các câu hỏi dưới đây. Bạn có thể viết ra các câu trả lời. Khi đi qua các nội dung trong chương này, hãy so sánh các câu trả lời của bạn với đáp án của tác giả. •

Dữ liệu theo dõi thường quy bao gồm những loại nào?

•

Khó khăn thách thức chủ yếu đối với dữ liệu theo dõi thường quy?

•

Sự luân chuyển của dữ liệu trong tổ chức của bạn?

•

Công tác báo cáo dữ liệu thường quy có thường bị chậm trễ không?

•

Mọi dữ liệu thường quy tại tổ chức của bạn có đạt chất lượng tốt hay không?

Chương 7

Có nhiều loại dữ liệu có thể cho thấy mức độ hiệu quả và tình hình vận hành các chương trình. Nếu chúng ta quản lý tốt các dữ liệu theo dõi thường quy, chúng ta có thể sử dụng số lượng thông tin thoạt nhìn có vẻ quá lớn và sử dụng chúng một cách hệ thống và hữu hiệu cho tổ chức của mình. Nội dung chương này trình bày về các lợi cíh của việc theo dõi thường quy trong một tổ chức, sáu quy trình chuẩn quản lý dữ liệu, và cách thiết kế và xây dựng hệ thống theo dõi thường quy.

248

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 7: Theo dõi thường quy

1. Giới thiệu “Không phải mọi thứ đếm được đều có giá trị và không phải mọi thứ có giá trị đều có thể đếm dược.“ Albert Einstein (1879-1955) Nhiên liệu của hệ thống Theo dõi và Đánh giá (M&E) là dữ liệu. Dữ liệu mà hệ thống M&E yêu cầu có được để phân tích được xác định bởi các chỉ số và các câu hỏi nghiên cứu trong kế hoạch Theo dõi và Đánh giá (xem Chương 4: Kế hoạch Theo dõi và Đánh giá). Các chỉ số khác nhau (các chỉ số đầu vào, các chỉ số đầu ra và các chỉ số tác động) trong hệ thống M&E đòi hỏi 3 loại nguồn dữ liệu: dữ liệu thường quy, dữ liệu định kỳ và dữ liệu một lần, như minh họa trong Bảng C7-1. Bảng C7-1:

Các loại Nguồn Dữ liệu đối với các loại Chỉ số khác nhau

Loại chỉ số

Khung thời gian thu thập dữ liệu

Đầu vào/ quy trình

Liên tục

Các loại nguồn dữ liệu

Các nguồn dữ liệu thường quy như dữ liệu thống kê về giáo dục hay các dịch vụ công khác

Đầu ra

Hàng quý, nửa năm, hàng năm

Chương 7

Các nguồn dữ liệu thường quy như dữ liệu theo dõi thường quy về các tài liệu đào tạo xây dựng cho trường học Các nguồn dữ liệu thường quy như dữ liệu thống kê về giáo dục hay các dịch vụ công khác Các nguồn dữ liệu thường quy như dữ liệu theo dõi thường quy về số ngày vắng mặt của giáo vien hay số lần tới thăm của các cán bộ nông nghiệp mở rộng Các nguồn dữ liệu định kỳ như khảo sát sự hài lòng sau khi sử dụng dịch vụ Đầu ra

1 tới 3 năm

Các nguồn dữ liệu định kỳ như khảo sát theo nhóm quần thể Các nguồn dữ liệu một lần như các nghiên cứu đặc biệt (nghiên cứu hay đánh giá)

Tác động

2 tới 5 năm

Các nguồn dữ liệu định kỳ như các cuộc điều tra Các nguồn dữ liệu định kỳ như khảo sát theo nhóm quần thể Các nguồn dữ liệu một lần như các nghiên cứu đặc biệt (nghiên cứu hay đánh giá)

Nguồn: Các tác giả trích từ bộ công cụ M&E của Quỹ Toàn cầu và WHO, 2006

Theo dõi thường quy

249

Mỗi trong số ba loại nguồn dữ liệu trên đều là cấu phần của vòng giữa (thu thập số liệu, tập hợp và kiểm tra số liệu) trong số 12 cấu phần của hệ thống vận hành M&E được giới thiệu trong các chương sau của khóa tập huấn: •

Các nguồn dữ liệu thường quy (Chương 7: Theo dõi thường quy – là chương này)

•

Các nguồn dữ liệu định kỳ (Chương 8: Các Khảo sát Định kỳ)

•

Nguồn dữ liệu một lần (Chương 11: Đánh giá và Nghiên cứu)

Cấu trúc của chương này: Chương 7 bắt đầu bằng phần thông tin cơ bản và các định nghĩa về hệ thống theo dõi thường quy (Phần 2). Kết quả mong đợi được đề cập trong Phần 3. Phần 4 trình bày các lợi ích của theo dõi thường quy nằm trong hệ thống M&E quốc gia, chỉ rõ rằng các dữ liệu theo dõi thường quy cung cấp thông tin về tác động và quy mô của chương trình và về các vấn đề liên quan tới đầu vào/đầu ra như nguồn tài chính và các các điều khoản thực hiện chương trình. Phần 5 giới thiệu các vấn đề về thực hiện chương trình. Cầu phần này có một phần Hướng Dẫn Thực hiện: cách thiết kế một hệ thống theo dõi mới (Phần 6). Cuối cùng là phần tóm tắt các bài học kinh nghiệm (Phần 7), và một bài tập thực hành để củng cố kiến thức đã học trong chương (Phần 8)

2. Thông tin cơ bản và các Định nghĩa

Chương 7

Dữ liệu theo dõi thường quy được lấy từ việc thực hiện chương trình, hoạt động hay dịch vụ – như sổ theo dõi đi học tại trường mỗi ngày. Dữ liệu theo dõi thường quy có thể được phân loại theo bản chất của dữ liệu (số liệu điều tra dân số về nhu cầu đối với dịch vụ, dữ liệu theo dõi thường quy của chương trình về cung cấp dịch vụ, và dữ liệu theo dõi tài chính thường quy), hoặc theo địa bàn thu thập số liệu (như tại cơ sở y tế hay tại cộng đồng), hoặc theo loại tổ chức đưa ra số liệu đó (cơ quan công lập, tư nhân hay tổ chức dân sự). 1.

Các loại dữ liệu thường quy phân theo bản chất của dữ liệu Khi phân loại các dữ liệu thường quy, bạn sẽ đặt câu hỏi “dữ liệu đó là gì?”. Có thể phân biệt 3 loại dữ liệu như sau: •

250

Dữ liệu điều tra dân số về nhu cầu đối với dịch vụ. Đây là các dữ liệu về các cá nhân hoặc các nhóm người có nhu cầu sử dụng dịch vụ, như trẻ mồ côi hay trẻ bị ảnh hưởng, các hộ gia đình nghèo không ứng phó được với suy thoái kinh tế hoặc các trường hợp tương tự. Các dữ liệu này có thể là về các cơ quan nhà nước hay các nhóm dân cư cần được hỗ trợ. Các dữ liệu này thường được thu thập từ sổ đăng ký (ví dụ như sổ đăng ký trẻ mồ côi tại ủy ban huyện hay sổ đăng ký danh sách cần dịch vụ hỗ trợ, không có nghĩa là dịch vụ đó nhất thiết phải được cung cấp. Tuy nhiên việc sử dụng các danh sách này có ý nghĩa trong việc quyết định cần đưa dịch vụ tới cung cấp tại khu vực nào và cho những nhóm nào. Nếu các dữ liệu này được duy trì

Triển khai các hệ thống Theo dõi và Đánh giá

thường xuyên, chúng có thể được sử dụng để xác định độ bao phủ của dịch vụ (xem them chi tiết trong Phần 3)

•

Dữ liệu theo dõi thường quy của chương trình (hay là dữ liệu về cung cấp dịch vụ) là dữ liệu về quá trình thực hiện và kết quả đầu ra đạt được ngay lập tức từ việc thực hiện một hoạt động của người cung cấp dịch vụ. Nói một cách dân dã là đếm hạt đậu (số người tham dự một hội thảo, số quyển sách được phân phát…) và được dùng chủ yếu để theo dõi tiến độ thực hiện chương trình. Các dữ liệu theo dõi chương trình thường đếm chỉ số đầu ra. Nói một cách khác, đó là những “dữ liệu dùng để theo dõi các hoạt động và dịch vụ thông qua hệ thống giám sát nhằm đảm bảo mọi đối tác đều thực hiện việc báo cáo thường xuyên và có hệ thống và báo cáo đó được ngoại kiểm”. (Wilson, 2004:103).

•

Dữ liệu tài chính thường quy là các dữ liệu về đầu vào cho việc thực hiện các hoạt động chính là nguồn tài chính của chương trình. Các dữ liệu này phục vụ theo dõi trong tổ chức về các chi tiêu tài chính thông qua hệ thống quản lý tài chính bằng sổ sách hay bằng máy tính.

Các loại dữ liệu thường quy phân theo địa bàn lấy dữ liệu

Chương 7

Việc phân biệt các dòng số liệu và các quy trình quản lý dữ liệu theo địa bàn lấy dữ liệu có thể là cần thiết đối với một hệ thống theo dõi thường quy. Để thực hiện điều này, hãy đặt câu hỏi “Nơi đầu tiên ghi chép dữ liệu này là ở đâu?”. Ví dụ, cần phân biệt giữa dữ liệu về dịch vụ HIV lấy từ các địa điểm công sở hay tại các điểm trong cộng đồng. Các loại dữ liệu thường quy phân theo loại tổ chức Để hiểu về sự luân chuyển dữ liệu, có thể cần thiết phải phân loại dữ liệu theo loại tổ chức đưa ra dữ liệu. Ba loại tổ chức có thể chia ra là: các tổ chức tư nhân (doanh nghiệp); khu vực công (các ban ngành, các bộ và các cơ quan nhà nước); và tổ chức xã hội dân sự Kết hợp các loại dữ liệu thường quy Có thể kết hợp các loại dữ liệu thường quy để hiểu rõ hơn về mối liên hệ giữa các loại dữ liệu này. Bảng C7-2 minh họa ba loại quan hệ thông qua một ví dụ từ ngành giáo dục Để có được dữ liệu đầy đủ, Bộ giáo dục cần thu thập cùng loại dữ liệu từ các trường công và trường dân lập, cả do bộ và do các tổ chức phi chính phủ điều hành. b)

Các quy trình quản lý dữ liệu: Khi quản lý bất kỳ loại dữ liệu thường quy nào, mỗi tổ chức đều cần thực hiện sáu quy trình quản lý dữ liệu (Kemerer (ed.) et al., 2007):

Theo dõi thường quy

251

•

Thiết lập nguồn dữ liệu: Bước quy trình đầu tiên đòi hỏi thiết lập biểu thu thập dữ liệu thiết kế theo mục đích sử dụng. Đó có thể là biểu bằng giấy, biểu đăng ký, biểu điện tử (ví dụ: biểu đăng ký đại biểu tham dự hội thảo). Không thể thu thập được dữ liệu nếu thiếu bước này.

•

Thu thập dữ liệu: Dữ liệu cần được thu thập thường xuyên và từ nhiều địa bàn khác nhau. Ví dụ, tất cả mọi người hướng dẫn hội thảo có thể được yêu cầu gửi tất cả danh sách đăng ký đại biểu tham dự hội thảo cho một người trong tổ chức

Bảng C7-2:

Kết hợp các loại hình dữ liệu thường quy

Chương 7

Loại hình tổ chức tạo ra dữ liệu

Nơi tạo ra dữ liệu (cũng chính là nơi cung cấp dịch vụ)

Các trường được điều hành bởi Bộ Giáo Dục

Các trường được điều hành bởi các tổ chức phi chính phủ

Các trường công lập (các trường được chính phủ xây dựng)

Các trường cộng đồng (các trường được cộng đồng xây dựng)

• Danh sách đăng ký số học sinh được tuyển vào mỗi lớp

• Dữ liệu theo dõi của chương trình về sự có mặt của giáo viên và học sinh

• Danh sách đăng ký số học sinh được tuyển vào mỗi lớp

• Dữ liệu theo dõi của chương trình về sự có mặt của giáo viên và học sinh

Bản chất của dữ liệu: Bảng trên chứa “dữ liệu điều tra dân số” về số lượng trẻ được tuyển vào trường học, dữ liệu theo dõi của chương trình về sự có mặt của học sinh, và dữ liệu theo dõi tài chính thường quy về các công tác tài chính của trường học.

252

Triển khai các hệ thống Theo dõi và Đánh giá

•

Phân tích dữ liệu: Sau khi kiểm tra đối chiếu, số liệu có thể được sử dụng để phân tích. Bạn có thể phân tích dữ liệu bằng cách xem phần tóm tắt dữ liệu (như số người thanm dự hội thảo) thay đổi theo thời gian, hay bằng cách so sánh số người tham dự tập huấn với số người dự kiến tham dự. Bạn cũng có thể thực hiện tính toán thống kê cơ bản (như tính số trung bình, xu hướng và trung điểm).

•

Báo cáo số liệu: Ngoài phân tích dữ liệu, hầu như luôn cần báo cáo dữ liệu cho một đơn vị khác như cho trụ sở chính của tổ chức hay trụ sở chính của bộ. Tuy nhiên, việc báo cáo dữ liệu cho một tổ chức khác không phải là mục đích chính của việc thu thập dữ liệu. Điều trước tiên và quan trọng nhất, việc thu thập dữ liệu thường xuyên của một tổ chức là nhằm theo dõi việc thực hiện chương trình nhằm trả lời câu hỏi “Chúng ta có đang thực hiện những hoạt động cần làm theo kế hoạch không?”

•

Sử dụng dữ liệu: Cuối cùng, và quan trọng nhất là việc sử dụng dữ liệu cho việc ra quyết định. Ví dụng, việc phát hiện số người được đào tạo ít hơn so với kế hoạch sẽ giúp bạn có động tác điều chỉnh bằng các nói chuyện với các nhân vien liên quan và giải quyết các nguyen nhân của vấn đề. Dữ liệu thường quy có thể được sử dụng một các hiệu quả nhất nếu như trong quá trình lập kế hoạch bạn đã đặc chỉ tiêu chương trình trong năm đó. Khái niệm này sẽ được làm rõ hơn trong Phần 5(e) của tài liệu này.

Chương 7

Chất lượng dữ liệu: Chất lượng dữ liệu là mức độ dữ liệu đạt được so với sáu tiêu chí đo lường chất lượng là độ chính xác, độ tin cậy, độ hoàn chỉnh, độ xác thực, độ kịp thời và độ nguyên vẹn (Bảng C7-3 sẽ nêu định nghĩa cụ thể của mỗi tiêu chí này) (USAID, 2007). Để đạt chất lượng tốt dữ liệu cần được tạo lập và luân chuyển qua một hệ thống quản lý dữ liệu có đủ các cấu phần vận hành chủ chốt tại mọi cấp độ của hệ thống” (Quỹ Toàn cầu, 2008). Vì vậy, chất lượng dữ liệu là một phần không thể thiếu của hệ thống quản lý dữ liệu thường quy. Khi quản lý dữ liệu thường quy, nhất thiết cần xem xét các vấn đề về chất lượng dữ liệu xuyên suốt sáu bước quy trình quản lý dữ liệu. Vì thế, chất lượng dữ liệu không phải là một bước nữa trong quản lý dữ liệu bởi ta cần xem xét làm thế nào để đảm bảo và thực hiện được 6 tiêu chí chất lượng dữ liệu trong mỗi bước quy trình quản lý dữ liệu

Bảng C7-3: Các định nghĩa về tính chính xác Các mặt số liệu Tính chính xác

Theo dõi thường quy

Định nghĩa Còn được biết đến như tính chắc chắn. Dữ liệu chính xác là dữ liệu đúng: dữ liệu đo cái định đo. Dữ liệu chính xác giảm thiểu các sai số (như thiên lệch do ghi chép hay do người phỏng vấn, sai do sao chép, sai do lấy mẫu) đến mức có thể bỏ qua.

253

Các mặt số liệu

Định nghĩa

Độ tin cậy

Dữ liệu đưa ra bở hệ thống dữ liệu CT dựa trên các quy tắc và quy trình nhất quán không phụ thuộc vào người sử dụng, thời gian và các thức sử dụng. Dữ liệu có độ tin cậy bởi chúng được đo lường và thu thập một cách nhất quán

Tính hoàn thiện

Tính hoàn thiện có nghĩa là hệ thống tổng hợp dữ liệu bao gồm đầy đủ các yếu tố cần thiết: bao gồm danh mục hoàn chỉnh những các nhân hoặc bộ phận đạt tiêu chuẩn

Tính chi tiết

Tính chi tiết có nghĩa là dữ liệu có đầy đủ chi tiết Ví dụ, một chỉ số đòi hỏi số người nhận dịch vụ tư vấn xét nghiệm và nhận kết quả, chia theo giới tính. Hệ thống sẽ thiếu độ chi tiết nếu không được thiết kế để ghi lại giới tính của cá nhân nhận dịch vụ tư vấn xét nghiệm.

Kịp thời

Dữ liệu được coi là kịp thời khi chúng được cập nhật (hiện tại) và được cung cấp kịp thời. Tính kịp thời bị ảnh hưởng bởi (1) tỷ lệ thông tin chương trình được cập nhật; (2) tỷ lệ thay đổi các hoạt động chương trình; và (3) thời điểm thông tin được thực sự sử dụng hoặc yêu cầu

Tính nguyên vẹn

Nguyên vẹn là khi dữ liệu được bảo vệ khỏi những thiên lệch hoặc xử lý có chủ ý vì các lý do chính trị hoặc cá nhân

Nguồn: USAID, 2007

Chương 7

Quan hệ giữa chất lượng dữ liệu và quản lý dữ liệu thường quy: Một trong những câu hỏi thường hay gặp là tại sao việc quản lý/đảm bảo chất lượng dữ liệu lại không phải là một trong sáu bước quy trình quản lý dữ liệu. Câu trả lời là chất lượng dữ liệu phải là một phần khkoong thể tách rời của mỗi bước quy trình từ tạo nguồn, thu thập, tập hợp, phân tích, báo cáo và sử dụng dữ liệu.

3. Các Kết Quả Thu Được Khi Thực Hiện Cấu Phần Này Kết quả dài hạn: •

Dữ liệu thường quy kịp thời và chất lượng cao được sử dụng cho công tác đánh giá thường quy việc thực thi chương trình và thực hiện các biện pháp nhằm cải tiến các chương trình.

Các kết quả trung và ngắn hạn: •

254

Các biểu mẫu theo dõi thường quy, dòng chảy dữ liệu, và tài liệu hướng dẫn

Triển khai các hệ thống Theo dõi và Đánh giá

•

Các quy trình quản lý dữ liệu định sẵn cho dữ liệu thường quy (phân nguồn, thu thập, đối chiếu, phân tích, báo cáo và sử dụng)

•

Các quy trình thường quy về thuyên chuyển dữ liệu từ các cấp dưới lên cấp quốc gia

Câu hỏi tư duy 1: Các loại hình dữ liệu nào là thường quy được thu thập và theo dõi bởi tổ chức của bạn? Dữ liệu có được gửi tới tổ chức của bạn từ các tổ chức khác? Có nỗ lực phối hợp nhằm hợp nhất các hệ thống theo dõi những dữ liệu này? Sáu quy trình quản lý dữ liệu thường quy hoạt động ra sao trong tổ chức của bạn? Bạn có thể lên danh sách cho chúng được không? Có bao nhiêu kết quả trung và ngắn hạn được liệt kê hiện có trong tổ chức của bạn?

4. Lợi Ích Của Công Tác Theo Dõi Thường Quy Trong Một Hệ Thống M&E Khi thực thi các hệ thống M&E, bạn có thể sẽ tự hỏi “Liệu có thực sự cần thiết phải thu thập dữ liệu thường quy hay không?”. Câu trả lời là CÓ bởi các lý do sau: Theo dõi thường quy cung cấp dữ liệu nhằm diễn giải các thay đổi ở các cấp độ kết quả lâu dài và tác động. Cần có các can thiệp nhằm mang lại các thay đổi ở trật tự cao hơn trong hành vi và trong xã hội. Việc thực thi các chương trình như vậy và các đầu vào được cung cấp để đưa ra được các kết quả đó cần phải được theo dõi; dữ liệu giúp diễn giải các thay đổi tích cực và tiêu cực (hoặc nguyên do của sự thiếu hụt) tại cấp độ có trật tự cao hơn.

Theo dõi thường quy cung cấp dữ liệu thời gian thực tế mà có thể được sử dụng cho công tác theo dõi, phối hợp và lập kế hoạch chương trình trên cơ sở hàng ngày. Dữ liệu theo dõi thường quy theo dõi các thay đổi xảy ra qua thời gian, không như dữ liệu của các khảo sát và điều tra (xem Chương 8) chỉ cung cấp ảnh chụp nhanh duy nhất tại một thời điểm. Dữ liệu theo dõi thường quy có thể được sử dụng để kiểm định dữ liệu bao phủ của chương trình được tạo ra thông qua các khảo sát và điều tra. Cả dữ liệu theo dõi thường quy lẫn dữ liệu khảo sát đều có thể được sử dụng để ước tính độ bao phủ của chương trình nhưng có một vài khác biệt (xem Bảng C7-4). Dữ liệu theo dõi thường quy chỉ ra việc thực hiện hoạt động của chương trình theo khu vực địa lya và có thể được chia tách theo cấp độ dưới cấp quốc gia, mà thường không phải lúc nào cũng có thể làm như vậy với dữ liệu khảo sát.

Theo dõi thường quy

Chương 7

255

Chương 7

Bảng C7-4: Khác Biệt Giữa Sử Dụng Dữ Liệu Theo Dõi Thường Quy và Các Khảo Sát Mẫu Nhằm Quyết Định Độ Bao Phủ Của Dịch Vụ Hệ thống theo dõi thường quy

Khảo sát mẫu về độ bao phủ của chương trình

Thu thập dữ liệu loại hình điều tra dân số về tất cả những người cần tới dịch vụ (các cá nhân, các nhóm, hoặc các tổ chức sẽ là đối tượng đích của dịch vụ)

Chọn lựa một mẫu đại diện cho các đối tượng hưởng lợi

Thu thập dữ liệu theo dõi thường quy về các chương trình thực thi, từ các tổ chức thực hiện các chương trình

Thu thập dữ liệu từ các đối tượng hưởng lợi của các chương trình (như, các cá nhân, các nhóm hoặc các tổ chức tiếp nhận dịch vụ/lợi ích của các chương trình

Thu thập dữ liệu từ tát cả các tổ chức thực hiện chương trình

Chọn lựa những người trả lời trên cơ sở mẫu

Phụ thuộc vào các nhà thực hiện chương trình để báo cáo dữ liệu

Tích cực thu thập dữ liệu từ những người trả lời

Cung cấp phản hồi cho các nhà thực hiện chương trình

Không cung cấp phản hồi cho từng cá nhân những người trả lời khảo sát

Bao phủ mọi khu vực địa lý nơi các chương trình được thực hiện

Chỉ bao phủ các khu vực được lựa chọn trong mẫu (Nếu mẫu không đại diện cho một nước, thì các kết quả khảo sát không mang tính đại diện đồng đều)

Các tổ chức thu thập dữ liệu hàng ngày và tổng hợp theo quý để báo cáo lại (như, thường quy)

Những người trả lời khảo sát được chọn lựa chỉ khi khảo sát được tiến hành và các khảo sát chỉ được tiến hành định kỳ, thông thường là hai năm một lần

Không tốn kém để thực hiện Hướng tới các nhà thực hiện chương trình và khiến họ chịu trách nhiệm cho công tác thu thập dữ liệu

Tốn kém để thực hiện Không trực tiếp nhắm tới các nhà thực hiện các chương trình hoặc để họ tham gia vào công tác thu thập dữ liệu

Nguồn: Các tác giả

Phần 5.7 giải thích cách tính dữ liệu bao phủ của dịch vụ từ hoặc dữ liệu theo dõi thường quy hoặc từ các khảo sát mẫu

5. Các vấn đề thực hiện trong công tác Theo dõi Thường quy dữ liệu Chương trình 5.1. Chỉ thu thập số liệu bạn cần Một trong những vấn đề của hệ thống theo dõi thường quy là số lượng quá lớn các dữ liệu được tạo nguồn, thu thập, tổng hợp, phân tích, báo cáo và sử dụng.

256

Triển khai các hệ thống Theo dõi và Đánh giá

Khi thiết kế các biểu theo dõi chương trình, nguyên tắc chủ chốt là cần xác định liệu bạn có sử dụng dữ liệu đó hay không. Bạn không nên thu thập dữ liệu chỉ để đềphòng khi cần đến. Điều đó thường là không cần thiết – ví dụ như việc thu thập số liệu về ông bà của các học sinh trong trường.

Nếu tôi biết trước rằng họ muốn tôi sử dụng tất cả đám số liệu này, thì tôi đã chẳng bao giờ đòi cung cấp số liệu!

5.2. Tỷ lệ báo cáo đối với một hệ thông theo dõi mới thường thấp lúc đầu, tuy nhiên có thể có các biện pháp cải thiện tỷ lệ này Một trong những thách thức chính đối với các tổ chức liên quan đến hệ thống theo dõi chương trình là làm cách nào để cải thiện tỷ lệ báo cáo. Trong một số trường hợp, cơ quan điều phối có thể yêu cầu một tổ chức báo cáo mà không có hỗ trợ tài chính cho công việc này. Các biện pháp tỏ ra thành công trong việc cải thiện tỷ lệ báo cáo bao gồm: Đảm bảo rằng các Cơ quan Chính quyền Địa phương chịu trách nhiệm điều phối các chương trình hiểu rõ rằng việc quản lý hệ thống theo dõi chương trình là một phần trách nhiệm của họ nhằm đảm bảo cho hệ thống quản trị tốt (hệ thống quản trị tốt bao gồm ba khía cạnh liên hệ lẫn nhau, bao gồm: luồng thông tin, tính minh bạch và trách nhiệm giải trình). Vì lý do này, một hệ thống theo dõi chương trình không chỉ đơn giản là một công cụ thu thập dữ liệu. Nếu được triển khai tốt và hoạt động tốt, hệ thống này có thể đóng vai trò như một cơ chế điều phối nhằm đảm bảo cho luồng dữ liệu tại các cấp địa phương và hỗ trợ các Cơ quan Chính quyền Địa phương cải thiện được hệ thống quản trị chương trình.

•

Nếu có yêu cầu báo cáo, việc báo cáo dữ liệu theo dõi chương trình lên các cơ quan cấp quốc gia như bộ y tế hoặc bộ giáo dục nên được lập thành yêu cầu bắt buộc. Nếu yêu cầu báo cáo dữ liệu theo dõi chương trình được đưa vào chính sách chương trình và kế hoạch chiến lược quốc gia liên quan, việc này sẽ giúp biến yêu cầu M&E thành chính thức và đảm bảo việc tuân thủ với yêu cầu báo cáo.

•

Nếu đây là một hệ thống theo dõi thường quy cấp quốc gia, hãy xem xét việc xây dựng một kế hoạch tuyên truyền và truyền thông (bao gồm cả tài liệu công bố trên phương tiện truyền thông) cho hệ thống theo dõi chương trình. Việc này cũng cần bao gồm cả các chiến lược khuyến khích các tổ chức tài trợ cung cấp ngân sách trực tiếp cho tổ chức triển khai đưa vào hợp đồng hoặc thoả thuận giữa tổ chức của họ với bên triển khai phần yêu cầu về báo cáo dữ liệu đến các kênh khác nhau.

•

Công bố báo cáo chương trình định kỳ (hàng quý hoặc nửa năm) trong đó trình bày phạm vi hoạt động của chương trình trong quốc gia. Báo cáo này

Theo dõi thường quy

Chương 7

•

257

sẽ cung cấp cổ tức dữ liệu cho các bên liên quan dưới hình thức một báo cáo cụ thể trình bày dữ liệu mà tất cả các bên liên quan đã trình nộp (như là một phần của báo cáo chương trình hàng quý). •

Công bố danh sách các tổ chức đã trình nộp dữ liệu chương trình.

•

Công bố một báo cáo theo dõi chương trình riêng cho từng đơn vị cấp địa phương (ví dụ: khu vực, vùng hoặc đơn vị hành chính khác).

•

Tổ chức các hội thảo bổ biến và kế hoạch hàng quý tại cấp địa phương để thảo luận về chương trình với toàn bộ các bên liên quan. Đảm bảo rằng các hội thảo này sẽ diễn ra, cần đưa việc tổ chức hội thảo vào kế hoạch công việc của các đơn vị cấp địa phương và chuẩn bị ngân sách.

•

Việc đăng ký của các tổ chức xã hội dân sự. Một số quốc gia đã ban hành quy định đăng ký đối với các tổ chức cung cấp chương trình và họ áp dụng luật pháp của quốc gia trong đó quy định rằng chỉ có những tổ chức đã đăng ký mới được cung cấp một dịch vụ cụ thể và họ cũng nhấn mạnh rằng chỉ những tổ chức có đăng ký mới được nhận tài trợ. Các biện pháp này giúp cho các quốc gia đó kiểm soát tốt hơn chất lượng dịch vụ và dễ dàng xác định được toàn bộ các tổ chức cần phải trình nộp dữ liệu theo dõi chương trình.

5.3. Việc xây dựng năng lực cho hệ thống theo dõi là điều thiết yếu

Chương 7

Khi thiết kế chương trình xây dựng năng lực nhân sự cho hệ thống theo dõi thường quy, bạn hãy nhớ rằng:

258

•

Nhiều tổ chức triển khai chương trình trước đây chưa bao giờ thu thập dữ liệu. Do đó, việc xây dựng năng lực cần phải chú trọng đến các kỹ năng M&E cơ bản bên cạnh việc đào tạo cách thức sử dụng mẫu theo dõi chương trình.

•

Cán bộ có trách nhiệm báo cáo và sử dụng dữ liệu chương trình cũng cần được giới thiệu về chương trình bảng tính nhằm hỗ trợ cho việc phân tích nhanh dữ liệu và tạo lập sản phẩm thông tin.

•

Hội thảo hoặc khoá đào tạo một lần thường là không hiệu quả, mà cần cung cấp hỗ trợ dài hạn và liên tục. Bạn nên xem xét cung cấp các chuyến viếng thăm hướng dẫn và giám sát hỗ trợ nhằm giúp các hội viên hiểu rõ về hệ thống theo dõi thường quy. Cũng cần hỗ trợ kỹ thuật cho quá trình thiết kế và điều chỉnh các công cụ thu thập dữ liệu chương trình.

•

Việc xây dựng năng lực kèm theo các chuyến viếng thăm hướng dẫn hoặc các chuyến viếng thăm giám sát hỗ trợ bổ sung ngay sau khoá đào tạo có thể làm tăng chi phí triển khai hệ thống, tuy nhiên, đây lại là sự đầu tư Hãy sử dụng các bộ dữ liệu diễn tập trong suốt quá trình đào tạo nhằm giúp cho học viên xây dựng được kỹ năng thực tế như tập hợp dữ liệu từ sổ sách hằng ngày vào form mẫu báo cáo quý.

•

Hãy sử dụng cơ hội đào tạo về hệ thống theo dõi thường quy để thành lập một đội ngũ giảng viên cho địa phương, những người này cần được cấp chứng nhận để tổ chức đào tạo hệ thống theo dõi thường quy và M&E nói chung.

Triển khai các hệ thống Theo dõi và Đánh giá

5.4. Phát triển hệ thống thu thập dữ liệu theo dõi thường quy chuẩn ở cấp quốc gia Nếu một quốc gia muốn xây dựng một hệ thống theo dõi thường quy quốc gia, việc chuẩn hoá và lập quy định về thu thập dữ liệu sẽ giảm thiểu khối lượng dữ liệu không thể phân tích hoặc tích hợp do việc thu thập dữ liệu hoặc định nghĩa về hoạt động không nhất quán (xem Hình C7-1).

5.5. Cần theo dõi cung và cầu chương trình Dữ liệu theo dõi chương trình thường quy cần có những thông tin về việc cung cấp chương trình (ví dụ: tổ chức triển khai nào đang cung cấp dịch vụ gì cho nhóm đối tượng nào) được thu thập từ các tổ chức triển khai chương trình (tức là: các nhà cung cấp dịch vụ). Ngoài ra,dữ liệu điều tra dân số về nhu cầu đối với chương trình (bao nhiêu người/ nhóm hoặc tổ chức tại mỗi khu vực cần sự hỗ trợ) cũng cần thiết để xác định phạm vi, hoặc khoảng thiếu sót trong việc cung ứng chương trình. Ví dụ, nếu các tổ chức hỗ trợ trẻ em dễ tổn thương không biết rõ gia đình nào có trẻ em dễ tổn thương (tức là nhu cầu về dịch vụ đang ở đâu), họ sẽ không thể định hướng chính xác cho dịch vụ của mình hoặc diện bao phủ khu vực mục tiêu của mình (tức là cung ứng dịch vụ). Việc xác định nhu cầu về chương trình có lẽ cần có sổ đăng ký về các hộ gia đình hoặc công cụ thu thập dữ liệu khác mà cần được cập nhật định kỳ khi tình hình thay đổi. Hình C7-1: Tại sao việc Nhận và Báo cáo Dữ liệu Chuẩn hoá lại Quan trọng

Chương 7

1 Trụ sở cần biết về tiến độ chương trình đào tạo nên đã gửi email xuống văn phòng hiện trường với nội dung sau: "Cập nhật cho Trụ sở tình hình đào tạo trước ngày thứ Hai”

2 Văn phòng hiện trường 1 trả lời: "chúng tôi đã đào tạo cho 357 người"

Văn phòng hiện trường 2 trả lời: "chúng tôi đã thực hiện 45 buổi đào tạo

3 Trụ sở không thể xử lý hoặc tổng hợp được bức tranh toàn cảnh về tiến độ

Theo dõi thường quy

259

5.6. Kết nối hệ thống theo dõi với quy trình lập kế hoạch Hệ thống theo dõi thường quy cần được kết nối với quy trình lập kế hoạch và khung thời gian nhằm đảm bảo rằng dữ liệu theo dõi được sử dụng để hỗ trợ các tổ chức triển khai theo dõi được xem liệu họ đã triển khai đúng điều mà họ đã lên kế hoạch hay chưa. Ví dụ dưới đây sẽ giải thích cách thức sự kết nối này vận hành. Ví dụ sử dụng Dữ liệu Thường quy để Lập kế hoạch và Theo dõi Tiến độ 1.

Mỗi văn phòng hội đồng quận đều có sổ theo dõi trẻ mồ côi, và sổ này luôn được cập nhật

Toàn bộ các văn phòng hội đồng cấp quận đều báo cáo con số trẻ mồ côi tại quận của mình trực tiếp lên Bộ Phúc Lợi Xã hội cấp quốc gia vào một ngày nhất định

Bộ Phúc lợi Xã hội xác định được rằng tổng cộng có 200 trẻ mồ côi và mục tiêu đặt ra là phải tiếp cận được 40% trẻ em cần giúp đỡ nhất (80 trẻ). Đây chính là mục tiêu quốc gia.

Chương 7

Số lượng trẻ mồ côi trên sổ đăng ký vào ngày 1 tháng 1 năm 2009

260

Quận 1

Quận 2

Quận 3

Quận 4

TỔNG

200

Bây giờ, các tổ chức bắt đầu dự kiến họ sẽ tiếp cận bao nhiêu trẻ mồ côi tại các quận; Quận 1

Quận 2

Quận 3

Quận 4

TỔNG

MỤC TIÊU QUỐC GIA

Mục tiêu của tổ chức 1

Mục tiêu của tổ chức 2

Mỗi tổ chức phát triển một kế hoạch công việc và ngân sách để trình bày cách thức họ sẽ đạt được số trẻ mồ côi mục tiêu (xem trang tiếp theo)

Triển khai các hệ thống Theo dõi và Đánh giá

Mục tiêu 4 Gói thực phẩm hàng tuần cho 20 hộ gia đình

Mua sắm vật chất hỗ trợ

TỔNG

$15,000

Gói thực phẩm hàng tuần cho 20 hộ gia đình

$50,000

$132,300

Mục tiêu

Gói thực phẩm hàng tuần cho 30 hộ gia đình

$50,000

$132,300

Mục tiêu

Ngân sách

$43,000

Gói thực phẩm hàng tuần cho 40 hộ gia đình

$50,000

$132,300

Mục tiêu

Ngân sách

$132,300

$50,000

Ngân sách

$90,700

$40,700

$50,000

Quý 4 Ngân sách

$53,500

Gói thực phẩm hàng tuần cho 40 hộ gia đình

$35,000

$18,500

Mục tiêu

Quý 4

Ngân sách

Quý 3

Gói thực phẩm hàng tuần cho 30 hộ gia đình

20,000

Mục tiêu

Quý 3

$8,000

Ngân sách

$15,000

Quý 2 Ngân sách

Gói thực phẩm hàng tuần cho 20 hộ gia đình

$5,000

Mục tiêu

Quý 2

$10,000

Ngân sách

Quý 1

Hoạt động

TỔ CHỨC 2

TỔNG

40 bộ quần áo 40 cuốn sách

Mua sắm vật chất hỗ trợ

Support orphans

Mục tiêu

Quý 1

Đào tạo cho người chăm sóc trẻ

Hoạt động

TỔ CHỨC 1

Chương 7

Theo dõi thường quy

261

$529,200

$202,200

Tổng ngân sách

262

Triển khai các hệ thống Theo dõi và Đánh giá

TỔNG

Hỗ trợ trẻ mồ côi

Mua sắm vật chất hỗ trợ

Hoạt động

TỔ CHỨC 2

TỔNG

Hỗ trợ trẻ mồ côi

Gói thực phẩm hàng tuần cho 20 hộ gia đình

$70.980

Gói thực phẩm hàng tuần cho 35 hộ gia đình

$25.000

$45.980

Đã tiếp cận

Quý 2 Chi tiêu

Gói thực phẩm hàng tuần cho 25 hộ gia đình

$2.400

Đã tiếp cận

Quý 2

$12.400

Chi tiêu

$14.800

Quý 1 Đã tiếp cận

40 cuốn sách

20 bộ quần áo

Đào tạo cho người chăm sóc trẻ

Mua sắm vật chất hỗ trợ

Đã tiếp cận

Hoạt động

Quý 1

$58.100

Gói thực phẩm hàng tuần cho 40 hộ gia đình

$24.100

$34.000

Đã tiếp cận

Gói thực phẩm hàng tuần cho 32 hộ gia đình

$56.000

$82.300

Đã tiếp cận

Quý 4 Chi tiêu

$54.600

Gói thực phẩm hàng tuần cho 44 hộ gia đình

$32.000

$19.600

$205.300

$109.050

$376.430

$37.800 Tổng chi tiêu ngân sách

$42.050

Chi tiêu

$90.900

$37.800 Tổng chi tiêu ngân sách

$53.100

Đã tiếp cận Chi tiêu

Quý 4

$3.000

Chi tiêu

$138.300

Quý 3 Chi tiêu

$45.000

Gói thực phẩm hàng tuần cho 30 hộ gia đình

$17.000

$24.000

Đã tiếp cận

Quý 3

$4.000

Chi tiêu

Hàng quý, các tổ chức báo cáo con số trẻ mồ côi thực tế họ đã tiếp cận

TỔ CHỨC 1

Chương 7

Phạm vi bao phủ quốc gia (phần trăm của số mục tiêu) đã được xác định mỗi quý, và chúng ta biết được tiến độ triển khai Số trẻ được tiếp cận

Ngân sách

Kế hoạch

Thực tế

Kế hoạch

Đã chi

Quý 1

$147.300

$85.780

Quý 2

$175.300

$103.100

Quý 3

$185.800

$192.900

Quý 4

$223.000

$199.950

TỔNG

$731.400

$581.730

Phạm vi bao phủ

đạt được 86% mục tiêu

Chi tiêu

Đã chi tiêu 80% ngân sách

5.7. Tại cấp quốc gia, cần kết nối các hệ thống theo dõi thường quy của các cơ quan khác nhau Việc trao đổi dữ liệu và tạo lập các báo cáo chung/tổng hợp ở cấp quốc gia có nghĩa là dữ liệu thường quy từ các nguồn khác nhau cần được kết hợp và kết nối với nhau. Quy trình kết nối này có thể có khó khăn do các nguyên nhân sau: Có sự tham gia của nhiều cơ quan và tổ chức khác nhau

•

Mối quan hệ giữa một vài tổ chức không đủ tốt hoặc thậm chí còn cạnh tranh

•

Một số bộ hoặc tổ chức có lẽ đã có sẵn hệ thống thông tin hiện hành mà hệ thống mới cần kết nối

•

Các hệ thống M&E của các tổ chức khác nhau không cùng độ đầy đủ dữ liệu

•

Cơ chế báo cáo giữa các cơ quan và tổ chức không được xác định hoặc yêu cầu rõ ràng.

Chương 7

•

Nhiều giải pháp khác nhau đã được đưa ra nhằm giải quyết khó khăn này, cụ thể như sau: •

Cùng phát triển một khuôn khổ M&E cấp bộ chính phủ và một khuôn khổ M&E cấp quốc gia

•

Thống nhất các chỉ số sao cho các thành phần tham gia khác nhau có thể báo cáo về cùng một bộ chỉ số duy nhất trong kế hoạch M&E quốc gia

•

Sự tham gia tích cực hơn của nhân viên M&E của cơ quan điều phối vào trong cơ sở dữ liệu của các bộ hoặc các tổ chức khác mà từ những cơ quan này, dữ liệu cần được thu thập, sao cho việc tách xuất dữ liệu cho báo cáo được tự động hoá

Theo dõi thường quy

263

•

Sự tham gia của quan chức cấp cao (ví dụ: Thư ký Thường trực hoặc Bộ trưởng) để thống nhất yêu cầu báo cáo

•

Cùng lập kế hoạch và thực hiện các hội thảo phản hồi

•

Cùng lập báo cáo về phạm vi bao phủ của dịch vụ chương trình

5.8. Sự khác nhau giữa việc sử dụng dữ liệu thường quy và sử dụng khảo sát mẫu để xác định phạm vi bao phủ dịch vụ Ví dụ minh họa dưới đây cho thấy sự khác biệt NGUYÊN TẮC PHẠM VI DỊCH VỤ

Cung dịch vụ Cầu dịch vụ

SỬ DỤNG KHẢO SÁT MẪU

Chương 7

PHẠM VI DỊCH VỤ

Số được phỏng vấn trong khảo sát

Ví dụ

Phạm vi bao phủ số người được tiếp cận bằng thông điệp chống hút thuốc

PHẠM VI DỊCH VỤ

Số nhận trong khảo sát

PHẠM VI DỊCH VỤ

Số người trả lời được tiếp cận

PHẠM VI DỊCH VỤ

264

Số nhận trong khảo sát

SỬ DỤNG DỮ LIỆU THƯỜNG QUY Phạm vi dịch vụ= Số được cung cấp dịch vụ từ các nhà cung cấp PHẠM VI DỊCH VỤ Số cần cần dịch, theo điều tra dân số

Số được phỏng vấn trong khảo sát

Số người được hỏi câu trả lời CÓ trong khảo sát đối tượng được hỏi

Số người được tiếp cận bằng thông điệp

PHẠM VI DỊCH VỤ

Số người cần được nhận thông điệp Số người được nhà cung cấp dịch vụ tiếp cận

PHẠM VI DỊCH VỤ

Số dân trên 10 tuổi (theo điều tra thống kê dân số) người được tiếp cận

PHẠM VI DỊCH VỤ

số dân trên 10 tuổi

PHẠM VI DỊCH VỤ

CHÚ THÍCH:

Trị số khảo sát mẫu có ý nghĩa với toàn bộ dân số với điều kiện mẫu những người trả lời được lựa chọn ngẫu nhiên, mẫu đủ lớn và các đặc điểm của mẫu giống hệt các đặc điểm của nhóm dân số chung có độ tuổi từ 10 trở lên.

Phương pháp này có hiệu quả, với điều kiện mẫu số đã biết. Thông thường, ta không biết mẫu số hoặc chỉ có thể ước tính sơ bộ. Trong trường hợp này, có thể không cần phải khảo sát.

Triển khai các hệ thống Theo dõi và Đánh giá

5.9. Dữ liệu theo dõi định tính bổ sung cho dữ liệu theo dõi định lượng Mặc dù dữ liệu theo dõi rất quan trọng, nhưng các dữ liệu khác cũng cần được thu thập nhằm cung cấp cái nhìn thấu đáo vào bản chất chất lượng và tính hữu hiệu của chương trình. Dữ liệu định tính cũng cần được thu thập định kỳ và tích hợp với dữ liệu định lượng. Ví dụ về kỹ thuật tiên tiến về thu thập dữ liệu định tính là một phương pháp luận có tên là Những thay đổi Quan trọng nhất (MSC), đôi khi được biết đến như là theo dõi không cần chỉ số. MSC đã được sử dụng trong một vài chương trình. Bạn có thể truy cập: www.mande.uk/ docs/MSCguide.pdf để tải hướng dẫn MSC và tìm hiểu thêm về phương pháp này.

6. Hướng dẫn thực hành C7-1: Thiết kế một Hệ thống Theo dõi Thường quy mới Hướng dẫn này đề cập về việc thiết kế một Hệ thống Theo dõi Thường quy mới cấp quốc gia (ví dụ: hệ thống thông tin quản lý giáo dục quốc gia hoặc hệ thống quản lý dữ liệu thường quy HIV). Các bước sau đây cũng có thể được dùng để cải thiện hệ thống theo dõi thường quy hiện hành hoặc xây dựng hệ thống theo dõi thường quy của một tổ chức.

Bước 1:

Xin được phê duyệt đầu tư xây dựng hệ thống thu thập dữ liệu mới từ ban lãnh đạo cấp cao

sử dụng ví dụ/ kết quả nghiên cứu điển hình của các nước khác để trình bày cách thức hệ thống vận hành và kết quả mà hệ thống tạo ra;

Trình bày những thông tin gì mà hệ thống sẽ thu thập;

Trình bày hiệu quả chi phí dài hạn của hệ thống so với chi phí của việc khảo sát định kỳ;

Hãy chuẩn bị cho ban lãnh đạo một dự kiến chi phí ban đầu tương đối cao do chi phí xây dựng năng lực chuyên sâu vì đây là việc cần thực hiện, nhưng hãy nhấn mạnh đến giá trị của sự đầu tư này vào nguồn nhân lực.

Chương 7

Hãy xin phê duyệt đầu tư xây dựng hệ thống mới để đảm bảo tính bền vững và công việc bảo trì dài hạn. Bạn cần phải có được sự hỗ trợ chủ trương đầu tư và tài chính của ban lãnh đạo nhằm đảm bảo sự tồn tại lâu dài của hệ thống. Khi trình bày khái niệm về hệ thống này trước ban lãnh đạo cấp cao, hãy làm những điều sau để thu được kết quả:

Kết quả: Ban lãnh đạo cấp cao của tổ chức phê duyệt(tốt nhất là bằng văn bản)

Theo dõi thường quy

265

Bước 2:

Thảo luận về việc xây dựng hệ thống mới với đối tác phát triển, nhân viên trong nước, và Nhóm Công tác Kỹ thuật M&E

Các đối tác phát triển đã nhất trí sử dụng hệ thống M&E cấp quốc gia. Điều này có nghĩa là một khi hệ thống theo dõi thường quy quốc gia đã đi vào hoạt động, họ có thể truy xuất dữ liệu của mình từ hệ thống này thay vì phải tổ chức một hệ thống theo dõi song song. Các đối tác này cần hiểu được mục đích của việc xây dựng một hệ thống thống nhất và họ cần được thông báo về kế hoạch xây dựng để họ có thể tham gia vào các buổi thảo luận và thoả thuận về cách thức thu thập thông tin cần thiết. việc thảo luận về xây dựng hệ thống mới với các đối tác phát triển vào giai đoạn ban đầu này cũng sẽ giúp tránh được tình huống là các đối tác không tham gia vào hệ thống mới hoặc họ duy trì hệ thống của riêng họ cho dù hệ thống mới đã đi vào hoạt động. Kết quả: Các đối tác phát triển và Nhóm công tác Kỹ thuật M&E đồng ý (tốt nhất là bằng văn bản) sử dụng thông tin từ một hệ thống thay vì sử dụng hệ thống theo dõi song song.

Bước 3:

Phát triển danh mục các hệ thống theo dõi thường quy trong quốc gia

Chương 7

Mục tiêu của việc phát triển danh mục là nhằm xác định xem đã tồn tại hệ thống thu thập thông tin theo dõi thường quy nào; cấp độ vận hành của từng hệ thống; cách thức các luồng thông tin vận hành trong từng hệ thống; và cách thức dữ liệu hiện đang được ghi nhận thông qua từng hệ thống. Việc này cho phép các bên liên quan trích xuất được dữ liệu từ nguồn hiện hành và tránh được trùng lặp. Việc lập danh mục bao gồm các việc sau:

266

Lập ra danh sách toàn bộ các dữ liệu chương trình cần có để lập chỉ số trong kế hoạch M&E;

Phỏng vấn các bên liên quan (ví dụ Bộ Y tế, Bộ giáo dục; Bộ Phúc lợi (Trẻ em) hoặc Phát triển Xã hội; Bộ Chính quyền Địa phương; Bộ Tài chính; Cơ quan Điều phối Quốc gia; Văn phòng Thống kê; các đối tác phát triển; thành phần tư nhân trong nước và các tổ chức tài trợ xã hội) về sự tồn tại của các hệ thống theo dõi chương trình thường quy và hệ thống giám sát tài chính (liệu có vận hành đúng chức năng hay không)

Thu thập và phân loại công cụ thu thập dữ liệu và hướng dẫn của từng hệ thống theo dõi này. Các công cụ này có thể được phân loại thành hai loại: loại thu thập dữ liệu hàng ngày và loại để báo cáo dữ liệu thô đã được tổng hợp (bằng cách gộp nhóm và tổng cộng giá trị hàng ngày). Đảm bảo rằng cả hai bộ công cụ này được đánh giá và hiểu rõ.

Phác thảo quy trình lưu chuyển dữ liệu cho từng hệ thống theo dõi.

Triển khai các hệ thống Theo dõi và Đánh giá

Lập báo cáo về những sản phẩm thông tin mà các hệ thống này tạo ra.

Ghi chép cơ sở dữ liệu và/ hoặc các phương tiện điện tử khác (ví dụ: bảng tính) trong đó các bộ dữ liệu hiện tại liên quan đến các mục tiêu chương trình được tập hợp và lưu trữ.

Xác định xem dữ liệu được xác minh như thế nào, cũng như chất lượng dữ liệu và quy trình giám sát liên quan đến từng loại dữ liệu theo dõi

Xác định phần trăm số các cơ quan mà được yêu cầu báo cáo đã thực hiện việc này trong vòng 12 tháng qua (đây là chỉ số đánh giá mức độ thực tiễn của dữ liệu)

Ghi chép tên của tổ chức chịu trách nhiệm quản lý hệ thống theo dõi dữ liệu trong từng trường hợp

Thu thập câu hỏi theo form mẫu định sẵn (xem ví dụ tại Phụ lục A)

Kết quả: Danh mục các hệ thống theo dõi thường quy hiện tại trong quốc gia

Bước 4:

Xây dựng danh mục dữ liệu chưa được thu thập qua hệ thống hiện tại

Trích từ kế hoạch M&E quốc gia một bản danh sách dữ liệu theo dõi thường quy cần có thông qua việc kiểm tra kỹ càng thành phần tử số và mẫu số của từng chỉ số cấp độ đầu vào và kết quả đầu ra.

Thu thập thông tin về nhu cầu dữ liệu theo dõi thường quy bổ sung từ các đối tác phát triển

Sử dụng kết quả từ danh mục hệ thống theo dõi theo cách sau: Lấy form mẫu thu thập sổ liệu của toàn bộ các hệ thống có hơn 60% tổ chức tham gia báo cáo dữ liệu trong vòng 12 tháng qua và lập một danh sách dữ liệu theo dõi chương trình đã được tập hợp trên form mẫu này.

Chương 7

So sánh dữ liệu theo dõi thường quy cần có với danh sách nhu cầu bổ sung dữ liệu so với dữ liệu theo dõi thường quy đã được ghi chép. Việc này sẽ giúp xác định ra được khoảng hổng dữ liệu và do đó sẽ tìm ra được dữ liệu nào cần được đưa vào hệ thống mới. Kết quả: Danh sách dữ liệu mà chưa được thu thập thông qua hệ thống theo dõi hiện tại.

Bước 5:

Thiết kế và thoả thuận cách thức lưu chuyển dữ liệu

Nếu một hệ thống của chính phủ đang được thiết kế, thì điểm vô cùng quan trọng là luồng dữ liệu phải được kết nối với luồng dữ liệu hiện tại và ổn định của chính phủ (ví dụ: dữ liệu về lập kế hoạch và lập ngân sách hàng năm). Nếu

Theo dõi thường quy

267

luồng dữ liệu này lưu chuyển riêng bên cạnh luồng của chính phủ, điều này có thể gây ra nút cổ chai, mâu thuẫn và làm suy giảm tiềm năng của tính bền vững. Sau khi nhất trí về việc lưu chuyển dữ liệu, nên mô phỏng luồng lưu chuyển dữ liệu thành một dạng sơ đồ. Phụ lục B đề cập đến các phương án lựa chọn sơ đồ cũng như cung cấp các ví dụ về các sơ đồ lưu chuyển dữ liệu. Kết quả: Sơ đồ lưu chuyển liên tổ chức mô tả lưu trình dữ liệu trong hệ thống theo dõi thường quy

Bước 6:

Thiết kế công cụ thu thập số liệu và thử nghiệm trên hiện trường

Việc hoàn thành Bước 4 sẽ xác nhận được khoảng thiếu sót dữ liệu và sẽ định hướng cho việc phát triển các công cụ thu thập số liệu phù hợp. Trong khi thiết kế các công cụ, hãy nhớ thiết kế cả bản ghi theo dõi hàng ngày và form mẫu báo cáo tổng hợp. Phụ lục C đưa ra các ví dụ về các form mẫu này. Kết quả: Công cụ thu thập số liệu và báo cáo thử nghiệm công cụ

Bước 7:

Thiết kế và thống nhất cách thức triển khai sáu quy trình quản lý dữ liệu chuẩn tại từng cấp

Chương 7

Tại mỗi điểm mấu chốt nơi các dữ liệu được tổng hợp và nơi mà dòng lưu chuyển dữ liệu sẽ đi qua (ví dụ: cấp cung cấp dịch vụ, cấp địa phương hoặc cấp Cơ quan Chính quyền Địa phương, cấp cơ quan chủ quản, cấp quốc gia), cần xem xét đến sáu quy trình quản lý dữ liệu. Liên quan đến vấn đề này, một vài câu hỏi chủ chốt được đặt ra như sau: •

Liệu họ có thẩm quyền quản lý dữ liệu?

•

Liệu họ có kỹ năng quản lý dữ liệu?

•

Họ sẽ được hỗ trợ trong công việc như thế nào?

•

Chất lượng dữ liệu sẽ được xử lý như thế nào tại cấp này?

Kết quả: Sáu quy trình quản lý dữ liệu được xác định cho từng vị trí trong luồng lưu chuyển dữ liệu (mời xem ví dụ tại Phụ lục D).

Bước 8:

Viết hướng dẫn về hệ thống theo dõi thường quy, thử nghiệm và phê duyệt

Do một hệ thống thu thập dữ liệu thường quy yêu cầuphải có tính thống nhất nên việc đưa ra hướng dẫn là rất quan trọng. Có thể cần đưa ra vài loại hướng dẫn tùy vào độ phức tạp của hệ thống và tuỳ thuộc vào thể loại dữ liệu thường

268

Triển khai các hệ thống Theo dõi và Đánh giá

quy cần được thu thập (dữ liệu điều tra dân số, dữ liệu theo dõi chương trình, và dữ liệu theo dõi tài chính) (xem Bảng C7-5) Hình C7-5: Các loại Hướng dẫn cho các Hệ thống Theo dõi Thường quy (ví dụ trong ngành giáo dục) Dữ liệu về chương trình giáo dục trong cộng đồng

Dữ liệu về chương trình tại các cơ sở giáo dục

Hướng dẫn cho TỔ CHỨC TRIỂN KHAI (cấp cung cấp dịch vụ hoặc cấp tổ chức triển khai)

Hướng dẫn cho hiệp hội dân sự và các đơn vị tư nhân có trách nhiệm triển khai các chương trình giáo dục tại các địa bàn trong cộng đồng (Hướng dẫn A)

Hướng dẫn cho nhân viên ngành giáo dục tại trường về cách thức quản lý dữ liệu (Hướng dẫn C)

Hướng dẫn cho CÁC CƠ QUAN QUẢN LÝ DỮ LIỆU THEO DÕI THƯỜNG QUY (tại cấp địa phương, cấp ngành và cấp quốc gia)

Hướng dẫn các Cơ quan Chính quyền Địa phương, các tổ chức chủ quản và các đơn vị M&E để giải thích về vai trò của họ trong công tác quản lý dữ liệu thường quy (Hướng dẫn B)

Hướng dẫn các phòng giáo dục cấp quận và phòng giáo dục cấp quốc gia về cách thức quản lý dữ liệu (Hướng dẫn D)

Nguồn: Các tác giả

Chương 7

Các hướng dẫn nên đơn giản, chính xác và dễ hiểu và nên bao gồm các nội dung sau: Đề xuất Nội dung trong Hướng dẫn Hướng dẫn cho TỔ CHỨC TRIỂN KHAI (cấp cung cấp dịch vụ hoặc cấp tổ chức triển khai)

• Yêu cầu báo cáo • Loại dữ liệu cần được tạo nguồn: dữ liệu điều tra dân số (nhu cầu); dữ liệu theo dõi chương trình; và dữ liệu theo dõi tài chính • Các form mẫu cần được sử dụng cho dữ liệu điều tra dân số (nhu cầu); dữ liệu theo dõi chương trình; và dữ liệu theo dõi tài chính • Định nghĩa về yếu tố dữ liệu cho từng yếu tố dữ liệu trên mỗi form mẫu • Mô tả sáu quy trình quản lý dữ liệu cho từng loại dữ liệu • Mô tả cơ chế đảm bảo chất lượng dữ liệu • Việc sử dụng dữ liệu

Theo dõi thường quy

269

Đề xuất Nội dung trong Hướng dẫn Hướng dẫn cho CÁC CƠ QUAN QUẢN LÝ DỮ LIỆU THEO DÕI THƯỜNG QUY (tại cấp địa phương, cấp ngành và cấp quốc gia)

Tất cả các nội dung trong Hướng dẫn cho Tổ chức Triển khai, CỘNG VỚI: • Form mẫu báo cáo để các tổ chức báo cáo về các chương trình mà họ triển khai và cách thức họ quản lý dữ liệu nhận được. • Quy trình đảm bảo chất lượng dữ liệu, bao gồm cả việc giám sát hỗ trợ và kiểm tra dữ liệu (xem Chương 10) • Hỗ trợ công việc nhằm hỗ trợ quá trình thực hiện nhiệm vụ của họ (Hỗ trợ công việc là một khuôn mẫu chuẩn nhằm hỗ trợ quản lý dữ liệu, ví dụ như một khuôn mẫu sổ theo dõi để ghi chép toàn bộ các form mẫu đầu vào)

Nguồn: các tác giả

Trong hầu hết các trường hợp, các hướng dẫn theo dõi thường quy và các công cụ thu thập dữ liệu nên được các nhóm liên quan sử dụng thử nghiệm, và sau đó các hướng dẫn và công cụ này nên được Nhóm Công tác Kỹ thuật M&E và ban lãnh đạo cấp cao của tổ chức phê duyệt. Sau khi hướng dẫn theo dõi thường quy đã được phê duyệt, các hướng dẫn này có thể cần được biên dịch sang ngôn ngữ địa phương tuỳ vào hoàn cảnh và quy ước của quốc gia, để đảm bảo rằng các hướng dẫn này được hiểu một cách dễ dàng.

Chương 7

Kết quả: hướng dẫn theo dõi thường quy được phê duyệt

Bước 9:

Chuẩn bị triển khai hệ thống theo dõi thường quy

Sau khi hướng dẫn theo dõi thường quy được phê duyệt, người chịu trách nhiệm chuẩn bị triển khai quy mô tổng thể cần:

270

Phát triển quy chuẩn kỹ thuật cho các cơ sở dữ liệu mà sẽ được sử dụng để thu thập dữ liệu theo dõi thường quy. Hãy đảm bảo rằng Đề cương Tham chiếu và ngân sách đã được chuẩn bị sẵn cho việc thiết kế và điều chỉnh các cơ sở dữ liệu

Ký kết thoả thuận với các tổ chức sẽ cung cấp dữ liệu theo dõi thường quy khác để bổ sung cho dữ liệu được thu thập trong hệ thống theo dõi thường quy, việc này giúp cho toàn bộ các hệ thống này được kết nối và hoà nhập với nhau

Xây dựng tài liệu đào tạo và bắt đầu việc xây dựng năng lực cho hệ thống theo dõi thường quy. Công tác đào tạo này nên dành cho các cán bộ kỹ thuật của hệ thống và cũng nên có sự tham gia của các nhà lập quyết định như thị trưởng, lãnh đạo điều hành quận, các nhân viên Cơ quan Chính quyền Địa phương bởi những người này nên có hiểu biết về hệ thống này.

Triển khai các hệ thống Theo dõi và Đánh giá

Triển khai chương trình tuyên truyền phổ biến sâu rộng thông qua sự hợp tác của cơ quan tuyên truyền phổ biến (hoặc cán bộ quan hệ công chúng), chương trình này sẽ được lồng ghép vào các hoạt động khác của tổ chức (xem Chương 6).

Kết quả: Quy chuẩn cơ sở dữ liệu và quy trình xây dựng/ điều chỉnh, tài liệu đào tạo, tài liệu và cơ chế tuyên truyền phổ biến.

Bước 10:

Khởi động hệ thống theo dõi thường quy

Bước cuối cùng là khởi động hệ thống theo dõi thường quy. Đây là điểm khởi đầu quan trọng của bước triển khai. Nếu hệ thống theo dõi thường quy sẽ được quản lý tại cấp địa phương, việc khởi động tại cấp địa phương cũng nên được xem xét. Kết quả: Kết hợp khởi động chương trình theo dõi thường quy (cấp quốc gia và cấp địa phương). Câu hỏi tư duy 2:

Chương 7

Hãy xác định các loại dữ liệu thường quy khác nhau được thu thập và theo dõi bởi tổ chức của bạn. Bây giờ bạn đã học được các bước từ chuẩn bị, xây dựng, và cuối cùng là khởi động một hệ thống theo dõi thường quy, bạn dự đoán mình sẽ đối mặt với khó khăn thách thức gì trong bối cảnh của bạn khi bạn thiết kế một hệ thống theo dõi thường quy? Bạn đã nghĩ đến cách gì để hỗ trợ cho quy trình này? Tổ chức của bạn đã theo đúng các bước nêu trên?

7. Tóm tắt về Kiến thức và Kỹ năng của Chương 7 Trong chương này, bạn đã học về tổng thể dữ liệu đầu vào, kết quả đầu ra, hiệu quả và ảnh hưởng cần thiết để thông tin cho tổ chức biết rằng chương trình đã đáp ứng nhu cầu của cộng đồng tốt như thế nào. Bạn cũng học được rằng việc theo dõi thường quy sẽ mang lại dữ liệu để giải thích cho những thay đổi của hiệu quả và cấp độ ảnh hưởng, và được sử dụng cho công tác theo dõi hàng ngày, việc điều phối, lập kế hoạch và cải thiện chương trình cũng như việc chứng thực dữ liệu về phạm vi bao phủ được xác định từ các cuộc khảo sát và giám sát. Bạn cũng được biết về các vấn đề trong triển khai như sự cần thiết của một phương pháp có hệ thống để thu thập và sử dụng dữ liệu thường quy, cách thức cải thiện tỷ lệ báo cáo, và tầm quan trọng của việc xây dựng năng lực. Bạn đã học về các bước trong quy trình kỹ thuật cần thiết để thiết kế và xây dựng một hệ thống theo dõi thường quy dành cho dữ liệu theo dõi thường quy. Và cuối cùng, bạn đã học được cách chuẩn bị khởi động chương trình trên toàn quốc và/ hoặc tại địa phương.

Theo dõi thường quy

271

8. Các bài tập thực hành BÀI TẬP THỰC HÀNH 1:

XÁC ĐỊNH QUY TRÌNH QUẢN LÝ DỮ LIỆU TRONG TỔ CHỨC CỦA BẠN

Hãy lập một danh sách toàn bộ các dữ liệu theo dõi thường quy khác nhau (dữ liệu điều tra dân số, dữ liệu theo dõi chương trình, dữ liệu theo dõi tài chính) mà tổ chức của bạn đang quản lý hoặc có tham gia. Hãy vẽ một sơ đồ lưu chuyển dữ liệu cho một trong những loại dữ liệu thường quy này. Nhằm giúp cho bạn hiểu được một vài ý tưởng và giúp bạn hiểu được các phương án về sơ đồ lưu chuyển dữ liệu, hãy đọc Phụ lục B. Phụ lục này tóm tắt ba phương án sơ đồ lưu chuyển dữ liệu và đưa ra các ví dụ. BÀI TẬP THỰC HÀNH 2:

XÁC ĐỊNH QUY TRÌNH QUẢN LÝ DỮ LIỆU TRONG TỔ CHỨC CỦA BẠN

Hãy xác định quy trình quản lý dữ liệu trong tổ chức của bạn, hãy sử dụng sơ đồ lưu chuyển dữ liệu mà bạn xây dựng từ Bài tập thực hành 1. Hãy thu thập các quy trình quản lý dữ liệu này như sau: Vị trí để quản lý dữ liệu (ví dụ, từ tổ chức riêng lẻ (Địa điểm 1), đến văn phòng hội đồng quận (Đ.điểm 2), đến bộ giáo dục quốc gia (Đ.điểm 3)

Chương 7

Quy trình quản lý dữ liệu

Địa điểm 1

Địa điểm 2

Địa điểm 3

Xác định nguồn dữ liệu Thu thập dữ liệu Tập hợp dữ liệu Phân tích Dữ liệu Báo cáo d.liệu Sử dụng dữ liệu

BÀI TẬP THỰC HÀNH 3:

CHẤT LƯỢNG DỮ LIỆU ĐƯỢC ĐƯA VÀO TRONG QUY TRÌNH QUẢN LÝ DỮ LIỆU

Hãy đọc qua sáu khía cạnh về chất lượng dữ liệu được trình bày trong Phần 2 của chương này. Hãy mô tả xem bạn sẽ quản lý chất lượng dữ liệu như thế nào trong khi triển khai quy trình quản lý dữ liệu mà bạn đã xác định trong Bài tập thực hành 2.

272

Triển khai các hệ thống Theo dõi và Đánh giá

Hãy tập hợp câu trả lời của bạn vào mẫu theo ví dụ mẫu bảng dưới đây. Địa điểm trong sơ đồ lưu chuyển dữ liệu để quản lý dữ liệu Địa điểm 1

Quy trình Quản lý Dữ liệu

Xác định nguồn dữ liệu

Địa điểm 2

Địa điểm 3

Định kỳ và ngẫu nhiên, hãy theo dõi nguồn dữ liệu tại các địa điểm khác nhau để đảm bảo rằng toàn bộ dữ liệu nguồn được hoàn thành đúng cách và toàn diên

Thu thập dữ liệu Tập hợp dữ liệu Phân tích Dữ liệu Báo cáo d.liệu Sử dụng dữ liệu

Chương 7

Theo dõi thường quy

273

Chương 7

Phụ lục A: Ví dụ về một Danh mục các Loại Dữ liệu Theo dõi Thường quy khác nhau do một Tổ chức Quản lý Loại dữ liệu HIV thường quy

Hệ thống thu thập dữ liệu

Trọng tâm

Dữ liệu thường quy về dịch vụ y tế HIV được cung cấp tại các cơ sở y tế và tại cơ sở độc lập

Thông qua Hệ thống Thông tin Quản lý Y tế hoặc các hệ thống hàng dọc độc lập chuyên thu thập dữ liệu HIV

Toàn bộ dữ liệu thường quy trong ngành y tế

Bộ Y tế

Dữ liệu thường quy về dịch vụ HIV được cung cấp tại cộng đồng

Cần phải thành lập hệ thống mới chuyên dành cho loại dữ liệu này

Dịch vụ HIV được cung cấp trong cộng đồng (không phải tại các cơ sở y tế)

Cơ quan Điều phối AIDS Quốc gia và các Cơ quan Chính quyền Địa phương (do không có tổ chức nào khác tham gia vào việc thu thập dữ liệu HIV của dịch vụ tại cộng đồng một cách nhất quán, nên đây sẽ là vấn đề trọng tâm của đơn vị M&E thuộc NACA và LGA)

Dữ liệu thường quy về việc hỗ trợ trẻ em dễ bị tổn thương

Danh sách Trẻ Mồ côi và Trẻ dễ tổn thương

Toàn bộ dữ liệu về Trẻ em mồ côi và dễ tổn thương

Bộ Phúc lợi trẻ em/ các tổ chức xã hội

Dữ liệu thường quy về dịch vụ giáo dục, bao gồm cả giáo dục kỹ năng sống về HIV

Hệ thống Thông tin Quản lý Giáo dục

Toàn bộ dữ liệu thường quy từ các trường học trong quốc gia, bao gồm cả dữ liệu về các chuyến viếng thăm giám sát, con số trẻ dễ bị tổn thương trong các trường học, v.v.

Bộ Giáo dục

Dữ liệu tài chính về những khoản viện trợ NACA đã cung cấp

Hệ thống Quản lý Viện trợ của NACA

Toàn bộ dữ liệu tài chính về viện trợ HIV mà NACA đã cung cấp

NACA

Dữ liệu tài chính dịch vụ HIV đang được tài trợ và thực hiện

Hệ thống tài chính của các đối tác phát triển

Số liệu tài chính liên quan đến các dịch vụ HIV đang được thực hiện

Các đối tác phát triển và các tổ chức triển khai dịch vụ HIV

Dữ liệu thường quy của các tổ chức bảo trợ

Cơ sở dữ liệu của thành viên

Dữ liệu về NGO và CBO trong nước

Mạng lưới NGO

274

Hệ thống tài chính của các tổ chức triển khai dịch vụ HIV

Cơ quan có trách nhiệm quản lý dữ liệu

Mạng lưới những người có HIV

Triển khai các hệ thống Theo dõi và Đánh giá

Loại dữ liệu HIV thường quy

Hệ thống thu thập dữ liệu

Trọng tâm

Cơ quan có trách nhiệm quản lý dữ liệu

Dữ liệu thường quy từ các tổ chức triển khai dịch vụ HIV gửi lên tổ chức tài trợ của mình

Thông tin chi tiết, theo từng dòng ngân sách, về các loại dịch vụ HIV mà các tổ chức triển khai các dịch vụ HIV đã cung cấp

Dữ liệu chi tiết về tình hình triển khai của từng hoạt động HIV khác nhau trong kế hoạch công việc của tổ chức triển khai

Dữ liệu thường quy về toàn bộ các dịch vụ được cung cấp tại các Cơ quan Chính quyền Địa phương

Hệ thống Theo dõi của Chính quyền Địa phuơng

Dữ liệu chi tiết từ toàn bộ Từng Cơ quan Chính các ngành (ngành nước, quyền Địa phương giáo dục, y tế, v.v) về các dịch vụ được cung cấp ở cấp chính quyền địa phương

Tổ chức tài trợ cho dịch vụ HIV Tổ chức triển khai các dịch vụ HIV

Nguồn: các tác giả

Chương 7

Theo dõi thường quy

275

Phụ lục B: Sơ đồ Lưu chuyển Dữ liệu A.

CÁC PHƯƠNG ÁN SƠ ĐỒ LƯU CHUYỂN DỮ LIỆU HIỆN CÓ Dữ liệu cần được xác định nguồn, thu thập, tập hợp, phân tích, báo cáo và sử dụng. Việc báo cáo dữ liệu thường bao gồm việc lưu chuyển dữ liệu từ nơi này sang nơi khác khi dữ liệu được báo cáo. Sự lưu chuyển dữ liệu này có thể bằng hình thức giấy tờ, tức là dữ liệu được ghi nhận theo hình thức mặt giấy và sau đó được gửi qua fax, bưu điện hoặc gửi bằng tay. Ngoài ra còn một cách khác là dữ liệu được ghi nhận bằng máy điện tử thành cơ sở dữ liệu máy tính thông qua một phần mềm ứng dụng, sau đó dữ liệu được email, gửi qua mạng, hoặc qua điện thoại di động, đến vị trí trung tâm. Việc hoàn thiện bản ghi giấy trên một máy tính và email dữ liệu chỉ hoàn toàn là hình thức điện tử bề ngoài của lưu chuyển dữ liệu nếu thông tin đó được ghi nhận bằng chương trình xử lý chữ (word). Để có thể phân tich được, dữ liệu phải nằm trong cơ sở dữ liệu bởi cơ sở này sẽ hỗ trợ cho nhiều công việc phân tích khác nhau. Nguyên tắc lưu chuyển dữ liệu là dữ liệu được lưu chuyển từ nơi này đến nơi khác vào những thời điểm cụ thể. Thông thường, dữ liệu lưu chuyển giữa các tổ chức khác nhau (hoặc giữa các chi nhánh khác nhau/văn phòng của cùng một tổ chức) có vị trí địa lý khác nhau.

Chương 7

Luồng lưu chuyển dữ liệu giữa các đơn vị trong một khoảng thời gian có thể được mô tả cụ thể (bằng từ) hoặc bằng một loại sơ đồ (minh hoạ). Nên mô tả luồng lưu chuyển dữ liệu bằng cả từ ngữ và hình minh hoạ, bởi sẽ có những người đọc hiểu rất tốt, còn những người khác lại dễ đọc hiểu một hình minh hoạ hơn. Phụ lục này tóm tắt 3 phương án hiện có nhằm minh hoạ luồng lưu chuyển dữ liệu thường quy: sơ đồ lưu chuyển dữ liệu, biểu đồ lưu chuyển (biểu đồ lưu chuyển thông thường và liên tổ chức); và biểu đồ quản lý dữ liệu Sử dụng sơ đồ lưu chuyển dữ liệu để minh hoạ luồng lưu chuyển dữ liệu Phương án đầu tiên là vẽ ra một sơ đồ lưu chuyển dữ liệu (đây là một hình thức cụ thể của một sơ đồ quy trình công việc), và được minh hoạ trong 2 ví dụ trong phụ lục này. Trong sơ đồ này, các khối hình chữ nhật đại diện cho các tổ chức (hoặc chi nhánh của tổ chức, hoặc nhóm các tổ chức tương tự nhau). Các khối hình chữ nhật này được sắp xếp nhằm đại diện cho các cấp thẩm quyền khác nhau trong hệ thống chính phủ (xem Ví dụ 1 trình bày các cấp từ làng, phường, quận, vùng và quốc gia). Các khối (tổ chức) được vẽ khi hiện diện tại từng cấp. Đặc điểm nổi bật của một sơ đồ lưu chuyển dữ liệu là các mũi tên hiển thị luồng lưu chuyển dữ liệu từ một tổ chức sang một tổ chức khác. Đó có thể là mũi tên 2 hướng trong đó luồng lưu chuyển hai chiều cho thấy dữ liệu (phản hồi) cũng được đáp trả lại cho người báo cáo dữ liệu. Cũng cần chú ý là trong Ví dụ 2, các mẫu thực tế mà các tổ chức cần sử dụng để báo cáo cũng được đưa vào phần minh hoạ.

276

Triển khai các hệ thống Theo dõi và Đánh giá

Lợi điểm của sơ đồ lưu chuyển dữ liệu là sơ đồ thường rõ ràng và tương đối dễ vẽ và hầu hết mọi người có thể hiểu được bằng trực giác. Vẫn sẽ cần một buổi hội thảo hiệu quả và một công cụ hỗ trợ để minh hoạ về khái niệm về cách thức lưu chuyển dữ liệu. Các sơ đồ này cũng có thể được sử dụng để minh hoạ việc ý kiến phản hồi được đưa ra như thế nào, ngân sách được lưu chuyển như thế nào, cũng như cách thức tiến hành giám sát (thông thường, công tác giám sát được thực hiện đối ngược với hướng lưu chuyển dữ liệu. Nếu các quận phải báo cáo lên cấp vùng và cấp vùng báo cáo lên cấp trung ương, thì sau đó thường thì cấp trung ương giám sát cấp vùng, và cấp vùng lại giám sát cấp quận) (Xem Chương 9 để biết thêm nhiều thông tin về hoạt động giám sát hỗ trợ M&E và kiểm tra dữ liệu). Điểm bất lợi là các sơ đồ này không có đủ khối lượng chi tiết về các quy trình gắn liền với quy trình quản lý dữ liệu hoặc về các quy trình quản lý dữ liệu. Vì lý do này, mọi người có thể nghĩ đến một sơ đồ chi tiết hơn như là biểu đồ (được thảo luận trong Phần B của Phụ lục này) hoặc một biểu đồ quản lý dữ liệu (được thảo luận ở Phần C của Phụ lục này) Ví dụ 1:

Sơ đồ lưu chuyển dữ liệu của luồng dữ liệu thường quy thuộc Bộ Giáo dục

Trụ sở Bộ Giáo dục

Phòng Giáo dục cấp quận

Chương 7

Ví dụ 2:

Sơ đồ lưu chuyển dữ liệu (của cùng hệ thống theo dõi thường quy được minh hoạ ở ví dụ 1 nhưng được bổ sung chi tiết)

Trụ sở Bộ Giáo dục BC Tổng hợp Hàng tháng của Quận

Phòng Giáo dục cấp quận Mẫu BC tổng hợp hàng tháng về việc tham gia Trường học

Nguồn: các tác giả

Theo dõi thường quy

Trường tiểu học và cấp II

Báo cáo Tình hình tham gia giáo dục hàng quý

Trường tiểu học và cấp II

277

SỬ DỤNG BIỂU ĐỒ LƯU CHUYỂN ĐỂ MINH HOẠ LUỒNG LƯU CHUYỂN DỮ LIỆU Một biểu đồ lưu chuyển là một sơ đồ trong đó hiển thị một loạt các bước trong quy trình và các đối tượng phụ thuộc của chúng (hoạt động gì/các bước quy trình cần thực hiện, trật tự như thế nào, và điều gì sẽ tác động đến việc liệu hoạt động này có thể/ nên được triển khai). Ví dụ 3 trình bày quy trình sử dụng một nhân viên mới trong một tổ chức. Trong một biểu đồ lưu chuyển, ý nghĩa chuẩn được gán cho các hình cụ thể, như quy định dưới đây:

Quy trình/ Hoạt động

Tài liệu

Bắt đầu/ Kết thúc

Quyết định

Đầu vào

Hướng quy trình

Cần ghi nhớ một điểm khác biệt trong ghi chú trên sơ đồ giữa một sơ đồ lưu chuyển dữ liệu và một biểu đồ lưu chuyển, đó là: khi một khối trong sơ đồ lưu chuyển dữ liệu đại diện cho một tổ chức, hình khối (chữ nhật) trong biểu đồ lưu chuyển đại diện cho một bước trong quy trình (nói cách khác, đây là một hành động).

Chương 7

Một biểu đồ lưu chuyển liên tổ chức (còn được gọi là biểu đồ triển khai) là một loại biểu đồ đặc biệt với toàn bộ các đặc điểm của một biểu đồ lưu chuyển thông thường kèm theo một ngoại lệ. Biểu đồ này cũng hiển thị tên của cá nhân/ nhóm người chịu trách nhiệm cho từng bước. Một biểu đồ lưu lưu chuyển như vậy là một bản hướng dẫn làm-thế-nào dành cho những ai cần biết phải làm gì (Smartdraw, 2009). Lợi điểm của một biểu đồ lưu chuyển liên tổ chức là nó cung cấp nhiều chi tiết hơn một sơ đồ lưu chuyển dữ liệu. Đồng thời, biểu đồ này cũng mất nhiều thời gian xây dựng hơn và không phải ai cũng quen thuộc hoặc thấy thoải mái với logic của một biểu đồ lưu chuyển. Tuy nhiên, đây lại là cách cực hay để cho thấy ai làm cái gì, vào lúc nào ngay khi vừa nhìn vào. Điểm bất lợi là cấp độ chi tiết của biểu đồ và nhiều người sử dụng không quen với việc đọc hiểu biểu đồ này. Những biểu đồ lưu chuyển như vậy cần được xây dựng nhiều hơn; trước hết là cho cấp độ cao hơn và sau đó là biểu đồ lưu chuyển chi tiết hơn qua thời gian.

BIỂU ĐỒ QUẢN LÝ DỮ LIỆU Một biểu đồ quản lý dữ liệu nhìn giống như một biểu đồ liên tổ chức do nó bao gồm các hình hộp, cột và tiêu đề cột. Điểm khác biệt chủ yếu là trong một biểu đồ quản lý dữ liệu, tiêu đề hàng ngang là những quy trình quản lý dữ liệu khác nhau (xác định nguồn dữ liệu, thu thập dữ liệu, tập hợp dữ liệu, phân tích dữ liệu, báo cáo dữ liệu, và sử dụng dữ liệu), trong khi tiêu

278

Triển khai các hệ thống Theo dõi và Đánh giá

đề cột là các tổ chức (Kemerer (ed) et al., 2007). Ví dụ 5 minh hoạ biểu đồ lưu chuyển liên tổ chức được trình bày trong Ví dụ sẽ trông như thế nào nếu nó được vẽ như là một biểu đồ quản lý dữ liệu. Lợi thế của biểu đồ quản lý dữ liệu là mức độ chi tiết mà chúng bao hàm, logic trong việc trình bày trách nhiệm của toàn bộ các bên liên quan xét theo sáu quy trình quản lý dữ liệu. Điểm bất lợi của biểu đồ quản lý dữ liệu là mức độ chi tiết mà chúng bao hàm có thể làm nản chí một vài bên liên quan, đặc biệt là những những lập chính sách hoặc người đưa ra quyết định bởi thông thường họ chỉ thích nhìn một cách tổng quát mà không chú ý đến toàn bộ chi tiết. Ví dụ 3:

Biểu đồ lưu chuyển thông thường (của cùng một hệ thống theo dõi thường quy được minh hoạ tại ví dụ 1) Theo dõi những trường chưa nộp mẫu báo cáo

Bắt đầu

Hoàn thành Sổ theo dõi Sự tham gia hàng ngày cho Giáo viên (Mẫu 1) và Sổ theo dõi Sự tham gia hàng ngày cho lớp (Mẫu 2)

Trong mỗi cuộc họp chung phụ huynh giáo viên, điền vào Sổ theo dõi tham gia cuộc họp (Mẫu 3)

Trước ngày thứ 5 của tháng tiếp theo, thu thập toàn bộMẫu 1, 2, 3

Lập báo cáo Tổng hợp Tháng của Quận trong đó sử dụng dữ liệu từ Form 3 trong vòng 15 ngày của tháng tiếp theo xong

Thực hiện phân tích xu hướng để tìm hiểu xu huớng qua thời gian

Lưu giữ Form 3 sau khi Báo cáo Tổng hợp Tháng của Quận đã được lập xong

Chứng thực Báo cáo Tổng hợp Tháng của Quận, sao một bản để lưu, và trình nộp

Chứng thực Mẫu 4, ký tên, in sao 1 bản để lưu tại cơ quan, và trình nộp mẫu này trước ngày thứ 10 của tháng tiếp theo Trình bày dữ liệu trước giáo viên

Chương 7

Hoàn thành báo cáo tóm tắt Tình hình tham gia Trường học Hàng tháng (Mẫu 4) bằng cách tổng cộng toàn bộ dữ liệu từ Mẫu 1 đến Mẫu 3

Ghi nhận toàn bộ Báo cáo Tổng hợp Tháng cấp Quận đã được nhận Thảo luận về tình hình tham gia kém tại buổi họp hàng quý với các hiệu trưởng

Thoả thuận xác định trường cần giám sát

Theo dõi những quận chưa trình nộp Báo cáo Tổng hợp Tháng của Quận

Sao chuyển toàn bộ dữ liệu các quận vào cơ sở dữ liệu quốc gia

Lưu giữ toàn bộ Báo cáo Tổng hợp Tháng cấp Quận đã được nhận Chúc mừng nhà trường

Có vấn đề gì không?

Nếu KHÔNG Nếu CÓ Thoả thuận về biện pháp khắc phục để giải quyết tình trạng nghỉ dạy-học

Ghi nhận rằng Form 3 đã được tiếp nhận từ nhà trường

Theo dõi thường quy

Giám sát những trường hoạt động kém và thoả thuận biện pháp khắc phục

Mỗi quý một lần, lập Báo cáo về Tình hình tham gia Giáo dục Toàn quốc

Phổ biến Báo cáo về Tình hình tham gia Giáo dục Toàn quốc đến tất cả các bên liên quan trong ngành giáo dục

Tại cuộc họp ban lãnh đạo, thoả thuận xác định quận nào cần giám sát, dựa trên dữ liệu về sự tham gia

Giám sát những quận hoạt động kém, thoả thuận và triển khai các biện pháp khắc phục

279

Ví dụ 4:

Trường tiểu học và trường cấp II

Biểu đồ lưu chuyển liên tổ chức (của cùng hệ thống theo dõi thường quy được minh hoạ ở ví dụ 1) Phòng Giáo dục Quận

Trụ sở Bộ Giáo dục

Bắt đầu

Ghi nhận rằng mẫu đã được tiếp nhận Hoàn thành Sổ theo dõi Sự tham gia hàng ngày cho Giáo viên (Mẫu 1) và Sổ theo dõi Sự tham gia hàng ngày cho lớp (Mẫu 2)(tham khảo Phụ lục C để xem mẫu) Theo dõi những trường chưa nộp mẫu Trong mỗi cuộc họp chung phụ huynh giáo viên, điền vào Sổ theo dõi tham gia cuộc họp (Mẫu 3) (tham khảo Phụ lục C để xem mẫu) Trước ngày thứ 5 của tháng tiếp theo, thu thập toàn bộ Mẫu 1, 2, 3

Hoàn thành báo cáo tóm tắt Tình hình tham gia Trường học Hàng tháng (Mẫu 4) bằng cách tổng cộng toàn bộ dữ liệu từ Mẫu 1 đến Mẫu 3

Chứng thực Mẫu 4, ký tên, in sao 1 bản để lưu tại cơ quan, và trình nộp mẫu này trước ngày thứ 10 của tháng tiếp theo

Lập Báo cáo Tổng hợp Tháng của Quận trong đó sử dụng dữ liệu từ Form 3 trong vòng 15 ngày của tháng tiếp theo

Thực hiện phân tích xu hướng để tìm hiểu xu huớng qua thời gian

Lưu giữ Form 3 sau khi Báo cáo Tổng hợp Tháng của Quận đã được lập xong

Chứng thực Báo cáo Tổng hợp Tháng của Quận, sao một bản để lưu, và trình nộp

Ghi nhận toàn bộ Báo cáo Tổng hợp Tháng cấp Quận đã được nhận

Theo dõi những quận chưa trình nộp Báo cáo Tổng hợp Tháng của Quận

Sao chuyển toàn bộ dữ liệu các quận vào cơ sở dữ liệu quốc gia

Lưu giữ toàn bộ Báo cáo Tổng hợp Tháng cấp Quận đã được nhận

Mỗi quý một lần, lập Báo cáo về Tình hình tham gia Giáo dục Toàn quốc

Trình bày dữ liệu trước giáo viên Thảo luận về tình hình tham gia kém tại buổi họp hàng quý với các hiệu trưởng

Chương 7

Có vấn đề gì không?

Chúc mừng nhà trường Nếu KHÔNG

Phổ biến Báo cáo về Tình hình tham gia Giáo dục Toàn quốc đến tất cả các bên liên quan trong ngành giáo dục

Thoả thuận xác định trường cần giám sát

Tại cuộc họp ban lãnh đạo, thoả thuận xác định quận nào cần giám sát, dựa trên dữ liệu về sự tham gia

Giám sát những trường hoạt động kém và thoả thuận biện pháp khắc phục

Giám sát những quận hoạt động kém, thoả thuận và triển khai các biện pháp khắc phục

Nếu CÓ Thoả thuận về biện pháp khắc phục để giải quyết tình trạng nghỉ dạy-học

280

Triển khai các hệ thống Theo dõi và Đánh giá

Ví dụ 5:

Biểu đồ quản lý dữ liệu (của cùng hệ thống theo dõi thường quy được minh hoạ ở ví dụ 1)

Trường tiểu học và trường cấp II

Phòng Giáo dục Quận

Trụ sở Bộ Giáo dục

1. Xác định nguồn dữ liệu

• Hàng ngày, ghi chép Sổ theo dõi Sự tham gia • Ghi nhận vào Sổ theo dõi Mẫu Báo • Ghi nhận toàn bộ Báo cáo hàng ngày cho Giáo viên (Mẫu 1 Phụ lục C) cáo Tổng hợp Hàng tháng của Tổng hợp Tháng cấp Quận đã • Hàng ngày, ghi chép Sổ theo dõi Sự tham Trường rằng Mẫu 3 đã được tiếp nhận được nhận gia hàng ngày cho lớp (Mẫu 2 Phụ lục C) • Trong mỗi cuộc họp chung phụ huynh giáo viên, ghi chép Sổ theo dõi tham gia cuộc họp (Mẫu 3 Phụ lục C)

2. Thu thập dữ liệu

• Trước ngày thứ 5 của tháng tiếp theo, thu thập toàn bộ Mẫu 1, 2, 3

• Theo dõi những trường chưa nộp mẫu

• Hoàn thành báo cáo tóm tắt Tình hình tham gia Trường học Hàng tháng (Mẫu 4 Phụ lục C) hàng tháng

• Lập Báo cáo Tổng hợp Tháng của Quận trong đó sử dụng dữ liệu từ Mẫu 3 trong vòng 15 ngày của tháng tiếp theo

3. Tập hợp dữ liệu

• Lưu giữ Mẫu 1 và 2 sau khi Mẫu Báo cáo Tổng hợp Hàng tháng của Trường đã được lập xong

6. Sử dụng dữ liệu

• Lưu giữ toàn bộ các Báo cáo Tổng hợp Hàng tháng đã nhận

• Chứng thực Báo cáo Tổng hợp Tháng của Quận, sao một bản để lưu tại cơ quan, • Thực hiện phân tích xu hướng để tìm hiểu các xu hướng qua thời gian và tìm kiếm • Thực hiện phân tích xu hướng để tìm quy luật trong những giáo viên và học hiểu xu hướng qua thời gian sinh có tỷ lệ vắng mặt cao

• Mỗi quý một lần, lập Báo cáo về Tình hình tham gia Giáo dục Toàn quốc vào cuối tháng tiếp theo quý được báo cáo • Thực hiện phân tích xu hướng để tìm hiểu xu hướng qua thời gian

• Trình nộp mẫu Báo cáo Tổng hợp Tình hình Trường học Hàng tháng lên Phòng Giáo dục Quận trước ngày thứ 10 của tháng tiếp theo tháng được báo cáo

• Trình nộp Báo cáo Tổng hợp Tháng của Quận lên Trụ sở Bộ Giáo dục trước ngày thứ 20 của tháng tiếp sau tháng được báo cáo

• Phổ biến Báo cáo về Tình hình tham gia Giáo dục Toàn quốc đến tất cả các bên liên quan trong ngành giáo dục

• Sử dụng dữ liệu để xác định trường nào cần giám sát

• Thảo luận về tình hình tham gia kém tại buổi họp hàng quý với các hiệu trưởng

• Tại cuộc họp ban lãnh đạo, thoả thuận xác định quận nào cần giám sát, dựa trên dữ liệu về sự tham gia

• Giám sát các trường, thoả thuận biện • Thoả thuận xác định trường cần giám pháp khắc phục để cải thiện điểm yếu sát kém (Xem Module 10 để biết thêm chi tiết về Giám sát Hỗ trợ và Kiểm tra Dữ liệu) • Giám sát những trường hoạt động kém và thoả thuận biện pháp khắc phục • Theo dõi để đảm bảo rằng các biện pháp cải thiện được thực hiện

Theo dõi thường quy

• Giám sát những quận hoạt động kém, thoả thuận và triển khai các biện pháp khắc phục

281

Chương 7

5. Báo cáo dữ liệu

• Sao chuyển toàn bộ dữ liệu các quận vào cơ sở dữ liệu quốc gia

• Lưu giữ Mẫu 3 sau khi Báo cáo Tổng hợp Tháng của Quận được lập xong.

• Chứng thực Mẫu 4, ký tên, in sao 1 bản để lưu tại cơ quan, 4. Phân tích Dữ liệu

• Theo dõi những quận chưa trình nộp Báo cáo Tổng hợp Tháng của Quận

Phụ lục C: Ví dụ về Mẫu Theo dõi Thường quy Ví dụ 1: Ví dụ về Mẫu Theo dõi Hằng ngày BẢNG THEO DÕI THAM GIA LỚP HỌC HẰNG NGÀY CHO GIÁO VIÊN (MẪU 1)

Tên trường:............................................................................................................................ Số sổ theo dõi:....................................................................................................................... Quận:......................................................................................................................................

Chương 7

Ngày

Tên giáo viên

Có tham gia ?

Nếu nghỉ dạy… Trường có được thông báo về việc nghỉ dạy trước 10 giờ sáng?

Lý do nghỉ dạy?

Tên giáo viên thay thế

Nghỉ ốm

BẢNG THEO DÕI THAM GIA LỚP HỌC HẰNG NGÀY CHO CÁC LỚP (MẪU 2)

Tên trường:............................................................................................................................ Số sổ theo dõi:....................................................................................................................... Lớp: .....................Số hiệu lớp học:...................Tên giáo viên chủ nhiệm:..................... Số

282

Họ của học sinh

Tên của học sinh

Đánh dấu vào cột phù hợp.. Hôm nay có tham gia lớp học?

Đến lớp đúng giờ?

Vở bài tập về nhà đã được ký?

Triển khai các hệ thống Theo dõi và Đánh giá

Ví dụ 2: Ví dụ về Bảng theo dõi Thường quy về Tham gia Hội họp BẢNG THEO DÕI THAM GIA CUỘC HỌP HỖN HỢP PHỤ HUYNH- GIÁO VIÊN (MẪU 3)

Tên trường:...........................................................Ngày họp............................................... Quận:....................................................................................................................................... ................................................................................ Số cuộc họp........................................... Nơi họp:.................................................................................................................................. Sự tham gia của phụ huynh Tên

Họ

Địa chỉ nhà

Tên con em theo học tại trường

Lớp của các con tại trường

Địa chỉ email

muốn được nhận bản tin của trường qua tin nhắn điện thoại di động?

Teaching subjects

Môn học phụ trách

Các hoạt động ngoại khoá

số buổi họp tham gia trong năm nay

Tên

Họ

Theo dõi thường quy

Lớp phụ trách

Chương 7

Sự tham gia của giáo viên

283

Ví dụ 3: Ví dụ một Bảng tổng hợp Hàng tháng từ Bảng theo dõi và Bảng theo dõi Tham gia Hội thảo MẪU BÁO CÁO TỔNG HỢP TÌNH HÌNH THAM GIA TRƯỜNG HỌC HÀNG THÁNG (MẪU 4)

Tên trường:............................................................................................................................ Tháng và Năm báo cáo:...................................................................................................... Quận:...................................................................................................................................... Sự tham gia của giáo viên Phần trăm ngày giảng dạy trong tháng không có giáo viên nghỉ dạy Phần trăm giáo viên nghỉ hơn 3 ngày trong một tháng

Sự tham gia của học sinh Phần trăm học sinh không vắng mặt trong tháng vừa qua Phần trăm học sinh vắng mặt 1 đến 2 ngày trong tháng vừa qua Phần trăm học sinh vắng mặt hơn 2 ngày mà không có lý do trong tháng vừa qua

Sự tham gia của Phụ huynh trong các cuộc họp chung Giáo viên- Phụ huynh Phần trăm giáo viên tham gia PPhần trăm học sinh có ít nhất bố hoặc mẹ tham gia

Chương 7

Nhận xét chung: ................................................................................................................... .................................................................................................................................................. .................................................................................................................................................. .................................................................................................................................................. Chứng thực báo cáo:

Dấu của nhà trường

Chữ ký:.............................................................. Tên:..................................................................... Chức vụ:............................................................ Sau khi hoàn thành và chứng thực báo cáo, trình nộp lên Trưởng phòng Giáo dục Quận vào trước ngày 10 tháng tiếp theo.

DÀNH CHO PHÒNG GIÁO DỤC QUẬN Người nhận và Ngày nhận Người xác minh và Ngày: Người tập hợp và Ngày: Người lưu hồ sơ và Ngày: 284

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục D: Ví dụ về Bảng mô tả Quy trình Quản lý Dữ liệu Toàn bộ các trường học (kể cả trường của cộng đồng)

Văn phòng giáo dục cấp quận thuộc Bộ Giáo dục

Trụ sở Bộ Giáo dục

Xác định nguồn dữ liệu

Bảng theo dõi tham gia của học sinh Bảng theo dõi tham gia của giáo viên Kết quả thi của học sinh

Sổ sách ghi chép về sự tham gia của nhân viên Phòng

Sổ sách ghi chép về sự tham gia của nhân viên bộ

Thu thập dữ liệu

Thu thập bảng theo dõi tham gia hằng ngày từ giáo viên Thu thập kết quả thi từ giáo viên trong vòng 10 ngày kể từ ngày kết thúc kì thi

Thu thập bảng ghi chép tổng hợp tham gia trường học từ các trường

Thu thập báo cáo tổng hợp tham gia trường học từ các quận

Tập hợp toàn bộ bảng theo dõi tình hình tham gia trường học vào bảng ghi chép tổng hợp về tình hình tham gia trường học của một trường

Tập hợp toàn bộ báo cáo tổng hợp tình hình tham gia trường học của các trường nhằm xác định tỷ lệ tham gia trung bình của mỗi trường

Tập hợp dữ liệu

Tập hợp kết quả kì thi của trường vào bảng tổng hợp kết quả thi

Phân tích Dữ liệu

Phân tích xu hướng tham gia Xác định điểm trung vị và trung bình theo mỗi môn học

Theo dõi thường quy

Thu thập bản ghi chép kết quả thi trung vị và trung bình từ các trường Tập hợp dữ liệu theo dõi tình hình tham gia trường học để xác định tỷ lệ trung bình năm

Chương 7

Quản lý Dữ liệu

Vị trí trong Sơ đồ Lưu chuyển Dữ liệu

Tập hợp bảng theo dõi tham gia của chính cơ quan Phân tích xu hướng tham gia ở các trường học và của chính văn phòng Xác định điểm trung vị và trung bình theo mỗi môn học

Phân tích xu hướng tham gia Xác định điểm trung vị và trung bình theo mỗi môn học cho từng quận

285

Vị trí trong Sơ đồ Lưu chuyển Dữ liệu

Quản lý Dữ liệu

Báo cáo dữ liệu

Toàn bộ các trường học (kể cả trường của cộng đồng)

Văn phòng giáo dục cấp quận thuộc Bộ Giáo dục

Trụ sở Bộ Giáo dục

Báo cáo kết quả kì thi lên văn phòng giáo dục quận

Báo cáo kết quả kì thi lên cơ quan cấp quốc gia

Báo cáo tổng hợp tình hình tham gia lên văn phòng giáo dục quận

Báo cáo tổng hợp tình hình tham gia trường học lên cơ quan cấp quốc gia

Soạn thảo báo cáo tình hình hoạt động và tình hình tham gia trường học trên toàn quốc

Báo cáo về tình hình làm việc của chính nhân viên văn phòng lên cơ quan quốc gia Sử dụng dữ liệu

Sử dụng dữ liệu để khuyến khích giáo viên dạy học tốt hơn Sử dụng dữ liệu để xác định học sinh không tham gia đủ buổi học

Sử dụng dữ liệu để xác định trường có hiệu quả hoạt động tốt Sử dụng dữ liệu để xác định nhân viên thường xuyên nghỉ làm

Chương 7

Sử dụng dữ liệu để xác định trường có tỷ lệ tham gia kém

286

Sử dụng dữ liệu để xác định nhóm quản lý các khu vực có thành tích tốt Sử dụng dữ liệu để xác định trường hoạt động tốt

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 8 Khảo Sát Định Kỳ

9 10 Mục Tiêu Chương Chương 8

Mục tiêu chương này nhằm cho phép bạn quyết định liệu có cần một cuộc khảo sát để thu thập dữ liệu mà bạn cần và, nếu khảo sát là cần thiết, thì giúp bạn thiết kế và thực hiện một khảo sát đạt chất lượng tốt.

Kiến Thức Và Kỹ Năng Của Chương Vào cuối Chương này, bạn sẽ có thể: a)

Đánh giá được liệu một khảo sát cần hay không cần thiết cho loại dữ liệu mà bạn cần phải thu thập

Biết được các bước liên quan tới việc lên kế hoạch, thiết kế và thực hiện một 12 khảo sát

Thiết kế từng bước một khảo sát

Thực hiện một khảo sát với ít độ Độ chệch nhất có thể

Biết được các bước của quy trình liên quan tới việc tính toán một cỡ mẫu

khảo sát định kỳ

287

Trước Khi Bạn Bắt Đầu … Hãy dành vài phút đọc các câu hỏi dưới đây. Bạn có thể viết ra các câu trả lời. Khi đi qua các nội dung trong chương này, hãy so sánh các câu trả lời của bạn với các quan điểm của tác giả. •

Bạn đã bao giờ sử dụng một khảo sát?

•

Bạn có thể sử dụng các kết quả của khảo sát để đo lường [đánh giá] các kết quả dài hạn của chương trình của bạn?

•

Tại sao lại cần thiết phải có cả dữ liệu khảo sát lẫn dữ liệu kiểm tra thường quy?

•

Khi nào thì sử dụng dữ liệu khảo sát sẽ tốt hơn và khi nào thì sử dụng dữ liệu kiểm tra thường quy sẽ tốt hơn cho các chỉ số đánh giá trong hệ thống Theo Dõi và Giám Sát (TD&GS) của bạn?

•

Bạn thiết kế một khảo sát như thế nào?

•

Bạn có thể làm gì để đảm bảo rằng các kết quả khảo sát của bạn có thể được sử dụng rộng rãi?

•

Đâu là những sai lầm cần tránh khi tiến hành các khảo sát?

•

Làm cách nào bạn có thể tính toán tốt nhất một cỡ mẫu?

•

Làm cách nào bạn biết được liệu các kết quả khảo sát có thể được sử dụng rộng rãi cho toàn thể người dân?

Chương 8

Chương này giải thích làm cách nào quyết định được nên hay không nên thực hiện một khảo sát và làm cách nào để tiến hành một khảo sát. Bạn sẽ được trải qua tất cả các bước liên quan tới việc thực hiện một khảo sát, cũng như nắm bắt được tất cả các quyết định quan trọng mà bạn cần phải ra trong quá trình thực hiện, và biết được các “mánh” nhằm giúp bạn thực hiện một khảo sát hoạt động tốt nhất.

288

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 8: Khảo Sát Định Kỳ

1. Giới thiệu “Tất cả mọi người đều thực hiện các khảo sát. Bất cứ ai ra một tuyên bố về hành vi ứng xử của con người đều đã tham gia vào một dạng khảo sát.“1 Andrew Greeley, 2008 Nhiên liệu của một hệ thống M&E là dữ liệu của hệ thống. Dữ liệu mà hệ thống M&E cần có để vận hành được được quyết định bởi các chỉ số và các vấn đề nghiên cứu trong kế hoạch M&E (xem Chương 4: Các kế hoạch M&E). Các chỉ số khác nhau (chỉ số đầu vào, chỉ số đầu ra, chỉ số kết quả và chỉ số tác động) trong hệ thống M&E yêu cầu ba loại nguồn dữ liệu: thường quy, định kỳ và một lần, như minh họa trong Bảng C8-1 dưới đây Bảng C8-1:

Các Loại Nguồn Dữ Liệu Cho Các Loại Chỉ Số Khác Nhau

Loại chỉ số

Khung thời gian thu thập dữ liệu

Đầu vào/ quy trình

Liên tục

Các loại nguồn dữ liệu

Các nguồn dữ liệu thường quy như các thống kê về giáo dục hoặc các dịch vụ công khác Các nguồn dữ liệu thường quy như dữ liệu kiểm tra thường quy về các tài liệu giảng dạy sử dụng cho các trường học

Đầu ra

Hàng quý, nửa năm, hàng năm

Các nguồn dữ liệu thường quy như các thống kê về giáo dục hoặc các dịch vụ công khác

Chương 8

Các nguồn dữ liệu thường quy như dữ liệu kiểm tra thường quy về sự vắng mặt của giáo viên hay số lần tới thăm của các cán bộ phát triển nông nghiệp Các nguồn dữ liệu định kỳ như các khảo sát phỏng vấn khi kết thúc [chương trình, dự án] Kết quả

1 tới 3 năm

Các nguồn dữ liệu định kỳ như các khảo sát về dân số Các nguồn dữ liệu một lần như các nghiên cứu đặc biệt (phục vụ công tác nghiên cứu hoặc đánh giá)

Tác động

2 tới 5 năm

Các nguồn dữ liệu định kỳ như các cuộc giám sát Các nguồn dữ liệu định kỳ như các khảo sát về dân số Các nguồn dữ liệu một lần như các nghiên cứu đặc biệt (nghiên cứu hoặc đánh giá)

Nguồn: Trích từ bộ tài liệu M&E của Quỹ Toàn Cầu và Tổ Chức Y Tế Thế Giới, năm 2006 1 Trich dẫn từ BrainyQuote.com ngày 5 tháng 10 năm 2008 tại http://www.brainyquote. com/quotes/quotes/a/andrewgree180244.html khảo sát định kỳ

289

Mỗi một trong ba loại nguồn dữ liệu này là các cấu phần của vòng tròn giữa (thu thập dữ liệu, đánh giá và xác minh) của 12 cấu phần của 1 hệ thống M&E hoạt động tốt và được bao gồm trong chương trình tập huấn trong các chương sau: •

Các nguồn dữ liệu thường quy (Chương 7: Dữ Liệu Thường Quy)

•

Các nguồn dữ liệu định kỳ (Chương 8: Các Khảo Sát Định Kỳ - chương này)

•

Các nguồn dữ liệu một lần (Chương 11: Đánh Giá và Nghiên Cứu)

Cấu trúc của chương này: Chương này bắt đầu với thông tin cơ bản và các định nghĩa liên quan tới các loại hình khảo sát và giám sát chọn lựa (Phần 2). Kết quả mong đợi của chương này được trình bày tại Phần 3. Phần 4 mô tả các lợi ích của các khảo sát và giám sát: cách mỗi một loại hình giúp hình thành nền tảng của một hệ thống M&E; và mỗi một loại hình đưa ra dữ liệu như thế nào nhằm thông báo cho các đối tượng liên quan về tác động và kết quả của chương trình. Các vấn đề thực thi được trình bày ngắn gọn (Phần 5) nhằm đưa ra bối cảnh cho Hướng Dẫn Thực Hành, hướng dẫn cách tiến hành một khảo sát cho cấu phần này. Các bước được mô tả chi tiết trong Phần 6. Chương này khép lại với phần tóm tắt lại các bài học kinh nghiệm (Phần 7) và bài tập thực hành để củng cố kiến thức vừa học hỏi được trong chương (Phần 8).

2. Thông Tin Cơ Bản và Các Định Nghĩa

Chương 8

Các loại Nguồn Dữ liệu: Trong một hệ thống M&E, ba loại nguồn dữ liệu có thể được phân biệt khái quát như sau: nguồn dữ liệu một lần, nguồn dữ liệu định kỳ và nguồn dữ liệu thường quy.

290

•

Nguồn dữ liệu một lần: nguồn dữ liệu được coi là một lần khi dữ liệu được thu thập: (1) một lần duy nhất để trả lời cho một vấn đề nghiên cứu hoặc đánh giá cụ thể; và (2) không dự kiến rằng việc thu thập dữ liệu tương tự, sử dụng các công cụ thu thập dữ liệu tương tự, sẽ được lặp lại. Hầu hết các đánh giá và nghiên cứu là các nguồn dữ liệu một lần (xem Chương 11 của Khoá Đào Tạo này).

•

Nguồn dữ liệu định kỳ: Nguồn dữ liệu được coi là định kỳ khi dữ liệu được thu thập: (1) nằm ngoài các hoạt động can thiệp; (2) vào các khoảng thời gian quan trọng; (3) sử dụng cùng một công cụ thu thập dữ liệu (thường là bảng câu hỏi khảo sát số lượng) để dữ liệu có thể so sánh qua thời gian. Một ví dụ của nguồn dữ liệu định kỳ là khảo sát (được thảo luận trong chương này). Dữ liệu khảo sát không chỉ được thu thập tại các khu vực mà các hoạt động can thiệp được thực hiện (đáp ứng điều kiện 1); chỉ được thu thập hàng năm (hoặc tần suất ít hơn) khi khảo sát được thực hiện (đáp ứng điều kiện 2); sử dụng cùng bảng câu hỏi khảo sát, các kỹ năng thảo luận và phân tích dữ liệu mỗi lần khảo sát được tiến hành (đáp ứng yêu cầu 3).

•

Các khảo sát có thể thu thập dữ liệu từ toàn thể dân chúng (giám sát dân số) hoặc từ một nhóm đích mẫu (khảo sát mẫu). Trong các khảo sát mẫu, nếu các đặc điểm nhân khẩu học (như tuổi, giới tính) của nhóm mẫu khảo sát giống với các đặc điểm của toàn bộ dân chúng và các kết quả khảo sát Triển khai các hệ thống Theo dõi và Đánh giá

thoả mãn một số các kiểm tra thống kê nhất định, thì các câu trả lời được đưa ra bởi nhóm đích mẫu đó được coi là đại diện cho các câu trả lời mà toàn thể dân chúng sẽ đưa ra (nghĩa là, các kết quả khảo sát từ một khảo sát mẫu là chung cho toàn thể dân chúng). •

Đối với các khảo sát nằm ngoài các hoạt động can thiệp hàm ý rằng một nhóm đích mẫu được chọn lựa sẽ đại diện cho toàn thể dân chúng, hơn là chỉ đại diện cho các khu vực nơi các can thiệp hoạt động được thực hiện. Một khảo sát mà chỉ được thực hiện tại các khu vực có các hoạt động can thiệp có thể dẫn tới các kết quả mà không đại điện cho toàn thể dân chúng, như, các kết quả có độ chệch (xem định nghĩa của từ “độ lệch” phía sau trong phần này).

•

Các nguồn dữ liệu thường quy: Các nguồn dữ liệu được coi là thường quy khi dữ liệu được thu thập trên cơ sở thường xuyên khi các hoạt động được thực hiện. Các ví dụ của các nguồn dữ liệu thường quy là các danh sách đăng ký tham dự hoặc các danh sách đăng ký tham gia các khoá giáo dục đồng đẳng. Danh sách tham dự là thường quy bởi dữ liệu mới được bổ sung trên cơ sở liên tục, ví dụ như, mỗi lần cuộc họp được tổ chức, danh sách người tham gia sẽ được điền. Dữ liệu thường quy không thể được thu thập trên cơ sở mẫu bởi để cho dữ liệu thường quy trở nên có ý nghĩa, các dữ liệu chuẩn hóa cần thiết phải được lấy từ những nơi triển khai hoạt động, thường là sử dụng các công cụ thu thập dữ liệu chuẩn. Ví dụ Để giải thích sự tương phản, cùng xem ví dụ một tổ chức phi chính phủ (NGO) nơi lưu giữ các tư liệu của tất cả các buổi diễn kịch của tổ chức này về cổ động phòng chống HIV. Mỗi lần vở kịch được thực hiện, thì phải điền vào một mẫu khai. Đây là một ví dụ của hoạt động thu thập dữ liệu diễn ra liên tục và các mẫu khai đã được điền đẩy đủ là nguồn dữ liệu thường quy. Ngược lại, mỗi năm một lần tổ chức NGO này có thể thực hiện một khảo sát nhằm tìm hiểu những người đã tham gia các buổi biểu diễn kịch nghĩ gì về buổi biểu diễn. Khảo sát như vậy là một ví dụ của nguồn dữ liệu định kỳ.

Chương 8

•

Khảo sát: Phương pháp thu thập thông tin từ những người trả lời phỏng vấn – đó có thể là một mẫu của nhóm dân cư hoặc các tổ chức (hoặc cơ sở) được lựa chọn và xác định là đối tượng đích. Khảo sát này có thể tiến hành thu thập thông tin, hoặc là tại một thời điểm (khảo sát cắt ngang) hoặc theo dõi một nhóm người trong một giai đoạn thời gian (khảo sát xuôi thời gian hoặc dữ liệu bảng - panel). Thông tin thu được từ các khảo sát có thể bao gồm các thông tin thực tế, các mức độ về kiến thức; thái độ, các loại tính cách, niềm tin và sở thích. Đối với một số các khảo sát cấp quốc gia, các quy tắc chuẩn mực đã được xây dựng nhằm đảm bảo rằng khảo sát được thực hiện theo cùng cách thức mỗi lần thực hiện khảo sát. Điều này cho phép phân tích và so sánh xu hướng qua thời gian.

Giám sát: Giám sát bao gồm giám sát sinh học và hành vi. Giám sát sinh học bao gồm việc thu thập dữ liệu sinh học cụ thể thông qua các giám sát cắt ngang lặp lại nhiều lần trong một nhóm dân cư có tính đại diện. Giám sát hành vi đề cập đến các điều tra cắt ngang lặp lại nhiều lần về một hành vi trong nhóm dân cư có tính đại diện (UNAIDS và WHO, 2000). Giám sát thường được sử dụng nhằm

khảo sát định kỳ

291

thu thập thông tin về sự phổ biến của một căn bệnh cụ thể trong số các nhóm đích được khảo sát, nhóm đích đó nhiều hay ít đại diện cho đa số dân chúng hoặc các nhóm đích cụ thể tại thời điểm bùng phát của dịch bệnh đó. Độ chệch: Độ chệch là một “đặc điểm trong nghiên cứu khiến cho một kết quả cụ thể dễ có khả năng xảy ra hơn – giống như sân bóng đá có độ dốc từ đầu này đến đầu kia” (Leung, 2001a), hay còn được gọi là các mẫu không nằm trong cơ cấu chọn mẫu có thể do nhiều vấn đề gây ra trong khi tiến hành một cuộc khảo sát: chẳng hạn như chọn mẫu không chính xác, không có các phỏng vấn, có quá ít người trả lời, người trả lời thiếu sự hiểu biết và kiến thức, người tham gia mong muốn che đậy sự thật, quá nhiều câu hỏi, các lỗi xử lý, hoặc các lỗi của người phỏng vấn. Có nhiều loại độ chệch tồn tại (Macdonald, 2001): •

Độ chệch do trí nhớ là khi một khác biệt xuất hiện do một người/một số nhóm người trả lời có có chiều hướng nhớ tới một sự kiện hơn so với nhóm khác. Điều này thường thấy trong nghiên cứu kiểm soát tình huống khi các tình huống có vẻ như nằm ngoài sự kiểm soát khi đối tượng nghiên cứu nhớ lại một sự kiện trái ngược.

ii.

Độ chệch do đánh giá có thể nảy sinh từ các khác biệt giữa những người đánh giá (trong số những người đánh giá với nhau) hoặc với cùng 1 người đánh giá (bản thân người đánh giá). Để tránh điều này, một điều quan trọng là những người đánh giá phải sử dụng phương pháp đánh giá hoặc thu thập dữ liệu chuẩn mực. Nếu bạn là người đánh giá duy nhất, bạn cũng sẽ vẫn cần phải có một phương pháp đánh giá hoặc thu thập dữ liệu chuẩn và theo hệ thống để đảm bảo rằng các kết quả của bạn không bị ảnh hưởng bởi tâm trạng của bạn.

•

Độ chệch do không có câu trả lời xuất hiện khi những người trả lời bảng câu hỏi khảo sát (những người trả lời) khác biệt ở một khía cạnh nào đó so với những người không trả lời (những người không trả lời). Hầu hết các nhà nghiên cứu đều cố gắng (a) giảm thiểu điều này hết mức có thể bằng cách cố gắng đạt được tỉ lệ trả lời tối đa, thông qua việc nhắc nhở hoặc tặng phần thưởng người trả lời, vân vân, hoặc (b) bằng cách xác định các đặc điểm liên quan của những người không trả lời (tuổi, giới tính, trình độ giáo dục, vân vân) để có thể biết được liệu những người không trả lời có khác biệt so với những người trả lời hay không. Dựa vào đó, họ có thể thực hiện các điều chỉnh trong nghiên cứu của mình về những người không trả lời.

•

Độ chệch do chọn lựa xuất hiện khi nhóm đối tượng mẫu mà bạn chọn không đại diện cho nhóm dân cư mà bạn muốn tổng quát hoá các kết quả. Việc chọn mẫu ngẫu nhiên có thể tránh điều này khỏi xảy ra trong khảo sát của bạn.

•

Chọn mẫu là một quy trình chọn lựa những người trả lời khảo sát. Việc chọn mẫu có thể được tiến hành theo nhiều cách. Những người trả lời có thể được chọn lựa một cách có mục đích, ngẫu nhiên, hoặc những người trả lời có thể chỉ định nhau tham gia trong một cuộc khảo sát (chọn mẫu theo

Chương 8

292

Độ chệch thông tin xuất hiện khi tồn tại các khác biệt về hệ thống đánh giá câu trả lời. Hai ví dụ minh họa là Độ chệch do trí nhớ và Độ chệch do đánh giá.

Triển khai các hệ thống Theo dõi và Đánh giá

người trả lời). Chọn mẫu liên quan tới quyết định đơn vị chọn mẫu (ví dụ: những người được khảo sát, các hộ gia đình, hay các cơ sở y tế), xác định khung chọn mẫu (nhóm đối tượng đích mà từ đó mẫu sẽ được chọn lựa), xác định cỡ mẫu tổng thể và cỡ mẫu của một giai tầng. Nếu việc chọn mẫu theo giai tầng, thì cỡ mẫu có tỷ lệ tương ứng với cỡ của giai tấng đó, các cỡ mẫu tương đương nhau có thể xuất phát từ tất cả các giai tầng và cỡ mẫu cần thiết sẽ càng lớn hơn khi các giai tầng càng khác nhau. Người trả lời: là người trả lời các câu hỏi trong một cuộc phỏng vấn. Đơn vị chọn mẫu: là đơn vị được chọn lựa trong quy trình chọn mẫu. Khi bạn chọn các giáo viên cho một hệ thống giáo dục từ một danh sách giáo viên, thì đơn vị chọn mẫu chính là một giáo viên. Đơn vị chọn mẫu cơ bản: đơn vị chọn mẫu tại giai đoạn cuối của chọn mẫu. Trong một cuộc khảo sát đa nhóm, khi bạn đầu tiên chọn lựa các làng, sau đó chọn lựa các hộ gia đình trong làng, thì đơn vị chọn mẫu cơ bản là hộ gia đình. Tổng thể mẫu: Toàn bộ nhóm các đơn vị mẫu (thường là các hộ gia đình hoặc các cá nhân) có đủ điều kiện tham gia vào mẫu khảo sát. Khung chọn mẫu: là danh sách tất cả những thành viên trong nhóm dân cư được nghiên cứu, để mỗi người đều có cơ hội được chọn vào mẫu ngang bằng nhau (Scheuren, 2004). Bởi vậy, đó là danh sách tất cả các đơn vị mẫu mà từ đó bạn sẽ chọn ra mẫu của mình (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Khung chọn mẫu có thể là danh sách tên các cá nhân, hay danh sách các hộ gia đình, hay danh sách các cơ quan, hoặc danh sách các trường học. Bất kể đơn vị mẫu nào được chọn, thì khung chọn mẫu cũng cần phải cung cấp danh sách đối tượng đích mẫu (các cá nhân, các tòa nhà, các khu vực địa lý, vân vân). Khung chọn mẫu và tổng thể mẫu cần phải đồng loại, gần với nhau tối đa.

Chương 8

Cỡ mẫu là số lưọng các đơn vị được chọn ra từ khung chọn mẫu, nhằm tạo ra được các kết quả đáng tin cậy về mặt thống kê. Cỡ mẫu cần phải được tính toán dựa trên thống kê bởi không tồn tại một cỡ mẫu cố định hay lý tưởng nào cả. Phương pháp chọn mẫu là phương pháp mà bạn áp dụng để chọn ra những người trả lời cho mẫu khảo sát. Có nhiều phương pháp chọn mẫu, song các phương pháp chọn mẫu ngẫu nhiên nhìn chung hay sử dụng hơn nhằm đảm bảo rằng khảo sát được phổ biến . “Rõ ràng là tất cả các khảo sát mà được thực hiện một cách nghiêm túc bởi các nhà khoa học xã hội và các nhà lập định chính sách đều sử dụng ít hay nhiều hình thức chọn mẫu ngẫu nhiên” (Scheuren, 2004:18). Phụ lục A mô tả khái quát về các loại phương pháp chọn mẫu.

3. Các Kết Quả Thu Được Khi Thực Hiện Cấu Phần Này Kết quả dài hạn: Các khảo sát mà: trả lời các mục tiêu phù hợp, không có độ chệch và chính xác, mang tính tổng quát, được thực hiện phù hợp chuẩn mực đạo đức và tiết kiệm

khảo sát định kỳ

293

hoặc các kết quả khảo sát hiện tại đang được sử dụng, đáp ứng các nhu cầu dữ liệu của chương trình. Các kết quả trung và ngắn hạn: •

Danh mục các khảo sát tương tự đã được thực hiện

•

Lịch trình cụ thể cho các khảo sát trong tương lai (được thực hiện bởi tổ chức của bạn hoặc từ nơi mà tổ chức của bạn cần phải lấy dữ liệu của riêng nơi đó).

•

Các quy định cho tất cả các khảo sát phải dựa trên các tiêu chuẩn trong nước và quốc tế (nếu tồn tại).

Đối với phản ánh 1: Các loại hình thu thập dữ liệu nào hay được sử dụng trong tổ chức của bạn? Tổ chức của bạn đã từng tiến hành các khảo sát hoặc giám sát thuộc bất kỳ loại hình nào chưa? Nếu có, các khảo sát được thiết kế ra sao và do ai? Các khảo sát có phục vụ cho nhu cầu của các đối tượng liên quan không? Việc chọn mẫu được thực hiện như thế nào trong các khảo sát mà bạn biết? Các khảo sát có khung chọn mẫu và chiến lược chọn mẫu không? Có bao nhiêu kết quả trung và ngắn hạn được nêu ở đây tồn tại trong tổ chức của bạn?

Chương 8

4. Các Lợi Ích Từ Khảo Sát Định Kỳ Trong Hệ Thống M&E

294

Tạo dữ liệu mức độ tác động và kết quả dài hạn mục tiêu: Dữ liệu khảo sát và giám sát là quan trong cho hệ thống M&E bởi chúng giúp tạo ra dữ liệu mức độ tác động và kết quả dài hạn nhất định. Các dữ liệu khảo sát này tránh được độ lệch bằng việc thu thập dữ liệu trong các khu vực có hoạt động can thiệp và các khu vực khác và thường đưa đến quan điểm mang tính mục tiêu, độc lập về các tác động và kết quả dài hạn và có thể đáng tin cậy hơn so với dữ liệu do một dự án tự thu thập.

Các khảo sát có thể cung cấp dữ liệu mang tính tổng quát: là các khảo sát thu thập dữ liệu mà có thể mang tính tổng quát cho toàn thể nhóm người dân mà từ đó mẫu khảo sát được chọn, với điều kiện các kết quả của khảo sát đạt yêu cầu của một số các kiểm tra mang tính thống kê quan trọng và có giá trị. Điều này hàm ý rằng mỗi một chương trình hoặc tổ chức không nhất thiết cần phải tự mình tiến hành khảo sát bởi họ đều có thể sử dụng các kết quả của một khảo sát mang tính đại diện.

Khảo sát ít tốn kém hơn so với điều tra dân số. Bởi một khảo sát có thể tạo ra dữ liệu mang tính tổng quát, có thể lấy được các quan điểm, ý kiến và các thông tin khác về toàn thể một nhóm người dân mà không phải khảo sát toàn thể dân chúng và điều này giúp giảm chi phí đáng kể.

Các khảo sát cho phép phân tích xu thế qua thời gian: với điều kiện quy trình thực hiện khảo sát được xây dựng hợp lý và khảo sát được thực hiện với cùng cách thức (cùng phương pháp), và thu thập cùng loại dữ liệu (cùng bảng câu hỏi khảo sát), việc phân tích xu thế qua thời gian là có thể.

Triển khai các hệ thống Theo dõi và Đánh giá

5. Các Vấn Đề Thực Thi Liên Quan Đến Các Khảo Sát Định Kỳ 5.1 Quyết định xem có cần tiến hành khảo sát không Quyết định về việc nên hay không nên tiến hành một khảo sát phụ thuộc vào loại chỉ số cần được cung cấp dữ liệu và phụ thuộc vào đơn vị đo lường chỉ số (số lượng hoặc phần trăm). •

Nếu chỉ số được bắt đầu bằng Số lượng, thì khảo sát mẫu không thể được sử dụng bởi vì các khảo sát chỉ có thể thu thập dữ liệu phần trăm (ví dụ như phần trăm của tất cả những người có câu trả lời là CÓ).

•

Nếu chỉ số bắt đầu với Phần trăm, thì cả khảo sát lẫn dữ liệu thường quy có thể được sử dụng nhằm tính toán giá trị của chỉ số. Cây quyết định trong Hình C8-1, và thông tin cung cấp trong Bảng C8-1 có thể giúp bạn quyết định liệu một khảo sát hay dữ liệu thường quy là cần thiết hay không.

Trong Hình C8-1, một điều quan trọng là hiểu được cách diễn giải hai loại giá trị chỉ số khác nhau mà sẽ được tạo ra thông qua hai nguồn dữ liệu khác nhau Đọc định nghĩa về chỉ số

Chỉ số có được bắt đầu bằng Con số

Nếu CÓ

Sử dụng dữ liệu thường quy

Nếu KHÔNG

Nếu CÓ

Chương 8

Tử số có được xác định hoặc có thể ước tính chính xác qua các năm

Sử dụng dữ liệu thường quy Ước tính tử số, & ghi lại dữ liệu

Nếu KHÔNG

Sử dụng khảo sát, khi mẫu số là số người trả lời

Hình C8-1:

khảo sát định kỳ

Xác định mẫu số thông qua thu thập dữ liệu thường

Cây Quyết Định Để Quyết Định Xem Có Nên Thu Thập Dữ Liệu Về Một Chỉ Số Bắt Đầu bằng “Phần trăm” Trong Các Đợt Khảo Sát Hoặc Thu Thập Dữ Liệu Thường Quy Hay Không

295

Khi dữ liệu thường quy được sử dụng làm mẫu số và các ước lượng được sử dụng làm tử số, thì giá trị chỉ số là đại diện cho đa số người dân với điều kiện dữ liệu mẫu số (dữ liệu thường quy) được thu thập từ nhiều nhất có thể các địa điểm và khu vực. Các tỉ lệ báo cáo thấp (sử dụng cho mẫu số) hoặc các ước lượng (dùng cho tử số) sẽ làm co giá trị chỉ số. Khi một khảo sát được sử dụng làm nguồn sữ liệu, thì thiết kế của khảo sát đó cần phải cho phép dùng dữ liệu phổ biến (hay, phương pháp chọn mẫu xác suất) để số phần trăm tạo ra từ khảo sát đó là số phần trăm đại diện cho toàn thể người dân mà từ đó mẫu khảo sát được lấy. Tham khảo Phần 5.8 của Chương 7 là nơi đưa ra ví dụ chi tiết về làm thế nào một người có thể sử dụng hoặc dữ liệu thường quy hoặc dữ liệu khảo sát.

5.2 Quản lý và thực hiện các khảo sát quốc gia Các khảo sát quốc gia sẽ cần phải được thực hiện bởi một cơ quan phù hợp nhất. Đó có thể là Bộ Lao Động (cho các khảo sát về nơi làm việc) hoặc Bộ Y Tế (cho các khảo sát giám sát sinh học hoặc cơ sở y tế). Các khảo sát hành vi được thực hiện phối hợp bởi Văn phòng Thống kê Quốc gia tại một số nước và tại một số nước khác là Bộ Y Tế. Văn phòng Thống kê Quốc gia cần phải tham gia vào, và thông qua, tất cả các khảo sát được thực hiện tại một nước, do vậy sẽ là một thông lệ tốt khi bao gồm cơ quan này vào nhóm thực hiện công tác rà soát khảo sát cấp quốc gia. Công tác thiết kế cho một khảo sát cần phải hợp lý về mặt khoa học, sử dụng các chuyên gia, và có sự tham gia của nhóm M&E để dữ liệu khảo sát được thu thập, phân tích và trình bày theo một phương thức mà các giá trị chỉ số có thể được trích dẫn dễ dàng từ báo cáo của khảo sát đó.

5.3 Các quy trình đạo đức cần tuân thủ khi thực hiện khảo sát Chương 8

Khi thực hiện các khảo sát, cần phải xem xét một số các quy định và nguyên tắc về đạo đức nhằm đảm bảo người trả lời được đối xử một cách công bằng và các câu trả lời của họ được giữ bí mật (FHI, 2001). Người trả lời cần phải:

296

•

Được lựa chọn tham gia hay không tham gia vào trong nghiên cứu (quyền rút lui hoàn toàn khỏi cuộc khảo sát);

•

Hiểu được tại sao lại tiến hành nghiên cứu khảo sát, các kết quả khả quan dự kiến gắn liền với nghiên cứu khảo sát, cũng như các kết quả bất lợi liên quan tới nghiên cứu khảo sát;

•

Hiều rõ về khả năng là sẽ không có tác động tới cá nhân của nghiên cứu khảo sát;

•

Biết được rằng họ được tự do rút lui khỏi cuộc khảo sát vào bất cứ thời điểm nào của quá trình khảo sát;

•

Được khẳng định lại là các câu trả lời của họ được giữ bí mật tuyệt đối, được tập hợp lại mà không để lại danh tính, và không được quy cho bất kỳ một cá nhân cụ thể nào.

Triển khai các hệ thống Theo dõi và Đánh giá

Mỗi một khảo sát cần phải có một tuyên bố nhằm thông báo và yêu cầu sự chấp thuận từ những người được xác định là có khả năng trả lời, mẫu này được thiết kế phù hợp với các vấn đề cụ thể đang được tiến hành giám sát và với nhóm đích được phỏng vấn. Trong các trường hợp khi các phỏng vấn được thực hiện với các trẻ em, ví dụ như, cần có được sự cho phép từ một người lớn chịu trách nhiệm. Trong trường hợp đối với các khảo sát tại các hộ gia đình, cần phải có sự cho phép của cha mẹ/người chăm sóc để phỏng vấn trẻ chưa đủ vị thành niên (tuổi thống nhất có thể khác nhau nhưng thường là dưới 18 tuổi). Trong trường hợp đối với các phỏng vấn được thực hiện tại các cơ quan, ví dụ như tại các trường học, thông thường sẽ là hợp lý khi có được sự đồng ý của những người điều hành trường học, mặc dầu việc này có thể là khác nhau giữa các nước và phụ thuộc vào nội dung của cuộc khảo sát. Làm thế nào để bạn đảm bảo tính bí mật cho người trả lời? Feber et al (1980:7) đưa ra một vào đề xuất thực tiễn sau: •

Chỉ sử dụng các mã để biểu thị tên người trả lời trong bảng hỏi khảo sát và lưu giữ mã này tách riêng khỏi dữ liệu nghiên cứu

•

Từ chối cung cấp tên và địa chỉ của người trả lời khảo sát cho bất kỳ ai nằm ngoài tổ chức tiến hành khảo sát

•

Tiêu huỷ các bảng hỏi khảo sát và thông tin xác định về người trả lời sau khi đã nhập và kiểm tra dữ liệu

•

Loại bỏ tên và địa chỉ của người trả lời khảo sát khỏi phân tích của máy tính

•

Trình bày các định dạng thống kê theo cách đủ rộng để không thể xác định được từng cá nhân trả lời

5.4 Cần chi phí bao nhiêu cho mỗi cuộc khảo sát

•

Thời gian cho cán bộ khảo sát lập kế hoạch khảo sát, làm công việc lựa chọn mẫu, xây dựng bộ câu hỏi, và giám sát toàn bộ một cuộc khảo sát

•

Chi phí nhân công và tài liệu nhằm thử nghiệm bảng hỏi khảo sátvà các quy trình thực địa (có thể cần phải tiến hành thử nghiệm hơn một lần)

•

Chi phí cho cán bộ thực địa (người lên danh sách) và các giám sát viên trong quá trình thu thập và sàng lọc dữ liệu

•

Chi phí thực địa và đi lại cho cán bộ khảo sát nhằm thu thập dữ liệu

•

Chi phí nhân công cho việc nhập và kiểm tra dữ liệu

•

Chi phí nhân công cho việc kiểm soát chất lượng và kiểm tra đột xuất

•

Chi phí nhân công cho việc định dạng và phân tích dữ liệu

•

Chi phí nhân công cho việc chuẩn bị và hoàn tất báo cáo

khảo sát định kỳ

Chương 8

Kinh nghiệm cho thấy các loại chi phí điển hình bao gồm trong ngân sách cho một cuộc khảo sát là như sau (Schreneun, 2004; UNHCR, Ngân Hàng Thế Giới và GLIA, 2008);

297

Chương 8

•

Chi phí in ấn và gửi báo cáo

•

Chi phí thuê mặt bằng (đào tạo, nhập dữ liệu, các nhu cầu khác)

•

Chi phí in ấn và photocopy

•

Chi phí văn phòng phẩm như bút, sổ, tờ dính, tờ ghi chú, thẻ ghi màu sắc (có thể cầm tay để làm bộ câu hỏi), giấy vẽ, cặp đựng tài liệu, kẹp ghim, kẹp giấy

•

Chi phí liên lạc, bao gồm thẻ điện thoại cho điện thoại di động, radio, thư điện tử, các cuộc gọi trong nước và quốc tế

•

Chi phí thuê máy tính cá nhân

•

Chi phí phần mềm

•

Chi phí thuê ô tô để đi thu thập dữ liệu và đi lại giữa các địa điểm tiến hành khảo sát

•

Chi phí bảo dưỡng xe

•

Chi phí mua nhiên liệu

•

Chi phí thuê nhà, khi cần thiết

•

Chi phí mua phần thưởng tặng cho người tham gia, khi thích hợp

•

Chi phí mua vật phẩm cho cán bộ thực địa, như cặp đựng tài liệu để đựng các bảng hỏi khảo sáthay các tài liệu khác, ô để che mưa/nắng, ủng và áo mưa, giầy loại chắc bền nếu phải đi đường xa

•

Chi phí in biển đeo tên nhằm xác định danh tính của các thành viên khảo sát và người đi kèm cho những người đứng đầu địa phương và những người tham gia

•

Chi phí ăn uống trong quá trình đào tạo và các hoạt động khác

•

Chi phí làm giấy chứng nhận

Một nguyên tắc chung cần ghi nhớ là các khảo sát có sự tham gia của số lượng lớn các cuộc phỏng vấn có xu hướng ít tốn kém hơn trên cơ sở tính bình quân cho mỗi cuộc phỏng vấn so với các khảo sát có ít cuộc phỏng vấn hơn. Điều này đặc biệt đúng khi cỡ mẫu nhỏ hơn 1000. Lý do là cùng các chi phí trang bị dụng cụ (tất cả các hoạt động chuẩn bị cho một cuộc khảo sát) là cần thiết cho bất kỳ một cuộc khảo sát dù thuộc cỡ mẫu nào đi nữa. Kết quả là, số lượng càng lớn các cuộc phỏng vấn thì chi phí chuẩn bị chia đều cho mỗi một cuộc phỏng vấn càng thấp đi (Schreuner, 2004).

5.5 Các loại câu hỏi trong bảng hỏi khảo sát Các bảng hỏi khảo sátthường có hai loại câu hỏi chính: (i) các câu hỏi kết thúc mở (không có cấu trúc) và (ii) các câu hỏi kết thúc đóng (cố định hoặc có cấu trúc) (theo Fehrer, 1980; Kenneth Lafferty Hess, 2008). Các ví dụ được minh hoạ trong Bảng C8-2.

298

Triển khai các hệ thống Theo dõi và Đánh giá

Bảng C8-2:

Ví Dụ Về Các Câu Hỏi Kết Thúc Mở Và Các Câu Hỏi Kết Thúc Đóng

Câu hỏi kết thúc mở

Câu hỏi kết thúc đóng (lựa chọn trong số các loại)

Bạn đã trải qua khoá học như thế nào?

Bạn đã trải qua khoá học như thế nào? (chọn một câu trả lời) 1.

Phù hợp với nhu cầu của tôi

Quá khó để có thể hiểu

Chỉ là những gì tôi cần

Câu hỏi kết thúc đóng (tỉ lệ hoặc theo thang tính điểm Likert)

Câu hỏi kết thúc đóng (thang điểm khác nhau)

(Khi bạn muốn xác định số lượng các ý kiến)

Bạn đánh giá khóa học như thế nào?

Tránh dùng thang tính 5 điểm Likert (mọi người có xu hướng thường chọn lựa chọn ở giữa), và bao gồm cả lựa chọn không trả lời

Rất vô bổ = 1: Cực kỳ bổ ích = 10 1 2 3 4 5 6 7 8 9 10

Xin hãy miêu tả cảm giác của bạn vào cuối khoá học: 4.

Không hài lòng

Hơi hài lòng

Hài lòng

Rất hài lòng Câu hỏi kết thúc đóng (danh mục)

(đôi khi bạn muốn người trả lời so sánh các mục)

Khoanh vòng tròn các phần trong khoá học mà bạn thấy hữu ích:

Xếp loại các khoá học mà bạn đã tham dự trong vòng 12 tháng qua từ phù hợp nhất tới ít phù hợp nhất với các nhu cầu đào tạo của bạn:

Phần 1: Sử dụng dữ liệu

Phân tích dữ liệu

Phần 4: Đảm bảo chất lượng dữ liệu

Chương 8

Câu hỏi kết thúc đóng (phân loại)

Phần 2: Quản lý cho các kết quả Phần 3: Giám sát

Xây dựng năng lực làm việc theo nhóm Xây dựng tính sáng tạo Câu hỏi một phần kết thúc đóng Bạn dự định sử dụng các tài liệu đào tạo như thế nào (xin lựa chọn tất cả nếu thích hợp) • • • •

Nhằm đào tạo cho những người khác Nhằm nâng cao hiểu biết cho bản thân tôi Nhằm chỉ cho những người khác tại nơi làm việc Lý do khác

Nguồn: Ví dụ minh hoạ của tác giả, với các phân loaị trích dẫn từ tài liệu của Leung (2001b) và Kenneth Lafferty Hess, 2008

Mỗi loại câu hỏi có các ưu điểm riêng (Leung, 2001b) – xem Bảng C8-3:

khảo sát định kỳ

299

Bảng C8-3:

Các Ưu Điểm Của Câu Hỏi Kết Thúc Mở Và Câu Hỏi Kết Thúc Đóng

Ưu điểm của các câu hỏi kết thúc mở

Ưu điểm của các câu hỏi kết thúc đóng

Cho phép tìm hiểu về nhiều các giải pháp trả lời có thể xảy ra

Nhanh và dễ điền thông tin

Có thể được sử dụng thậm chí khi không thể xây dựng được tất cả các lựa chọn tình huống một cách tổng quát

Giảm thiểu sự đối xử phân biệt giữa người ít học và kém lưu loát

Dữ liệu có thể đánh mã theo chất lượng và tần suất các lựa chọn trả lời xuất hiện trên biểu đồ

Dễ dàng cho việc đánh mã, ghi chép và phân tích các kết quả Dễ dàng báo cáo các kết quả

Nguồn: Leung 2001b: 44

Các câu trả lời kết thúc mở sẽ đưa ra các dữ liệu định tính mà do đó cần có các kỹ năng phân tích dữ liệu định tính, ngược lại các câu hỏi kết thúc đóng sẽ đưa ra dữ liệu định lượng và do đó có thể áp dụng các kỹ năng phân tích định lượng (các thống kê mô tả và suy luận).

Chương 8

Cách dùng từ trong các câu hỏi có thể quyết định việc một người sẽ hay không trả lời câu hỏi. Bạn cần phải rõ ràng, không được mập mờ, và đảm bảo rằng tất cả những người trả lời sẽ hiểu rõ câu hỏi của bạn theo cùng một cách. Sau đây là một vài nguyên tắc cần ghi nhớ (Leung, 2001b): •

Dùng câu ngắn và đơn giản

•

Chỉ hỏi một loại thông tin vào mỗi một lần

•

Tránh các tiêu cực, nếu có thể

•

Hỏi các câu hỏi chính xác

•

Đảm bảo rằng những người mà bạn hỏi có kiến thức cần thiết

•

Hỏi chính xác mức độ chi tiết cần thiết

•

Giảm thiểu Độ chệch bằng việc tránh các câu hỏi suy dẫn

•

Diễn đạt các câu hỏi về các chủ đề nhạy cảm một cách cẩn trọng

Bên cạnh việc mô tả làm cách nào để hỏi mỗi câu hỏi một cách tốt nhất (loại câu hỏi và cách dùng từ nào cho chính xác), việc thiết kế bảng hỏi khảo sátcũng cần quyết định cách xắp xếp theo thứ tự và nhóm các câu hỏi. Các câu hỏi thường được tổ chức từ dễ tới khó và từ tổng quát tới cụ thể, từ thực tế tới trừu tượng, và các câu hỏi kết thúc đóng trước các câu hỏi kết thúc mở (theo Leung, 2001b). Điều này nhằm giúp cho người trả lời cảm thấy dễ chịu và thoải mái với quy trình khảo sát trước khi phải trả lời các câu hỏi khó, nhạy cảm và có nội dung cụ thể.

5.6 Các sai lầm thông thường cần tránh khi thiết kế và thực hiện khảo sát Tác giả Schreuner (2004:26) viết rằng, “Khi bất cứ điều gì có khả năng xảy ra sai sót (trong một cuộc khảo sát), thì nó sẽ, nếu bạn không kiểm tra, xảy ra sai sót”. Bảng C8-4 300

Triển khai các hệ thống Theo dõi và Đánh giá

tổng hợp lại các bài học kinh nghiệm về việc lập kế hoạch và thực hiện khảo sát. Các giải pháp khả thi và cách khắc phục các khó khăn được đưa ra trong cột cuối cùng của bảng này. Ghi nhớ rằng chất lượng của một cuộc khảo sát không được quyết định bởi số lượng các vấn đề mà bởi các vấn đề khi xuất hiện có được ghi chép lại hợp lý và được xử lý theo cách thức chuyên nghiệp và hợp lý hay không. Bảng C8-4:

Những Sai Lầm Và Nguyên Nhân Gây Ra Độ Chệch khi Tiến Hành một Cuộc Khảo Sát, và Cách Xử Lý

Bước khảo sát (Xem Bảng Chỉ Dẫn C8-1) Chuẩn bị khảo sát

Chọn mẫu

Các Sai Lầm Và Sai Sót Có Thể Xảy Ra

Giải pháp khả thi/Các cách cứu chữa

Câu hỏi không được hiểu đúng như dự định

Làm cho mục đích của khảo sát chính xác ngay từ đầu

Thời gian tiến hành khảo sát không đủ

Xây dựng kế hoạch hành động chi tiết với mốc thời điểm và trách nhiệm tương ứng

Những người thích hợp không được nghiên cứu

Xác định rõ đối tượng dân cư cần nghiên cứu

Thiếu các thông tin mẫu số cơ bản

Xem xét nhiều nguồn thông tin mẫu số cơ bản

Mẫu chọn không đại diện cho Sử dụng phương pháp chọn mẫu đối tượng dân chúng cần ng- xác suất phù hợp hiên cứu Sử dụng phương pháp chọn mẫu xác suất phù hợp

Cỡ mẫu không đủ để trả lời câu hỏi dự định

Tính cỡ mẫu, sử dụng các phương thức thống kê, truớc khi tiến hành khảo sát

Các thông tin quan trọng không được thu thập

Cân nhắc kỹ dữ liệu nào là cần thiết

Chương 8

Thiết kế bộ câu hỏi

Lựa chọn mẫu thuận tiện

Bảng hỏi khảo sáthoặc cuộc phỏng vấn dài (do thu thập các thông tin không cần thiết) gây ra tỉ lệ trả lời thấp

Thu thập dữ liệu

khảo sát định kỳ

Câu trả lời suy dẫn gây ảnh hưởng tới việc đưa ra các câu trả lời

Diễn đạt lại câu hỏi sau khi đã thử nghiệm cho một lượng nhỏ những người trả lời

Không thử nghiệm trước bộ câu hỏi

Thử nghiệm trước tất cả bộ câu hỏi: cách duy nhất để biết được liệu tất cả đều vận hành tốt

Đánh giá thông tin không chính xác

Sử dụng công cụ đánh giá thích hợp để tiến hành các nghiên cứu thử nghiệm Thử nghiệm trước tất cả bộ câu hỏi

301

Bước khảo sát (Xem Bảng Chỉ Dẫn C8-1)

Các Sai Lầm Và Sai Sót Có Thể Xảy Ra

Giải pháp khả thi/Các cách cứu chữa

Thu thập dữ liệu

Công tác thực địa cẩu thả và thiếu kiểm soát

Kiểm tra và theo dõi tất cả các mặt của cuộc khảo sát. Người chịu trách nhiệm giám sát cuộc khảo sát thực hiện lại một số các khảo sát nhằm tìm hiểu xem có đạt được các kết quả tương tự

Theo dõi những người không trả lời một cách thiếu đầy đủ (tỉ lệ trả lời thấp làm cho các kết quả khảo sát khộng đáng tin cậy)

Đảm bảo thực hiện đúng đắn các quy trình thủ tục

Người trả lời không đủ khả năng nhớ lại những thông tin khó nhớ

Khuyến khích người tham gia sử dụng máy ghi âm nhằm giúp họ ghi nhớ hoặc rút ngắn thời gian ghi nhớ cần thiết

Các Độ chệch: không tán thành hoặc không trả lời

Tiếp cận và giải thích về khảo sát một cách cẩn thận và lịch sự

Chương 8

Độ chệch xã hội không mong Đào tạo tốt cho các cán bộ lên muốn hoặc Độ chệch quan sát danh sách Chi chép sai các kết quả

Sử dụng các bảng hỏi khảo sátđược scan, có sự hỗ trợ của máy tính, hiệu chỉnh lại dữ liệu khi dữ liệu được ghi lại

Phân tích sai

Sử dụng các gói công cụ thống kê

Các lỗi chọn mẫu không được phát hiện

Trong trường hợp sử dụng việc lấy mẫu dựa trên xác suất, tính toán các lỗi lấy mẫu trong báo cáo

Các kết quả tìm kiếm không chính xác

Tăng cỡ mẫu hoặc lựa chọn mẫu lớn hơn

Không hoàn tất độ bao phủ của khảo sát

Tính toán ra phần trăm không được bao phủ và điều chỉnh kết quả tìm kiếm dựa trên tính toán mới.

Nguồn: Các tác giả tổng hợp từ tài liệu của Leung, 2001; Schereuner, 2004; NERCHA, 2009; UNHCR, Ngân Hàng Thế Giới và GLIA, 2008

6. Hướng Dẫn Thực Hành C8-1: Tiến Hành Một Khảo Sát Định Kỳ Nhiều tài liệu và cẩm nang đã được biên soạn về cách lên kế hoạch và tiến hành một khảo sát. Phần này thực hiện việc tóm tắt các nguồn lực khác nhau, tóm tắt các bước thực hành cần thiết. Vào cuối phần này, có đường dẫn tới một địa chỉ 302

Triển khai các hệ thống Theo dõi và Đánh giá

mạng giúp cho bạn có thể tìm hiểu thêm về cách thức lên kế hoạch và tiến hành các khảo sát.

Bước 1:

Các công tác chuẩn bị cho một cuộc khảo sát

Trong quá trình chuẩn bị cho một khảo sát, bạn cần thu thập thông tin, bao gồm các khảo sát đã thực hiện trước đây, dữ liệu giám sát dân số, các bản đồ, danh sách người dân và các hộ gia đình, các công tác can thiệp tại địa phương. Một bước rất quan trọng là phải xác định rõ ràng các mục tiêu cho cuộc khảo sát và các chỉ số chính. Nhìn chung, một cuộc khảo sát thường có từ một tới hai nhóm mục tiêu chính (Leung, 2001a): •

Trong một khảo sát mang mục đích mô tả, mục tiêu có thể nhằm để biết được tần xuất xuất hiện của các đặc tính cụ thể nào đó. Ví dụ minh hoạ có thể là tỷ lệ và các đặc điểm của các sinh viên chuyên đọc một loại tạp chí cụ thể nào đó hoặc hay thực hiện các hành vi nào đó, hoặc là tỷ lệ và đặc điểm của những người chuyên sử dụng một sản phẩm cụ thể. Các mục đích như vậy có thể đạt được bằng cách thu thập thông tin từ một nhóm mẫu các sinh viên tại một thời điểm (khảo sát theo khu vực). Nếu khảo sát theo khu vực đó được thực hiện định kỳ, thì thông tin về xu hướng theo thời gian có thể được thu thập, ví dụ như, liệu loại tạp chí mà các bạn sinh viên hay đọc đó có đang trở nên ngày càng phổ biến, hoặc các hành vi trở nên ít hay phổ biến nhiều hơn.

•

Trong một khảo sát mang mục đích phân tích, mục tiêu có thể nhằm biết được đâu là các nguyên nhân của các đặc điểm nhất định. Ví dụ minh hoạ có thể là cách học của các sinh viên khi bắt đầu một khoá học ảnh hưởng ra sao tới các kết quả cuối cùng của họ. Một nghiên cứu nhóm theo dõi một nhóm sinh viên năm nhất tới tận khi họ tốt nghiệp sẽ có nhiều hơn khả năng đưa ra được các thông tin cần thiết bởi điều này cho phép có thể đánh giá chính xác các cách học ban đầu mà không bị ảnh hưởng của việc biết trước các kết quả của cả khoá học của các sinh viên này. Chương 8

Với các mục tiêu và các yêu cầu về dữ liệu rõ ràng, các nhiệm vụ tiếp theo là xác định đối tượng người dân và khu vực địa lý cần khảo sát, và xác định phương pháp chọn mẫu và cỡ mẫu.(Xem phần Hướng Dẫn Thực Hành C8-2). Đồng thời, một việc quan trọng là phải xây dựng mối quan hệ tốt với những người đứng đầu cộng đồng, UN và các cơ quan nhà nước, các tổ chức phi chính phủ và các cấp chính quyền địa phương, và tạo ra được sự đồng thuận về các mục tiêu khảo sát. Yêu cầu người thích hợp giúp thông báo tới những người dân sẽ được khảo sát về mục đích của cuộc khảo sát nhằm giúp đảm bảo tỉ lệ tham gia cao. Bên cạnh đó, giải quyết việc lựa chọn thời gian, tiếp cận, tham gia và các vấn đề an ninh, và thực hiện các minh bạch về đạo đức. Cũng cần thiết phải xác định khung cơ cấu và các vai trò của nhóm khảo sát, khung thời gian khảo sát sơ bộ và ngân sách ban đầu (xem Phần 5.4 về danh mục các chi phí khảo sát mẫu) Thực hiện: mục đích khảo sát rõ ràng và cụ thể, các kế hoạch khảo sát và khung thời gian, minh bạch về đạo đức, hỗ trợ của cộng đồng, và dự thảo ngân sách thảo sát.

khảo sát định kỳ

303

Bước 2:

Quyết định về tất cả các khía cạnh liên quan tới công tác chọn mẫu

Leung (2004) chỉ ra rằng thiết kế mẫu khảo sát bao gồm việc xác định chính xác đối tượng được nghiên cứu và điều này vô cùng quan trọng nhằm đảm bảo rằng việc xác định phù hợp với mục tiêu của khảo sát. Công việc này bao gồm các tiêu chí cụ thể về nhân sự, thời gian và địa điểm. Ví dụ, trong một cuộc điều tra về các lý do vắng mặt của một số phụ nữ trong hoạt động sàng lọc ung thư cổ tử cung, những người không đủ điều kiện tham gia vào công tác kiểm tra này sẽ cần phải được loại khỏi đối tượng cư dân cần được nghiên cứu. Ví dự như, phụ nữ trên hoặc dưới độ tuổi cần kiểm tra hoặc những phụ nữ đã cắt bỏ toàn bộ tử cung thì sẽ không nằm trong chương trình. Nếu những phụ nữ này vẫn nằm trong chương trình, thì các kết quả sẽ không đưa ra được câu trả lời chính xác cho câu hỏi gốc. Vì lý do đó, bạn cần phải tính toán các cỡ mẫu (xem phần Hướng Dẫn Thực Hành C8-2), xác minh độ chính xác của dữ liệu dân số, và điền vào các chỗ trống thông tin (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Cần có quyết định cuối cùng về phương pháp chọn mẫu. Mẫu lựa chọn phải đại diện cho khung chọn mẫu. Để đảm bảo mẫu chọn là đại diện, mỗi một đơn vị mẫu trong khung chọn mẫu phải có cơ hội làm mẫu ngang nhau (theo Leung, 2001b). Sau khi cỡ mẫu và phương pháp chọn mẫu đã được hoàn tất, số cán bộ thực địa và số ngày cần có để đạt được cỡ mẫu mong đợi cần phải được tính toán và khung ngân sách và lịch trình thực hiện cần phải được hoàn tất (UNHCE, Ngân Hàng Thế Giới và GLIA, 2008). Thực hiện: Khung chọn mẫu, cỡ mẫu, và phương pháp chọn mẫu phù hợp với mục đích của khảo sát được xác định; ngân sách khảo sát gần hoàn chỉnh; số lượng cán bộ thực địa và ngân sách cuối được thông qua.

Chương 8

Bước 3:

Xây dựng bảng hỏi khảo sát và xác định các thủ tục để đạt được sự chấp thuận chính thức

Trước tiên, xây dựng bảng hỏi khảo sát chính hoặc mở rộng và xem xét kỹ lưỡng cũng như thực hiện các điều chỉnh cần thiết cho bảng câu hỏi và mẫu đơn đồng ý tham gia. Sau đó, dịch tất cả tài liệu ra ngôn ngữ địa phương tương ứng và thử nghiệm các tài liệu tại cơ sở. Chỉnh sửa lại bảng hỏi khảo sát và mẫu đơn đồng ý dựa trên các kết quả thử nghiệm, dịch lại toàn bộ tài liệu, hoàn tất và in bảng hỏi khảo sát (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Phần 5.5 (ở trên) cung cấp nhiều chi tiết hơn về công tác thiết kế bộ câu hỏi. Khi thiết kế bộ câu hỏi, luôn bắt đầu với các mục tiêu thu thập dữ liệu của cuộc khảo sát và ghi nhớ thu thập dữ liệu cho các biến số phụ thuộc (ví dụ, thành tích học trong các đánh giá các cấu phần của khóa học) và các biến số độc lập mà có thể giải thích cho các thay đổi trong các biến số độc lập (ví dụ như số tiếng làm việc trong một tuần của người sinh viên được khảo sát). Trong ví dụ này, tuy nhiên, có thể không phải là công việc bán thời gian làm ảnh hưởng trực tiếp tới các kết quả của khoá học mà là vì các sinh viên xuất thân từ các gia đình nghèo hay phải đi phải làm thêm nhiều hơn và dường như cũng thể hiện kém hơn trong 304

Triển khai các hệ thống Theo dõi và Đánh giá

các đánh giá. Trong trường hợp này, xuất thân từ gia đình nghèo là biến số gây nhiễu. Dữ liệu cũng cần phải được thu thập về những yếu tố có thể gây nhiễu (Leuing, 2001b). Thực hiện: Bảng hỏi khảo sát hoàn tất

Bước 4:

Chuẩn bị tài liệu khảo sát

Bước này đòi hỏi phải thiết kế hoặc sửa đổi quy trình khảo sát cho phù hợp với các điều kiện khảo sát địa phương, và xây dựng thêm các biểu mẫu khảo sát (như các tờ khai thông tin về hộ gia đình). Bước này cũng đòi hỏi xác định quy trình từng bước thu thập dữ liệu, bao gồm xác định các vai trò và trách nhiệm của nhóm khảo sát. Quan trọng là phải ghi chép lại mỗi một bước của quy trình thu thập dữ liệu, công tác quản lý và phân tích thành một cuốn sách hướng dẫn thực hiện. Dựa vào tất cả các thông tin này, khung thời gian và ngân sách có thể được hoàn tất (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Thực hiện: Quy trình khảo sát (xem phụ lục) và ngân sách khảo sát cuối cùng

Bước 5:

Tập hợp nhóm và đào tạo các thành viên của nhóm khảo sát

Chương 8

Đối với bước này, bạn trước tiên cần phải xác định khung cơ cấu và trình độ chuyên môn của nhóm thực hiện khảo sát, và sau đó tuyển dụng cán bộ khảo sát và người giám sát. Khi đào tạo cho các cán bộ khảo sát và các giám sát viên, bao gồm các hoạt động thực hành giả việc thu thập dữ liệu. Trong nhiều khảo sát, có nhiều người hơn cần thiết được đào tạo và, sau này, sau khi rà soát lại năng lực của mỗi một thành viên của nhóm, các thành viên cuối cùng được chọn lựa (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Điều này cũng phòng tránh cho trường hợp nhiều người không hoàn thành khoá đào tạo. Một trong các mục đích chính của công tác đào tạo là nhằm đảm bảo rằng tất cả những cán bộ triển khai thực địa sẽ tuân thủ theo cùng một nội dung phỏng vấn. Tât cả những người phỏng vấn cần phải áp dụng chung một phương thức khi giải thích về cuộc khảo sát, cách đặt các câu hỏi cụ thể, và ghi lại các câu trả lời. Điều này sẽ làm giảm thiểu các Độ chệch gây ra bởi người phỏng vấn. Thực hiện: Đào tạo cho các thành viên của nhóm khảo sát

Bước 6:

Thu thập dữ liệu

Trước tiên, bạn phải hoàn tất lịch trình chi tiết cho việc thu thập dữ liệu và sau đó tuyển mộ những người trả lời. Sau khi đã xác định được những người trả lời, bạn có thể dựng địa điểm và tiến hành các phỏng vấn (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Có nhiều cách khả thi để thu thập dữ liệu (ví dụ như, gửi bảng hỏi khảo sát theo đường bưu điện tới các cá nhân hoặc thông qua tổ chức; sử dụng bảng hỏi khảo sát trên máy tính; sử dụng các bảng hỏi khảo sát qua email; bảng hỏi khảo sát trực tuyến; phỏng vấn trực tiếp; phỏng vấn qua điện thoại). (Leung, 2001a). Cần thực hiện việc kiểm soát chất lượng tổng quát đối với khảo sát định kỳ

305

mỗi một giai đoạn của quy trình thu thập dữ liệu. Các biện pháp đảm bảo an ninh cũng quan trọng, như việc tập hợp các mẫu khảo sát vào mỗi ngày và cất giữ chúng tại nơi được khoá cẩn thận. Ngoài ra, nhớ báo cáo với nhóm của bạn hàng ngày, nhờ đó bạn có thể trao đổi các vấn đề khúc mắc và cùng nhau tìm ra các giải pháp (ví dự như, tình huống không có câu trả lời – xem phần 5.6). Ghi nhờ rằng mọi việc dù được thực hiện hay không được thực hiện trong một cuộc khảo sát cũng có thể ảnh hưởng tới tính xác thực của các kết quả (Theo Schreuner, 2004; UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Một trong các công việc quan trọng nhất trong giai đoạn thu thập dữ liệu là phải giảm thiểu việc không có câu trả lời bởi đây chính là nguyên nhân quan trọng gây ra Độ chệch. Những người trả lời cho các câu hỏi của khảo sát có thể khác với những người không trả lời. Do vậy, một điều rất quan trọng là phải tối đa tỉ lệ trả lời. Giải thích cặn kẽ về mục đích của cuộc khảo sát và việc các kết quả của khảo sát nếu được sử dụng sẽ giúp ích ra sao, do vậy hãy tiếp cận đối tượng một cách lịch sự và nhã nhặn, và gửi lời nhắc nhở tới những người không trả lời (ví dụ như gọi điện lại, hoặc viếng thăm lại) (theo Leung, 2001a). Thực hiện: Bảng hỏi khảo sát và tất cả các mẫu khảo sát được hoàn thiện

Bước 7:

Quản lý dữ liệu

Mặc dù đối với các khảo sát quy mô nhỏ, sẽ dễ dàng cho việc ghi lại các kết quả bằng tay cũng như mang theo và phân tích sử dụng máy tính cá nhân, các khảo sát quy mô lớn hơn được tiến hành hiệu quả hơn bằng việc sử dụng công nghệ như các máy quét quang học và gói công cụ thống kê để phân tích các dữ liệu phức tạp hơn (Leuing, 2001a).

Chương 8

Khi bạn sử dụng phần mềm để nhập dữ liệu, trước tiên bạn phải xây dựng chương trình nhập dữ liệu với các kiểm tra kiểm soát chất lượng và sau đó đào tạo cho tất những người chịu trách nhiệm nhập dữ liệu về bảng hỏi khảo sát và các quy trình nhập dữ liệu. Lịch trình nhập dữ liệu cũng cần được xây dựng và bảng hỏi khảo sát cùng các thông tin khảo sát khác được nhập thành bộ dữ liệu tuân thủ theo lịch trình đã được xây dựng. Sau khi đã nhập, bạn cần phải sàng lọc tất cả các bộ dữ liệu một cách cẩn thận trước khi bắt đầu phân tích, kết hợp và/hoặc đặt lại tên cho các bộ dữ liệu khi cần thiết, và thu thập và lưu trữ các bảng hỏi khảo sát và các mẫu khảo sát ở khu vực trung tâm và an toàn sau khi hoàn tất (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Thực hiện: Bộ dữ liệu được sàng lọc

Bước 8:

Xây dựng báo cáo và gửi báo cáo

Sau khi đã cập nhật hướng dẫn ghi mã và phân tích, bạn cần phải trước tiên tiến hành một phân tích về các tỉ lệ và ý nghĩa. Tiếp theo là phân tích các chỉ số chính. Rà soát lại độ chính xác của công việc phân tích và ghi lại tất cả các kết quả trong các biểu mẫu ghi kết quả (các biểu mẫu xếp loại dữ liệu chuẩn). Nếu cần thiết,

306

Triển khai các hệ thống Theo dõi và Đánh giá

tiến hành thêm một phân tích về các kết quả tìm kiếm quan trọng và ghi lại các kết quả. Sau khi tất cả các phân tích đã hoàn tất, bạn cần phải chia sẻ kết quả với các cộng tác viên chính và với các thành viên của nhóm đích được khảo sát nhằm đưa ra các kết luận và các đề xuất. Cùng với họ, xác định các phương pháp tối ưu nhằm gửi các kết quả tìm kiếm tới các độc giả quan trọng và các cách thức sử dụng dữ liệu khác. Ghi lại toàn bộ quy trình thực hiện khảo sát và các kết quả vào trong các báo cáo kỹ thuật và các phương tiện truyền đạt thông tin khác. Sau khi các tài liệu này đã được thông qua, gửi các kết quả tìm kiếm một cách rộng rãi tới các đối tác trong nước và quốc tế, các thành viên của nhóm dân cư đích và các nhà lập chính sách. Thực hiện: Báo cáo được hoàn tất và gửi đi và các kết quả khảo sát được sử dụng Đối với phản ánh 2: Phản ánh các hình thức chiến lược thu thập dữ liệu được sử dụng trong tổ chức của bạn. Có một quy trình xác định cho các khảo sát mà bạn đã thực hiện? Nếu có, quy trình đó là gì và nó được so sánh như thế nào với các bước nêu trong chương Hướng Dẫn Thực Hành? Liệu tổ chức của bạn sẽ cần phải thực hiện các khảo sát hoặc có thể lấy dữ liệu từ các khảo sát hiện có? Đâu là các sai lầm mà bạn dự kiến cho tổ chức của bạn khi thực hiện các khảo sát? Đâu là các phương thức khắc phục phù hợp với hoàn cảnh của tổ chức bạn?

7. Hướng Dẫn Thực Hành C8-2: Tính Toán Cỡ Mẫu Chương 8

Bao nhiêu người cần được khảo sát? Rõ ràng là, cỡ mẫu lớn hơn thì sẽ tạo ra các kết quả chính xác hơn. Mặt khác, các nguồn lực thường luôn bị hạn chế và chế ngự cỡ. Cỡ mẫu cần thiết cho một khảo sát phụ thuộc vào độ đáng tin cậy cần thiết mà, tiếp tục, phụ thuộc vào việc các kết quả sẽ được sử dụng như thế nào (Theo Fehrer, 1980). Cỡ mẫu cần thiết phụ thuộc vào nhiều yếu tố: mục đích của cuộc khảo sát (ví dụ như mục đích miêu tả hay phân tích); tần số phổ biến của các biến số phụ thuộc như thế nào trong số cư dân được khảo sát; mức độ biến đổi của yếu tố thuộc mối quan tâm; mức độ cần phải chính xác của các kết quả như thế nào (theo Schreuner, 2004). Bạn không thể quyết định cỡ mẫu dựa vào các khảo sát khác hay quy mô ngân sách của (tổ chức) bạn. Cỡ mẫu sẽ phụ thuộc vào tính chính xác mà dựa vào đó bạn đánh giá các chỉ số chính trong khảo sát của mình và khả năng của bạn trong việc đánh giá các xu hướng hành vi qua thời gian, do đó nó phải phù hợp với khảo sát riêng của bạn và với từng hoàn cảnh cụ thể (UNHCR, Ngân Hàng Thế Giới và GLIA, 2008). Để xác định cỡ mẫu cho mình, bạn phải trải qua mỗi một trong các bước sau đây.

khảo sát định kỳ

307

Bước 1:

Xác định tổng thễ mẫu

Những nhóm dân cư nào sẽ bao gồm trong khảo sát của bạn? Liệu bạn có muốn có thể phân tích mỗi một trong các nhóm dân cư riêng biệt và so sánh các nhóm này, hay bạn sẽ gộp các nhóm này lại với nhau trong trong quá trình phân tích? Các khu vực địa lý nào sẽ bao gồm trong khảo sát của bạn? Liệu bạn có muốn có thể phân tích mỗi một khu vực địa lý riêng biệt , hay bạn sẽ gộp các khu này lại với nhau trong quá trình phân tích. Nếu bạn định khảo sát những nhóm người di tản trong các trại tị nạn ở gần nhau, bạn có muốn xem xét các yếu tố hành vi gây nguy cơ một cách riêng biệt cho từng trại tị nạn, hay bạn sẽ gộp các trại này lại trong phân tích của mình? Khi có hai khu vực trong nước đều có số lượng lớn người phải cách ly, bạn có muốn phân tích các kết quả của họ riêng rẽ hay sẽ gộp dữ liệu thành một nhóm đích duy nhất? Định nghĩa về tổng thể mẫu của bạn phụ thuộc vào các mục tiêu của khảo sát của bạn. Nếu mục tiêu khảo sát chính của bạn là nhằm mô tả các hành vi gây nguy cơ nhiễm HIV trong các nhóm cư dân tị nạn khác nhau sinh sống tại ba khu vực trong nước, thì bạn sẽ có ba tổng thể mẫu riêng biệt cho những cư dân tị nạn này. Nếu mục đích khác của khảo sát của bạn là nhằm so sánh các nguy cơ hành vi và tiếp cận cho các công tác can thiệp giữa ba nhóm người tị nạn này và các cộng đồng xung quanh họ, thì các nhóm cư dân đích sẽ bao gồm thêm ba tổng thể mẫu. Tổng hợp lại bạn sẽ có sáu mẫu riêng biệt trong khảo sát của bạn, có nghĩa là cỡ mẫu sẽ phải được áp dụng cho mỗi một trong những nhóm dân cư trên một cách riêng biệt. Bạn không thể tính toán chỉ cho một cỡ mẫu và áp dụng cho toàn bộ số cư dân trong mẫu của bạn hay bạn sẽ không thể phân tích được các nhóm dân tị nạn khác nhau và các nhóm cư dân đích một cách riêng biệt, cũng như không thể so sánh các kết quả. Ví dụ tại Uganda

Chương 8

Ở Uganda, có hai khu vực trong nước là nơi các chương trình về HIV được thiết kế cho các dân cư tại các trại tị nạn và các cộng đồng lân cận. Mục tiêu của khảo sát là nhằm đánh giá các khác biệt về hành vi và tiếp cận cho các công tác can thiệp giữa hai nhóm khu vực khác nhau của người tị nạn, và cũng nhằm đánh giá các khác biệt giữa các nhóm cư dân tị nạn và các cộng đồng lân cận. Trong một khu vực khảo sát, có hai trại tị nạn tiếp giáp với nhau. Hai trại này tương tự với nhau về cơ cấu và các đặc điểm tương thích và đều nhận được cùng các hỗ trợ can thiệp về HIV. Hai trại này được kết hợp lại thành một nhóm đích khảo sát duy nhất với nhận thức rằng các kết quả của hai trại sẽ được phân tích riêng biệt. Tổng hợp lại, các nhóm cư dân riêng biệt, và các tổng thể mẫu được bao gồm trong khảo sát.

Bước 2:

Xác định các chỉ số chính mà bạn muốn đánh giá

Xác định các chỉ số chính mà bạn muốn đánh giá, tính chính xác mà bạn muốn đo lường được, và liệu bạn sẽ đánh giá các thay đổi qua nhiều vòng khảo sát hay không (như, các xu hướng). Mặc dù ngân sách không được phép là nguyên nhân quyết định trong tính toán cỡ mẫu cho khảo sát của bạn, nhưng hạn chế trong ngân sách là một thực tế. Vì

308

Triển khai các hệ thống Theo dõi và Đánh giá

lý do này, hiểu rõ các chỉ số nào mà cỡ mẫu của bạn sẽ cho phép bạn đánh giá với mức độ chính xác cao và đâu là nơi bạn sẽ phải hi sinh các khoảng can thiệp có độ tin tưởng cao để việc ước tính cho một chỉ số được thực hiện ở diện rộng và ít chính xác hơn. Đánh giá các hành vi tại một thời điểm yêu cầu cỡ mẫu nhỏ hơn so với việc đánh giá các thay đổi về hành vi giữa nhiều vòng khảo sát. Nếu mục tiêu của khảo sát của bạn là nhằm đánh giá các xu hướng hành vi qua thời gian, thì cỡ mẫu sẽ có phần lớn hơn khi khảo sát chỉ là để mô tả một lần nhóm đối tượng đích của khảo sát. Khi đánh giá các xu hướng về hành vi, xác định độ phổ biết ước tính cơ bản của hành vi được đánh giá tại thời điểm khảo sát và mức độ thay đổi hành vi mà bạn bạn muốn có thể đánh giá được. Nghiên cứu trước đây trong khu vực giữa các nhóm cư dân tương tự có thể cung cấp các ước tính xác đáng về tính phổ biến của hành vi cơ bản. Độ tăng phần trăm tối thiểu (hay độ giảm) trong một hành vi mà bạn cần đánh giá sẽ được quyết định trên cơ sở của nghiên cứu trước và các mục tiêu chương trình. Khi không thể có các thông tin này, thường người ta sẽ sử dụng mức độ thay đổi là 10% hay 15% giữa các đợt khảo sát cho các chỉ số hành vi nhưng điều này có thể thay đổi phụ thuộc và các chỉ số về sở thích, khoảng thời gian giữa các đợt khảo sát, và mức độ của các hoạt động can thiệp trong khu vực nhằm mang lại sự thay đổi. Điều đó có nghĩa là cỡ mẫu của bạn sẽ phải đủ lớn để đánh giá, ví dụ, mức độ thay đổi hành vi là 10 % hay lớn hơn so với mức độ phổ biến cơ bản nhưng không thể đánh giá được các thay đổi thống kê lớn giữa các vòng khảo sát mà nhỏ hơn 10%. Số phần trăm thay đổi mà bạn muốn có thể đo lường được giữa các vòng khảo sát càng nhỏ, thì cỡ mẫu mà bạn cần phải càng lớn (xem bảng dưới đây minh hoạ cho các cỡ mẫu). Ví dụ tại Uganda

Có hơn một bạn tình trong vòng 12 tháng qua giữa nam và nữ trong độ tuổi từ 15 đến 49

Hiểu biết toàn diện chính xác về HIV/AIDS giữa nam và nữ trong độ tuổi từ 15 đến 49

Chương 8

Khảo sát hành vi tại Uganda được thiết kế nhằm đánh giá các chỉ số chính nhưng không khả thi khi sử dụng tất cả các chỉ số khi tính toán cỡ mẫu. Ví dụ, quan hệ tình dục không chung thuỷ và bừa bãi của các thanh niên trẻ, là nhóm đối tượng đích, là hai hành vi gây nguy cơ mắc HIV cao có thể đánh giá được, tuy nhiên đây lại được biết là các hoạt động không thường xuyên trong giới trẻ. Trong khi cỡ mẫu của khảo sát là đủ để ước tính sự phổ biến của các hành vi này qua thời gian. Thay vì vậy, các chỉ số được chọn lựa cho việc tính cỡ mẫu trong chương trình này ở Uganda nhằm đánh giá các xu hướng qua thời gian là như sau:

Thái độ chấp nhận đối với những người sống chung với HIV và AIDS giữa nam và nữ trong độ tuổi từ 15 đến 49

Bảng C8-5 minh hoạ các cỡ mẫu cần thiết cho việc đánh giá các thay đổi mức độ lớn trong tính phổ biến của các hành vi qua thời gian

khảo sát định kỳ

309

Bảng C8-5:

Các Cỡ Mẫu Cần Thiết Để Tính Toán Sự Thay Đổi So Với Các Trị Số Cơ Bản

Mức phổ biến cơ bản

Cỡ mẫu cần thiết để tính toán sự thay đổi so với mức phổ biến cơ bản qua thời gian thay đổi 5%

thay đổi 10%

thay đổi 15%

thay đổi 20%

10%

540

156

20%

860

231

108

30%

1083

280

128

40%

1206

305

136

50%

1231

305

133

60%

1157

280

119

70%

984

231

80%

712

156

Cỡ mẫu giả thuyết cho 95% alpha, 80% beta, không có hiệu quả thiết kế và không có trường hợp không có câu trả lời

Bước 3:

Xác định phương pháp chọn mẫu

Mô tả các phương pháp chọn mẫu cho các khảo sát được nêu trong Phụ lục A. Trước khi hoàn tất cỡ mẫu cho khảo sát của bạn, xác định xem loại phương pháp chọn mẫu nào bạn sẽ sử dụng. Trước tiên, quyết định xem bạn sẽ sử dụng phương pháp chọn mẫu xác suất hay phương pháp chọn mẫu phi xác suất. Nếu bạn chọn phương pháp chọn mẫu xác suất, thì có ba loại phương pháp có thể xem xét. Sơ đồ quyết định sẽ giúp bạn quyết định khi nào thì sử dụng loại phương pháp chọn mẫu nào được mô tả trong Hình C8-2.

Chương 8

Nếu bạn dùng phương pháp chọn mẫu gộp, bạn sẽ phải nhân cỡ mẫu của bạn với một hệ số nhất định để tính đến hiệu ứng của thiết kế mẫu sẽ có trong đo lường lỗi tiêu chuẩn, được gọi là hiệu ứng thiết kế. Thông thường, hiệu ứng thiết kế không xác định được vào giai đoạn đầu của khảo sát và hệ số chuẩn của 2 hoặc đôi khi ít hơn được áp dụng. Dân số trong khảo sát của bạn càng tương đồng thì hiệu ứng thiết kế có khả năng càng nhỏ. Trước thi xác định hiệu ứng thiết kế cho cỡ mẫu của bạn, bạn cần phải rà soát lại tài liệu in và các báo cáo về các hiệu ứng thiết kế sử dụng trong các khảo sát gộp mẫu đã được thực hiện trong các nhóm dân cư đích và các khu vực liên quan tới các chỉ số cụ thể mà bạn muốn đánh giá.

310

Triển khai các hệ thống Theo dõi và Đánh giá

Ví dụ tại Uganda Không có các danh sách hộ gia đình hoàn chỉnh tại Uganda, cho cả những người tị nạn lẫn các cư dân lân cận và các hộ gia đình nằm rải rác. Do đó, việc chọn các hộ gia đình cho khảo sát sử dụng phương pháp chọn mẫu gộp. Bởi vì có một số nhóm người thiểu số trong khảo sát và có khả năng không đồng nhất cao giữa những người trả lời thuộc các nước khác nhau, hiệu ứng thiết kế hệ số 2 được xác định là đủ để tính toán cho mẫu gộp, và do đó mẫu khảo sát đã được nhân đôi về kích cỡ

Hình C8-2:

Làm Thế Nào Để Quyết Định Nên Sử Dụng Phương Pháp Chọn Mẫu Xác Suất Nào Bắt đầu

Có sẵn các danh sách hộ gia đình hoàn chỉnh?

YES

Chọn mẫu ngẫu nhiên đơn giản

KHÔNG

Có thể xây dựng các danh sách hộ gia đình hoàn chỉnh?

YES

Chọn mẫu ngẫu nhiên đơn giản

KHÔNG

YES

Chương 8

Các đơn vị chọn mẫu nằm gần nhau và được tổ chức thành một mẫu được xác nhận?

Chọn mẫu theo hệ thống

KHÔNG Mẫu Gộp

khảo sát định kỳ

311

Bước 4:

Tính toán cỡ mẫu của bạn

Để xác định cỡ mẫu của bạn, bạn cần các thông tin sau: •

Các kết quả có được sử dụng để đánh giá các xu hướng phát triển qua nhiều vòng khảo sát?

•

Các chỉ số thuộc mối quan tâm mà bạn muốn đánh giá

•

Các giá trị cơ bản của các chỉ số thuộc mối quan tâm

•

Số phần trăm thay đổi hành vi mong muốn được đánh giá (đối với các khảo sát đánh giá các xu hướng phát triển)

•

Tỉ lệ ước tính không có câu trả lời (bao gồm từ chối và vắng mặt)

•

Hiệu ứng thiết kế ước tính (đối với các khảo sát kết hợp)

•

Mức độ về tầm quan trọng của thống kê mong muốn

Việc tính toán cỡ mẫu phụ thuộc vào liệu bạn dự định đánh giá các giá trị của chỉ số một lần, trong khảo sát một lần, hay là bạn dự định đánh giá các thay đổi về xu hướng phát triển qua thời gian, với các khảo sát được lặp lại.

Chương 8

Các nguồn lực về tính toán cỡ mẫu cho các khảo sát một lần. Có rất nhiều các nguồn lực trực tuyến hữu ích nhằm hỗ trợ cho bạn trong tính toán cỡ mẫu cho loại khảo sát một lần. Để biết thêm thông tin, hãy tìm đến các địa chỉ sau: •

Đánh giá và Diễn Giải Về Suy Dinh Dưỡng và Tỉ Lệ Tử Vong: Một tài liệu của Trung Tâm về Kiểm Soát và Phòng Chống Bệnh của Hoa Kỳ và Chương Trình Lương Thực Thế Giới, 2005: http://www.unhcr.org/pub/ PUBL/45f6abc92.pdf

•

Trợ Giúp Về Lương Thực và Dinh Dưỡng: Hướng Dẫn Mẫu, http://www. fantaproject.org/publication/sampling.shtml

•

Đánh Giá Tỉ Lệ Tử Vọng, Tình Trạng Suy Dinh Dưỡng, và An Ninh Lương Thực trong Các Tình Huống Khủng Hoảng: Thoả Thuận SMART, tháng 1 năm 2005, http://smartindicators.org/SMART_Protocol_01-27-05.pdf

•

Máy tính cỡ mẫu cho các khảo sát tiêu biểu, thiết bị miễn phí từ Trường Đại Học Emory, http://www.sph.emory.edu/~cdckms/Sample%20size%20 for%20comparing%20two%20cross-sectional%20surveys.html

•

Máy tính cỡ mẫu Mẫu SX cho các khảo sát tiêu biểu, thiết bị miễn phí từ Brixton Health, http://www.brixtonhealth.com/index.html. Lưu ý: thiết bị này không tính các cỡ mẫu cho các khảo sát đánh giá các thay đổi theo thời gian

Công thức tính cỡ mẫu cho các khảo sát đánh giá các thay đổi theo các xu hướng theo thời gian:

[ 2P(1 − P)Z n=D 312

1−α

+ P1 (1 − P1 ) + P2 (1 − P2 ) Z 1− β

]

∆2 Triển khai các hệ thống Theo dõi và Đánh giá

Tại đó: D = P1 = P2 = P = ∆2 = Z 1α = Z1-β = α β

= =

hiệu ứng khảo sát; tỉ lệ ước tính của lần đầu khảo sát; tỉ lệ tại thời điểm trong tương lại gần, khi số lượng (P2-P1) là cỡ của độ thay đổi mà bạn mong muốn có thể khám phá ra (P1 + P2) / 2; (P2 – P1)2; điểm số z tương ứng với xác suất mà với nó bạn mong muốn có thể kết luận rằng thay đổi về cỡ mẫu quan sát được (P2-P1) không xuất hiện một cách ngẫu nhiên điểm số z tương ứng với mức độ tin tưởng và tại đó bạn mong muỗn chắc chắn tìm ra được thay đổi về cỡ mẫu (P1-P2) khi nó thực sự xuất hiện; và 0.05 (Z1-α = 1.65) 0.20 (Z1-β =0.84).

Bạn không cần phải biết được các phép tính toán học đằng sau việc chọn lựa các cỡ mẫu để tính toán chúng. Để biết thêm chi tiết về các phép tính cỡ mẫu, chúng tôi gợi ý bạn hoặc liên lạc với một nhà thống kê trong nước hoặc theo hướng dẫn tại địa chỉ sau: •

Các Khảo Sát Giám sát Về Hành Vi: Các Hướng Dẫn Cho Các Khảo Sát Lặp Lại Về Hành Vi Của Những Người Có Nguy Cơ Nhiễm HIV, Tổ Chức Sức Khoẻ Gia Đình Quốc Tế, 2000, http://www.fhi.org/en/HIV AIDS/pub/guide/ bssguidelines.htm.

8. Tóm Tắt Chương 8 Kiến Thức và Kỹ Năng Chương 8

Trong chương này, bạn đã tìm hiểu về các chiến lược thu thập dữ liệu và tính hữu ích của các chiến lược được cơ cấu nhiều hơn giúp cho việc so sánh các công tác can thiệp và các kết quả dài hạn của chương trình. Bạn đã nghiên cứu về tất cả các khái niệm và thuật ngữ quan trọng của công tác khảo sát, như: Khung chọn mẫu, đơn vị mẫu, và các phương pháp chọn mẫu. Bạn đã được biết về các lợi ích của các khảo sát và điều tra: cụ thể là chúng giúp tạo ra các dữ liệu ở mức độ tác động và kết quả dài hạn cần thiết cho các chỉ số về tác động và kết quả dài hạn trong hệ thống M&E của bạn, để các nỗ lực của chương trình có thể được nhắm trực tiếp tới nơi cần thiết nhất. Bạn đã học về nhiều loại khảo sát và giám sát cũng như các vấn đề liên quan đến việc lập kế hoạch, quản lý và thực hiện các khảo sát. Bạn đã tìm hiểu về các bước của quy trình kỹ thuật vốn cần thiết cho việc xây dựng và tiến hành một cuộc khảo sát nhằm cung cấp dữ liệu cho hệ thống M&E của bạn. Cuối cùng, bạn cũng đã tìm hiểu về các bước liên quan tới việc tính toán một cỡ mẫu.

khảo sát định kỳ

313

9. Bài Tập Thực Hành Cấu phần 8 đề cập tới các khảo sát cho chương trình của tổ chức của bạn. Bạn đã có thể tiến hành các khảo sát của riêng bạn hay thu thập dữ liệu từ các khảo sát hiện có.

BÀI TẬP THỰC HÀNH 1:

XÁC ĐỊNH CÁC CHỈ SỐ NÀO CẦN PHẢI CÓ CÁC KHẢO SÁT VÀ NHỮNG CHỈ SỐ NÀO CẦN DỮ LIỆU THƯỜNG QUY

Điền vào ma trận nguồn dữ liệu các nguồn dữ liệu cần thiết cho mỗi một trong các chỉ số trong danh sách dưới đây. Mỗi một chỉ số có thể chỉ cần một, hoặc một vài nguồn dữ liệu, ví dụ, các nguồn khác nhau đối với tử số và mẫu số. Bài Tập Thực Hành 1 Đầu ra Chỉ số

Nguồn dứ liệu

Cơ quan phụ trách

Tần suất thu thập

1. Phần trăm thanh niên tuổi từ 15 đến 19 được tuyển vào trong các trường PTTH dân lập và công lập 2. Phần trăm số học sinh tham gia vào các lớp học toán dành cho các học sinh kém trong các kỳ nghỉ lễ của trường 3. Phần trăm số học sinh có bố mẹ tham dự các buổi họp phụ huynh 4. Điểm trung bình của môn toán và môn tự nhiên 5. Phần trăm số phụ huynh hài lòng về chất lượng giáo dục

Chương 8

6. Phần trăm số giáo viên tham vấn với hiệu trưởng của trường ít nhất một lần trong tháng

314

Triển khai các hệ thống Theo dõi và Đánh giá

BÀI TẬP THỰC HÀNH 2:

THIẾT KẾ CÂU HỎI TỐT

Đối với mỗi một trong các câu hỏi trong bảng dưới đây, xác định vấn đề có thể cho mỗi câu hỏi và cố gắng và suy nghĩ ra cách thức cải thiện câu hỏi. Bài Tập Thực Hành 2 Đầu Ra Câu hỏi 1.

Bạn có xuất hay nhập bất kỳ vật tư gì trong vòng 12 tháng qua?

Bạn có nghĩ người khác yêu thích khóa học?

Số phần trăm tăng trong ngân sách của bạn dành cho công nghệ thông tin từ năm 2007 tới 2008 là bao nhiêu?

Hãy cung cấp chi tiết ngân sách cho 5 năm qua

Bạn nghĩ gì về chính sách lưu động?

Bạn có thường xuyên tra cứu mạng của công ty?

Loại công nghệ nào được sử dụng trong quảng lý trang web của bạn?

Bạn vẫn có được sự tin tưởng vào cấp lãnh đạo cao nhất của mình?

Hầu hết các tổ chức đều rà soát các kế hoạch quản lý hàng năm. Bạn tin tưởng thời điểm nào là thích hợp?

Vấn đề với câu hỏi

Câu hỏi cải tiến

10. Bạn đánh giá trang web của công ty mình ra sao?

£ Không quan trọng £ Hơi quan trong £ Quan trọng £ Rất quan trọng 11. Những tài sản nào mà tổ chức bạn nắm giữ?

Chương 8

£ Tài sản đất đai £ Thiết bị £ Nhà xưởng £ Máy tính 12. Bạn biết về tin tức trong tổ chức của bạn như thế nào?

£ Trang web của tổ chức £ Trang web của liên hiệp £ Thư £ Các sự kiện

khảo sát định kỳ

315

Phụ lục A: Các Phương Pháp Chọn Mẫu Tóm tắt bởi các tác giả từ nguồn: (FHI, 2000) Các quy trình chọn mẫu rơi vào hai loại chính: các phương pháp xác suất và các phương pháp phi xác suất Trong chọn mẫu xác suất (còn được gọi là chọn mẫu ngẫu nhiên), mỗi một người trong tổng thể mẫu đều có xác suất xác định (không bằng 0) được lựa chọn làm mẫu. Có ba tiểu loại chọn mẫu xác suất: chọn mẫu ngẫu nhiên đơn giản, chọn mẫu theo hệ thống, và chọn mẫu kết gộp. Chọn mẫu xác suất thường được sử dụng khi các Khung chọn mẫu có sẵn hoặc có thể được xây dựng. Phương pháp này có hai ưu điểm: (a) nó mang lại các kết quả khảo sát mà ít bị ảnh hưởng bởi độ độ chệch; và (b) các tính toán thống kê có thể được thực hiện dựa trên các kết quả khảo sát. Bất lợi chính là ở chỗ cần phải có khung chọn mẫu và có thể tốn nhiều thời gian để xây dựng một khung chọn mẫu nếu khung đó không tồn tại bởi điều tra dân số những người trả lời. Chọn mẫu xác suất là phương pháp duy nhất mà sẽ tạo ra các kết quả khảo sát mà: •

Có hệ thống và được lặp lại

•

Có thể đưa ra các ước tính với ít độ chệch nhất

•

Có thể đánh giá được xu hướng qua thời gian

Chương 8

Chọn mẫu phi xác suất là một từ dùng chung cho nhiều phương pháp chọn mẫu mà không dựa vào các nguyên tắc thống kê chi phối các mẫu xác suất. Chọn mẫu nhanh (snowball sampling) là một ví dụ của chọn mẫu phi xác suất.Trong mẫu chọn nhanh (snowball sample) những người trả lời chỉ định những người trả lời khác mà đáp ứng các tiêu chí của khảo sát (tức là, không có khung chọn mẫu để bắt đầu). Chọn mẫu phi xác suất ít tốn kém, dễ thực hiện và tốn ít thời gian hơn. Bất lợi chính của phương pháp này là sẽ có độ độ chệch về chọn mẫu, và các kiểm tra thống kê không thể được thực hiện dựa trên các kết quả khảo sát, mà có nhiều khả năng là các kết quả khảo sát trong tương lai sẽ khác đi do có sự khác biệt trong cách thức lấy mẫu, hơn là do các thay đổi thực tế trong hành vi đánh giá (hoặc các sai số khác được khảo sát). Một khảo sát dựa trên các phương pháp phi xác suất có thể được nhìn nhận là ít mang tính mục tiêu hơn và các kết quả khảo sát có thể ít được tin cậy hơn.

316

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục B: Bảng Mẫu về Nội Dung của một Khảo Sát Lời mở đầu và Cảm ơn Danh mục Bảng biểu và Hình minh hoạ Bảng chú thích các từ viết tắt Bảng chú giải thuật ngữ 1.

Giới thiệu 1.1. Giới thiệu 1.2. Hoàn cảnh và lý do cho một chủ đề hoặc các chủ đề được khảo sát 1.3. Mục tiêu của khảo sát 1.4. Các chỉ số khảo sát chính

Quản lý Khảo sát 2.1 Cơ Cấu Quản Lý Của Nhóm Khảo Sát 2.2 Các Vai Trò và Trách Nhiệm Quản Lý Của Nhóm Khảo Sát 2.2.1 Xác Định Cán Bộ Khảo Sát và Giám Sát Khảo Sát 2.2.2 Quản Lý Dự Án Trong Nước 2.2.3 Các Cán Bộ Quản Lý 2.2.4 Các Giám Sát Viên Chương 8

2.2.5 Các Cán Bộ Khảo Sát 2.3 Tổng Quan Về Quy Trình Và Thời Gian Thực Hiện Khảo Sát 2.4 Đảm Bảo Chất Lượng 2.4.1 Đảm Bảo Chất Lượng trong quá trình Thiết Kế Bảng Hỏi 2.4.2 Đảm Bảo Chất Lượng trong quá trình Tập Huấn và Thực Thi Thực Địa 2.4.3 Đảm Bảo Chất Lượng Trong Quản Lý Dữ Liệu 2.4.4 Tăng Cường Năng Lực 3.

Các Quy Trình Khảo Sát cho Triển Khai, Lập Kế Hoạch Khảo Sát, Thiết Kế Khảo Sát và Mẫu 3.1 Báo Cáo Tiền Trạm

khảo sát định kỳ

317

3.2 Chọn Mẫu 3.2.1 Nhóm đích 3.2.2 Cỡ Mẫu 3.2.3 Khung chọn mẫu 3.2.4 Xác Định Địa Điểm Tiến Hành Phỏng Vấn 3.2.5 Xác Định Người được Phỏng Vấn Tại Mỗi Địa Điểm 3.3 Nhận Xét Kết Luận 4.

Các Quy Trình về Phê Chuẩn Đạo Đức, Tập Huấn và Hoàn Tất Bảng Hỏi Khảo Sát 4.1 Rà Soát Bảng hỏi khảo sátvà Sửa Lại 4.2 Các Quy Tắc Xử Thế 4.2.1 Quy Tắc Xử Thế Cho Tiếp Cận Nơi Phỏng Vấn 4.2.2 Quy Tắc Xử Thế Cho Việc Chọn Lựa Thành Viên Hộ Gia Đình 4.2.3 Quy Tắc Xử Thế Cho Việc Chọn Lựa Thành Viên Hộ Gia Đình – Thành Viên Thứ Hai Tại Nơi Phỏng Vấn 4.2.4 Áp Dụng Các Quy Tắc Xử Thế tại Hiện Trường - Hướng Dẫn cho Các Cán Bộ Khảo Sát 4.3 Đào Tạo Cho Các Các Bộ Khảo Sát 4.3.1 Chương Trình Đào Tạo

Chương 8

4.3.2 Các Nguồn Lực Cần Có Cho Đào Tạo 4.3.3 Các Mục Tiêu Đào Tạo 4.4 Tính Tin Cậy Và Xác Đáng 4.5 Hiệu Chỉnh và Rà Soát Lần Cuối Bộ Câu Hỏi 5.

Công Tác Chuẩn Bị và Thực Thi Khảo Sát 5.1 Giới Thiệu 5.2 Các Chuẩn Bị Hậu Cần 5.2.1 Đi Lại 5.2.2 Nhà Ở 5.2.3 Tài Liệu Sử Dụng Thực Địa

318

Triển khai các hệ thống Theo dõi và Đánh giá

5.2.4 Các Hành Vi Nhóm: Quy Tắc và Thủ Tục 5.2.5 Giờ Làm Việc 5.2.6 Các Quy Tắc Ứng Xử: Bảng Câu Hỏi và Các Quy Tắc An Toàn 6.

Nhập, Hiệu Chỉnh và Sàng Lọc Dữ Liệu 6.1 Giới Thiệu 6.2 Sổ ghi số mã hiệu 6.3 Đăng Nhập Bảng Hỏi Khảo Sát 6.4 Nhập Dữ Liệu 6.5 Hiệu Chỉnh Dữ Liệu 6.6 Quy Trình Sao Lưu Dữ Liệu 6.7 Quy Tắc Ứng Xử: Hoàn Thiện Bộ Câu Hỏi 6.8 Sàng Lọc Dữ Liệu 6.8.1 Kiểm Tra Chung 6.8.2 Các Trị Số Ngoài Phạm Vi 6.8.3 Những Lỗi Không Tương Thích trong Các Câu Hỏi Chính và Phụ 6.9 Kết Xuất Dữ Liệu để Kiểm Tra Lần Cuối

Phân Tích Dữ Liệu, Chuẩn Bị Báo Cáo và Gửi Báo Cáo 7.1 Giới Thiệu Dữ Liệu Chương 8

7.2 Phân Tích 7.3 Các Câu Hỏi Nghiên Cứu và Các Điểm Phân Tích Chính 7.4 Báo Cáo 7.5 Cơ Cấu Báo Cáo 7.6 Gửi và Sử Dụng Các Kết Quả Khảo Sát Phụ Lục A: Chương Trình Đào Tạo Phụ Lục B: Danh Mục Tài Liệu Tham Khảo Phụ Lục C: Bảng hỏi khảo sát Nguồn: Dẫn từ Quy Định của Swaziland về Chất Lượng, Tính Toàn Diện và Tính Phù Hợp của Khảo Sát Các Dịch Vụ Giảm Thiểu Tác Động, Chính Phủ Swaziland, 2009.

khảo sát định kỳ

319

9 10

Chương 9 Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống 12 Mục đích của chương

Mục đích của chương này là giúp bạn tìm hiểu những khái niệm cơ bản về cách xây dựng một cơ sở dữ liệu điện tử để nắm giữ toàn bộ dữ liệu theo dõi và đánh giá trong tổ chức của bạn. Kiến thức này có thể giúp bạn giám sát quá trình phát triển một cơ sở dữ liệu.

Kiến thức và Kỹ năng của chương a)

Giải thích cho những người khác về các thuật ngữ và chức năng liên quan đến cơ sở dữ liệu.

Nhận ra các vấn đề liên quan khi lựa chọn một cơ sở dữ liệu, và quá trình phát triển một cơ sở dữ liệu.

Xây dựng một cơ sở dữ liệu cấp quốc gia, địa phương hoặc ngành (hướng dẫn thực hành dành cho các kỹ thuật viên trong nước chịu trách nhiệm thiết kế và triển khai cơ sở dữ liệu, hoặc dành cho các nhà quản lý quan tâm đến lĩnh vực này).

Quản lý quá trình phát triển cơ sở dữ liệu cấp quốc gia, địa phương (hướng dẫn thực hành này dành cho các nhà quản lý hệ thống M&E ở tất cả các cấp).

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

Chương 9

Đến cuối chương này, bạn sẽ có thể:

321

Trước Khi Bạn Bắt Đầu.... Hãy dành vài phút để đọc qua những câu hỏi dưới đây. Bạn có thể viết câu trả lời của bạn ra giấy. Khi tìm hiểu các chương, hãy so sánh câu trả lời của bạn với quan điểm của các tác giả. •

Tổ chức của bạn có cần đến một cơ sở dữ liệu không?

•

Đâu là các khó khăn khi sử dụng một cơ sở dữ liệu thay vì chỉ đơn giản là lưu trữ giấy tờ?

•

Toàn bộ hệ thống M&E có cần dựa trên một cơ sở dữ liệu để hệ thống M&E làm việc không?

•

Có phải tất cả các cơ sở chương trình đều cần đến máy tính không?

•

Làm thế nào để liên kết cơ sở dữ liệu mới với cơ sở dữ liệu hiện tại của tổ chức?

•

Những dữ liệu nào phải có trong cơ sở dữ liệu?

•

Một số yếu tố quan trọng để giúp bảo đảm sự thành công của thiết kế cơ sở dữ liệu?

Suy nghĩ về những câu hỏi này có thể giúp bạn phản ánh về việc liệu một cơ sở dữ liệu có thể nâng cao hiệu quả của hệ thống M&E, và cải thiện điều kiện tiếp cận dữ liệu của các bên liên quan khác nhau như thế nào. Chương này sẽ dạy bạn cách phát triển một hệ thống cơ sở dữ liệu cho tổ chức của bạn và cách quản lý một quá trình như vậy từ đầu đến cuối.

Chương 9

Lưu ý: Chương này giới thiệu và mô tả tổng quan về khái niệm cơ sở dữ liệu điện tử. Đây không phải là một hướng dẫn kỹ thuật chi tiết về phát triển cơ sở dữ liệu; việc đó đòi hỏi phải có chuyên gia tư vấn hoặc đào tạo chuyên biệt.

322

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 9: Các cơ sở dữ liệu hữu ích cho hệ thống M&E

1. Giới thiệu “Lỗi sử dụng dữ liệu không đầy đủ ít gặp hơn nhiều những lỗi hoàn toàn không sử dụng dữ liệu.“ Charles Babbage (1792-1871) Cơ sở dữ liệu là một phần của vòng tròn nằm giữa thuộc 12 cấu phần của một hệ thống M&E hoạt động tốt; phần này liên quan đến thu thập, nắm giữ và kiểm chứng dữ liệu. Cơ sở dữ liệu được sử dụng để nắm bắt các dữ liệu thu thập được thông qua theo dõi thường quy (Chương 7), các cuộc điều tra khảo sát và giám sát (Chương 8), và đánh giá và nghiên cứu (Chương 11). Bố cục của chương này: Chương 9 bắt đầu bằng một số thông tin và định nghĩa cơ bản liên quan đến cơ sở dữ liệu quốc gia và địa phương (Phần 2). Kết quả mong muốn đạt được khi tìm hiểu chương này được mô tả trong Phần 3. Những lợi ích của cơ sở dữ liệu khi trở thành một phần của hệ thống M&E được liệt kê trong Phần 4. Thực tế tồn tại một số vấn đề thực hiện liên quan đến xây dựng và quản lý các cơ sở dữ liệu. Các vấn đề này bao gồm từ các vấn đề kỹ thuật như sử dụng loại phần mềm cơ sở dữ liệu nào, cho đến các vấn đề quản lý như nguồn nhân lực phù hợp, hoặc sự lệ thuộc quá nhiều vào công nghệ. Những vấn đề này, và còn nhiều vấn đề khác nữa, đều được trình bày trong Phần 5. Các phần tiếp theo dành cho các Hướng dẫn thực hành. Có một hướng dẫn dành cho các kỹ thuật viên về cách xây dựng cơ sở dữ liệu quốc gia, địa phương hoặc ngành (Phần 6); và một hướng dẫn khác dành cho các nhà quản lý hệ thống M&E ở tất cả các cấp về cách quản lý một quá trình xây dựng cơ sở dữ liệu (Phần 7). Chương này kết thúc với một bản tóm tắt các bài học và bài tập thực hành để củng cố những nội dung đã học.

2. Thông tin và Các Định nghĩa cơ bản Chương 9

Cơ sở dữ liệu: Một tập hợp các thông tin ghi chép, thường được sắp xếp tổ chức thành các cột và bảng biểu. Theo định nghĩa này, một cơ sở dữ liệu không cần đến máy vi tính. Tuy nhiên, trong chương này, chúng tôi đề cập đến cơ sở dữ liệu điện tử (trên máy tính), do đó, định nghĩa của ngành khoa học máy tính về cơ sở dữ liệu sẽ phù hợp hơn, cụ thể cơ sở dữ liệu được định nghĩa là: Một tập hợp các dữ liệu được tổ chức sao cho một chương trình máy tính có thể nhanh chóng chọn ra các mục mong muốn (Business Link, 2007). Cơ sở dữ liệu quan hệ: Một cơ sở dữ liệu quan hệ là hình mẫu cơ sở dữ liệu phổ biến nhất. Trong một cơ sở dữ liệu như vậy, tất cả các dữ liệu không được lưu giữ vào cùng một bảng mà ở trong các bảng khác nhau. Ví dụ như, một phần của mỗi bản ghi trong bảng C9-1 (số hiệu nhận dạng khách hàng) được lặp lại trong

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

323

bảng C9-2, do đó thông tin trong Bảng C9-1 được kết nối với Bảng C9-2 thông qua trường dữ liệu số hiệu nhận dạng khách hàng được lặp lại: Bảng C9-1:

Cơ sở dữ liệu quan hệ Bảng 1

Số hiệu nhận dạng (ID) khách hàng 1001

Tên

Địa chỉ

Thành phố

Bang

Mã bưu điện

Ông Smith

123 Lexington

Smithville

91.232

1002

Bà Jones

12 Davis Ave

Smithville

91.232

1003

Ông Axe

443 Grinder Ln

Broadville

81.992

Ngày mở

Số dư

Bảng C9-2: Cơ sở dữ liệu quan hệ Bảng 2 Số tài khoản

Số hiệu nhận dạng khách hàng

Loại tài khoản

9987

1001

Kiểm tra

10/12/1989

4.000

9980

1001

Tiết kiệm

10/12/1989

2.000

8811

1002

Tiết kiệm

01/05/1992

1.000

4422

1003

Kiểm tra

12/01/1994

6.000

4433

1003

Tiết kiệm

12/01/1994

9.000

Chương 9

Các bước thiết kế cơ sở dữ liệu quan hệ: Các bước cơ bản để xây dựng một cơ sở dữ liệu quan hệ bao gồm: •

Xây dựng các bảng biểu để xác định các vị trí tại đó dữ liệu sẽ được lưu trữ. Không lưu trữ bất kỳ dữ liệu nào là các phép tính.

•

Xác định các mối quan hệ giữa các dữ liệu trong bảng. Điều này sẽ đảm bảo rằng cơ sở dữ liệu có thể truy cập tất cả dữ liệu.

•

Phát triển các truy vấn để xác định cách dữ liệu sẽ được trích ra từ các bảng và cách thức vận dụng dữ liệu trong các bảng. Các truy vấn cũng được sử dụng để thực hiện bất kỳ phép tính nào theo yêu cầu.

•

Phát triển các mẫu biểu để tạo ra cách thức hiển thị dữ liệu trên màn hình để xem dữ liệu hiện có, nắm bắt dữ liệu mới, hoặc sửa dữ liệu hiện có.

•

Xây dựng các báo cáo có khả năng in dữ liệu theo cách thức tiêu chuẩn hóa, bằng cách sử dụng dữ liệu thời gian thực từ cơ sở dữ liệu.

DBMS: chương trình máy tính này được sử dụng để quản lý và truy vấn cơ sở dữ liệu. Để sử dụng DBMS (phần mềm) một cách hiệu quả, cần phải cài đặt chương trình này vào phần cứng (các máy tính) được duy trì đúng cách. DBMS có thể được cài đặt như là một ứng dụng phần mềm độc lập trên một máy tính hoặc cài đặt trên một mạng lưới các máy tính khác nhau kết nối thông qua cáp hoặc qua internet đến một máy chủ trung tâm. Nếu cài đặt trên một mạng lưới máy tính, khi dữ liệu được nhập vào một máy tính, ngay lập tức nó sẽ được tất cả những máy khác trong mạng lưới nhìn thấy (Nguồn: http://en.wikipedia.org/ wiki/Database).

324

Triển khai các hệ thống Theo dõi và Đánh giá

Các yêu cầu cơ sở dữ liệu: các yêu cầu diễn tả tất cả các chức năng mà cơ sở dữ liệu sẽ thực hiện. Các thông số kỹ thuật của cơ sở dữ liệu: Các thông số kỹ thuật cụ thể hóa cách thức mà cơ sở dữ liệu sẽ thực hiện các chức năng được xác định theo các yêu cầu cơ sở dữ liệu (Nguồn: http://www.neindex.org / dịch vụ-INDEX db.html New England, Trường Y Đại học Massachusetts, truy cập ngày 24 tháng 10 năm 2007).

3. Kết quả thu được khi thực hiện cấu phần này Kết quả dài hạn: Phát triển và duy trì các cơ sở dữ liệu cho phép các bên liên quan truy cập dữ liệu phù hợp để xây dựng chính sách, quản lý và cải tiến chương trình. •

Các yêu cầu cơ sở dữ liệu đáp ứng các nhu cầu ra quyết định và báo cáo của các bên liên quan.

•

Cơ sở dữ liệu được xác định và quản lý tốt để sắp xếp thứ tự, xác minh, lọc dữ liệu, phân tích và trình bày các dữ liệu theo dõi chương trình từ tất cả các cấp, các ngành.

•

Nếu có thể, xác định các mối liên kết giữa các cơ sở dữ liệu khác nhau có liên quan, để đảm bảo tính nhất quán và tránh trùng lặp.

Câu hỏi tư duy 1: Hãy hình dung lại về tổ chức của bạn trong giây lát. Tổ chức của bạn hiện có cơ sở dữ liệu không? Nếu có, bạn làm thế nào để truy cập dữ liệu? Có những vấn đề gì với cơ sở dữ liệu? Những vấn đề đó ảnh hưởng đến bạn như thế nào? Bạn có biết về quá trình thiết lập và/hoặc xây dựng cơ sở dữ liệu không? Có bao nhiêu kết quả ngắn hạn và trung hạn liệt kê ở đây có thể nhìn thấy rõ trong tổ chức của bạn?

Chương 9

4. Các lợi ích của cơ sở dữ liệu như là phần trong một hệ thống M&E Một số lợi ích của việc sử dụng cơ sở dữ liệu như là một phần trong hệ thống M&E, đó là các cơ sở dữ liệu, nếu được sử dụng đúng, sẽ có thể: •

Làm cho dữ liệu có ngay khi cần thiết và theo định dạng được yêu cầu;

•

Đảm bảo rằng dữ liệu có sẵn trong một định dạng có thể tạo điều kiện phân tích theo nhiều cách khác nhau mà không cần phải thực hiện các tính toán thủ công;

•

Hiệu quả hơn và chính xác hơn so với hệ thống lưu trữ và truy tìm thông tin bằng giấy tờ hoặc phương pháp thủ công;

•

Kích hoạt tính năng tham chiếu chéo và so sánh giữa các tập dữ liệu khác nhau;

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

325

•

Kích hoạt tính năng xử lý các khối lượng dữ liệu lớn một cách thường xuyên, nhanh chóng, và chính xác;

•

Giảm lượng thời gian dành cho quản lý dữ liệu bằng cách giảm bớt các quy trình phân tích dữ liệu;

•

Biến các thông tin tạp nham thành một nguồn lực hợp nhất có giá trị;

•

Nâng cao chất lượng, tính kịp thời, và tính nhất quán của thông tin;

•

Kích hoạt tính năng phân tích không gian và mô tả dữ liệu trên các bản đồ dễ hiểu hơn đối với các nhà hoạch định chính sách

5. Các vấn đề thực hiện liên quan đến cơ sở dữ liệu 5.1. Không chỉ dựa vào công nghệ để “cung cấp mọi câu trả lời” Trong nhiều trường hợp, một hệ thống M&E hoạt động mà không có cơ sở dữ liệu. Điều này không có nghĩa là cơ sở dữ liệu không hữu ích hoặc không quan trọng. Một cơ sở dữ liệu có thể tự động hoá và khiến cho việc thực hiện các khía cạnh trong quản lý dữ liệu trở nên dễ dàng hơn. Tuy nhiên, một cơ sở dữ liệu tin học hóa không phải là trụ cột chính để thiết kế hệ thống M&E. Nếu vì bất kỳ lý do nào mà cơ sở dữ liệu ngừng làm việc (ví dụ, do có vấn đề với mạng internet trong nước), thì hệ thống M&E vẫn phải hoạt động được như một hệ thống đơn giản dựa trên giấy tờ. Các cơ sở dữ liệu đặc biệt hữu ích cho các hệ thống M&E lớn của quốc gia, trong đó thường chứa đựng và quản lý những khối lượng lớn dữ liệu.

5.2. Các cơ sở dữ liệu của chính phủ cần phải tuân thủ các chính sách công nghệ thông tin (CNTT) của chính phủ Điều hết sức quan trọng là quy trình phát triển cơ sở dữ liệu quốc gia của chính phủ phải tuân thủ các yêu cầu và thông số kỹ thuật của chính phủ. Vì vậy, một trong những bước đầu tiên trong quá trình thiết kế cơ sở dữ liệu, đó là gặp gỡ bộ phận CNTT và xác định các quy trình hoặc thủ tục phê duyệt cụ thể theo yêu cầu bắt buộc của chính phủ. Nếu đã có một chính sách CNTT, hãy tham khảo chính sách đó trước khi thiết kế cơ sở dữ liệu của bạn. Chương 9

5.3. Tính năng hoạt động và an toàn của cơ sở dữ liệu Cơ sở dữ liệu phải được thiết kế để lưu trữ các tập dữ liệu lớn; thân thiện với người sử dụng; đi kèm với các đặc trưng chất lượng dữ liệu tốt; và liên kết với các cơ sở dữ liệu khác được sử dụng phổ biến trong nước để có thể dễ dàng nhập và xuất dữ liệu. Cơ sở dữ liệu cũng cần phải có đủ các cấp độ bảo mật để bảo vệ dữ liệu nhưng phải đảm bảo luôn luôn có dữ liệu cho tất cả các nhân viên có liên quan và các bên liên quan ở bên ngoài, bao gồm cả công chúng. Mặc dù tính năng hoạt động và thiết kế của cơ sở dữ liệu rất quan trọng, nhưng điều không kém phần quan trọng, đó là chú ý đến cách dữ liệu vào và ra khỏi

326

Triển khai các hệ thống Theo dõi và Đánh giá

cơ sở dữ liệu (nghĩa là dòng dữ liệu đến và dòng dữ liệu đi) và cách sử dụng dữ liệu.

5.4. Các cơ sở dữ liệu nên nắm bắt những dữ liệu gì Tất cả các cơ sở dữ liệu nên chứa dữ liệu liên quan về chương trình, dù đó là một chương trình riêng rẽ hoặc chương trình quốc gia quy mô lớn. Nếu đó là một chương trình quốc gia quy mô lớn, có khả năng phải kết nối ít nhất là từ hai cơ sở dữ liệu trở lên và có thể phải yêu cầu các dữ liệu khác nhau, ví dụ như dữ liệu từ phòng giáo dục huyện, thay vì chỉ yêu cầu dữ liệu từ trụ sở Bộ Giáo dục (xem Hình C9 -1). Cơ sở dữ liệu không chỉ nắm bắt trị số của các chỉ số. Điều này sẽ cho phép các nhà quản lý sử dụng cơ sở dữ liệu như một hệ thống thông tin quản lý, chứ không chỉ như một nhà kho để lưu trữ các trị số chỉ số định kỳ. Nếu được sử dụng như một công cụ quản lý, cơ sở dữ liệu cần phải nắm bắt dữ liệu về 12 cấu phần của hệ thống M&E đang hoạt động. Bảng C9-3 minh họa một danh sách các loại dữ liệu mà cơ sở dữ liệu có thể lưu trữ về mỗi cấu phần trong số 12 cấu phần: Hình C9-1:

Các cơ sở dữ liệu khác nhau tại các cơ quan cấp huyện và cấp quốc gia có kết nối với nhau

Huyện 1 Nhân sự bảng lương

Tài chính

Huyện 2

Huyện 3 Cơ sở dữ liệu quốc gia

Văn phòng Bộ trưởng dữ liệu chương trình

Huyện 4

Chương 9

Nguồn: Tác giả

Bảng C9-3: Dữ liệu về hệ thống M&E trong cơ sở dữ liệu Cấu phần của hệ thống M&E

Loại dữ liệu cần nắm bắt trong cơ sở dữ liệu

1. Cơ cấu tổ chức cho hệ thống M&E

Hệ thống đăng ký/danh sách liên hệ cập nhật của các bên liên quan

2. Nhân lực cho hệ thống M&E

Các nỗ lực xây dựng năng lực (ví dụ, các khóa học đào tạo và học viên)

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

327

Cấu phần của hệ thống M&E

Loại dữ liệu cần nắm bắt trong cơ sở dữ liệu

3. Các quan hệ đối tác M&E

Danh sách các đối tác cần liên hệ Thành phần đại biểu dự họp Tần suất họp

4. Các kế hoạch M&E

Dữ liệu về tất cả các chỉ số chương trình

5. Các kế hoạch hoạt động M&E có dự toán chi phí

Nắm bắt và theo dõi các dữ liệu về nguồn lực Kết quả tác động của các quá trình phát triển

6. Vận động chính sách, trao đổi thông tin và văn hóa M&E

Các nỗ lực vận động chính sách và trao đổi thông tin M&E

7. Theo dõi thường quy

Hiện trạng của các hệ thống đã biết (ví dụ về các hệ thống: dữ liệu thường quy của chương trình y tế và các chương trình khác, dữ liệu về tỷ lệ học sinh trong hệ thống giáo dục, điểm số của học sinh, v.v)

8. Các khảo sát định kỳ

Hiện trạng của tất cả các cuộc điều tra khảo sát và giám sát Các dữ liệu khảo sát và giám sát mới nhất (các bảng tổng hợp chính)

9. Các cơ sở dữ liệu có ích cho các hệ thống M&E

Tính năng hoạt động của bản thân cơ sở dữ liệu

10. Giám sát và kiểm định dữ liệu

Nắm bắt các chi tiết của các chuyến công tác giám sát

11. Đánh giá và nghiên cứu

Danh mục các nghiên cứu và nghiên cứu viên Các nỗ lực phổ biến thông tin nghiên cứu

12. Sử dụng thông tin để cải tiến kết quả

Sản xuất các dữ liệu cho các sản phẩm thông tin Cung cấp truy cập giao diện web cho công chúng Thư viện tài liệu điện tử để tải về dữ liệu trực tuyến

Nguồn: Các tác giả

5.5. Nên sử dụng phần mềm nào?

Chương 9

Lựa chọn phần mềm nào còn tùy thuộc vào nhu cầu của người sử dụng. Có nhiều gói phần mềm khác nhau sẵn có trên thị trường, bao gồm các cơ sở dữ liệu có thể dùng ngay và có thể tùy chỉnh để đáp ứng các yêu cầu cụ thể (tham số hóa) và một số yêu cầu thiết kế cơ sở dữ liệu từ đầu (RDBMS). Nhiều quốc gia đã chọn cách tự thiết kế cơ sở dữ liệu riêng cho mình. Những cơ sở dữ liệu đó khác nhau về mức độ phức tạp và tính năng hoạt động. Ví dụ về các cơ sở dữ liệu có thể dùng ngay do cộng đồng phát triển sử dụng gồm có “DevInfo” của UNDP, một cơ sở dữ liệu chỉ số với một chức năng lập bản đồ địa lý rất hữu ích để hiển thị dữ liệu từ một hệ thống M&E quốc gia (tức là các trị số của chỉ số). Cơ sở dữ liệu Epi Info của CDC được thiết kế để quản lý dữ liệu dịch tễ học. Cơ sở dữ liệu CRIS do UNAIDS quản lý và lưu giữ dữ liệu về ứng phó của quốc gia với HIV. Có rất nhiều lựa chọn cơ sở dữ liệu khác có sẵn.

328

Triển khai các hệ thống Theo dõi và Đánh giá

5.6. Phần mềm phân tích không gian có ích khi là một phần của cơ sở dữ liệu Các dữ liệu trong cơ sở dữ liệu có thể được sử dụng để phân tích không gian, trong đó dữ liệu được tham chiếu hoặc liên kết với tọa độ địa lý (ví dụ, các thị xã, tỉnh, huyện, đường giao thông, sông ngòi hoặc các quốc gia). Phần mềm Hệ thống thông tin toàn cầu (GIS) là hộp công cụ: “một hệ thống thông tin được thiết kế để làm việc với dữ liệu tham chiếu bằng các tọa độ không gian hoặc địa lý. Nói cách khác, một phần mềm GIS là cả một hệ thống cơ sở dữ liệu với các khả năng cụ thể về dữ liệu tham chiếu không gian, cũng như một tập hợp các hoạt động để làm việc với dữ liệu” (Star & Estes, 1990, trang 2). Một đầu ra của GIS là các bản đồ được mã hoá màu sắc và tùy chỉnh, như các ví dụ trong hình C9-2. Tuy nhiên, phần mềm GIS rất tốn kém và đòi hỏi kỹ năng chuyên môn. Nếu các kỹ năng hoặc đầu ra GIS chỉ thỉnh thoảng mới cần đến thì một trong những phương án một tổ chức có thể lựa chọn, đó là phát triển một số kỹ năng trong GIS ở mức độ giới thiệu, sau đó ký hợp đồng với một cơ quan khác có những kỹ năng và năng lực GIS cần thiết (ví dụ, Tổng cục Thống kê) để xây dựng bản đồ. Để làm như vậy, tổ chức vẫn phải sử dụng các kỹ năng ở mức độ giới thiệu trong GIS để thông báo và chỉ dẫn trong thỏa thuận với cơ quan xây dựng bản đồ, dù đó là công ty tư nhân hoặc cơ quan nhà nước. Nếu lựa chọn phương án đó, cơ sở dữ liệu sẽ được liên kết với phần mềm GIS và được sử dụng làm cơ sở để phát triển các đặc tính dữ liệu kết nối với bất kỳ điểm địa lý nào. Vì vậy, bất kỳ sự thay đổi nào trong cơ sở dữ liệu cũng được tự động phản ánh trong bất kỳ phân tích không gian mới nào hoặc trong các bản đồ được khởi tạo và in ấn. Hình C9-2:

Các ví dụ về bản đồ do phần mềm GIS khởi tạo Bản đồ 13: Thay đổi tỷ lệ trung bình người học/nhà vệ sinh ở cấp huyện, 1996-2004

Chương 9

Chú thích Tỷ lệ người học/nhà vệ sinh ở cấp huyện 18 - 30 30 - 35 35 - 45 45 - 60 60 - 87

20 40 kilometers

Các nguồn số liệu: Khảo sát thường niên năm 2004, Eastern Cape, Đăng ký nhu cầu của các trường học 1996

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

329

Hình C9-2:

(tiếp theo) Bản đồ 4: Mật độ dân số - trung bình số người trên mỗi km vuông, 2001

Chính quyền địa phương, các phường

Chú thích

các thị xã lớn và trung tâm vùng, các

Phòng Giáo dục huyện, mật độ dân số trong phường cho mỗi km vuông, 2001

1 - 50 50 - 100 100 - 250 250 - 1000 1000+

Các Phòng Giáo dục huyện N

Chú thích

20 40 kilometers Data Source: 2001 Census, Statistics South Africa

Mật độ dân số trên mỗi km vuông, 2001 3 - 10 10 - 50 50 - 100 100 - 150 150 - 323

Nguồn: Sở Giáo dục Eastern Cape: Đánh giá Các chỉ số Giáo dục, 1995, 2004, EduAction & EMIS Eastern Cape, 2005

Hình C9-2:

(tiếp theo)

Chú thích Các trường học không có nước, 2004 Các Phòng Giáo dục huyện Tỷ lệ phần trăm trường học trong huyện có nước tại chỗ 4 - 20% (low) 20 - 40% 40 to 60%

Chương 9

60 to 83% (high)

20 0

20 40 kilometers

Data Source: 2004 Annual Survey, Eastern Cape

Nguồn: Sở Giáo dục Eastern Cape: Đánh giá Các chỉ số Giáo dục, 1995, 2004, EduAction & EMIS Eastern Cape, 2005

330

Triển khai các hệ thống Theo dõi và Đánh giá

5.7. Kết nối với các cơ sở dữ liệu khác Hình C9-3:

Vòng đời phát triển cơ sở dữ liệu

Các cơ sở dữ liệu tồn tại ở các cấp độ khác nhau và có các mục đích khác nhau (ví dụ, Bộ Giáo dục, Bộ Nông nghiệp, Bộ Tài chính, các tổ chức chính quyền địa phương, v.v). Liên kết các cơ sở dữ liệu với nhau có thể làm cho việc nhập và xuất dữ liệu dễ dàng hơn (xem hình C9 -1), nhưng trên thực tế lại không dễ như vậy. Nếu các cơ sở dữ liệu không được kết nối đúng cách, việc truyền dữ liệu sẽ trở nên vô cùng khó khăn. Nếu hoặc khi một cơ sở dữ liệu quốc gia mới được thiết kế, điều quan trọng là phải biết được có những cơ sở dữ liệu nào khác đang tồn tại, nền phần mềm của các cơ sở dữ liệu đó là gì, mức độ thu thập dữ liệu, và các cơ sở dữ liệu đó hoạt động như thế nào. Ở một số nước, các cơ sở dữ liệu cho tất cả các dữ liệu thường quy được tạo ra ở cấp địa phương, nhưng điều này có thể không thực hiện được ở những nơi khác do thiếu máy tính và thiếu người có kỹ năng ở cấp địa phương. Vì vậy, một giải pháp công nghệ cao không phải lúc nào cũng là giải pháp tốt nhất ở các cấp hoặc trong tất cả các ngành. Để một cơ sở dữ liệu quốc gia hoạt động được, không nhất thiết phải cài đặt tất cả các cấu phần trong tất cả các ngành và ở tất cả các cấp cùng một lúc. Có thể thiết kế kiến trúc cơ sở dữ liệu và phần mềm, sau đó tăng dần mức độ triển khai phần mềm khi năng lực CNTT của các ngành các cấp đạt đến mức chấp nhận được.

5.8. Nhu cầu xây dựng năng lực thiết kế và quản lý cơ sở dữ liệu để tăng cường sử dụng và truy cập thông tin

Tuyên bố các yêu cầu

Phân tích Thông số kỹ thuật của hệ thống

Thiết kế

Tài liệu thiết kế

Thực hiện

Hệ thống ban đầu

Thử nghiệm

Hệ thống theo phiên bản mới

Bảo trì

Nguồn: Đại học Mở (truy cập trực tuyến ngày 12/10/2008 tại địa chỉ http://openlearn.open. Ac.uk / mod / tài nguyên / view.php? Id = 187.268

Chương 9

Cần có một mức độ hiểu biết kỹ thuật nhất định để quản lý một quy trình cơ sở dữ liệu và đội ngũ phát triển cơ sở dữ liệu. Nhìn chung, sự thiếu các kỹ năng về quản lý hợp đồng phát triển cơ sở dữ liệu, thiết kế cơ sở dữ liệu và thiết lập hệ thống sao lưu dự phòng là một tình trạng phổ biến. Cũng còn thiếu năng lực chuyên môn để chuyển đổi các khái niệm và ngôn ngữ cơ sở dữ liệu kỹ thuật thành một cái gì đó mà những người không chuyên (bao gồm cả các nhà quản lý) có thể hiểu, tương tác và thậm chí nhận xét, bình luận. Để làm được như vậy, cần phải xây dựng năng lực trong các quá trình phát triển phần mềm và cơ sở dữ liệu, từ vận hành máy tính cơ bản đến tương tác với một giao diện người dùng cơ sở dữ liệu.

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

331

6. Hướng dẫn thực hành C9-1: Phát triển một cơ sở dữ liệu Phát triển một cơ sở dữ liệu là một lĩnh vực chuyên môn, đòi hỏi phải có các chuyên gia phân tích hệ thống và chuyên gia thiết kế cơ sở dữ liệu. Mục đích của Hướng dẫn này không phải là đào tạo kỹ thuật để một người không chuyên trở thành một nhà thiết kế cơ sở dữ liệu hoặc chuyên gia phân tích hệ thống (để làm được như vậy cần phải đào tạo trong nhiều năm). Thay vào đó, Hướng dẫn này cung cấp một tổng quan về các bước liên quan đến thiết kế cơ sở dữ liệu và đầu ra chính của mỗi bước để các kỹ thuật viên có thể hiểu được những gì mà các nhà quản lý hệ thống M&E sẽ yêu cầu. Có nhiều cách khác nhau để mô tả các chu trình phát triển cơ sở dữ liệu. Hình C9-3 cho thấy một quy trình phát triển vòng đời thông thường và sáu bước trong hình minh họa đều được mô tả ngắn gọn ở các đoạn dưới.

Bước 1:

Quy hoạch cơ sở dữ liệu

Sau khi tập hợp một đội ngũ phát triển cơ sở dữ liệu, hãy thu thập thông tin để tìm hiểu vấn đề mà cơ sở dữ liệu đang cố gắng giải quyết. Sau đó, xác định mục tiêu tổng thể của cơ sở dữ liệu. Dựa trên những mục tiêu này, hãy thu thập các yêu cầu về cơ sở dữ liệu từ nhiều bên liên quan bao gồm cả các yêu cầu phi kỹ thuật và theo định hướng đầu ra để xác định những gì cần thiết cho cơ sở dữ liệu hoạt động. Kết quả: Các tuyên bố về các yêu cầu cơ sở dữ liệu.

Bước 2:

Phân tích thông tin cho cơ sở dữ liệu

Chương 9

Trong bước này, cần Bảng C9-4: Các thông số kỹ thuật để thiết kế cơ sở chuẩn bị các thông số dữ liệu kỹ thuật cho hệ thống cơ sở dữ liệu. Mục Các yêu cầu về giao Các yêu cầu tính năng đích của các thông số diện người sử dụng kỹ thuật hệ thống cơ • Nêu rõ những dữ liệu • Bảo mật sở dữ liệu là chỉ ra cho sẽ được nắm giữ khách hàng thấy, giải • Sao lưu • Mô tả những gì giao pháp cơ sở dữ liệu • Giao diện với công chúng diện người sử dụng có được đề xuất sẽ giải thể thực hiện • Diễn đàn quyết và cung cấp toàn bộ tính năng của cơ sở • Mô tả các báo cáo sẽ • Các cấp độ người sử dữ liệu như thế nào được trình bày như dụng thế nào theo quy định trong • Ứng dụng tài liệu ý tưởng khái • Tìm kiếm tính năng niệm cơ sở dữ liệu, ví • Liên kết với các ứng dụng (nếu cần), và giải thích khác dụ như cơ sở dữ liệu cách thực hiện chức sẽ làm gì, và cơ sở dữ năng tìm kiếm • Các yêu cầu phần cứng liệu được kiến trúc ra sao. Tài liệu thông số Nguồn: trích từ Tài liệu thiết kế cơ sở dữ liệu Rwanda MAP 332

Triển khai các hệ thống Theo dõi và Đánh giá

kỹ thuật xác định cách thức cơ sở dữ liệu giải quyết các nhu cầu xác định trong tuyên bố các yêu cầu, và bao gồm các yêu cầu của người sử dụng (ví dụ, sẽ lưu trữ những gì; sử dụng như thế nào; các báo cáo dự kiến là gì) và các yêu cầu tính năng (ví dụ, các yêu cầu của người sử dụng sẽ được giải quyết trong cơ sở dữ liệu như thế nào). Kết quả: Các thông số kỹ thuật cho hệ thống cơ sở dữ liệu

Bước 3:

Thiết kế cơ sở dữ liệu

Các thông số kỹ thuật của hệ thống cơ sở dữ liệu từ Bước 2 sẽ được sử dụng để thiết kế từng cấu phần kỹ thuật của cơ sở dữ liệu và văn bản hóa các thông số này trong một tài liệu thông số kỹ thuật. Tài liệu này ghi lại sự thống nhất về tất cả các thông số kỹ thuật của cơ sở dữ liệu (thiết kế cơ sở dữ liệu) và các quy trình cơ sở dữ liệu (thiết kế quy trình). Trong bước này, các nhà phát triển cơ sở dữ liệu chỉ ra các thông số kỹ thuật sẽ giải quyết các mục tiêu ban đầu của cơ sở dữ liệu như thế nào, và sẽ phát triển một sơ đồ khái niệm cho thấy các cấu phần của cơ sở dữ liệu ăn khớp với nhau như thế nào. Cần phê duyệt các thông số kỹ thuật, sau đó lựa chọn DBMS. Kết quả: Tài liệu thông số kỹ thuật cơ sở dữ liệu kèm với sơ đồ khái niệm.

Bước 4:

hực hiện cơ sở dữ liệu

Thực hiện cơ sở dữ liệu là bước cụ thể hóa thiết kế thực tế của từng khía cạnh trong cơ sở dữ liệu, sau đó cài đặt lên máy tính khi cần thiết. Điều này bao gồm “một loạt các bước dẫn đến một hệ thống thông tin hoạt động, trong đó bao gồm việc tạo ra các định nghĩa cơ sở dữ liệu (chẳng hạn như bảng biểu, chỉ mục, v.v), phát triển các ứng dụng, thử nghiệm hệ thống, xây dựng các thủ tục hoạt động và tài liệu hướng dẫn, đào tạo người sử dụng và phổ biến cơ sở dữ liệu.”1 Việc thực hiện có thể được chia thành nhiều giai đoạn, để đảm bảo rằng từng cấu phần của cơ sở dữ liệu đều hoạt động được. Kết quả: cơ sở dữ liệu thực tế. Chương 9

Bước 5:

Thử cơ sở dữ liệu

Sau khi cơ sở dữ liệu đã hoạt động, cần phải chạy thử để đảm bảo rằng cơ sở dữ liệu giải quyết được từng yêu cầu đã xác định trong Bước 2 của quá trình phát triển. Trong bước này, cơ sở dữ liệu được cài đặt trên tất cả các máy tính cần thiết và đường kết nối giữa các cấu phần của cơ sở dữ liệu cũng được kiểm tra. Kết quả: cơ sở dữ liệu đi vào hoạt động 1 Trích từ “Các mẹo hay miễn phí khi sử dụng máy tính”, truy cập tại http://www.computerfreetips.com/Datebase_ tips / sql_server / Administration / h_add_data.html ngày 12/10/2008 Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

333

Bước 6:

Duy trì cơ sở dữ liệu

Các nhiệm vụ bảo trì cần được thực hiện để đảm bảo hoạt động liên tục của cơ sở dữ liệu, trong đó bao gồm cả nhiệm vụ giám sát tính năng hoạt động của cơ sở dữ liệu. Các hoạt động bảo trì có thể mang tính chủ động hoặc mang tính đối phó, và có thể bao gồm bảo trì phòng ngừa (ví dụ như dịch vụ sao lưu), bảo trì sửa chữa (ví dụ như phục hồi các dữ liệu bị mất), hoặc bảo trì thích nghi (để đáp ứng các yêu cầu mới). Việc này bao gồm phân giao truy cập cho người sử dụng, theo dõi thường xuyên, và định kỳ kiểm tra tính năng hoạt động. Kết quả: Cơ sở dữ liệu hoạt động liên tục với dữ liệu được sao lưu, và thích nghi với các yêu cầu mới theo thời gian.

7. Hướng dẫn thực hành C9-2: Quản lý quá trình phát triển một cơ sở dữ liệu của Chính phủ Các bước được mô tả ở đây sẽ giải thích cách quản lý quá trình phát triển một cơ sở dữ liệu quốc gia do chính phủ vận hành và điều khiển. Các quy trình kỹ thuật (ví dụ, nhóm phát triển cơ sở dữ liệu phải làm gì) được tóm tắt trong Hướng dẫn thực hành C9-1.

Bước 1:

Tìm hiểu các chính sách CNTT của chính phủ hoặc tổ chức và nghiên cứu các liên kết với bộ phận CNTT

Dù phát triển cơ sở dữ liệu nào thì cơ sở dữ liệu đó vẫn cần phải được liên kết và phù hợp với các chính sách công nghệ thông tin của chính phủ. Hãy tìm hiểu xem chính phủ có các quy trình ưa thích để phát triển cơ sở dữ liệu, phần mềm, template (khuôn mẫu), hoặc các tài liệu bắt buộc hay không. Hãy xác định những chính sách có liên quan và tìm kiếm thêm thông tin từ những bên liên quan trước khi bắt đầu phát triển cơ sở dữ liệu quốc gia hoặc địa phương. Kết quả: Kiến thức về các chính sách CNTT của chính phủ, các quy trình được ưa thích, phần mềm, template và / hoặc các tài liệu. Chương 9

Bước 2:

Dự thảo tài liệu ý tưởng khái niệm cơ sở dữ liệu

Tài liệu ý tưởng khái niệm cơ sở dữ liệu không phải là một tài liệu cơ sở dữ liệu kỹ thuật. Đây là một tài liệu ngắn giải thích lý do tại sao cần đến cơ sở dữ liệu này và cần có những nguồn lực gì để phát triển cơ sở dữ liệu. Mục đích của tài liệu ý tưởng khái niệm là tạo động lực để phát triển cơ sở dữ liệu, để bảo đảm nguồn lực tài trợ cho các chi phí quy hoạch cơ sở dữ liệu (không bao gồm chi phí thiết kế cơ sở dữ liệu), và tạo động cơ ủng hộ dự án như một phần của quá trình phát triển.

334

Triển khai các hệ thống Theo dõi và Đánh giá

Tài liệu ý tưởng quan niệm cần phải có các thông tin sau: •

Thông tin khái quát và bối cảnh

•

Tuyên bố vấn đề: các quy trình dữ liệu hiện tại, tình trạng hiện tại của hệ thống M&E, v.v.

•

Tầm nhìn và các mục tiêu cho cơ sở dữ liệu

•

Các lợi ích của cơ sở dữ liệu

•

Yêu cầu kinh phí để quy hoạch cơ sở dữ liệu, bao gồm chuyên gia quy hoạch cơ sở dữ liệu và hai hội thảo quy hoạch với các bên liên quan chính

Kết quả: Dự thảo tài liệu ý tưởng khái niệm

Bước 3:

Đảm bảo có nhà bảo trợ cho dự án và trình bày tài liệu ý tưởng dự án cho cán bộ quản lý cấp cao

Nhà bảo trợ dự án là một quan chức cấp cao ủng hộ cơ sở dữ liệu và sẽ thúc đẩy ý tưởng phát triển cơ sở dữ liệu ở chính quyền cấp cao. Nhà bảo trợ cho dự án có vai trò quan trọng để hỗ trợ chung, huy động nguồn lực, và thực hiện cơ sở dữ liệu. Sau khi trình bày tài liệu ý tưởng khái niệm cho nhà bảo trợ dự án, hãy xin ý kiến nhận xét của nhà bảo trợ và sửa đổi tài liệu ý tưởng cho phù hợp. Kết quả: xác định được nhà bảo trợ dự án, người duyệt tài liệu ý tưởng khái niệm.

Bước 4:

Cùng với nhà bảo trợ dự án trình bày tài liệu ý tưởng khái niệm để nhận được sự ủng hộ và hỗ trợ từ các nhà hoạt động chính trị và quản lý

Khi trình bày, hãy chắc chắn rằng cán bộ quản lý cấp cao có chỉ dẫn về: Xin phê duyệt xúc tiến việc quy hoạch cơ sở dữ liệu;

Ủy ban đánh giá kỹ thuật cơ sở dữ liệu cần có những ai;

Nguồn lực hiện có cho các giai đoạn quy hoạch cơ sở dữ liệu;

Làm thế nào để đảm bảo kinh phí cho việc thực hiện cuối cùng; và

Các sáng kiến liên quan của chính phủ

Chương 9

Kết quả: Các ghi chú từ bài trình bày tài liệu ý tưởng về các vấn đề khác nhau được liệt kê trong Bước 4.

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

335

Bước 5:

Chỉ định các thành viên của nhóm đánh giá kỹ thuật và tổ chức cuộc họp đầu tiên

Nhóm đánh giá kỹ thuật sẽ là nhóm tiếp xúc chính với các nhà phát triển cơ sở dữ liệu. Việc lựa chọn các thành viên của nhóm cũng quan trọng như việc lựa chọn các nhà phát triển cơ sở dữ liệu và cơ cấu nhóm nên bao gồm các chuyên gia phát triển cơ sở dữ liệu, người sử dụng chuyên môn, và những người đại diện cho lợi ích của các bên liên quan đến M&E. •

Gợi ý nên có ít nhất một người sử dụng trong nhóm đánh giá kỹ thuật. Hãy chắc chắn rằng người sử dụng có một số kinh nghiệm về cơ sở dữ liệu, để các cuộc trao đổi trong nhóm có ý nghĩa.

•

Yêu cầu nhà bảo trợ dự án tham dự cuộc họp đầu tiên và thể hiện sự ủng hộ cho quá trình này.

•

Trình bày tài liệu ý tưởng khái niệm cho nhóm đánh giá kỹ thuật và yêu cầu họ đóng góp ý kiến cho Đề cương tham chiếu (TOR) của chuyên gia quy hoạch cơ sở dữ liệu.

Kết quả: bổ nhiệm các thành viên của Nhóm đánh giá kỹ thuật; trình bày tài liệu ý tưởng cho nhóm đánh giá kỹ thuật.

Bước 6:

Chỉ định / bổ nhiệm một chuyên gia quy hoạch cơ sở dữ liệu

Chương 9

Chuyên gia quy hoạch cơ sở dữ liệu sẽ chịu trách nhiệm hỗ trợ nhóm M&E trong tất cả mọi khía cạnh của quy hoạch phát triển cơ sở dữ liệu. Chuyên gia này có thể là một nhân viên, một nhà tư vấn được chỉ định cho mục đích này, hoặc một người từ một đơn vị khác của chính phủ (ví dụ, đơn vị CNTT), người sẵn sàng cam kết làm việc để thực hiện các chức năng quy hoạch cơ sở dữ liệu. Các chức năng của chuyên gia quy hoạch cơ sở dữ liệu gồm có:

336

•

Lập danh sách các cơ sở dữ liệu hiện có với dữ liệu thường quy và các dữ liệu khác có thể hữu ích như một nguồn cơ sở dữ liệu mới của chương trình để nhập dữ liệu vào, hoặc như một nguồn tài nguyên để xuất dữ liệu.

•

Nghiên cứu tính khả thi của việc phát triển một cơ sở dữ liệu và các yêu cầu bảo trì.

•

Thông qua các cuộc phỏng vấn những bên cung cấp thông tin chính và thông qua nghiên cứu về các cơ sở dữ liệu quốc gia khác, hãy xác định các yêu cầu cơ sở dữ liệu (tức là, những gì mà người sử dụng mong muốn).

•

Đánh giá các yêu cầu phần cứng cho cơ sở dữ liệu được đề xuất.

•

Xây dựng Điều khoản tham chiếu cho các nhà phát triển hoặc nhóm phát triển cơ sở dữ liệu.

•

Ước tính chi phí của quá trình phát triển cơ sở dữ liệu.

•

Viết đề xuất yêu cầu kinh phí cho quá trình phát triển cơ sở dữ liệu.

Triển khai các hệ thống Theo dõi và Đánh giá

Chuyên gia quy hoạch cơ sở dữ liệu cần phải có bằng cấp chính thức về phát triển cơ sở dữ liệu; đã làm việc về M&E, quen thuộc với chương trình; và có khả năng dịch các yêu cầu của người sử dụng thành ngôn ngữ và thuật ngữ cơ sở dữ liệu kỹ thuật. Do đó chuyên gia này vừa phải suy nghĩ về phương diện kỹ thuật, vừa phải suy nghĩ về phương diện khái niệm, và hiểu biết tốt về các vấn đề M&E có liên quan. Kết quả: Xác định và bổ nhiệm chuyên gia quy hoạch cơ sở dữ liệu.

Bước 7:

Xây dựng danh mục các cơ sở dữ liệu hiện có với các đường link (kết nối) đến cơ sở dữ liệu của chương trình

Xây dựng danh mục này là việc rất quan trọng để đảm bảo rằng cơ sở dữ liệu không trùng lặp dữ liệu và kết nối với tất cả các quy trình và hệ thống cơ sở dữ liệu khác. Hai loại kết nối có thể áp dụng là: cơ sở dữ liệu mới của chương trình kết nối với các cơ sở dữ liệu khác để nhập dữ liệu, và các cơ sở dữ liệu cần kết nối với cơ sở dữ liệu mới của chương trình mới để xuất (trích) dữ liệu nhằm bổ sung cho các cơ sở dữ liệu của họ. Sau khi lập xong, hãy nộp danh mục cho nhóm đánh giá kỹ thuật để họ nhận xét và hoàn chỉnh. Kết quả: Danh mục các cơ sở dữ liệu hiện có để tránh trùng lặp dữ liệu.

Bước 8:

Xác định các yêu cầu của người sử dụng

Quy trình yêu cầu người sử dụng rất hữu ích cho tất cả các bên liên quan. Đây là một cơ hội để hiểu các đóng góp cho hệ thống M&E và toàn bộ hệ thống, và đề xuất các ý tưởng khác có thể chưa từng được xem xét. Việc trao đổi qua lại sẽ tạo ra những ý tưởng mới và thử nghiệm chúng thường dẫn đến kết quả là cải tiến thiết kế hoặc giới thiệu ý tưởng để tiếp tục cải tiến trong tương lai. Quy trình yêu cầu thường được tiến hành thông qua một loạt các hội thảo cho phép soạn thảo, kiểm tra, sửa đổi, và sau đó hoàn chỉnh một tài liệu yêu cầu của người sử dụng. Quy trình này có thể liên tục lặp đi lặp lại cho đến khi tất cả mọi người đều hài lòng rằng thiết kế này là có thể chấp nhận được. Chương 9

Việc dành thời gian để xác định các yêu cầu của người sử dụng sẽ cung cấp một thông số được ghi chép đầy đủ và cho biết chính xác những gì cơ sở dữ liệu sẽ thực hiện và đảm bảo rằng nhà phân tích cơ sở dữ liệu hiểu được các nhu cầu, đồng thời cho phép xác định chi phí phát triển cơ sở dữ liệu một cách chính xác. Kết quả: Tuyên bố các yêu cầu.

Bước 9:

Xây dựng các tài liệu quy hoạch cơ sở dữ liệu

Thống nhất về mô hình phát triển cơ sở dữ liệu sẽ được thực hiện, nếu chính phủ không quy định cụ thể việc này. Dựa trên mô hình này, hãy xây dựng các tài liệu quy hoạch cơ sở dữ liệu cần thiết. Những tài liệu này là cơ sở để phát triển, thử nghiệm, và phê duyệt hệ thống. Phát triển cơ sở dữ liệu là việc có thể gặp nhiều Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

337

rủi ro và sẽ thiếu trọng tâm nếu không có các tài liệu quy hoạch tốt. Đây là giai đoạn cốt yếu, và nếu thực hiện đúng, sẽ cung cấp một nền tảng vững chắc cho sự thành công. Tài liệu quy hoạch cơ sở dữ liệu cần bao gồm kế hoạch dự án cơ sở dữ liệu và điều khoản tham chiếu cho các nhà phát triển cơ sở dữ liệu. Kế hoạch dự án cơ sở dữ liệu Kế hoạch này xác định cách thiết kế cơ sở dữ liệu sẽ thực hiện, và vai trò của tất cả các bên liên quan, đồng thời cung cấp bảng kê chi phí chi tiết, và mô tả các nguồn kinh phí cho việc phát triển cơ sở dữ liệu. Kế hoạch sẽ chứa đựng những thông tin sau đây: •

Quy mô dự án và quản lý dự án

•

Chi phí dự án (chi phí phát triển cơ sở dữ liệu cũng như mua lại phần cứng) và quản lý chi phí

•

Quản lý chất lượng dự án

•

Quản lý thời gian dự án

•

Quản lý nhân sự dự án

•

Quản lý đấu thầu mua sắm trong dự án

•

Quản lý thông tin liên lạc trong dự án

•

Quản lý rủi ro dự án

•

Quản lý tích hợp dự án

Điều khoản tham chiếu (TOR) cho các nhà phát triển cơ sở dữ liệu

Chương 9

TOR cho các nhà phát triển cơ sở dữ liệu là một tài liệu quan trọng khác, trong đó xác định những gì mà nhà phát triển cơ sở dữ liệu (cá nhân cung cấp dịch vụ) hoặc các nhà phát triển (là công ty hoặc tổ chức cung cấp dịch vụ) sẽ làm để thực hiện hợp đồng phát triển cơ sở dữ liệu. Các thông số kỹ thuật của cơ sở dữ liệu cần được nêu trong TOR, cũng như tài liệu ý tưởng khái niệm. Trong TOR, nhóm phát triển cơ sở dữ liệu cần được cung cấp cơ hội để sửa đổi, hoàn chỉnh các thông số kỹ thuật của cơ sở dữ liệu. TOR nên nêu rõ các điều khoản của hợp đồng; các sản phẩm dự kiến; các điều khoản thanh toán (số lượng và tiến độ); và các yêu cầu năng lực đối với (các) nhà phát triển cơ sở dữ liệu. Nhà phát triển cơ sở dữ liệu cần phải có bằng cấp cơ bản về khoa học máy tính hoặc hệ thống quản lý thông tin. Ngoài ra, tùy theo các thông số kỹ thuật và mức độ phức tạp của cơ sở dữ liệu, nhà phát triển có thể được yêu cầu phải có kiến thức về phát triển ứng dụng (ví dụ, viết mã để phục hồi dữ liệu); thiết kế cơ sở dữ liệu và lập trình bao gồm cả SQL; phát triển các thủ tục lưu trữ; Coldfusion; lập trình dựa trên mạng nội bộ intranet/internet; HTML và Javascript. Các nhà phát triển cơ sở dữ liệu phải có một kiến thức chắc chắn về Oracle và DBMS máy chủ SQL, và giàu kinh nghiệm về đăng 338

Triển khai các hệ thống Theo dõi và Đánh giá

tải, quản lý và theo dõi các văn bản, tài liệu. Nhà phát triển phải có ít nhất 10 năm kinh nghiệm làm việc trong các công ty hoặc tổ chức đã thực hiện các giải pháp phát triển cơ sở dữ liệu/lưu trữ tài liệu. Lý tưởng nhất là họ phải có các kỹ năng viết và trình bày tốt. Chứng chỉ về lập trình ngôn ngữ máy tính và cơ sở dữ liệu sẽ là tài liệu tiến cử tốt, cũng như kinh nghiệm làm việc lâu năm trong lĩnh vực thiết kế cơ sở dữ liệu để nắm giữ thông tin về các hoạt động và can thiệp liên quan đến chương trình hoặc ở cấp huyện. Tính hoàn chỉnh của quá trình tư liệu hóa có ý nghĩa rất quan trọng để bảo trì và sửa đổi trong tương lai. Để đảm bảo tính liên tục và bền vững, cần xem xét việc phát triển chuyên môn trong tổ chức hoặc ký hợp đồng dài hạn về phát triển và bảo trì cơ sở dữ liệu. Kết quả: kế hoạch dự án cơ sở dữ liệu và Điều khoản tham chiếu cho các nhà phát triển cơ sở dữ liệu

Bước 10:

Đấu thầu dịch vụ của nhà thầu phát triển cơ sở dữ liệu

Sau khi chuyên gia quy hoạch cơ sở dữ liệu đã xây dựng tất cả các tài liệu và ước tính chi phí cho việc phát triển cơ sở dữ liệu và cài đặt phần cứng, hãy trình các tài liệu này cho nhóm đánh giá kỹ thuật để họ nhận xét và phê duyệt. Sử dụng các tài liệu đã được phê duyệt để làm cơ sở huy động nguồn lực nhằm phát triển cơ sở dữ liệu đầy đủ. Thực hiện theo các thủ tục đấu thầu mua sắm của chính phủ để bổ nhiệm một nhà phát triển. Đảm bảo rằng nhóm đánh giá kỹ thuật kiểm tra dự thảo hợp đồng và họ cảm thấy yên tâm về quy trình. Khi tiến hành đánh giá các đề xuất nhận được từ các nhà cung cấp, hãy nhớ đừng chỉ quan tâm đến chi phí. Các câu hỏi kỹ thuật sau đây cần được xem xét trong quá trình đánh giá thầu: Công ty nhà thầu đã thành lập được bao lâu?

•

Các chi phí cụ thể liên quan đến đầu ra của dự án, chương trình là những chi phí gì (ví dụ, chi phí mua một lần; chi phí gia hạn giấy phép hàng năm; phí người sử dụng, v.v)?

•

Tổng chi phí cho hỗ trợ kỹ thuật là bao nhiêu?

•

Nhà thầu có cung cấp dịch vụ tư vấn sau khi cơ sở dữ liệu đã được thiết lập không, và nếu có thì mức giá dịch vụ là bao nhiêu?

•

Có khả năng mở rộng hệ thống không? Nếu phải tăng 200% dung lượng, liệu hệ thống có thể tự động phát triển để ứng phó với việc mở rộng không?

•

Nhà cung cấp có thể tiến cử các nhà phát triển cơ sở dữ liệu thuộc bên thứ ba để tận dụng RDBMS của họ không?

•

Có tồn tại một nhóm người sử dụng độc lập không?

•

Nhà cung cấp có thể cung cấp xác nhận của các doanh nghiệp hoặc cơ quan khác đã sử dụng phần mềm của nhà cung cấp không?

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

Chương 9

•

339

•

Nhà cung cấp có thể cung cấp đào tạo về RDBMS không, và nếu có thì đơn giá thông thường là bao nhiêu?

Trong thiết kế cơ sở dữ liệu, một điều cốt yếu là xem xét việc bảo trì dài hạn và các sửa đổi trong tương lai. Đây là một luận điểm mạnh mẽ ủng hộ cho việc sử dụng chuyên gia trong nước và xem xét việc đưa yêu cầu bảo trì và sửa đổi trong tương lai vào điều khoản tham chiếu cho hợp đồng ban đầu. Kết quả: hợp đồng với nhà phát triển cơ sở dữ liệu (bao gồm một tuyên bố rõ ràng về cách thức sử dụng chuyên gia trong nước để bảo trì liên tục và tiến hành các sửa đổi trong tương lai).

Bước 11:

Quản lý hợp đồng phát triển cơ sở dữ liệu

Giới thiệu nhà thầu thắng thầu cho nhóm đánh giá kỹ thuật. Thống nhất về các sản phẩm cụ thể, thời hạn hoàn thành và thời gian để nhóm đánh giá kỹ thuật xem xét có ý kiến về các sản phẩm đó. Trong quá trình thực hiện hợp đồng, hãy nộp các sản phẩm của nhà thầu lên nhóm đánh giá kỹ thuật và đảm bảo rằng nhà bảo trợ dự án được thông báo về việc đó (ví dụ như, cung cấp các thông số kỹ thuật cuối cùng; sách hướng dẫn cho người sử dụng theo nguyên mẫu; tài liệu đào tạo về cơ sở dữ liệu; v.v). Nhóm đánh giá kỹ thuật cần tham gia tất cả các buổi thuyết trình, trình diễn, và các trao đổi khác với nhóm phát triển cơ sở dữ liệu. Mục đích của các tài liệu phát triển cơ sở dữ liệu là hỗ trợ người điều phối thực hiện việc đào tạo và cung cấp thông tin cho người sử dụng cơ sở dữ liệu về tính năng hoạt động giao tiếp của cơ sở dữ liệu. Các tài liệu đào tạo cần nêu rõ các mục tiêu học tập, hiển thị ảnh chụp màn hình của tất cả các quy trình cơ sở dữ liệu, phải dễ sử dụng và dễ hiểu, đồng thời có thể tùy chỉnh cho tất cả mọi cấp độ người sử dụng. Trong mỗi bước phát triển cơ sở dữ liệu, hãy xem xét những tác động dài hạn cần thiết để giữ cho hệ thống hoạt động, và thảo luận với nhà bảo trợ dự án và, khi thích hợp, hãy tóm tắt lại tình hình cho cán bộ quản lý. Kết quả: Xem Hướng dẫn thực hành C9-1, bước 1-6. Chương 9

Bước 12: Quản lý đấu thầu mua sắm và cài đặt phần cứng cần thiết cho cơ sở dữ liệu mới Bước này cũng đòi hỏi xây dựng TOR hoặc các thông số kỹ thuật đấu thầu cho phần cứng để cài đặt cho cơ sở dữ liệu. Hãy đảm bảo rằng nhóm phát triển cơ sở dữ liệu được đọc và phê duyệt các thông số kỹ thuật này để không xảy ra vấn đề tương thích nào ở giai đoạn sau. Kết quả: TOR hoặc các thông số kỹ thuật đấu thầu cho phần cứng cần thiết để cài đặt cho cơ sở dữ liệu.

340

Triển khai các hệ thống Theo dõi và Đánh giá

Bước 13: Quản lý bảo trì cơ sở dữ liệu Đảm bảo truy cập tại các địa điểm khác nhau nơi cơ sở dữ liệu sẽ được cài đặt, và sắp xếp việc đào tạo người sử dụng và (các) quản trị viên của cơ sở dữ liệu. Tùy thuộc vào mức độ hiểu biết về máy tính của những người sử dụng cơ sở dữ liệu, có thể phải đào tạo cả về các tính năng hoạt động của cơ sở dữ liệu, và các kiến thức cơ bản và cách sử dụng máy tính. Kết quả: thu xếp cài đặt và đào tạo tại các địa điểm khác nhau. Câu hỏi tư duy 1: Hãy hình dung về tổ chức của bạn trong giây lát. Có một cơ sở dữ liệu đang tồn tại trong tổ chức không? Nếu có thì bạn truy cập dữ liệu thông qua các ghi chép giấy tờ hay thông qua một hệ thống quản lý cơ sở dữ liệu đã được tin học hóa? Bạn có biết về quá trình thiết lập/phát triển cơ sở dữ liệu không? Trong tổ chức của bạn có thể nhìn thấy bao nhiêu kết quả ngắn hạn và trung hạn trong số các kết quả đã được liệt kê ở trên?

8. Tóm tắt Chương 9 Kiến thức và Kỹ năng Trong chương này, bạn đã học về cách phát triển một hệ thống cơ sở dữ liệu và quản lý quá trình thiết kế và triển khai hệ thống. Bạn đã học về những lợi ích của việc sử dụng một hệ thống cơ sở dữ liệu để cải thiện truy cập dữ liệu bên trong tổ chức và giữa các tổ chức và các bên liên quan. Bạn đã học về các vấn đề liên quan đến thực hiện lắp đặt và bảo trì hệ thống cơ sở dữ liệu. Bạn đã học về các bước tổng quát để phát triển cơ sở dữ liệu (mặc dù quá trình này sẽ được xử lý bởi một nhóm chuyên môn gồm các nhà phân tích hệ thống và nhà thiết kế cơ sở dữ liệu). Bạn đã học về các bước quy trình kỹ thuật cần thiết để quản lý quá trình phát triển nhằm đạt đến mục tiêu cuối cùng là lắp đặt cơ sở dữ liệu và đào tạo tại các địa điểm khác nhau. Chương 9

Các cơ sở dữ liệu hữu ích để theo dõi và đánh giá các hệ thống

341

9. Bài tập Cấu phần 9 đề cập đến khía cạnh điện tử của hệ thống M&E, các dữ liệu được lưu trữ theo phương thức điện tử. Mặc dù nhìn chung người ta giả định rằng, chỉ có dữ liệu và các chỉ số thường quy cần được lưu giữ, nhưng trên thực tế, cần nắm giữ dữ liệu về tất cả 12 cấu phần. Đối với tổ chức của bạn, hãy suy nghĩ về các dữ liệu của hệ thống M&E có thể được lưu giữ trong một cơ sở dữ liệu. Hãy ghi lại thông tin trong bảng dưới đây. Sau khi hoàn thành bảng, hãy tự hỏi mình liệu có đáng để lưu giữ dữ liệu trong cơ sở dữ liệu theo phương thức điện tử hay không? Hãy giải thích lý do dẫn đến câu trả lời của bạn. Cấu phần của hệ thống M&E hoạt động tốt

Loại dữ liệu cần nắm giữ (và lý do tại sao)

1. Cơ cấu tổ chức cho hệ thống M&E 2. Nhân lực cho hệ thống M&E 3. Các quan hệ đối tác M&E 4. Các kế hoạch M&E 5. Các kế hoạch hoạt động M&E có dự toán chi phí 6. Vận động chính sách, trao đổi thông tin và văn hóa M&E 7. Theo dõi thường quy 8. Các khảo sát định kỳ 9. Các cơ sở dữ liệu có ích cho các hệ thống M&E 10. Giám sát và kiểm định dữ liệu 11. Đánh giá và nghiên cứu

Chương 9

12. Sử dụng thông tin để cải tiến kết quả

342

Triển khai các hệ thống Theo dõi và Đánh giá

9 10

Chương 10 Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Mục Tiêu Chương Chương này nhằm cho phép bạn cải thiện chất lượng dữ liệu và xây dựng năng lực cho cán bộ tham gia vào hệ thống M&E bằng các quy trình giám sát hỗ trợ và kiểm định dữ liệu trong tổ chức của bạn trên cơ sở thường quy.

Kiến Thức Và Kỹ Năng Của Chương Vào cuối chương này, bạn sẽ có thể: a)

Nhận biết nhu cầu về giám sát hỗ trợ và và kiểm định dữ liệu, là một phần của hệ thống M&E Giải thích sự khác biệt giữa kiểm định dữ liệu và giám sát hỗ trợ Phân biệt giữa giám sát M&E và giám sát công tác triển khai

Xác định tất cả các cấp trong tổ chức của bạn mà cần giám sát hỗ trợ và kiểm định dữ liệu

Tiếp cận các nguồn lực toàn cầu về giám sát hỗ trợ và kiểm định dữ liệu

Chuẩn bị, lập kế hoạch, tiế hành và theo dõi sau khi thực hiện các quy trình theo dõi và kiểm định dữ liệu

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

b) c)

343

Trước Khi Bạn Bắt Đầu.... Hãy dành vài phút đọc các câu hỏi dưới đây. Bạn có thể viết ra các câu trả lời. Khi đi qua các nội dung trong chương này, hãy so sánh các câu trả lời của bạn với các quan điểm của tác giả: •

Kiểm định dữ liệu được thực hiện ra sao, các bước liên quan, và các đầu ra là gì?

•

Tại sao lại gọi là giám sát hỗ trợ?

•

Sự khác biệt giữa công tác giám sát và kiểm định dữ liệu

•

Kiểm định dữ liệu có luôn cần thiết là một phần của công tác giám sát?

•

Tại sao kiểm định dữ liệu và giám sát hỗ trợ lại là các thách thức?

•

Sự khác biệt giữa giám sát M&E và giám sát thực hiện là gì?

Chương 10

Những câu hỏi này nhắc nhở rằng cần có các cơ chế xác minh chất lượng và sự phối hợp của dữ liệu thường quy đã được thu thập và nắm bắt. Chương này tìm hiểu thuật ngữ liên quan tới giám sát hỗ trợ và kiểm định dữ liệu và cách mỗi người tiến hành giám sát hỗ trợ và cho phép những người tham gia trong quy trình phản hồi, tiếp nhận phản hồi, và đưa ra hướng dẫn nhằm cải thiện hoạt động thực thi.

344

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 10: Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu.

1. Giới thiệu “Các giám sát viên giữ vai trò là những người nắm giữ sự trung thực và là các thày hướng dẫn cho lớp người trẻ. Nghề của họ thầm lặng mà có sự kết hợp của nguyên tắc khoa học với tính sáng tạo thẩm mỹ của nghệ thuật. Một nghịch lý đáng tìm hiểu là họ làm việc tốt nhất khi họ ít xuất hiện nhất.“ Alonso, “Nghề Thầm Lặng” Lý do chính của công tác theo dõi và đánh giá là sử dụng dữ liệu và thông tin mà các hệ thống đánh giá tạo ra nhằm thúc đẩy việc ra quyết định và nhờ vậy cải thiện các kết quả. Rất nhiều yếu tố có thể ảnh hưởng tới các quy trình cải thiện này, một trong số đó là tính xác thực của dữ liệu. Khi những người ra quyết định tin tưởng vào chất lượng của dữ liệu trình bày, thì họ sẽ mong muốn sử dụng dữ liệu đó. Giám sát hỗ trợ và kiểm định dữ liệu là một phần của vòng tròn ở giữa của mô h ình thu thập, xác minh và lưu trữ dữ liệu. Đây là một loạt các quy trình thông qua đó dữ liệu được kiểm định nhằm mục đích cải thiện chất lượng dữ liệu. Cơ cấu tổ chức của chương: Chương 10 bắt đầu với thông tin cơ bản và các định nghĩa chọn lựa liên quan tới công tác kiểm định dữ liệu và giám sát hỗ trợ. Lưu ý rằng kiểm định dữ liệu có thể được thực hiện như một phần của công tác giám sát hỗ trợ M&E (Phần 2). Kết quả mong đợi của Chương này được trình bày trong Phần 3. Các lợi ích của kiểm định dữ liệu và giám sát hỗ trợ trong một hệ thống M&E quốc gia được đề cập. Các quy trình này giúp tăng cường độ xác thực của dữ liệu, xây dựng năng lực cho những nhà thực hiện chương trình về nắm bắt dữ liệu, và khuyến khích việc ra quyết định chính thức dựa trên dữ liệu (Phần 4). Các vấn đề thực thi được trình bày (Phần 5) tiếp theo là Hướng Dẫn Thực Hành về Tiến Hành Chuyến Thăm Giám Sát Hỗ Trợ (Phần 6). Chương này khép lại với phần tóm tắt về các bài học vừa trải qua (Phần 7) và bài tập thực hành nhằm củng cố những gì bạn vừa học hỏi được trong chương này (Phần 8). a)

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

Chất lượng dữ liệu: Chất lượng dữ liệu là mức độ dữ liệu đạt được so với 6 tiêu chí đo lường chất lượng là: độ chính xác, độ tin cậy, độ hoàn chỉnh, độ chuẩn xác, độ kịp thời và độ nguyên vẹn (Bảng 7-3 sẽ nêu định nghĩa cụ thể về mỗi tiêu chí này) (ÚSAID, 2007). Khi quản lý dữ liệu thường quy, nhất thiết cần xem xét các vấn đề về chất lượng dữ liệu xuyên suốt sáu bước quy trình quản lý dữ liệu.Chất lượng dữ liệu, vì vậy không phải là một bước nữa trong quản lý dữ liệu bởi ta cần xem xét làm thế nào để đảm bảo và thực hiện được 6 tiêu chí chất lượng dữ liệu trong mỗi bước quy trình quản lý dữ liệu.

345

Bảng 10-1:

Các Định Nghĩa Hoạt Động về Chất Lượng Dữ Liệu

Các khía cạnh của chất lượng dữ liệu

Định nghĩa hoạt động

Độ chính xác

Dữ liệu chính xác là dữ liệu đúng: dữ liệu đo lường cái định đo. Dữ liệu chính xác giảm thiểu các sai số (như độ chệch do ghi chép và do người phỏng vấn, sai do truyền tải, sai do lấy mẫu) đến mức có thể bỏ qua

Độ tin cậy

Dữ liệu tạo ra bởi hệ thống thông tin của một chương trình dựa trên các quy chế và quy trình mà không thay đổi phụ thuộc vào việc ai đang sử dụng dữ liệu, khi nào và tần suất được sử dụng. Dữ liệu tin cậy do chúng được đo lường và thu thập một cách thích hợp.

Độ hoàn chỉnh

Hoàn chỉnh có nghĩa là hệ thống thông tin mà các kết quả được bắt nguồn từ đó bao gồm và đại diện một cách phù hợp danh sách toàn bộ những người và những đơn vị thích hợp (đủ điều kiện) mà không phải chỉ là một phần của danh sách đó.

Độ chuẩn xác

Độ chuẩn xác mang nghĩa dữ liệu có đầy đủ chi tiết. Ví dụ, một chỉ số cần có một số người được tư vấn và kiểm tra về HIV, và đã nhận các kết quả kiểm tra của họ, theo giới tính của từng người. Hệ thống thông tin thiếu tính chính xác khi không được thiết kế nhằm ghi lại giới tính của người được tư vấn và kiểm tra về HIV.

Độ kịp thời

Dữ liệu kịp thời khi nó được cập nhật (hiện tại), và khi thông tin có sẵn đúng lúc. Độ kịp thời chịu ảnh hưởng bởi: (1) tỉ lệ mà ở đó hệ thống thông tin của một chương trình được cập nhật; (2) tỉ lệ thay đổi của các hoạt động thực tế; và (3) khi thông tin thực sự được sự dụng và cần thiết.

Độ nguyên vện

Độ nguyên vẹn là khi dữ liệu được tạo ra từ hệ thống thông tin của một chương trình được tránh khỏi độ chệch do chủ tâm hay khỏi sự vận động vì các lý do chính trị và cá nhân.

Nguồn: USDAID, 2007

Đảm Bảo Chất Lượng Dữ Liệu đòi hỏi một tập hợp các quy chế và quy trình nội bộ và bên ngoài nhằm đảm bảo dữ liệu đáp ứng sáu khía cạnh chất lượng được định nghĩa trong Bảng C10-1. Các biện pháp đảm bảo chất lượng dữ liệu bao gồm lập kế hoạch cho chất lượng, kiểm soát chất lượng, thực hiện các hành động sửa chữa nhằm cải thiện chất lượng. Giám sát hỗ trợ và kiểm định dữ liệu chỉ là một trong các quy trình liên quan tới hoạt động đảm bảo chất lượng dữ liệu.

Giám sát được định nghĩa là hoạt động chỉ đạo và giám thị kết quả hoạt động của người khác đồng thời truyền tải các kỹ năng, kiến thức và thái độ. Công tác này có cơ hội nhận được bản báo cáo hoặc hồ sơ ghi chép thực

Chương 10

346

Triển khai các hệ thống Theo dõi và Đánh giá

hiện công việc; phản ánh về công việc, cung cấp phản hồi và, khi thích hợp, đưa ra hướng dẫn nhằm cải tiến kết quả hoạt động. Giám sát cũng là một phần của quy trình xây dựng năng lực và truyển giao kiến thức “năm bước trong đào tạo và sử dụng các kỹ năng mới là chuẩn bị, giải thích, thể hiện, tuân thủ và giám sát”. (Theo Bruce Barton, 1886-1967). Giám sát hỗ trợ: phương pháp giám sát cụ thể này được thực hiện khi (a) trọng tâm chính là về nghiên cứu và hỗ trợ, và không phải nhằm đưa ra chính sách, (người) hay tổ chức được giám sát là một phần của quy trình nghiên cứu; và (c) người thực hiện việc giám sát là một phần của quy trình nghiên cứu – “Giám sát có hai mục đích là hỗ trợ công tác nghiên cứu liên tục và xây dựng công tác huấn luyện, cũng như tạo ra một mức độ bảo vệ cho người được huấn luyện.” (Bluckert). Chương này đề cập cụ thể tới công tác giám sát hỗ trợ M&E, không phải là thực hiện công tác giám sát chương trình hay triển khai nhiệm vụ. Có thể kết hợp công giám sát của M&E với công tác thực hiện nhưng mục đích của chúng không được lẫn lộn. Giám sát M&E xác thực chất lượng và sự hoàn tất các quy trình quản lý dữ liệu giám sát thường quy. (Chằng hạn như, một cán bộ M&E tuyến quốc gia có thể tới các khu vực để tìm hiểu hệ thống M&E đang được triển khai và quản lý ra sao tại tuyến khu vực, xem xem việc gửi dữ liệu có đang được thực hiện, các nhận thức về M&E, và nhằm trợ giúp cho các nhiệm vụ khó khăn của hệ thống M&E.) d)

Kiểm định dữ liệu là quá trình kiểm chứng sự hoàn chỉnh và chính xác của một hay một số quy trình quản lý dữ liệu (xem Chương 7). Trong kiểm định dữ liệu, ta cần phải tuân theo một loạt các bước cụ thể nhằm kiểm tra dữ liệu trong hệ thống M&E so với các nguồn dữ liệu, xác minh chất lượng và độ chính xác của phân nguồn dữ liệu, đối chiếu dữ liệu, phân tích dữ liệu, báo cáo dữ liệu, và sử dụng dữ liệu. Kiểm định dữ liệu có thể được tiến hành như một phần của giám sát M&E.

Chương 10

Như thuật ngữ gợi ý, kiểm định dữ liệu chú trọng cụ thể vào công tác kiểm định quy trình quản lý dữ liệu và chứ không nhằm kiểm tra các công tác tài chính của một tổ chức. Trên thực tế, kiểm định dữ liệu thường bao gồm các quy trình về (i) các chuyến giám sát tới các tổ chức mà trình nộp dữ liệu (thường sử dụng các mẫu biểu); (ii) kiểm tra chất lượng của dữ liệu thô (dữ liệu nguồn) được lưu giữ bởi các tổ chức làm báo cáo bằng cách kiểm tra các thông tin ghi lại hàng ngày được sử dụng để hoàn thiện các mẫu điền giám sát đầu ra cho một giai đoạn báo cáo cụ thể; (iii) so sánh dữ liệu của mẫu điền giám sát đầu ra với dữ liệu nguồn; và (iv) kiểm tra tính thích hợp nội bộ; và (e) đảm bảo rằng việc xác định nguồn dữ liệu được thực hiện chính xác. Kiểm định dữ liệu nội bộ và bên ngoài: Như đã giải thích trong định nghĩa trên, chất lượng dữ liệu là một quy trình nội bộ và đồng thời cũng là một quy trình bên ngoài. Giám sát hỗ trợ M&E và kiểm định dữ liệu là một trong các cách đảm bảo chất lượng dữ liệu. Ví dụ như, Quỹ Toàn Cầu (2008) đã xây dựng cả một công cụ đánh giá chất lượng dữ liệu (hiện được chính

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

347

các nhà tài trợ sử dụng trong quy trình đánh giá chất lượng dữ liệu bên ngoài) lẫn một công cụ đánh giá chất lượng dữ liệu thường quy (mà các tổ chức cũng tham gia vào triển khai hoạt động và, vì vậy, trong công tác quản lý dữ liệu thường quy, họ sử dụng chúng trên cơ sở thường xuyên hơn như một công cụ tự đánh giá). Quỹ Toàn Cầu mô tả về các khác biệt giữa hai công cụ như sau: Công cụ dánh giá chất lượng dữ liệu được thiết kế để cho các nhóm kiểm toán bên ngoài sử dụng trong khi công cụ đánh giá được thiết kế cho các sử dụng linh hoạt hơn, đặc biệt là cho các chương trình và các dự án. Công cụ đánh giá chất lượng dữ liệu

Công cụ đánh giá chất lượng dữ liệu thường quy

• Đánh giá bởi cơ quan tài trợ

• Tự đánh giá bởi chương trình

• Phương thức triển khai tiêu chuẩn

• Sử dụng linh hoạt bởi các chương trình theo dõi và giám sát hay để chuẩn bị cho kiểm toán bên ngoài

• Được tiến hành bởi nhóm kiểm toán bên ngoài • Đầu vào hạn chế trong các đề xuất bởi các chương trình

• Chương trình tự xây dựng và thực hiện kế hoạch hành động

3. Các Kết Quả Thu Được Khi Thực Hiện Cấu Phần Này Kết quả dài hạn: Chất lượng dữ liệu (dữ liệu xác thực, tin cậy, hoàn chỉnh, và kịp thời) và sự tổng hợp của tất cả sáu quy trình quản lý dữ liệu được kiểm chứng từ bên ngoài trên cơ sở định kỳ và các hành động được thực hiện nhằm giải quyết các trở ngại cho việc tạo ra các dữ liệu chất lượng cao.

Chương 10

Các kết quả trung và ngắn hạn:

348

•

Các hướng dẫn cho công tác giám sát hỗ trợ được xây dựng

•

Các quy chế kiểm định dữ liệu được tuân thủ

•

Các chuyến giám sát hỗ trợ, bao gồm các đánh giá dữ liệu và phản hồi, được thực hiện

•

Các chuyến kiểm định dữ liệu được thực hiện định kỳ

•

Các báo cáo giám sát và báo cáo kiểm định dữ liệu được thực hiện

Triển khai các hệ thống Theo dõi và Đánh giá

Câu hỏi tư duy 1: Phản ánh về tổ chức của bạn trong một thời điểm. Liệu dữ liệu có được theo dõi dưới bất kỳ hình thức nào và nếu vậy, tần suất thực hiện của công tác theo dõi đó là bao nhiêu? Công tác theo dõi có bao gồm kiểm định dữ liệu như mô tả trong phần Cơ Sở và Các Định Nghĩa ở trên? Bạn đã bao giờ tham gia vào một quy trình giám sát hỗ trợ nào chưa? Bạn đã nghiên cứu toàn bộ quy trình? Có bao nhiêu kết quả trung và dài hạn nêu trên tồn tại trong tổ chức của bạn?

4. Các Lợi Ích Từ Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu Thuộc Hệ Thống M&E Công tác giám sát hỗ trợ và kiểm định dữ liệu là cần thiết bởi: 1.

Các quá trình này giúp tăng cường độ tin cậy của dữ liệu bằng cách giúp các đối tượng tham gia tin tưởng rằng dữ liệu mà họ đang xem xét là đại diện cho một bức tranh có thực của các hoạt động/dịch vụ thực hiện.

Các quá trình này giúp tăng cường năng lực cho những nhà thực hiện chương trình trong việc thu thập và phân tích dữ liệu thường quy, và trong việc sử dụng dữ liệu để cải thiện các chương trình của mình.

Các quá trình này giúp cải thiện việc sử dụng thông tin cho việc ra quyết định, vì nhiều nhà thực hiện chương trình thu thập, phân tích và học cách sử dụng các dữ liệu chất lượng tốt hơn.

5. Các Vấn Đề Thực Thi Liên Quan Đến Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu 5.1. Giám sát hỗ trợ và kiểm định dữ liệu là các phần không thể thiếu trong một hệ thống giám sát thường quy Khi thiết kế hệ thống giám sát thường quy, cấn phải thiết kế các quy trình giám sát và kiểm định dữ liệu. Theo cách đó, các quy trình kiểm tra dữ liệu được kết nối với các quy trình kiểm định dữ liệu. Chương 10

5.2. Cần có nguồn vốn phù hợp và nhân sự có kỹ năng cho công tác giám sát hỗ trợ Cần có ngân sách phù hợp cho việc thực hiện các quy trình này. Nhóm thực hiện giám sát cần phải được đào tạo kỹ lưỡng về M&E và có khả năng trả lời cho các câu hỏi các nhu cầu về M&E của các nhà thực thi trong quá trình thực hiện giám sát hỗ trợ.

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

349

Đối với các quy trình giám sát hỗ trợ và theo dõi thường quy cấp quốc gia, cần phải xây dựng năng lực nhân sự và có thể cần tới cả điều luật nhằm giải thích về mục đích của các chuyến giám sát và kiểm định dữ luật.

5.3 Giám sát cần mang tính hỗ trợ Cần có phải hồi đối với tổ chức được giám sát tại cuối quy trình giám sát và kế hoạch cải tiến cần được thông qua. Đó là tất cả các phần giúp cho các nỗ lực giám sát mang tính hỗ trợ và tránh quan điểm cho rằng công tác giám sát chỉ mang tính trừng phạt và không có lợi.

5.4. Kiểm định dữ liệu tập trung vào tất cả sáu quy trình quản lý dữ liệu Các quy trình đảm bảo chất lượng dữ liệu như giám sát hỗ trợ và kiểm định dữ liệu, trong số các quy trình khác, cần phải đánh giá công tác thiết kế các hệ thống quản lý dữ liệu và báo cáo; kiểm tra việc thực hiện tuân thủ theo thiết kế tại các địa điểm triển khai công việc (dịch vụ) và báo cáo trung gian theo chọn lựa; lần tìm và thẩm tra báo cáo diễn biến của một số các chỉ số tại nhiều địa điểm; và thông tin về các kết quả tìm kiểm trong kiểm định và các đề xuất cải tiến trong một báo cáo kiểm định chính thức. Năm hình thức thẩm định cần có (Quỹ Toàn Cầu, 2006) tại các cấp của cơ quan thực hiện là: Thẩm tra 1: Quan sát tại nơi dữ liệu được tạo nguồn (nguồn dữ liệu) Thẩm tra 2: Rà soát tài liệu (thu thập và đối chiếu dữ liệu) Thẩm tra 3: Tìm kiếm và xác minh (đối chiếu dữ liệu) Thẩm tra 4: Kiểm tra chéo (phân tích dữ liệu) Thẩm tra 5: Kiểm tra đột xuất

5.5 Giám sát và kiểm định dữ liệu diễn ra tại mọi cấp độ có dòng dữ liệu

Chương 10

Kiểm định dữ liệu không chỉ hạn chế trong một hệ thống quốc gia. Mỗi một tổ chức thu thập dữ liệu cần phải có các quy trình giám sát và kiểm định tại chố của riêng mình. Tại mỗi cấp quản lý dữ liệu, chất lượng của các quy trình này cần phải được thẩm tra thường xuyên. Một ví dụ của mô hình hoạt động giám sát và kiểm định dữ liệu hai cấp độ được mô tả trong Hình C10-1.

350

Triển khai các hệ thống Theo dõi và Đánh giá

Hình C10-1:

Giám Sát Hỗ Trợ và Kiểm Định Dữ Liệu tại Hai Cấp Độ

Bộ (Cơ Quan) Của Chính Quyền và Hộ Dân Địa Phương

Giám Sát M&E Cấp Độ 1 chú trọng vào: · 12 cấu phần của hệ thống M&E LGA · Sử dụng thông tin · Phản hồi từ hệ thống M&E quốc gia · Phạm vi của các giám sát M&E Cấp Độ 2 · Các vấn đề của hệ thống M&E · Quản lý dữ liệu thường quy tại cấp LGA · Các hành động sửa chữa nhằm cải thiện hệ thống M&E cấp LGA Nhóm hỗ trợ nông dân 1

Giám Sát M&E Cấp Độ 1

Cơ quan Chính quyền địa phương (LGA) 1

Cơ quan chính quyền địa phương (LGA) 2

LEVEL 2 M&E Cấp Độ 2

Giám Sát M&E Cấp Độ 2

Nhóm hỗ trợ nông dân 2

Nhóm hỗ trợ nông dân 3

Nhóm hỗ trợ nông dân 4

Giám Sát M&E Cấp Độ 2 chú trọng vào: · 6 quy trình quản lý dữ liệu mà Nhóm Hỗ Trợ Nông Dân Tuân Thủ · Dữ liệu thường quy do Nhóm Hỗ Trỡ Nông Dân nộp · Các biện pháp sửa chữa gúp cải thiện công tác quản lsy dữ liệu thương quy · Sử dụng dữ liệu

Nhóm hỗ trợ nông dân 4

Nguồn: Các tác giả

5.6. Cần có tài liệu hướng dẫn và quy chế đảm bảo chất lượng và tính đồng nhất trong kiểm định dữ liệu và giám sát Tài liệu hướng dẫn hoạt động giám sát hỗ trợ: Các bảng kiểm và các tài liệu hướng dẫn tiêu chuẩn là các công cụ hữu ích cho thực hiện hoạt động giám sát hỗ trợ. Các bảng kiểm này sẽ đảm bảo công tác giám sát được thực hiện đều đặn và tất cả các mục đích dự định của cuộc giám sát được hoàn thành. Sẽ là hữu ích khi tài liệu hướng dẫn hoạt động giám sát hỗ trợ M&E bao gồm tối thiểu các thông tin sau: Các cân nhắc về đạo đức và các nguyên tắc ràng buộc trong giám sát M&E (sự tôn trọng, tính liêm chính, tính trung thực, tập trung hỗ trợ, và sự tăng cường, v.v)

•

Mô tả các đối tượng tham gia vào trong hoạt động giám sát (người giám sát và người được giám sát) và chuỗi giám sát (làm rõ ai được giám sát bởi ai, nhận thức rằng có thể có nhiều cấp độ giám sát (xem Hình C10-1).

•

Mục đích của mỗi loại giám sát M&E: Trong Hình C10-1, ví dụ, giám sát M&E Cấp Độ 1 sẽ có sự chú trọng khác với giám sát M&E Cấp Độ 2.

•

Mô tả quy trình của mỗi một loại giám M&E: Một mô tả chi tiết về các bước quy trình mà những người giám sát và người được giám sát cần phải tuân thủ trước, trong, và sau mỗi một cuộc giám sát M&E.

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

•

351

•

Mô tả cách chọn lựa những người được giám sát: Tài liệu hướng dẫn cần mô tả cách những người được giám sát được chọn lựa và liệu họ có quyền khước từ (và trong trường hợp nào)

•

Mẫu điền chuẩn trong đó ghi lại các bước thực hiện cuộc giám sát M&E, các kết quả tìm kiếm, và các điểm hành động được thống nhất. Mẫu điền tương tự cần phải được thiết kế cho mỗi một cấp độ giám sát, và cần cụ thể cho mục đích của từng loại hình giám sát M&E cụ thể.

•

Các quy trình tuân thủ được nhất trí. Một mô tả về các hành động sửa chữa, được nhất trí trong quá trình thực hiện công tác giám sát, sẽ được thực hiện như thế nào.

•

Một tường trình tổng quát về các liên kết giữa giám sát M&E, giám sát thực thi, và kiểm định dữ liệu và kiểm toán tài chính: các mô tả về cách các quy trình này sẽ cùng hoạt động ra sao, ai làm gì, liệu (và trong hoàn cảnh nào) các quy trình có thể được kết hợp và làm sao để hoạt động.

Các quy chế kiểm định dữ liệu: Hoạt động kiểm định dữ liệu chỉ có thể diễn ra khi có các quy chế về chỉ số. Các quy chế về kiểm định dữ liệu cần bao gồm các khía cạnh sẽ được kiểm định cụ thể để nhóm kiểm định được biết rõ về việc sẽ phải làm gì, dựa vào gì để kiểm định. Ví dụ, Quỹ Toàn Cầu và các đối tác (2008) đã xây dựng các công cụ kiểm tra dữ liệu và chất lượng mà có thể được các nhóm kiểm định bên ngoài sử dụng hay được các chính phủ áp dụng để đánh giá chất lượng dữ liệu. Quy chế kiểm định dữ liệu, dù là kiểm định dữ liệu nội bộ hay bên ngoài, như công cụ đánh giá chất lượng dữ liệu và công tụ đánh giá chất lượng dữ liệu thường quy do Quỹ Toàn Cầu xây dựng có chứa các thông tin sau: •

Các nguyên tắc và quy trình kiểm định dữ liệu

•

Các trách nhiệm kiểm định dữ liệu nội bộ và bên ngoài

•

Mô tả chi tiết về cách tiến hành năm quy trình thẩm định trong kiểm định dữ liệu cả trong nội bộ lẫn bên ngoài

•

Định dạng phân tích các kết quả kiểm định chất lượng dữ liệu bao gồm: % các báo cáo được thẩm định là sẵn có

•

% các báo cáo được thẩm định là kịp thời

•

% các báo cáo được thẩm định là hoàn thiện

•

Các hành động thực thi theo đề xuất

Chương 10

•

352

Triển khai các hệ thống Theo dõi và Đánh giá

6. Hướng Dẫn Thực Hành C10-1: Tiến Hành Một Cuộc Giám Sát Hỗ Trợ M&E Cấu phần Hướng Dẫn Thực Hành này có cấu trúc hơi khác so với các phần Hướng Dẫn Thực Hành khác. Cấu phần này mô tả các quy trình trước, trong và sau khi tiến hành một cuộc giám sát hỗ trợ M&E.

Trước cuộc giám sát Bước 1:

Chọn lựa các tổ chức để giám sát

Chọn lựa các tổ chức để giám sát M&E mà: •

Đã yêu cầu hỗ trợ (ví dụ, thông qua tổ chức bảo trợ hoặc tổ chức lớn khác);

•

Đã điền không chính xác các mẫu theo dõi thường quy (không đầy đủ, muộn, hoặc thông tin không chính xác) cho hơn một giai đoạn báo cáo;

•

Đã cung cấp các lý do xác thực về yêu cầu có một cuộc giám sát hỗ trợ;

•

Không được giám sát trong vòng 18 tháng qua (trừ phi không có lý do thuyết phục cho việc cần có một cuộc giám sát); hoặc

•

Cung cấp tỉ lệ lớn các dịch vụ chương trình tại một khu vực cụ thể, hoặc quản lý các khoản tiền tài trợ lớn.

Kết quả: Danh sách các tổ chức được chọn để giám sát

Bước 2:

Xây dựng lịch trình và ngân sách cho các cuộc giám sát hỗ trợ

Trình ký duyệt tới người lãnh đạo liên quan, danh sách các tổ chức sẽ được giám sát, các lý do tại sao các tổ chức này được chọn lựa, và lịch trình cho các cuộc giám sát hỗ trợ; vf ngân sách để thực hiện chúng Kết quả: Lịch trình cho các cuộc giám sát hỗ trợ cho các t ổ chức đ ược chọn lựa với lý giải cho vi ệc chọn l ựa v à ngân sách dự kiến

Bước 3:

Thu thập thông tin phù hợp về tổ chức được giám sát

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

Quyết định giai đoạn báo cáo mà tại đó dữ liệu giám sát cần phải được kiểm định và lấy từ hệ thống lưu giữ hồ sơ, một bản sao của mẫu điền hoạt động giám sát thường quy thực tế cũng cần phải được thẩm định. Không chọn kỳ báo cáo để kiểm định trước kỳ lưu trữ dữ liệu mô tả trong các hướng dẫn về giám sát thường quy.

353

Thu thập các mục sau khi thực hiện chuyến thăm giám sát hỗ trợ: •

Hồ sơ liên quan tới tổ chức bao gồm mọi công văn trao đổi

•

Bản sao các mẫu điền của lần giám sát trước

•

Tên và thông tin liên lạc của người phụ trách hệ thống giám sát thường quy, tên và các chi tiết liên lạc của người đứng đầu tổ chức

•

Danh mục các kỳ báo cáo mà tổ chức đã trình nộp biểu mẫu giám sát thường quy

•

Bản sao các hướng dẫn về giám sát thường quy

•

Tài liệu pháp chế về giám sát thường quy

•

Biên bản, tài liệu in và các tài liệu khac của hội thảo lập kế hoạch chương trình và lấy ý kiến phản hồi sắp tới, và các chi tiết hậu cần cho hội thảo sắp tới

•

Bản sao các thư từ thông báo cho tổ chức về các chuyến thăm giám sát hỗ trợ

•

Các biểu mẫu sử dụng dữ liệu và các báo cáo từ các tổ chức khác

•

Các biểu mẫu giám sát theo dõi thường quy ầung trong tất cả các lần giám sát trươc đây

•

Biểu mẫu giám sát theo dõi thường quy chưa điền thông tin dùng cho chuyến giám sát lần này

Kết quả: thông tin liên quan về giai đoạn báo cáo đã định

Bước 4:

Lên kế hoạch cho chuyến giám sát

Chương 10

Thực hiện các cuộc hẹn gặp theo lịch tổ chức các cuộc tới thăm giám sát hỗ trợ. Khi hẹn tới thăm một tổ chức: •

Xác nhận ngày hẹn gặp bằng văn bản ít nhất 14 ngày trước khi tới thăm;

•

Thông báo cho tổ chức được giám sát về mục đích, hình thức, 3 người mà cán bộ giám sát cần gặp gỡ (người đứng đầu tổ chức, người phụ trách công tác theo dõi thường quy, và trưởng bộ phận tài chính), và thời gian làm việc (khoảng 3 giờ);

•

Tư vấn cho tổ chức được giám sát về các kết quả dự kiến và họ cần phải chuẩn bị cho chuyến tới thăm giám sát ra sao.

Kết quả: Ngày hẹn gặp cho chuyến tới thăm giám sát được xác nhận với tổ chức được tới thăm

354

Triển khai các hệ thống Theo dõi và Đánh giá

Trong khi tới thăm Bước 5:

Tiến hành chuyến giám sát

Các khía cạnh của hoạt động giám sát được mô tả ở đây dựa trên biểu giám sát mẫu và quá trình tới thăm giám sát. Đồng thời tham khảo công cụ đánh giá chất lượng dữ liệu mà Quỹ Toàn Cầu đã xây dựng (cả hai trong ERL). Giới thiệu: Gặp gỡ người đứng đầu của tổ chức và trình bày về mục đích tới thăm. Kiểm tra xem liệu người đó đã nhận được thư thông báo về chuyến viếng thăm. Điền thông tin vào phần thích hợp của biên bản giám sát M&E.

•

Các cuộc họp sơ bộ: Chính thức xác nhận yêu cầu tổ chức một cuộc họp với người phụ trách công tác theo dõi thường quy (đã được thu xếp từ trước với tổ chức cho chuyến tới thăm giám sát hỗ trợ). Nếu người phụ trách công tác theo dõi thường quy không được ủy nhiệm hoặc không có mặt, yêu cầu họp với người chịu trách nhiệm cho công tác theo dõi và đánh giá, báo cáo và/hoặc các dự án trong tổ chức. Điền thông tin vào phần thích hợp trong biên bản giám sát M&E.

•

Tuân thủ theo chuyến tới thăm giám sát lần trước: Sử dụng biên bản giám sát theo dõi thường quy lần trước (nếu có), kiểm tra với người phụ trách công tác theo dõi thường quy hoặc người đại diện cho tổ chức xem liệu các hành động sửa chữa được thống nhất từ trước đã được thực hiện/duy trì. Điền thông tin vào phần thích hợp của biên bản giám sát M&E. (Bỏ qua bước này nếu đây là lần đầu tới thăm giám sát hỗ trợ theo dõi thường quy tại tổ chức)

•

Hệ thống theo dõi và báo cáo riêng của tổ chức về hoạt động theo dõi thường quy: Hỏi người phụ trách công tác theo dõi thường quy (hoặc người đại diện cho tổ chức, xem Bước 2) về các hệ thống M&E và công tác báo cáo dữ liệu theo dõi thường quy của riêng họ, cụ thể là về mỗi một trong sáu quy trình quản lý dữ liệu tại chỗ trong tổ chức của họ. Hỏi xem bằng chứng, khi cần thiết, về các quy trình theo mô tả của người được giám sát.

•

Sử dụng dữ liệu theo dõi thường quy: Hỏi dữ liệu theo dõi thường quy được sử dụng như thế nào và ghi lại các ví dụ minh chứng. Chia sẻ các ví dụ về cách các tổ chức khác đã sử dụng các dữ liệu theo dõi thường quy và chỉ ra cách chúng có thể được điều chỉnh cho phù hợp để cải thiện cách thức lập kế hoạch và triển khai các dự án. Điền thông tin vào phần thích hợp của biên bản giám sát M&E.

•

Kiểm đinh dữ liệu theo dõi thường quy: Kiểm định dữ liệu theo dõi thường quy trong kỳ báo cáo, và sử dụng biểu mẫu theo dõi thường quy để thực hiện năm loại hình kiểm định (xem Bảng C10-2):

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

•

355

Bảng C10-2:

Các khía cạnh trong việc Xác minh Dữ liệu

Kiểm định #1 Quan sát

Nếu có thể thực hiện thực tế, quan sát mối liên hệ giữa quá trình thực hiện dịch vụ/chuyển hàng hóa với hoành thiện tài liệu nguồn mà ghi lại việc thực hiện dịch vụ đó.

Kiểm định #2 Rà soát tài liệu

Rà soát tính có sẵn và tính hoàn thiện của mọi tài liệu nguồn (tư liệu) của kỳ báo cáo chọn lựa

Kiểm định #3 Tìm kiếm và Xác minh

Tìm kiếm và xác minh các số liệu báo cáo: (1) Tính toán lại các số liệu báo cáo từ các tài liệu nguồn hiện có; (2) So sánh các số liệu kiểm định với số liệu báo cáo của nơi được giám sát; (3) Xác định lý do của mọi sự khác biệt

Kiểm định #4 Kiểm tra chéo

Kiểm tra chéo các số tổng của báo cáo kiểm định với các nguồn dữ liệu khác (ví dụ, các số liệu tồn kho, các báo cáo phòng thí nghiệm, vân vân) nếu có

Kiểm định #5 Các kiểm tra đột xuất

Tiến hành các kiểm tra đột xuất nhằm xác minh việc thực hiện dịch vụ/phân phát hàng hóa trên thực tế tới nhóm đối tượng đích, nếu khả thi

Nguồn: Dẫn liệu từ các tác giả của Quỹ Toàn Cầu (2006)

•

Lưu trữ dữ liệu: Kiểm tra liệu các hồ sơ tài liệu có được lưu trữ một cách thích hợp (như, trên máy tính, trong các hồ sơ đựng tài liệu, trong ngăn kéo, vân vân). Đánh giá xem các hồ sơ tài liệu có được cất tại nơi an toàn; có được bảo mật (nếu hồ sơ lưu chứa các dữ liệu nhạy cảm); có được lưu hồ sơ theo một cách có trật tự; và có dễ dàng được tiếp cận.

•

Theo dấu nguồn giám sát thường quy: Yêu cầu giám đốc tài chính của tổ chức tham gia vào cuộc họp.

Kết quả: Các kết quả giám sát

Chương 10

Bước 6:

Cung cấp ý kiến phản hồi cho tổ chức được giám sát và cho những người sở hữu dữ liệu được kiểm định

•

Ý kiến phản hồi và cách chuyển gửi: Họp với người phụ trách công tác theo dõi thường quy và người đứng đầu tổ chức. Thảo luận về các kết quả tìm kiếm, nhất trí về các biện pháp khắc phục, và yêu cầu người đứng đầu tổ chức đóng dấu và ký vào biên bản giám sát M&E. Khung thời gian, trách nhiệm, và các đề xuất ngân sách cho mỗi hành động sửa chữa cần được làm rõ. Khi thảo luận về chúng, đảm bảo rằng các biện pháp khắc phục là thực tiễn và nằm trong khuôn khổ ngân sách cho phép.

•

Kết thúc chuyến giám sát: Cảm ơn tổ chức và từng cá nhân đã gặp gỡ vì đã dành thời gian tiếp đón. Mời họ tới hội thảo M&E hay khóa học lấy ý kiến phản hồi tiếp theo và thông báo cho họ về thời gian và địa điểm tổ chức.

Kết quả: Báo cáo giám sát

356

Triển khai các hệ thống Theo dõi và Đánh giá

Sau chuyến giám sát: Bước 7:

Báo cáo phản hồi sau giám sát

Khi quay về văn phòng, hoàn tất biên bản đánh giá M&E. Ghi lại các nội dung trong biên bản đánh giá hoàn chỉnh vào trong các cơ sở dữ liệu thích hợp để sử dụng cho các chuyến giám sát lần sau. Gửi bản sao biên bản đánh giá hoàn chỉnh tới cho tổ chức được giám sát. Đảm bảo sự tuân thủ thực hiện theo các hành động sửa chữa như đã nhất trí trong chuyến giám sát, trong khoảng thời gian đã thỏa thuận. Kết quả: các biên bản giám sát hoàn tất, tóm tắt các kết quả tìm kiếm/các đề xuất, nhập thông tin vào trong các cơ sở dữ liệu thích hợp Câu hỏi tư duy 2: Phản ánh về tổ chức của bạn hiện nay? Ai là người giám sát hoạt động theo dõi các chương trình và kiểm định dữ liệu trong tổ chức của bạn. Bạn có cảm thấy rằng việc giám sát này mang tính hố trợ theo các cách như mô tả trong chương này và trong Hướng dẫn thực hành? Bạn đề xuất những thay đổi nào nhằm cải thiện các quy trình giám sát và kiểm định cho tổ chức của bạn để làm chúng mang tính hỗ trợ? Bạn thân bạn sẽ thực hiện các quy trình giám sát như thế nào?

7. Tóm Tắt Chương 10 Kiến Thức và Các Kỹ Năng

Giám Sát Hỗ Trợ Và Kiểm Định Dữ Liệu

Chương 10

Trong chương này, bạn đã nghiên cứu về giám sát hỗ trợ và kiểm định dữ liệu. Bạn học được rằng mặc dù kiểm định dữ liệu là một quy trình riêng biệt, có những lợi ích bao gồm công tác này vào trong các chuyến thăm giám sát hỗ trợ M&E theo lịch trình. Bạn được biết về tính hữu ích của kiểm định dữ liệu và giám sát hỗ trợ, khi các quy trình này giúp tăng cường độ tin cậy của dữ liệu, xây dựng năng lực cho những nhà thực hiện chương trình trong công tác thu thập và lưu trữ dữ liệu thường quy, và cải thiện việc sử dụng thông tin cho việc ra quyết định tại mọi cấp độ. Bạn đã nghiên cứu về các vấn đề thực thi, bao gồm thời điểm thiết kế các quy trình giám sát hỗ trợ và kiểm định dữ liệu, phân bổ ngân sách và nhân lực có kỹ năng để đảm nhiệm việcgiám sát, tầm quan trọng của quy trình giám sát hỗ trợ trong vòng tròn phản hồi, và tầm quan trọng của các hướng dẫn và quy chế nhằm đảm bảo chất lượng và tính thống nhất của các quy trình. Bạn được biết về năm loại hình kiểm định cần thiết trong kiểm định dữ liệu và bạn được học hỏi về các bước quy trình kỹ thuật cần thiết cho việc thực hiện một chuyến giám sát hỗ trợ từ khi bắt đầu tới khi kết thúc.

357

8. Bài Tập Chương 10 có nội dung về hoạt động giám sát và kiểm định dữ liệu. Chia làm hai nhóm để thực hành hoặc, nếu bạn sẽ tự mình thực hiện hoạt động này, thì hoàn thành các nhiệm vụ một cách lần lượt. BÀI TẬP THỰC HÀNH 1:

XÁC ĐỊNH ĐỊA ĐIỂM CHO CÁC CHUYẾN GIÁM SÁT HỖ TRỢ

Trong biểu đồ dòng chảy dữ liệu thường quy mà bạn đã xây dựng trong Bài tập thực hành của Chương 7, xác định tất cả các loại hình giám sát M&E. Nếu bạn không hoàn thành bài tập thực hành của Chương 7, thì sử dụng một trong các biểu đồ dòng chảy dữ liệu trong Phụ Lục B của Chương 7. Vẽ về chuỗi quy trình giám sát tương tự như biểu đồ mà bạn sử dụng trong phần Bài Tâp Thực Hành trong Chương 7 (đồng thời xem Hình 10-1 minh họa ví dụ của một chuỗi giám sát). BÀI TẬP THỰC HÀNH 2:

THIẾT KẾ MẪU TƯỜNG TRÌNH CÔNG VIỆC GIÁM SÁT HỖ TRỢ

Thiết kế một mẫu báo cáo phản hồi về chuyến giám sát hỗ trợ M&E đã được thực hiện. BÀI TẬP THỰC HÀNH 3:

THỰC HIỆN MỘT QUY TRÌNH GIÁM SÁT

Bạn nghĩ điều gì xảy ra trong một chuyến thực hiện công tác giám sát? Nghĩ về các bước của quy trình này và nếu có một đồng nghiệp cùng bạn, thử tập diễn các vai trong một quy trình giám sát hỗ trợ.

Bạn nghĩ điều gì diễn ra trong một chuyến thực hiện công tác kiểm định dữ liệu? Nghĩ về các bước của quy trình này và nếu có một đồng nghiệp cùng bạn, thử tập diễn các vai trong một quy trình kiểm định dữ liệu.

Dựa vào các câu trả lời cho hai câu hỏi trên, điều gì là khác biệt giữa công tác giám sát và công tác kiểm định dữ liệu?

Chương 10

358

Triển khai các hệ thống Theo dõi và Đánh giá

12 11

Chương 11 Đánh giá và Nghiên cứu

Mục tiêu của Chương Mục tiêu của chương này là giúp bạn cải thiện chương trình bằng cách thực hiện tốt hơn, có mục tiêu hơn các đánh giá và nghiên cứu khi cần

Kiến thức, kỹ năng trong Chương Đến cuối Chương, ta sẽ có thể: Giải thích được vì sao đánh giá lại quan trọng và hữu ích trong việc giúp chương trình đạt kết quả.

Biết được các định nghĩa về đánh giá và nghiên cứu, cũng như các cách định nghĩa khác nhau.

Lập chiến lược đánh giá, nghiên cứu quốc gia.

Bảo đảm để nghiên cứu và đánh giá HIV được thực hiện một cách có đạo đức.

Lập và/hoặc cập nhật lịch trình đánh giá, nghiên cứu quốc gia.

Quản lý và theo dõi đánh giá chương trình.

Đánh giá và Nghiên cứu

Chương 11

359

Trước khi bắt đầu … Ta hãy dành ít phút đọc hết các câu hỏi dưới đây. Có thể lấy giấy bút ghi lại câu trả lời. Trong quá trình nghiên cứu nội dung chương, bạn có thể đối chiếu các câu trả lời của mình với đáp án của tác giả. •

Sự khác biệt giữa nghiên cứu, đánh giá và điều tra là gì?

•

Cần sử dụng kết quả đánh giá, nghiên cứu như thế nào?

•

Cần khuyến khích sử dụng số liệu đánh giá, nghiên cứu trong cơ quan như thế nào?

•

Làm thế nào để phối hợp hoạt động nghiên cứu trong nước?

•

Ai phê chuẩn việc thực hiện nghiên cứu?

•

Thế nào là thẩm định về mặt đạo đức? Ai là người thực hiện?

•

Khi nào cần nộp đề xuất đánh giá hay nghiên cứu để thẩm định đạo đức?

•

Phỏng vấn trẻ em có phải hành vi đạo đức không? Có quy định nào bảo đảm để trẻ em được đối xử công bằng không?

•

Có được công bố thông tin về người tham gia nghiên cứu mà không cho người đó biết hay không?

•

Có thể tìm thêm thông tin về đánh giá và nghiên cứu?

Chương 11

Chúng ta thường tự cho rằng các chương trình mà cơ quan chúng ta triển khai ở cộng đồng đều đã được nghiên cứu và đánh giá đầy đủ. Tuy nhiên, đánh giá và nghiên cứu là một trong những phần thường ít được quan tâm nhất trong hệ thống GS&ĐG. Chương này trình bày cách lập kế hoạch, thiết kế và phối hợp đánh giá, nghiên cứu để giúp ta hiểu được những câu hỏi điều gì sẽ xảy ra (Chương trình đã đem lại thành quả gì trong dài hạn? Dự án của ta đã đạt được những gì?) Trả lời được những câu hỏi này sẽ giúp tất cả chúng ta hiểu được làm thế nào để cải thiện chương trình để có được tác động lớn hơn.

360

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 11: Đánh giá và Nghiên cứu

1. Giới thiệu “Thế giới chưa từng phải đối mặt với một nhiệm vụ khó khăn đến vậy trong lĩnh vực y tế quốc tế. Điều quan trọng là bằng việc triển khai những chương trình lớn này ở từng nước một, chúng ta sẽ tạo được một cơ chế cho phép định lượng, nghiên cứu, học tập kinh nghiệm và chia sẽ rộng rãi những kinh nghiệm đó.“ Richard Feachem, Giám đốc Điều hành Quỹ Toàn cầu Phòng chống AIDS, Lao và Sốt rét, giai đoạn 2003 - 2007 (2004) Nhiên liệu của hệ thống GS&ĐG chính là dữ liệu. Dữ liệu mà hệ thống GS&ĐG cần có để vận hành được xác định bởi các chỉ số và câu hỏi nghiên cứu trong kế hoạch GS&ĐG (xem Chương 4: kế hoạch GS&ĐG). Các loại chỉ số (chỉ số đầu vào, chỉ số đầu ra, chỉ số kết quả và chỉ số tác động) trong hệ thống GS&ĐG cần 3 loại nguồn dữ liệu là dữ liệu thường quy, định kỳ và sử dụng một lần, như minh họa trong Bảng C11-1. Bảng C11-1: Các loại nguồn dữ liệu sử dụng trong các loại Chỉ số khác nhau Loại chỉ số

Thời gian thu thập dữ liệu

Đầu vào/ quy trình

Liên tục

Loại nguồn dữ liệu Các nguồn dữ liệu thường quy như thống kê về giáo dục hay các dịch vụ công khác Các nguồn dữ liệu thường quy như số liệu theo dõi thường quy về tài liệu đào tạo trường học

Đầu ra

Hàng quý, nửa năm hay hàng năm

Các nguồn dữ liệu thường quy như thống kê về giáo dục hay các dịch vụ công khác Các nguồn dữ liệu thường quy như số liệu theo dõi thường quy về sỹ số giáo viên hay số đợt công tác của cán bộ khuyến nông Các nguồn dữ liệu định kỳ như điều tra phỏng vấn cuối chương trình

Kết quả

1 tới 3 năm

Các nguồn dữ liệu định kỳ như điều tra dân số Các nguồn dữ liệu sử dụng một lần như các nghiên cứu đặc thù (nghiên cứu hay đánh giá)

Tác động

2 tới 5 năm

Các nguồn dữ liệu định kỳ như giám sát Các nguồn dữ liệu định kỳ như điều tra dân số

Chương 11

Các nguồn dữ liệu sử dụng một lần như các nghiên cứu đặc thù (nghiên cứu hay đánh giá) Nguồn: Phỏng theo Quỹ Toàn cầu và các tác giả khác (2006)

Đánh giá và Nghiên cứu

361

Mỗi một loại trong số 3 loại nguồn dữ liệu này đều là thành phần của chu kỳ giữa (thu thập, tổng hợp và kiểm chứng dữ liệu) trong số 12 Cấu phần của hệ thống GS&ĐG hiệu quả và được đề cập đến trong chương trình ở các chương sau: •

Nguồn dữ liệu thường quy (Chương 7: Dữ liệu thường quy)

•

Nguồn dữ liệu định kỳ (Chương 8: Điều tra định kỳ)

•

Nguồn dữ liệu sử dụng một lần (Chương 11: Đánh giá và Nghiên cứu – tức Chương này)

Bố cục của Chương: Chương 11 mở đầu bằng các thông tin chung và khái niệm về nghiên cứu, nghiên cứu hoạt động và các loại hình đánh giá (Phần 2). Các kết quả mong muốn của chương và lợi ích của việc đánh giá, nghiên cứu trong khuôn khổ hệ thống GS&ĐG quốc gia được trình bày trong Phần 3 và 4. Phần 5 trình bày các vấn đề triển khai liên quan đến đánh giá và nghiên cứu, trong đó có cả các nguyên tắc đạo đức áp dụng cho người làm đánh giá và nghiên cứu. Những phần sau cho biết các bước và hướng dẫn cụ thể trong 4 Hướng dẫn: Lập chiến lược đánh giá, nghiên cứu quốc gia (Phần 6); Lập hay bổ sung lịch trình đánh giá, nghiên cứu quốc gia (Phần 7); Bảo đảm để các đánh giá được thực hiện một cách đạo đức (Phần 8); và Triển khai đánh giá chương trình (Phần 9). Kết thúc Chương là phần tóm tắt các bài học kinh nghiệm và một bài tập thực hành để củng cố những gì đã học.

2. Thông tin chung và khái niệm a)

Nghiên cứu: là các điều tra có hệ thống nhằm xây dựng hay đóng góp vào kho kiến thức chung; bao gồm việc xây dựng, kiểm chứng và đánh giá nghiên cứu.1

Các loại hình nghiên cứu: Có thể phân loại nghiên cứu theo nhiều cách. Chẳng hạn, theo mục đích chính, loại hình dữ liệu và phương pháp nghiên cứu, mức độ hiểu biết cần có, loại vấn đề nghiên cứu, hình thức sử dụng kết quả nghiên cứu.

Chương 11

Nghiên cứu được thực hiện với mục đích nâng cao kiến thức, do để thỏa trí tò mò hay mục đích khoa học khác (nghiên cứu cơ bản, hay nghiên cứu thuần túy, căn bản) hoặc để giải quyết những vấn đề thực tiễn và giải đáp các câu hỏi thực tiễn (nghiên cứu ứng dụng). Phần lớn các nhà khoa học đều cho rằng việc hiểu biết căn bản về mọi ngành khoa học chính là điều cần thiết để có được sự tiến bộ. Nói cách khác, nghiên cứu cơ bản tạo nền móng để khoa học ứng dụng tiến bước. Trong y tế, nghiên cứu khoa học cơ bản bao gồm hoạt động thử nghiệm lâm sàng, thí điểm các công nghệ theo dõi hay chẩn đoán mới và nghiên cứu định hình xung quanh các vấn đề hành vi/ xã hội. Thông thường, các đối tác nghiên cứu độc lập lớn sẽ tham gia

1 Có nhiều cách định nghĩa và phân biệt khác nhau giữa nghiên cứu và đánh giá; cách sử dụng trong khóa học này là những cách đã được công nhận rộng rãi, tạo cơ sở cho một loạt các hoạt động đánh giá, nghiên cứu, phương pháp và ứng dụng.

362

Triển khai các hệ thống Theo dõi và Đánh giá

vào những hoạt động này, và đây cũng là một phần trong nghị trình nghiên cứu chung. ii.

Cũng có thể phân biệt nghiên cứu bằng loại phương pháp sử dụng dữ liệu chung: nghiên cứu định lượng thu thập, phân tích và sử dụng các dữ liệu dạng con số còn dữ liệu nghiên cứu định tính (giải thích, mô tả, ý kiến hay các thông tin khác được trình bày dưới dạng từ ngữ chứ không phải con số) được thu thập bằng thảo luận nhóm, quan sát, người cung cấp thông tin chủ yếu hay các cách thức thu thập số liệu định tính khác. Có nhiều gói phần mềm máy tính giúp phân tích dữ liệu định tính.

iii.

Ngoài ra còn có thể phân biệt nghiên cứu bằng việc xác định số liệu mới (số liệu sơ cấp) hay các số liệu hiện có (số liệu thứ cấp) có được thu thập và phân tích không:

iv.

Cách phổ biến để thu thập số liệu mới (sơ cấp) là thông qua điều tra: (xem chi tiết về điều tra ở Chương 8). Đặc điểm chính của điều tra là: a) sử dụng bộ câu hỏi tiêu chuẩn, b) lựa chọn mẫu đại diện, có kiểm chứng khoa học và có giá trị thống kê từ các đối tượng trả lời bộ câu hỏi tiêu chuẩn. “Điều tra được sử dụng để xác nhận niềm tin, thái độ, ý kiến, hành vi, nhu cầu, khả năng, địa vị xã hội và các lĩnh vực khác trong đời sống con người. Dữ liệu được sử dụng để mô tả cá nhân, tính toán các tham số dân cư và xác định mối liên hệ giữa những suy nghĩ, hành động và bối cảnh sinh sống của con người” (Đại học bang Michigan: <http:// research.chm. msu.edu/RO/rschtypes.htm>).

Phân tích số liệu thứ cấp: phân tích số liệu thứ cấp sử dụng dữ liệu đã được thu thập mà người nghiên cứu không thực hiện việc thu thập, hoặc được thu thập vì những mục đích khác. Đôi khi việc thu thập số liệu ban đầu là không cần thiết và những số liệu thứ cấp hiện có có thể hoàn toàn phù hợp và đầy đủ để rút ra kết luận và giải đáp một câu hỏi nghiên cứu. Phân tích số liệu thứ cấp có thể rẻ hơn, ít tốn thời gian hơn và chính xác hơn so với thu thập số liệu sơ cấp (Luz, 2006).

Các câu hỏi nghiên cứu khác nhau ở mức độ tìm hiểu chủ đề như trình bày dưới đây: Mức độ diễn tả: Nghiên cứu được xây dựng chủ yếu để mô tả những gì đang diễn ra hay đang tồn tại. Những cuộc trưng cầu ý kiến công chúng chỉ có mục đích mô tả tỉ lệ người dân có những ý kiến khác nhau về cơ bản mang tính chất diễn tả. Chẳng hạn, nếu ta muốn biết tỉ lệ dân cư sẽ bầu phiếu cho Đảng Dân chủ hay Cộng hòa trong đợt bầu cử tổng thống Mỹ khóa tới, hay muốn biết con cái đạt kết quả kiểm tra như thế nào thì có nghĩa là ta chỉ quan tâm đến việc mô tả một điều gì đó.

Mức độ liên quan: Nghiên cứu được xây dựng để tìm hiểu mối liên hệ giữa hai hay nhiều tham số. Một cuộc trưng cầu dân ý

Đánh giá và Nghiên cứu

Chương 11

363

trong đó so sánh tỉ lệ nam giới và nữ giới cho biết sẽ bầu cho ứng cử viên Dân chủ hay Cộng hòa trong cuộc bầu cử tổng thống sắp tới có nghĩa là nghiên cứu mối liên hệ giữa giới tính và lựa chọn trong bầu cử. 3.

Có thể phân biệt nghiên cứu theo lĩnh vực nghiên cứu có liên hệ với cách thức sử dụng thông tin nghiên cứu: 1.

Nghiên cứu dịch vụ: Nghiên cứu dịch vụ là một lĩnh vực đa ngành tìm hiểu xem các yếu tố xã hội, hệ thống tài chính, cơ cấu tổ, quy trình tổ chức, công nghệ và hành vi ảnh hưởng thế nào đến mức tiếp cận dịch vụ, chất lượng và chi phí cung ứng dịch vụ (như các hỗ trợ y tế, giáo dục hay nông nghiệp) và sau cùng là ảnh hưởng thế nào đến cuộc sống con người. Mục tiêu chính của nghiên cứu dịch vụ là nhằm xác định cách thức hiệu quả nhất để tổ chức, quản lý, tài trợ và cung ứng dịch vụ chất lượng cao. Đối tượng nghiên cứu là cá nhân, gia đình, tổ chức, thể chế, cộng đồng và dân cư (Luz, 2006).

Phân tích chính sách: Phân tích chính sách là nghiên cứu về một vấn đề xã hội cơ bản và các chính sách công liên quan. Các nhà phân tích quan tâm đến quy trình phê duyệt chính sách cũng như tác động của chính sách và thường cung cấp cho các cấp hoạch định chính sách những ý kiến tổng hợp và đề xuất thực tiễn, định hướng hành động.

Nghiên cứu hoạt động (NCHĐ): Còn gọi là đánh giá chương trình hay nghiên cứu đánh giá, mục tiêu chính của NCHĐ là cung cấp cho các nhà quản lý chương trình những thông tin cần thiết để xây dựng, cải thiện hay nhân rộng chương trình. Nghiên cứu hoạt động chú trọng vào việc thiết kế chương trình có hợp lý và được xây dựng tối ưu để đạt được các kết quả mong muốn hay không, còn đánh giá (xem phần dưới) tập trung vào việc xem xét các thay đổi trong kết quả có xuất phát từ chương trình hay không. NCHĐ có th coi là một quy trình thực tế, có hệ thống để xác định và giải quyết các vấn đề liên quan đến chương trình (Quỹ Toàn cầu và bộ công cụ GS&ĐG của WHO, 2006).

Chương 11

Mức độ nhân quả: Nghiên cứu được xây dựng để xác định xem có phải một hay nhiều tham số (chẳng hạn như tham số chương trình hay can thiệp) tạo ra hay có ảnh hưởng đến một hay nhiều tham số kết quả hay không. Một cuộc trưng cầu dân ý nhằm xác định xem chiến dịch quảng bá chính trị gần đây có làm thay đổi ưu tiên của cử tri có nghĩa là nghiên cứu xem chiến dịch (nguyên nhân) có thay đổi tỉ lệ cử tri sẽ bầu cho Đảng Dân chủ hay Cộng hòa hay không (hiệu quả) (Trochim, 2006: <http://www.socialresearchmethods.net/kb/resques.php>).

364

Triển khai các hệ thống Theo dõi và Đánh giá

Ví dụ về NCHĐ:

Các câu hỏi chính trong NCHĐ:

Tuân thủ điều trị

Các chương trình có được cấu trúc tối ưu để cho phép tuân thủ điều trị ở mức cao nhất hay không?

Công bằng trong tiếp cận dịch vụ

Ta có tiếp cận được đối tượng mục tiêu hay không?

Phân tích chi phí hiệu quả

Phương thức chương trình được so sánh nào cho kết quả/đầu ra mong muốn nhất với chi phí thấp nhất?

Các mô hình can thiệp khác nhau

Mô hình can thiệp hay thiết kế nào có hiệu quả nhất/ đạt được kết quả tốt nhất?

Để biết thêm thông tin về các phương pháp và thiết kế nghiên cứu, có thể truy cập hai trang web sau: Cơ sở kiến thức nghiên cứu: http://www. socialresearchmethods.net Phương pháp nghiên cứu: http://allpsych.com/researchmethods c)

Đánh giá: Nhóm công tác của OECD-DAC về Đánh giá Viện trợ định nghĩa đánh giá là “đánh giá có hệ thống và khách quan về dự án, chương trình hay chính sách đang triển khai hay đã hoàn thành, thiết kế, triển khai và kết quả.” Mục tiêu là xác định mức độ phù hợp và hoàn thành mục tiêu, hiệu suất, hiệu quả, tác động và tính bền vững trong phát triển. Đánh giá phải cung cấp thông tin có độ tin cậy và hữu ích, đồng thời rút ra bài học kinh nghiệm nhằm cải thiện quyết định của người triển khai, cấp hoạch định chính sách và nhà tài trợ. Đánh giá còn là quy trình xác định giá trị hay ý nghĩa của một hoạt động, chính sách hay chương trình. Đánh giá phải bảo đảm tính hệ thống và khách quan tối đa về một can thiệp phát triển đã dự định, đang triển khai hay đã hoàn thành. Hiệp hội Đánh giá Hoa Kỳ cho rằng đánh giá phải bảo đảm xác định ưu điểm, nhược điểm của chương trình, chính sách, nhân sự, sản phẩm và tổ chức nhằm tăng cường hiệu quả. Rossi và Freeman (1993:5) định nghĩa đánh giá là “việc áp dụng có hệ thống các quy trình nghiên cứu xã hội vào đánh giá khái niệm, thiết kế, triển khai và tiện ích của ... các chương trình.” Đánh giá sử dụng các thiết kế thực nghiệm và bán thực nghiệm để thu thập bằng chứng về giá trị của chương trình. Cả hai phương pháp thu thập thông tin định lượng và định tính đều được sử dụng rộng rãi.

Các loại hình đánh giá: Các đánh giá định hình hay quy trình chú trọng vào chất lượng thiết kế và triển khai chương trình, trong khi đánh giá kết quả, đánh giá kinh tế và đánh giá tác động chú trọng vào sản phẩm đầu ra của quá trình triển khai chương trình, như trình bày trong bảng C11-2 dưới đây. Chương 11

Đánh giá và Nghiên cứu

365

Bảng C11-2: Các loại hình đánh giá và ứng dụng Loại hình đánh giá

Ứng dụng khi nào

Cho biết kết quả gì

Vì sao có ích

A: Xác định “khả năng đánh giá” trong đánh giá định hình”

• Trong quá trình xây dựng chương trình mới

• Đánh giá xem các cấu phần chương trình đề xuất có cần thiết, được hiểu và được chấp nhận bởi nhóm dân cư mục tiêu hay không

• Cho phép thực hiện điều chỉnh kế hoạch trước khi bắt đầu triển khai

• Đánh giá nhu cầu

B: Đánh giá quy trình Theo dõi thường quy

Khi chương trình hiện có được điều chỉnh hay được ứng dụng vào một hoàn cảnh mới hay trên nhóm dân cư mới

•

Mức độ khả thi của đánh giá, dựa trên các mục tiêu chung, mục tiêu cụ thể của đánh giá và chương trình

• Khi chương trình bắt đầu triển khai

• Chương trình đang hoạt động hiệu quả ra sao

• Trong quá trình hoạt động của chương trình hiện tại

• Tình hình triển khai chương trình theo đúng thiết kế • Chương trình có được tiếp cận và chấp nhận bởi nhóm dân cư mục tiêu hay không

C: Đánh giá kết quả

• Mức độ hiệu quả của chương trình đối với hành vi của nhóm dân cư mục tiêu

• Đưa ra cảnh báo sớm về những vấn đề có thể nảy sinh • Cho phép chương trình theo dõi hiệu quả của các kế hoạch và hoạt động của chương trình

• Cho biết chương trình có đạt hiệu quả trong việc thực hiện các mục tiêu đề ra không

Chương 11

Đánh giá dựa trên mục tiêu

• Sau khi chương trình đã tiếp cận với ít nhất một người hay một nhóm trong đối tượng mục tiêu

• Tăng khả năng thành công của chương trình

366

Triển khai các hệ thống Theo dõi và Đánh giá

Loại hình đánh giá

Ứng dụng khi nào

Cho biết kết quả gì

Vì sao có ích

D: Đánh giá kinh tế

• Trong giai đoạn lập kế hoạch, sử dụng các ước tính/dự báo chi phí

• Các nguồn lực đang được sử dụng trong chương trình cùng chi phí (trực tiếp và gián tiếp) so với kết quả

• Cho nhà quản lý và tài trợ chương trình một phương án đánh giá hiệu quả tương ứng với chi phí

• Mức độ đạt mục tiêu cuối cùng của chương trình

• Cung cấp bằng chứng để ứng dụng trong chính sách, tài trợ và các quyết định triển khai chương trình sau này

Phân tích chi phí, Phân tích Chi phí-Lợi ích, Đánh giá Chi phí-Hiệu quả, Phân tích Chi phíTiện ích

E: Đánh giá tác động

• Trong quá trình hoạt động của chương trình, sử dụng chi phí thực tế • Trong quá trình hoạt động của một chương trình hiện có ở các giai đoạn phù hợp • Cuối chương trình

Nguồn: CDC, 2006

Đánh giá định hình: được sử dụng để đánh giá ưu điểm, nhược điểm của thiết kế, tài liệu chương trình hay chiến lược chiến dịch v.v trước khi triển khai. Cho phép thực hiện các điều chỉnh cần thiết trước khi triển khai chính thức. Mục đích của đánh giá là nâng cao cơ hội thành công cho chương trình trước khi bắt đầu triển khai hoạt động. Các câu hỏi đánh giá định hình điển hình:

Thông tin có từ đánh giá định hình gồm:

Có cần chú trọng vào một phân nhóm hay nhóm dân cư mục tiêu trong giải pháp chương trình không?

Nhóm dân cư mục tiêu cần tác động và quy mô

Can thiệp nào sẽ có hiệu quả trong trường hợp này (những can thiệp đã chứng tỏ hiệu quả trong tình huống này)?

Những dự án khác đã được triển khai trong khu vực hay với nhóm dân cư mục tiêu

Đánh giá và Nghiên cứu

Chương 11

Đánh giá quy trình: Khảo sát các quy trình và nhiệm vụ trong triển khai chương trình. Loại đánh giá này cũng có thể bao gồm cả khảo sát các khía cạnh hành chính và tổ chức của chương trình. Đánh giá này có chức năng kiểm tra, giám sát và tìm hiểu hiệu quả của chương trình, do vậy rất quan trọng trong nâng cao chất lượng.

367

Các câu hỏi đánh giá quy trình điển hình:

Thông tin từ đánh giá quy trình gồm:

Đối tượng lao động có làm việc ở đúng chỗ không?

Địa bàn triển khai

Cán bộ chương trình đã thực hiện toàn bộ các bước cần thiết chưa?

Tính đầy đủ trong phạm vi dịch vụ

Đánh giá kết quả: được sử dụng để thu thập số liệu diễn tả về một dự án và tổng hợp các kết quả ngắn hạn. Các kết quả chú trọng vào tác vụ là những kết quả cho biết đầu ra của hoạt động (như số câu hỏi nhận được từ công chúng sau khi công bố một dịch vụ công). Các kết quả ngắn hạn cho biết hiệu quả tức thì trên đối tượng (như tỉ lệ đối tượng cho thấy nhận thức cao hơn về chủ đề) và tìm cách đánh giá mối quan hệ nhân quả giữa can thiệp và các kết quả mong muốn. Các câu hỏi đánh giá kết quả điển hình:

Thông tin từ đánh giá kết quả gồm:

Can thiệp có đạt hiệu quả không?

Thay đổi trong kiến thức và thái độ

Can thiệp có tạo ra sự khác biệt gì trong các kết quả như thay đổi về kiến thức và hành vi hay không?

Cho biết ý định của đối tượng

Những chuyển biến mong muốn/ dự kiến đạt được ở mức nào?

Chuyển biến về hành vi trong ngắn hạn hay tức thì Mức độ thay đổi hành vi, những chính sách đã áp dụng hay những thay đổi thể chế khác

Đánh giá kinh tế: Đánh giá kinh tế xem xét chi phí và ngân sách gắn với các can thiệp phát triển nhằm đánh giá giá trị đồng vốn, có nghĩa là mức độ hiệu quả của can thiệp. Các câu hỏi đánh giá kinh tế điển hình:

Thông tin từ đánh giá kinh tế gồm:

Can thiệp nào có hiệu quả chi phí cao nhất?

Chi phí đơn vị để triển khai can thiệp

% vốn phân bổ đến được đối tượng Chi phí tự trang trải của người thụ thụ hưởng và chi phí đối tượng thụ hưởng để được tiếp cận dịch vụ hưởng phải chịu là bao nhiêu? Cần bao lâu để nguồn tài trợ đến được với người thụ hưởng? Chương 11

368

Phân tích điểm nghẽn xác định nơi luồng vốn bị cản trở

Đánh giá tác động: Đánh giá tác động là xác định một cách có hệ thống các hiệu quả dài hạn (tích cực hay tiêu cực, dự kiến hay không dự kiến) đối với cá nhân, hộ gia đình, cơ sở và môi trường của một hoạt động nhất định như

Triển khai các hệ thống Theo dõi và Đánh giá

một chương trình hay dự án. Đánh giá tác động tìm hiểu xa hơn các kết quả tức thì từ chính sách, can thiệp hay dịch vụ nhằm xác định các hiệu quả dài hạn cũng như không dự kiến của chương trình. Khi thiết kế những nghiên cứu này cần đặc biệt quan tâm đến việc xác định những thay đổi có liên hệ trực tiếp với hiệu quả của một hoạt động hay chương trình chứ không chỉ kết quả của các ảnh hưởng khác (bên ngoài) đối với nhóm dân cư mục tiêu qua các thời kỳ. Đánh giá tác động đòi hỏi phải có các quy trình nghiên cứu được thiết kế riêng (thường sử dụng chọn mẫu ngẫu nhiên từ nhóm dân cư nghiên cứu), thường xuyên thu thập dữ liệu gốc, cũng như sự tham gia của những nhà nghiên cứu có chuyên môn sâu trong triển khai nghiên cứu.

Các câu hỏi đánh giá tác động điển hình:

Thông tin từ đánh giá tác động gồm:

Hoạt động của ta có ảnh hưởng đến thay đổi ở tầm dân số không?

Thay đổi trong tỉ lệ bệnh tật và tử vong của nhóm dân cư mục tiêu, so với nhóm đối chứng

Các hành vi mục tiêu có thay đổi không?

Thay đổi trong tỉ lệ vắng mặt/năng suất/ kết quả v.v sau can thiệp so với các chỉ số ban đầu

Chính sách/chương trình đã có tác động nào (nếu có)?

Sự duy trì trong dài hạn hành vi mong muốn

Phân biệt Đánh giá và Nghiên cứu: Nghiên cứu và đánh giá đều thu thập và phân tích dữ liệu một cách có hệ thống và sử dụng cùng các phương pháp khoa học như nhau. Kiến thức thu được từ đánh giá thường có tính tổng quát đối với các tình huống hay quốc gia khác và đây cũng là đặc trưng của nghiên cứu. Sự khác biệt nằm ở ý định ban đầu của hoạt động. Mục đích ban đầu của đánh giá là nhận định một số lĩnh vực của một chương trình, chính sách hay dự án cụ thể, thường là nhằm tổng hợp thông tin hay kiến thức vì một mục đích cụ thể (thường là thực tiễn), như có nên tiếp tục, điều chỉnh, mở rộng quy mô hay nhân rộng hoạt động hay không.

Đánh giá và Nghiên cứu

Chương 11

Lý do khiến ta quan tâm đến việc một hoạt động có phù hợp với định nghĩa về đánh giá hay nghiên cứu hay không là vì nghiên cứu thường áp dụng các quy trình khác và cũng thường khắt khe hơn (phê duyệt). Chẳng hạn, hoạt động nghiên cứu được các cán bộ Trung tâm Phòng Bệnh Hoa Kỳ (CDC) thực hiện theo quy định của Liên bang nhằm bảo vệ các đối tượng là người. Tiêu chí của CDC về nghiên cứu là có tạo ra kiến thức tổng quát (được cắt nghĩa là “những thông tin mới có tính phù hợp vượt trên cả nhóm dân cư hay chương trình mà từ đó thông tin được thu thập hay những thông tin sẽ được bổ sung vào kho tàng kiến thức khoa học”): “Khi mục đích của đánh giá là để kiểm chứng một can thiệp, dịch vụ hay chương trình mới, được điều chỉnh hay trước đây chưa được kiểm chứng, nhằm xác định hiệu quả thì đánh giá đó chính là nghiên cứu. Việc so sánh có hệ thống các can thiệp tiêu chuẩn hay phi tiêu chuẩn trong thiết kế dạng thực nghiệm chính là nghiên cứu. Trong những trường hợp này, kiến thức thu được có thể áp dụng cho các đối tượng ngoài cá nhân, chương trình cụ thể. Bởi vậy, mục đích ban đầu

369

là tạo ra những kiến thức mới hay đóng góp vào kho kiến thức khoa học chung. Hơn nữa, mục đích của nghiên cứu còn là áp dụng kiến thức vào các địa bàn hay nhóm dân cư khác.” Mặt khác, đánh giá một chương trình hiện có – thường nhằm cung cấp thông tin hữu ích để quản lý chương trình – không được coi là nghiên cứu.” (CDC 1999) (Xem ví dụ được CDC sử dụng để phân biệt nghiên cứu và đánh giá nhằm quyết định xem có cần thiết phải thực hiện quy trình phê duyệt về mặt đạo đức hay không ở Phụ lục A). Cũng cần nói thêm rằng những hoạt động được gọi là nghiên cứu và đánh giá chương trình thường được tài trợ từ nhiều nguồn khác nhau, trong đó hoạt động đầu tư ngân sách của các tổ chức nghiên cứu, y tế hay học viện còn hoạt động sau thường là từ các đơn vị triển khai chương trình hay cấp hoạch định chính sách. Việc phê duyệt hay hỗ trợ tài chính cho nghiên cứu có thể còn phụ thuộc vào việc hoạt động có phù hợp với chương trình nghiên cứu quốc gia hay chiến lược đánh giá chương trình hay không.

3. Kết quả cần đạt được khi triển khai Cấu phần này Kết quả dài hạn: Kết quả đánh giá và nghiên cứu được sử dụng để cung cấp thông tin cho việc lựa chọn chính sách, chương trình và can thiệp. Kế hoạch ngắn hạn và trung hạn: •

Danh mục các đánh giá chương trình và nghiên cứu đã hoàn thành và đang triển khai.

•

Danh mục năng lực đánh giá và nghiên cứu, trong đó có các cơ sở nghiên cứu và lĩnh vực hoạt động lớn.

•

Lịch trình đánh giá và nghiên cứu chương trình.

•

Thủ tục và tiêu chuẩn phê duyệt về lĩnh vực đạo đức.

•

Hướng dẫn đánh giá và các tiêu chuẩn, phương pháp nghiên cứu.

•

Tham gia hội nghị hay diễn đàn để phổ biến và thảo luận các kết quả đánh giá, nghiên cứu.

•

Bằng chứng về ứng dụng các kết quả đánh giá/nghiên cứu (như kết quả nghiên cứu được dẫn chứng trong các tài liệu kế hoạch).

Câu hỏi tư duy 1:

Chương 11

Suy nghĩ về cơ quan và chương trình của mình. Các chương trình có dựa trên đánh giá và nghiên cứu không? Loại đánh giá hay nghiên cứu nào (như nêu trong Phần 2) đã được cơ quan bạn thực hiện? Loại đánh giá, nghiên cứu nào cần thực hiện? Có bao nhiêu kết quả ngắn hạn và trung hạn đã đạt được ở cơ quan bạn?

370

Triển khai các hệ thống Theo dõi và Đánh giá

4. Lợi ích của Đánh giá và Nghiên cứu trong Hệ thống GS&ĐG Đánh giá cung cấp thông tin để giải đáp những câu hỏi liên quan đến hiệu quả chương trình, cũng như để hiểu được những lĩnh vực quan trọng của chương trình, chẳng hạn: để xác định những yếu tố thúc đẩy (hay cản trở) tiến độ thực hiện mục tiêu chương trình; để kiểm định và đánh giá hiệu quả của can thiệp chương trình đề xuất; để cải thiện can thiệp; để đánh giá tác động chương trình. Đánh giá và nghiên cứu giúp lập chiến lược, chương trình và mục tiêu mới. Đánh giá các phương thức mới rất quan trọng đối với quá trình xây dựng chương trình trong bất kể lĩnh vực nào. Người xây dựng chương trình mới cần thực hiện đánh giá có phương pháp về các hoạt động trước khi giới thiệu với người sử dụng tiềm năng. Việc đánh giá nghiêm ngặt các kết quả chương trình dài hạn là tiền đề để khẳng định rằng một mô hình có hiệu quả. Đánh giá cần cho quản lý dự án: Các nhà quản lý thường quan tâm nhiều đến việc theo sát các hoạt động chương trình và tổng hợp được tính chất và mức độ cung ứng dịch vụ. Thông tin nhà quản lý cần được gọi là hệ thống thông tin quản lý. Ví dụ, đánh giá công tác quản lý dự án giúp theo dõi các hoạt động chương trình thường quy, cung cấp cho cán bộ hay nhà quản lý chương trình những thông tin về những vấn đề như đặc điểm của người tham gia, các hoạt động chương trình, phân bổ nguồn nhân lực hay chi phí chương trình. Phân tích các thông tin loại này (đánh giá quy trình) giúp cán bộ chương trình thực hiện những điều chỉnh ngắn hạn để bảo đảm cho các hoạt động chương trình đã lên kế hoạch được thực hiện kịp thời và đến được đúng đối tượng, cũng như nhiều hoạt động khác. Phân tích này cho giúp cán bộ chương trình lên kế hoạch định hướng chương trình trong tương lai và xác định những yêu cầu nguồn lực cho năm tới. Đánh giá giúp chương trình đi đúng hướng. Đánh giá giúp bảo đảm để các hoạt động dự án tiếp tục bám sát kế hoạch và mục tiêu. Các dữ liệu cần thiết có thể tương tự (hay là một phân nhóm) của dữ liệu quản lý dự án. Loại hình đánh giá này giúp tăng cường cung ứng dịch vụ và duy trì mối liên hệ giữa các mục tiêu chung, mục tiêu cụ thể và dịch vụ của chương trình. Đánh giá và nghiên cứu nâng cao năng lực của tổ chức và nhân sự. Đánh giá và nghiên cứu nâng cao kiến thức cho tổ chức và theo đó là cả năng lực của tổ chức trong triển khai chương trình hiệu quả hơn hay xây dựng các kế hoạch hiệu quả hơn. Các cá nhân được học hỏi thông qua quan sát tầm quan trọng của việc sử dụng dữ liệu trong quá trình ra quyết định và nâng cao năng lực của bản thân. Những kỹ năng, kiến thức học hỏi được trong đánh giá hay nghiên cứu một chương trình thường có thể áp dụng rộng rãi cho chương trình khác.

Đánh giá và Nghiên cứu

Chương 11

Đánh giá và nghiên cứu giúp nâng cao hiệu quả dự án. Đánh giá giúp hoàn thiện cung ứng dịch vụ và tăng cường phối hợp giữa các thành phần chương trình, hạ chi phí dịch vụ. Nhờ nâng cao hiệu quả mà cho phép chương trình

371

phục vụ nhiều đối tượng hơn, cung cấp nhiều dịch vụ hơn, hay định hướng dịch vụ tới được những đối tượng có nhu cầu cấp bách nhất. Đánh giá hiệu quả chương trình có thể chú trọng vào xác định những lĩnh vực chương trình đạt được nhiều thành công nhất, từ đó mà mở rộng phạm vi. Đánh giá còn cho phép xác định những nhược điểm hay chồng chéo để cải thiện, loại bỏ bớt dịch vụ hay giới thiệu đối tượng tới cơ sở khác. Đánh giá quy trình và kết quả chương trình được sử dụng để xác định hiệu quả. Đánh giá giúp duy trì trách nhiệm giải trình của dự án. Người sử dụng kết quả đánh giá có quan tâm đến vấn đề trách nhiệm giải trình thường là người bên ngoài chương trình, chẳng hạn, các tổ chức tài trợ, quan chức được bầu, các cấp hoạch định chính sách khác. Câu hỏi tư duy 2: Cơ quan bạn có năng lực thế nào trong nghiên cứu, đánh giá? Bạn có thể hợp tác với đối tác nào để nâng cao kỹ năng nhân viên?

5. Các vấn đề triển khai liên quan đến Đánh giá, Nghiên cứu Mục tiêu của phần này không phải là đề cập đến toàn bộ các vấn đề triển khai có liên quan đến đánh giá, nghiên cứu. Đã có một số tài liệu được soạn thảo và công bố trên trang Thư viện điện tử (http://gametlibrary. worldbank.org). Tuy nhiên, ở đây, chúng tôi xin được thảo luận 4 vấn đề cơ bản về đánh giá, nghiên cứu là khi nào cần thực hiện nghiên cứu, xây dựng TOR, các tiêu chuẩn đạo đức và sử dụng kết quả nghiên cứu.

5.1. Thời điểm thiết kế đánh giá, nghiên cứu Việc quyết định khi nào, như thế nào và loại nghiên cứu, đánh giá nào cần thực hiện đều ảnh hưởng đến ngân sách cần có. Đây chỉ là một trong những lý do cho thấy vì sao thời điểm xây dựng đánh giá, nghiên cứu lại được coi là quan trọng. Rất nhiều trường hợp, nhu cầu đánh giá chỉ được nhận ra sau khi dự án đã bắt đầu khi toàn bộ ngân sách đã được phân bổ cho các hoạt động khác. Ở giai đoạn này có thể đã quá muộn để có thể sử dụng thiết kế ngẫu nhiên hay xác định quần thể, cũng như cơ hội thu thập dữ liệu ban đầu đã trôi qua. Nếu sớm có sự cân nhắc trong giai đoạn lập kế hoạch thì có thể tránh được những vấn đề tương tự về sau và cho phép tiến hành nghiên cứu, đánh giá hiệu quả và có kết quả tốt hơn.

5.2. Thời điểm thiết kế đánh giá, nghiên cứu Chương 11

Đánh giá gần như là những chỉ thị đối với người thực hiện đánh giá đó. Các đánh giá thường không đạt được mục tiêu đề ra (là tạo ảnh hưởng trong triển khai và lập kế hoạch) do đánh giá đó được thực hiện ở thời điểm không thích

372

Triển khai các hệ thống Theo dõi và Đánh giá

hợp hay các vấn đề đánh giá chưa đủ cụ thể hay tương xứng với những câu trả lời mà người ra quyết định hay khởi xướng chương trình đòi hỏi, hoặc do người đánh giá không tiếp cận được toàn bộ thông tin cần thiết. Có thể tránh được nhiều vấn đề nếu có được một bản Danh mục Yêu cầu chính xác cho hoạt động đánh giá. Danh mục yêu cầu này đề ra những tiêu chuẩn cho toàn bộ hoạt động đánh giá và là xuất phát điểm của người đánh giá. Đây cũng là công cụ cần sử dụng để xác định chất lượng của các đầu ra của người đánh giá. Nếu TOR không rõ ràng, thiếu cụ thể, không đầy đủ hay thiếu cập nhật thì đánh giá khó có thể thành công hoặc đem lại sự cải thiện cho chương trình. Để hỗ trợ quá trình xây dựng TOR, Phụ lục B cung cấp hướng dẫn từng bước trong xây dựng TOR đánh giá có chất lượng cao.

5.3. Tiêu chuẩn đạo đức trong đánh giá, nghiên cứu Đạo đức là gì? Đạo đức trong đánh giá, nghiên cứu là “các tiêu chuẩn hành vi phân biệt giữa hành vi chấp nhận được và không chấp nhận được” (Resnik, 2007:1) khi thực hiện nghiên cứu hay đánh giá. Vì sao cần có đạo đức? Tuân thủ các tiêu chuẩn đạo đức trong đánh giá, nghiên cứu là điều cần thiết vì một số lý do. Trước hết và trên hết, vấn đề đạo đức được đề ra để bảo vệ các cá nhân tham gia hoạt động nghiên cứu hay đánh giá (đối tượng nghiên cứu/đánh giá). Tiêu chuẩn đạo đức cũng khuyến khích người nghiên cứu và đánh giá tuân thủ các quy trình nhằm giảm thiểu/tránh sai sót (cũng như khuyến khích hoạt động nghiên cứu/đánh giá hướng tới việc đạt được các mục tiêu đề ra), tăng cường sự tin tưởng và tôn trọng (và từ đó là sự hợp tác) giữa các thành viên trong cùng hay khác nhóm nghiên cứu/đánh giá, giúp người nghiên cứu và đánh giá thực hiện trách nhiệm giải trình trước công chúng, giúp huy động sự hỗ trợ của công chúng đối với hoạt động nghiên cứu, đánh giá, và khuyến khích áp dụng các tiêu chuẩn và giá trị xã hội quan trọng trong xã hội (AfrEA 2006, Resnik, 2007). Dự án nghiên cứu/đánh giá của tôi cần áp dụng những nguyên tắc nào để bảo đảm tiêu chuẩn đạo đức? Tuyên bố Helsinki của Hiệp hội Y khoa thế giới (WMA), là một bộ nguyên tắc đạo đức dành cho cộng đồng y khoa trong thí nghiệm trên người. Tuyên bố này được thừa nhận rộng rãi là một tài liệu căn bản về đạo đức nghiên cứu ở người (WMA 2000, Bošnjak 2001, Tyebkhan 2003). Một số nước cũng đã xây dựng những tiêu chuẩn đạo đức tương tự. Chẳng hạn, năm 1979, Ủy ban Bảo vệ người tham gia Nghiên cứu Sinh học và Hành vi Quốc gia Mỹ đã xây dựng các “nguyên tắc Belmont” về đạo đức nghiên cứu (Báo cáo Belmont, 1979). Theo các nguyên tắc Belmont, mọi hoạt động nghiên cứu phải: Tôn trọng con người: Các cá nhân tham gia phải được đối xử như những tác nhân tự chủ, trong đó những người kém khả năng tự chủ được bảo vệ.

Lòng nhân đạo: Hai nguyên tắc chung bảo đảm tính nhân đạo trong hoạt động là: tối đa hóa lợi ích và giảm thiểu tác hại.

Đánh giá và Nghiên cứu

Chương 11

373

Công bằng: Để quyết định ai được hưởng lợi ích từ nghiên cứu và ai là người gánh chịu hậu quả, ta phải dựa trên một (hay nhiều) các quan niệm sau: phân chia công bằng đối với từng người, phân chia cho từng người dựa trên nhu cầu cá nhân, phân chia cho từng người dựa trên nỗ lực cá nhân, phân chia cho từng người dựa trên mức đóng góp xã hội, và phân chia cho từng người theo giá trị.

Trên thực tế, các nguyên tắc Belmont đặt 3 trọng trách sau lên vai nhà nghiên cứu: phải có được sự đồng ý với đầy đủ thông tin về đối tượng nghiên cứu, kể cả các nguy cơ và lợi ích liên lạc; tiếp cận và tối đa hóa lợi ích và giảm thiểu nguy cơ trong thiết kế nghiên cứu; và lựa chọn đối tượng dựa trên các nguyên tắc công bằng. Bằng nguyên tắc Belmont và các nguyên tắc khác, Shamoo và Resnik (2003) đề xuất ra các tiêu chí về hành vi đạo đức trong nghiên cứu áp dụng trên một mức độ nào đó cho cả hoạt động đánh giá. Pimple (2002) cho rằng một nghiên cứu có đạo đức phải thỏa mãn 3 tiêu chí cơ bản sau: “Sự thật, bình đẳng và sáng suốt?”. Bảng C11-3: Các nguyên tắc đạo đức trong Đánh giá, Nghiên cứu: Tiêu chí, nguyên tắc, lý do Nguyên tắc đạo đức

Lý do

Chương 11

A: Đây có phải sự thật không?

374

Sự trung thực

Cố gắng bảo đảm sự trung thực trong mọi thông tin khoa học. Báo cáo trung thực số liệu, kết quả, phương pháp, quy trình, ẩn bản. Không thêu dệt, làm giả hay diễn giải sai lệch số liệu. Không lừa dối đồng nghiệp, tổ chức tài trợ hay công chúng.

Sự cẩn trọng

Tránh sai sót do bất cẩn, sơ suất; kiểm tra cẩn thận, tỉ mỉ công việc của bản thân và đồng nghiệp. Ghi chép đầy đủ các hoạt động nghiên cứu, đánh giá, như thu thập số liệu, thiết kế nghiên cứu/đánh giá, trao đổi thư tín.

Năng lực

Duy trì và nâng cao năng lực chuyên môn thông qua đào tạo, tập huấn thường xuyên; từng bước nâng cao năng lực khoa học nói chung.

Tính ngay thẳng

Giữ lời hứa và tôn trọng thỏa thuận; hành xử ngay thật; cố gắng bảo đảm sự nhất quán trong suy nghĩ, hành động.

Sự khách quan

Cố gắng tránh thiên vị trong thiết kế nghiên cứu/đánh giá, phân tích, diễn giải số liệu, đánh giá chuyên đề, quyết định nhân sự, tài trợ, chứng nhận chuyên môn và các lĩnh vực nghiên cứu/đánh giá khác khi cần phải có sự khách quan. Tránh hay giảm thiểu sự thiên vị hay tự lừa dối. Công bố những thông tin về lợi ích cá nhân hay kinh tế có ảnh hưởng đến nghiên cứu hay đánh giá.

Triển khai các hệ thống Theo dõi và Đánh giá

Nguyên tắc đạo đức

Lý do

B: Có công bằng không? Bí mật thông tin

Bảo vệ bí mật thông tin, như giấy tờ, giấy phép nộp xuất bản, hồ sơ cá nhân, bí quyết thương mại, bí mật quân sự, hồ sơ bệnh án.

Bảo vệ đối tượng là con người

Khi thực hiện nghiên cứu trên đối tượng con người cần giảm thiểu tác hại và nguy cơ, tối đa hóa lợi ích; tôn trọng nhân phẩm, đời tư, sự tự chủ của con người; hết sức thận trọng với các đối tượng dân cư nhạy cảm; cố gắng phân phối công bằng lợi ích và trách nhiệm nghiên cứu.

Tính pháp lý

Biết và tuân thủ luật pháp và chính sách liên quan của cơ sở, chính phủ.

Không phân biệt đối xử

Tránh phân biệt đối xử đối với đồng nghiệp, sinh viên do những lý do như giới tính, chủng tộc, dân tộc hay các yếu tố khác không liên quan đến năng lực hay tư chất khoa học.

Công khai

Chia sẽ dữ liệu, kết quả, ý tưởng, công cụ, nguồn lực; Sẵn sàng lắng nghe phê bình và ý kiến mới.

Tôn trọng đồng nghiệp

Tôn trọng đồng nghiệp và đối xử công bằng với đồng nghiệp.

Tôn trọng Sở hữu Trí tuệ

Tôn trọng bằng sáng chế, bản quyền, các dạng sở hữu trí tuệ khác. Không sử dụng dữ liệu, phương pháp, hay kết quả chưa công bố mà chưa được phép. Khen thưởng thích đáng. Ghi nhận và khen thưởng hợp lý mọi đóng góp cho nghiên cứu, đánh giá. Cấm ăn cắp bản quyền.

C: Có sáng suốt không? Trách nhiệm xã hội và tăng cường quyết sách

Cố gắng khuếch trương cái tốt trong xã hội và ngăn chặn hay giảm thiểu tác hại xã hội thông qua nghiên cứu, đánh giá, giáo dục công chúng và tuyên truyền, vận động.

Trách nhiệm đào tạo

Góp phần giáo dục, đào tạo, tư vấn cho các thành viên trong nhóm và những đối tượng khác dưới quyền trong quá trình đánh giá, nghiên cứu. Khuyến khích lợi ích và cho phép những người này được có những quyết định riêng.

Trách nhiệm công bố

Công bố kết quả để nâng cao kiến thức và học hành, chứ không phải để mưu cầu thăng tiến cho bản thân. Tránh xuất bản lãng phí, lặp lại.

Nguồn: Phỏng theo Pimple (2002), Shamoo và Resnik (2003), Resnik (2007)

Đánh giá và Nghiên cứu

Chương 11

CHÚ THÍCH: Tuy đánh giá không phải lúc nào cũng có những quy trình kỹ càng tương tự như nghiên cứu nhưng các nguyên tắc đạo đức nêu trong Bảng C11-2 vẫn có giá trị áp dụng. Ngay một dự án dựa trên cộng đồng cũng phải bảo đảm rằng hoạt động đánh giá của mình là đúng sự thật, công bằng và sáng suốt. 375

Ở đâu/làm thế nào để có được các tiêu chuẩn đạo đức áp dụng cho nước tôi hay dự án của tôi? Một trong những câu hỏi thường gặp khi đọc đến đoạn này là liệu ở nước bạn có những nguyên tắc đạo đức trong nghiên cứu, đánh giá như trên hay không. Nhiều nước đã xây dựng hướng dẫn quốc gia hay tiêu chuẩn đạo đức dành cho người nghiên cứu, thường dưới dạng luật, chính sách quốc gia hay các ủy ban đạo đức nhà nước (ví dụ, xem CH Séc, 2006). Một số đơn vị còn có quy tắc đạo đức riêng (ví dụ, tham khảo FHI, 2001). Hãy hỏi các nhà nghiên cứu có kinh nghiệm để biết được có quy tắc đạo đức cụ thể nào của đơn vị mình hay trong nước có ủy ban quy tắc đạo đức quốc gia hay không. Việc thành lập một ủy ban phê duyệt đạo đức nhà nước là một quá trình phức tạp nhưng là việc mà các đối tác nghiên cứu quốc tế rất ủng hộ. Ủy ban này không nhất thiết phải quá phức tạp hay cần các thành viên phải có chuyên môn sâu rộng mà phải có đại diện hợp pháp từ các tổ chức xã hội và quan trọng hơn nữa là từ các cấp lãnh đạo cao nhất của chính phủ. Nếu không có các quy tắc hay tiêu chuẩn đạo đức thì sẽ khó bảo đảm tính đạo đức trong hoạt động nghiên cứu, đánh giá. Chẳng hạn, ta có thể yêu cầu mọi thành viên nhóm điền vào bản Trích ngang về Tập huấn Đạo đức trong nghiên cứu (xem http://www.f hi.org/training/en/RETC/) hoặc có thể đưa sẵn các tiêu chuẩn đạo đức vào TOR đánh giá, nghiên cứu. Trên trang web của Phòng Nghiên cứu Đối tượng người, Viện Y tế Quốc gia Hoa Kỳ cũng có các nguồn thông tin hữu ích khác. Các dự án nghiên cứu được thực hiện bằng nguồn vốn của chính phủ liên bang Mỹ đều phải đăng ký với cơ quan này. Truy cập trang http:// ohsr.od.nih.gov/ guidelines/index.html để biết thêm thông tin. Xin lưu ý rằng danh mục nguồn về các tiêu chuẩn đạo đức trong nghiên cứu, đánh giá chỉ là xuất phát điểm để một quốc gia hay dự án xem xét. Có thể tìm thêm thông tin về vấn đề đạo đức tại Thư viện nguồn GS&ĐG GAMET, địa chỉ http://gametlibrary.worldbank.org .

5.4. Sử dụng kết quả đánh giá, nghiên cứu Để sử dụng được kết quả đánh giá, nghiên cứu và tác động đến các quyết định đưa ra về chương trình, người ra quyết định cần hấp thụ những kiến thức mới (học hỏi). Để làm được điều này đòi hỏi phải có chiến lược phổ biến chặt chẽ và phối hợp hoạt động để chuyển hóa hay giải thích kết quả nghiên cứu để có thể ứng dụng được. Việc chuyển hóa và sử dụng kết quả nghiên cứu đòi hỏi người có kỹ năng viết để chuyển những tài liệu kỹ thuật sang ngôn ngữ ít học thuật hơn cũng như phải có các diễn đàn để chia sẻ những tài liệu này. Ngoài ra còn cần có sự tâm huyết của người quản lý chương trình ở các cấp trong học hỏi và ứng dụng các kết quả này.

Chương 11

Phụ lục C trình bày khung khái niệm sử dụng để đưa các kết quả vào chính sách và thực tiễn (GRIPP), cũng như một ví dụ từ Swaziland trong đó có sử dụng khung khái niệm này để lên kế hoạch sử dụng các kết quả nghiên cứu ngay từ đầu trong khuôn khổ kế hoạch nghiên cứu.

376

Triển khai các hệ thống Theo dõi và Đánh giá

6. Hướng dẫn thực hành C11-1: Lập Chiến lược Đánh giá, Nghiên cứu quốc gia Bước 1:

Tìm nơi lưu trữ Chiến lược Đánh giá, Nghiên cứu Quốc gia

Bước đầu tiên là thảo luận và nhất trí nơi cất giữ Chiến lược Đánh giá, Nghiên cứu Quốc gia. Nơi lưu trữ chiến lược này cũng có vai trò ủng hộ chiến lược và quá trình triển khai chiến lược. Nơi tốt nhất để cất giữ chiến lược nghiên cứu, đánh giá tùy thuộc vào một số yếu tố cấp quốc gia. Các yếu tố kỹ thuật bao gồm tính chất của chiến lược (đây là chiến lược của một ngành như ngành nông nghiệp chẳng hạn, có thể được lưu trữ ở bộ ngành tương ứng, hay một chiến lược quốc gia áp dụng cho mọi ngành trong nước) và phạm vi các cơ quan tham gia nghiên cứu, đánh giá (ví dụ: trong nước có ủy ban nghiên cứu quốc gia, các viện nghiên cứu đặt tại trường đại học hay một ủy ban nghiên cứu y khoa quốc gia không?). Các yếu tố chính trị bao gồm sự sẵn sàng của các cơ quan muốn trở thành nơi lưu trữ chiến lược. Sẵn sàng ở đây có nghĩa là sự nhiệt tình, quyết tâm và tự giác của lãnh đạo cơ quan muốn đảm nhận và tham gia vào hoạt động nghiên cứu, đánh giá.

Bước 2:

Huy động sự tham gia của giới chức chính trị và lãnh đạo

Ban lãnh đạo cần chỉ đạo quá trình xây dựng chiến lược đánh giá và nghiên cứu quốc gia, cũng như hỗ trợ việc sử dụng các kết quả. Bằng cách ủng hộ việc áp dụng chiến lược đánh giá, nghiên cứu quốc gia, cơ quan lưu trữ (xem Bước 1) có thể hợp tác với các cơ sở giáo dục, sử dụng kết quả đánh giá để làm rõ những khó khăn trong nghiên cứu chương trình trong nước, đồng thời dẫn chiếu đến kết quả của các nước đã triển khai thành công các chiến lược này. Cơ quan lưu trữ cũng có thể nêu bật những lợi ích của chiến lược đánh giá, nghiên cứu quốc gia nhằm tăng cường cung cấp dữ liệu; hiệu quả chương trình; hiệu quả sử dụng ngân sách dành cho nghiên cứu hiện có; và tăng cường bảo vệ các quyền con người bằng cách bảo đảm để mọi hoạt động nghiên cứu được thực hiện theo đúng các quy chế đạo đức. Khi ban lãnh đạo đã thông qua khái niệm, nhóm kỹ thuật cần yêu cầu ban lãnh đạo có hướng dẫn cụ thể về: •

Ngân sách thực hiện đánh giá nghiên cứu và xây dựng chiến lược.

•

Đề cử nhóm cố vấn kỹ thuật thực hiện theo dõi đánh giá nghiên cứu và xây dựng chiến lược đánh giá, nghiên cứu.

•

Quyền hạn phê duyệt đánh giá nghiên cứu và các bước cần áp dụng khi lập chiến lược đánh giá, nghiên cứu.

•

Ngân sách thực thi chiến lược, kể cả việc đề cử cán bộ nghiên cứu. Chương 11

Đánh giá và Nghiên cứu

377

Kết quả: Nguyên tắc xây dựng chiến lược đánh giá, nghiên cứu quốc gia.

Bước 3:

Lập nhóm cố vấn kỹ thuật xem xét nghiên cứu, đánh giá

Nhóm cố vấn kỹ thuật cần đại diện cho những bên liên quan tham gia hoạt động đánh giá, nghiên cứu trong nước và có thể bao gồm Ủy ban Nghiên cứu Quốc gia, các cơ sở đào tạo và nghiên cứu, các ban nghiên cứu khác, các ban phê duyệt đạo đức trong nước, các quan chức chính phủ liên quan cũng như đại diện của các cơ quan liên quan chính. Ở nhiều nước, các bên liên quan chính bao gồm đại diện của các cơ sở đào tạo nước ngoài có tiền sử/quan tâm đến hoạt động nghiên cứu trong nước. Đây thường là một nguồn nâng cao năng lực, hỗ trợ kỹ thuật và ngân sách đáng kể cho hoạt động nghiên cứu. Đại diện tại chỗ của một số tổ chức phát triển quốc tế cũng cần tham gia như các đối tác phát triển gồm các cơ quan LHQ liên quan, các đối tác kỹ thuật, các NGO trong nước và quốc tế tham gia hoạt động đánh giá, nghiên cứu. Kết quả: Danh sách thành viên nhóm cố vấn kỹ thuật. (những thành viên này cần đại diện cho các bên liên quan tham gia hoạt động nghiên cứu liên quan đến tổ chức và/hoặc các chương trình.) Nguyên tắc xây dựng chiến lược đánh giá, nghiên cứu quốc gia.

Bước 4:

Tiến hành xem xét nghiên cứu, đánh giá

Chương 11

Trước tiên, rà soát những thông tin và kiến thức nhóm cố vấn kỹ thuật được tiếp cận:

378

•

Có sẵn danh sách nghiên cứu trong chương trình và danh sách người nghiên cứu, đánh giá chưa?

•

Những nghiên cứu này đã được khảo sát chuyên môn và công bố chưa?

•

Đã có ban nghiên cứu chưa? Nếu có, ban này có nhiệm vụ gì và hoạt động như thế nào?

•

Đã có các tiêu chuẩn chính thức về đánh giá, nghiên cứu trong nước chưa?

•

Trong nước đã có lịch trình ưu tiên đánh giá, nghiên cứu chưa?

•

Đã có quy trình phê duyệt đạo đức nghiên cứu chưa? Nếu có, quy trình này vận hành thế nào?

•

Kết quả đánh giá, nghiên cứu được phổ biến ra sao?

•

Ai có nhiệm vụ (theo chính sách, luật định) điều phối đánh giá, nghiên cứu?

•

Đây là nhiệm vụ ở cấp quốc gia, đa ngành hay trong nội bộ một hay nhiều ngành cụ thể?

Triển khai các hệ thống Theo dõi và Đánh giá

•

Đã có những kế hoạch đánh giá, nghiên cứu nào?

•

Đã có nguồn vốn nào phục vụ đánh giá, nghiên cứu?

•

Làm thế nào để nâng cao năng lực đánh giá, nghiên cứu?

•

Trong nước hiện có đủ năng lực thực hiện tập huấn, đào tạo về đánh giá, nghiên cứu hay không?

Nếu nhóm cố vấn không có câu trả lời cho những câu hỏi này thì cần tiến hành thẩm định nghiên cứu, đánh giá chính thức. Công tác thẩm định cần tập trung vào: •

Lập danh sách nghiên cứu, đánh giá và người làm nghiên cứu, đánh giá (các nghiên cứu đã thực hiện, cơ chế khảo sát chuyên ngành và kết quả nghiên cứu có được công bố hay không/như thế nào?).

•

Tìm hiểu xem đã có ban nghiên cứu quốc gia chưa và ban này có hoạt động thực sự không.

•

Thu thập thông tin về các hoạt động trước đây trong điều phối hoạt động nghiên cứu giữa các cơ sở giáo dục đại học và điều phối hoạt động đánh giá.

•

Tìm hiểu xem có hội nghị nghiên cứu và phương thức phổ biến kết quả đánh giá, nghiên cứu chưa.

•

Xác định các bước thích hợp để xây dựng chiến lược, lịch trình đánh giá, nghiên cứu.

•

Định nghĩa các giải pháp quản trị hoạt động đánh giá, nghiên cứu trong nước.

CHÚ THÍCH: Thẩm định chính thức như trình bày ở trên là một phương án. Nếu trong nước đã có đủ thông tin về nghiên cứu, đánh giá thì không cần tiến hành thẩm định. Kết quả: Kết quả thẩm định nghiên cứu, đánh giá; kiến thức sử dụng để xây dựng chiến lược.

Bước 5:

Hoàn chỉnh các bước lập chiến lược đánh giá, nghiên cứu cùng nhóm cố vấn kỹ thuật

Thẩm định nghiên cứu sẽ quyết định các bước cần thực hiện khi xây dựng chiến lược nghiên cứu quốc gia. Ta cần thảo luận những bước này với nhóm cố vấn nghiên cứu và nhất trí về cơ chế phê duyệt chiến lược. Kết quả: Các bước xây dựng chiến lược nghiên cứu. Chương 11

Đánh giá và Nghiên cứu

379

Bước 6:

Tập hợp nhóm khảo sát chuyên môn để xem xét chiến lược đánh giá, nghiên cứu

Cần làm rõ nhóm nào chịu trách nhiệm giám sát hoạt động xây dựng chiến lược nghiên cứu và phê duyệt chiến lược. Có thể sẽ có khó khăn nếu hoạt động đánh giá, nghiên cứu có liên quan đến nhiều hơn một ngành. Kết quả: Thành lập nhóm khảo sát chuyên ngành.

Bước 7:

Huy động nguồn lực và hỗ trợ kỹ thuật để lập chiến lược đánh giá, nghiên cứu

Cần xây dựng, phê duyệt kế hoạch ngân sách và kế hoạch hoạt động, cũng như huy động nguồn lực. Kết quả: Có kế hoạch hoạt động kèm chi phí và ngân sách thực hiện.

Bước 8:

Lập chiến lược đánh giá, nghiên cứu

Các bước xây dựng tùy thuộc vào những gì đã thống nhất với nhóm cố vấn trong Bước 4. Trong Thư viện nguồn GS&ĐG điện tử có TOR mẫu dùng cho việc lập chiến lược nghiên cứu và ví dụ về chiến lược nghiên cứu đã hoàn thiện (http:// gametlibrary.worldbank.org).

Chương 11

Chiến lược phải gồm ít nhất những nội dung sau:

380

•

Các loại đánh giá, nghiên cứu thuộc phạm vi điều chỉnh của chiến lược.

•

Luật, quy chế liên quan.

•

Hướng dẫn và nguyên tắc đạo đức áp dụng cho mọi hoạt động nghiên cứu chương trình trong nước.

•

Yêu cầu tối thiểu trong điều phối đánh giá, nghiên cứu.

•

Yêu cầu tối thiểu trong phê duyệt đánh giá, nghiên cứu.

•

Các quy trình khảo sát chuyên ngành (khi đối tượng nghiên cứu là con người).

•

yêu cầu tối thiểu trong khảo sát chuyên ngành về đánh giá, nghiên cứu.

•

Yêu cầu tối thiểu trong phổ biến kết quả ở cấp quốc gia, địa phương và cấp ngành.

•

Các quy trình xây dựng, bổ sung chiến lược đánh giá, nghiên cứu.

•

Các quy trình cập nhật danh mục đánh giá, nghiên cứu.

•

Đề xuất các yêu cầu ngân sách tối thiểu trong đánh giá, nghiên cứu chương trình.

Triển khai các hệ thống Theo dõi và Đánh giá

•

Mối liên hệ giữa các tổ chức nghiên cứu.

•

Các cơ chế giảm thiểu sự trùng lặp trong đánh giá, nghiên cứu, nhất là ở cấp dự án và địa phương.

Kết quả: Chiến lược đánh giá, nghiên cứu.

Bước 9:

Phê duyệt chiến lược đánh giá, nghiên cứu

Cơ quan chịu trách nhiệm điều phối một chương trình nhất định có lẽ là cơ quan thích hợp nhất trong điều phối triển khai chiến lược đánh giá, nghiên cứu chương trình. Cần xác định xem cơ quan này có chức năng này hay chưa. Thẩm định nghiên cứu là biện pháp lý tưởng để làm rõ nhiệm vụ này. Kết quả: Phê duyệt chiến lược đánh giá, nghiên cứu (bởi cơ quan chịu trách nhiệm điều phối triển khai).

Bước 10:

Phổ biến rộng rãi chiến lược

Cần phổ biến chiến lược đánh giá, nghiên cứu tới các bên liên quan thực hiện lưu trữ, lập kế hoạch, tài trợ, thực hiện và sử dụng kết quả đánh giá, nghiên cứu chương trình, bao gồm: •

Các thư viện đại học

•

Cơ quan lưu trữ nhà nước

•

Cơ sở nghiên cứu trong nước và quốc tế

•

Các trường đại học tại chỗ và khu vực

•

Các đối tác phát triển

•

Các đơn vị triển khai chương trình

•

Các tổ chức xã hội chính

Kết quả: Phổ biến chiến lược tới các bên liên quan (kể cả đăng trên các trang web thích hợp).

7. Hướng dẫn thực hành C11-2: Lập hay Bổ sung Chương trình Đánh giá, Nghiên cứu Quốc gia

Đánh giá và Nghiên cứu

Chương 11

Quá trình này thường được thực hiện cùng với việc lập chiến lược đánh giá, nghiên cứu (xem Hướng dẫn C11-1). Tuy nhiên, các bước đã được trình bày tách biệt vì có nước có thể chọn cách xây dựng chương trình này trước hoặc có thể đã có chiến lược đánh giá, nghiên cứu rồi.

381

Bước 1:

Lập danh sách các đánh giá, nghiên cứu chương trình đã thực hiện

•

Bước này có thể làm chung với Bước 2 trong lập chiến lược đánh giá, nghiên cứu nếu chưa có danh sách này. Danh sách chi tiết gồm toàn bộ các đánh giá, nghiên cứu này sẽ có ích trong các bước sau.

•

Nếu đã có sẵn danh sách thì cần xác định danh sách được bổ sung bao lâu một lần. Nếu danh sách được bổ sung thường xuyên thì không cần bổ sung thêm.

•

Nếu đã có danh sách nhưng chưa bổ sung thì cần ưu tiên bổ sung trước khi xây dựng lịch trình nghiên cứu mới.

•

Có thể tìm các bài viết, báo cáo từ các tạp chí chuyên ngành, nhà nghiên cứu, trang web. (www.google.scholar.com là một công cụ tốt để tìm các trang web.)

Kết quả: Danh sách cập nhật các đánh giá và nghiên cứu chương trình tìm được trên mạng và từ các nguồn khác.

Bước 2:

Phân nhóm, xếp loại các nghiên cứu đã được thực hiện để xác định các chủ đề chính

Có thể nhóm các nghiên cứu một cách khoa học theo tầng lớp dân cư; khu vực địa lý; loại dịch vụ chương trình được đánh giá/nghiên cứu; hay kết hợp các tiêu chí trên. Chuẩn hóa cách phân loại đề mục trong danh sách sẽ giúp việc phân nhóm đánh giá/nghiên cứu và xác định các chủ đề chính dễ dàng hơn. Kết quả: Mọi đề mục được phân nhóm và sắp xếp (theo các nhóm đã thống nhất) trong danh mục.

Bước 3:

Xem xét những bằng chứng mới nhất về các chương trình đang triển khai

Chương 11

Xem xét các yếu tố thúc đẩy hay cản trở quá trình thực hiện mục tiêu chương trình, đánh giá chương trình mới nhất, đánh giá hệ thống GS&ĐG mới nhất, chính sách và các tuyên bố đồng thuận mới nhất của các cơ quan kỹ thuật liên quan.

382

•

Những thông tin gì đã biết và chưa biết?

•

Những nội dung nào đã được nghiên cứu nhưng chưa được phổ biến?

•

Những gì còn chưa biết rõ, chưa được nghiên cứu, nhưng quan trọng đối với việc thực hiện mục tiêu chương trình (đây sẽ là nội dung của chương trình nghiên cứu).

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả: Kiến thức và cân nhắc về các nghiên cứu, bằng chứng hiện có/mới nhất để cung cấp thông tin cho quy trình.

Bước 4:

Đánh dấu những câu hỏi đánh giá, nghiên cứu chưa được giải đáp

Dựa trên biểu đồ xác định được ở Bước 3, các câu hỏi đánh giá/nghiên cứu quan trọng chưa có lời giải cần được đánh dấu cẩn thận. Những câu hỏi này là cơ sở để xây dựng lịch trình đánh giá/nghiên cứu. ERL sẽ cung cấp thêm thông tin về cách đặt câu hỏi đánh giá/nghiên cứu. Kết quả: Đánh dấu được các câu hỏi đánh giá/nghiên cứu quan trọng chưa có lời giải đáp.

Bước 5:

Công bố chương trình

Cần phổ biến chương trình đánh giá, nghiên cứu tới các bên liên quan thực hiện công tác lưu trữ, lập kế hoạch, thực hiện và sử dụng kết quả nghiên cứu, bao gồm: •

Các thư viện đại học

•

Cơ quan lưu trữ nhà nước

•

Cơ sở nghiên cứu trong nước và quốc tế

•

Các trường đại học tại chỗ và khu vực

•

Các đối tác phát triển

•

Các đơn vị triển khai chương trình

•

Các tổ chức xã hội chính

Kết quả: Phổ biến chương trình đánh giá, nghiên cứu đã công bố tới các bên liên quan xác định.

Bước 6:

Thực hiện đánh giá, nghiên cứu

Sau khi lịch trình đã được phê duyệt, ta sẽ tiến hành thực hiện nghiên cứu, đánh giá: Chính thức hóa (và thể chế hóa nếu cần) cơ chế điều phốihoạt động đánh giá, nghiên cứu chương trình.

Lập kế hoạch và ước tính chi phí triển khai chiến lược, đưa các chi phí này vào các kế hoạch thực hiện quốc gia tương ứng.

Huy động nguồn lực thực hiện đánh giá, nghiên cứu.

Đánh giá và Nghiên cứu

Chương 11

383

Thiết lập cơ chế duy trì, cập nhật điện tử danh sách đánh giá, nghiên cứu.

Huy động nguồn lực đánh giá, nghiên cứu thường là một khó khăn lớn. Sau đây là những phương pháp có thể áp dụng: a)

Bảo đảm để các dự án mới có ngân sách riêng cho đánh giá, nghiên cứu.

Coi đánh giá, nghiên cứu là một phần trong các đề xuất hỗ trợ gửi đối tác phát triển.

Hợp tác chặt chẽ với các tổ chức quốc tế đã tham gia lâu năm trong hoạt động nghiên cứu nhằm lập lịch trình và kế hoạch thực hiện chung.

Vận động trong cơ quan bộ tăng phân bổ ngân sách quốc gia cho đánh giá, nghiên cứu (ví dụ: phân bổ cho một cơ quan nghiên cứu quốc gia hay coi như một lĩnh vực tài trợ của vụ, cục).

Quy định cụ thể nhiệm vụ khảo sát nguồn tài trợ nghiên cứu quốc tế thường xuyên và thông báo các ưu tiên nghiên cứu và đề xuất phù hợp với quốc gia hay dự án.

Nâng cao năng lực nghiên cứu, đánh giá: Một trong những khó khăn chính trong nghiên cứu, đánh giá là tình trạng thiếu năng lực, kinh nghiệm trong thực hiện nghiên cứu, đánh giá có chất lượng tốt. Có một số cơ chế để nâng cao năng lực, kinh nghiệm, bao gồm nhưng không hạn chế ở: a)

Phối hợp với các tổ chức đào tạo/nghiên cứu quốc tế, cấp học bổng để một số nhà nghiên cứu trẻ đi học chuyên tu ở nước ngoài.

Xây dựng định hướng sự nghiệp và cơ chế rõ ràng để tiếp tục hỗ trợ các nhà nghiên cứu trong nước.

Xây dựng hay mở rộng chương trình đào tạo về đánh giá, nghiên cứu trong các khóa chuyên tu.

Kết quả: Triển khai được các công trình đánh giá, nghiên cứu và cải thiện được chương trình nhờ sử dụng các nghiên cứu trong quá trình ra quyết định.

Câu hỏi tư duy 3:

Chương 11

Đâu là những khó khăn dự kiến trong những bước xây dựng chiến lược và/ hoặc chương trình đánh giá, nghiên cứu quốc gia sau? Có thể xác định được những hỗ trợ nào giúp giải quyết những khó khăn này?

384

Triển khai các hệ thống Theo dõi và Đánh giá

8. Hướng dẫn C11-3: Triển khai đánh giá chương trình Đánh giá chương trình thường được thực hiện để xác định một hay nhiều nội dung sau (McNamara, 1997): •

Phản ứng và cảm giác (cảm giác thường là những chỉ số kém thuyết khi phục khi cho rằng dịch vụ có tác động lâu dài)

•

Học hỏi (thay đổi trong thái độ, nhận thức hay kiến thức)

•

Thay đổi trong kỹ năng hay hành vi

•

Hiệu quả (nâng cao hiệu quả hay kết quả nhờ thay đổi trong hành vi)

Có một số hướng dẫn đánh giá trình bày chi tiết cách thực hiện đánh giá chương trình. Trên trang web sau có hướng dẫn cơ bản về đánh giá chương trình: http:// www.managementhelp.org/evaluatn/fnl_eval.htm Ba công cụ sau sẽ rất hữu ích khi lập kế hoạch Đánh giá chương trình: a)

Bảng kiểm kế hoạch đánh giá chương trình: Bảng kiểm này được trình bày trong Phụ lục D của chương này, cung cấp một loạt các bước và câu hỏi giúp làm rõ mục đích và loại hình đánh giá và kỹ thuật thu thập số liệu.

Công cụ xây dựng TOR Đánh giá: Sau khi đã lên được kế hoạch về các nội dung cơ bản của đánh giá thì bước tiếp theo là viết Danh mục yêu cầu. Hướng dẫn trong Phụ lục B chương này cho ta quy trình lôgích từng bước trong xây dựng một TOR có chất lượng tốt dùng trong đánh giá chương trình.

Tiêu chí của một đánh giá tốt: Hội Đánh giá Châu Phi đã xây dựng các tiêu chí của một đánh giá tốt. Đây là một tiêu chuẩn hữu tích để đánh giá: i) TOR có được xác định rõ hay không; ii) đánh giá có được xây dựng hợp lý hay không; iii) đánh giá đã hoàn thành có được thực hiện tốt hay không. Các tiêu chí trên được xây dựng dựa trên 4 nguyên tắc sau: Nguyên tắc về tiện ích: Thông tin có được và các kết quả mong muốn và được cung cấp sẽ được sử dụng để cho biết đánh giá có tác động hay không. Cần xác định các bên liên quan, nhất là những người có khả năng sử dụng các kết quả. Sự rõ ràng, hình thức và việc phổ biến báo cáo sẽ khuyến khích và góp phần nâng cao kiến thức và uy tín của người đánh giá và nhóm đánh giá.

•

Tính khả thi: Tính thực tế, thận trọng, hiệu quả, bao quát nhu cầu về quy trình thực tiễn, tính khả thi về chính trị, thực hiện hiệu quả chi phí.

•

Tôn trọng các giá trị đạo đức: Tôn trọng các quy định pháp luật và đạo đức, kể cả yêu cầu về các thỏa thuận thực hiện đánh giá chính thức, tôn trọng quyền của các bên liên quan, minh bạch và khách quan khi thực hiện đánh giá.

•

Tính chính xác và chất lượng: Phương pháp phải phù hợp với mục tiêu và chủ đề đánh giá và phải bao gồm phân tích tình huống, có

Đánh giá và Nghiên cứu

Chương 11

•

385

mục tiêu xác định, có nguồn thông tin rõ ràng, thông tin đáng tin cậy, có phân tích định tính và định lượng kỹ càng, chính xác, có kết luận phù hợp và đề xuất thực tế dựa trên sự đồng thuận trong nhóm nghiên cứu. (AfrEA, 2006) Các tiêu chí của một đánh giá tốt, có liên hệ với 4 nguyên tắc trên, được tóm tắt trong Hướng dẫn Đánh giá Châu Phi được trình bày trong Phụ lục E.

9. Tóm tắt Kiến thức, Kỹ năng Chương 11 Trong chương này, ta đã học về những loại hình đánh giá, nghiên cứu khác nhau và cách phân biệt giữa đánh giá và nghiên cứu. Ta đã biết được đánh giá, nghiên cứu thường là hoạt động hay bị bỏ sót trong hệ thống GS&ĐG. Các hoạt động này cho phép ta xác định nhu cầu của tổ chức, các chương trình và cộng đồng, đều là những yếu tố chính để đạt được các kết quả và tác động chương trình tốt. Ta đã biết được đánh giá, nghiên cứu sẽ dẫn tới những hiểu biết quan trọng có ích với nhiều đối tượng khác ngoài tổ chức và lĩnh vực nghiên cứu của mình. Ta được học các nguyên tắc giúp người nghiên cứu hay đánh giá xác định được nghiên cứu hay đánh giá đó có bảo đảm tiêu chí đạo đức hay không. Ta đã được học lý thuyết và các bước thiết kế, xây dựng, triển khai chiến lược và lịch trình đánh giá, nghiên cứu quốc gia. Ta cũng đã biết được phải tìm hướng dẫn về cách thực hiện đánh giá chương trình và các nguồn lực giúp ta lập kế hoạch và triển khai thành công hoạt động đánh giá chương trình ở đâu.

10. Bài tập thực hành THỰC HÀNH 1:

HÀNH VI NGHIÊN CỨU, ĐÁNH GIÁ CÓ ĐẠO ĐỨC HAY KHÔNG CÓ ĐẠO ĐỨC?

Chương 11

Đọc các nguyên tắc đạo đức nêu trong Bảng C11-3, Phần 5.2, sau đó điền đầy đủ bảng dưới đây bằng cách đọc từng hành vi (cho biết một việc mà người đánh giá hay nghiên cứu giả định đã làm). Quyết định xem mỗi hoạt động có bảo đảm yếu tố đạo đức hay không (Cột 2), liệt kê nguyên tắc đạo đức đã được tuân thủ hay không (Cột 3). Ba dòng đầu đã được điền đủ làm mẫu:

386

Triển khai các hệ thống Theo dõi và Đánh giá

Hành vi

Đạo đức? CÓ hay KHÔNG

Nguyên tắc đạo đức có nguy cơ bị vi phạm

Công bố cùng một tài liệu trên hai tạp chí khác nhau nhưng không cho biên tập biết.

KHÔNG

Tính công khai

Thảo luận với đồng nghiệp các dữ liệu từ một tài liệu đồng nghiệp đó đang khảo sát cho một tạp chí.

KHÔNG

Tính ngay thẳng

Với tư cách đồng tác giả, thông báo cho tạp chí biết tác giả chính đã chấp nhận đưa thêm một đồng nghiệp vào vơi tư cách tác giả của tài liệu để đáp lại một ơn huệ cho dù đồng nghiệp đó không có đóng góp thực sự nào vào nghiên cứu.

CÓ

Tôn trọng đồng nghiệp

Loại bỏ các trường hợp cá biệt khỏi hệ dữ liệu nhưng không nêu lý do trong tài liệu. Trình bày mọi kết quả đánh giá, kể cả kết quả tiêu cực có ảnh hưởng đến khả năng kêu gọi vốn của quốc gia. Nhà sản xuất trả tiền cho bác sỹ để thử nghiệm một loại thuốc mới bằng cách kê đơn cho bệnh nhân. Đồng ý thực hiện khảo cứu chuyên ngành tác phẩm của một người trong khi đã biết người này trước đây từng bị phát hiện đạo văn. Sử dụng các kỹ thuật thống kê khác nhau để trình bày kết quả đánh giá theo những cách khác. Chỉ trình bày những số liệu có lợi trong đánh giá thực trạng (đánh giá định hình) khi xin tài trợ dự án mà bỏ qua những yếu tố khiến đề xuất ít hấp dẫn hơn. Thực hiện khảo cứu một tài liệu làm dẫn đề của một đánh giá không chịu công nhận đóng góp của những người khác trong ngành hay các hoạt động liên quan trước đây. Ngừng can thiệp trên nhóm đối chứng trong nghiên cứu (ví dụ: điều trị giang mai), cho dù thuốc điều trị (penicillin) đã được sử dụng rộng rãi. Tiến hành thử nghiệm để đánh giá hiệu quả của một loại thuốc chữa ung thư mới và đắt tiền chưa có trong nước bằng cách đối chiếu nhóm can thiệp với nhóm đối chứng được cấp giả dược. Nguồn: Tác giả

ĐIỂN HÌNH VỀ HÀNH VI NGHIÊN CỨU CÓ ĐẠO ĐỨC

Chương 11

THỰC HÀNH 2:

Đọc 4 nghiên cứu điểm dưới đây [nghiên cứu điểm của FHI (2001) và Resnik (2007)]. Trong mỗi trường hợp, suy nghĩ câu trả lời cho các câu hỏi sau từng trường hợp:

Đánh giá và Nghiên cứu

387

NGHIÊN CỨU ĐIỂM A: Trạm y tế nhà thờ là một giải pháp phổ biến cho nhiều người phàn nàn về dịch vụ nghèo nàn và thiếu bảo mật ở các cơ sở y tế công. Khi người nghiên cứu tiến hành điều tra hiệu quả của một chương trình tư vấn HIV và xử trí ca bệnh sau xét nghiệm mới, trạm y tế nhà thờ tỏ ra là một địa điểm hoàn hảo. Các nhân viên có trình độ của trạm y tế rất quan tâm và có sẵn kinh nghiệm triển khai nghiên cứu tương tự với các bệnh khác. Trạm khi đó đã là địa điểm xét nghiệm HIV được ưa chuộng trong thành phố. Sau khi đã thảo luận thêm với nhân viên của trạm y tế, ta được biết những nhân viên này không sẵn lòng phân phát bao cao su cho các bệnh nhân đã xét nghiệm, ngay cả những người có kết quả HIV dương tính. Tuy nghiên cứu của bạn không đòi hỏi phải phân phát bao cao su nhưng bạn cảm thấy báo động về tình trạng trạm y tế từ chối phát bao cao su cho bệnh nhân có HIV dương tính, do đó khiến bạn tình của những người này có nguy có nhiễm HIV. Câu hỏi về Nghiên cứu điểm A: 1.

Bạn có tiếp tục đưa trạm y tế này vào nghiên cứu của mình không?

Có cách hiệu quả nào khác để cung cấp bao cao su cho đối tượng nhiễm HIV không?

Thực nghiệm không phụ thuộc vào việc cung cấp bao cao su và vẫn có thể thực hiện được. Bạn có cảm thấy mình có nghĩa vụ đạo đức với đối tượng không?

NGHIÊN CỨU ĐIỂM B: TS. T vừa phát hiện ra một sai sót toán học trong một tài liệu đã được chấp nhận xuất bản trên một tạp chí. Sai sót này không ảnh hưởng đến kết quả chung của nghiên cứu nhưng có thể dẫn đến hiểu sai. Tờ tạp chí vừa được chuyển đến nhà in nên đã quá muộn để thông báo sai sót này trước khi được in ra. Để tránh mất mặt, TS. T quyết định lờ sai sót này đi.

Chương 11

Câu hỏi cho Nghiên cứu điểm B: 1.

Nguyên tắc đạo đức nào có nguy cơ bị vi phạm ở đây?

Nếu là bạn thì bạn sẽ làm gì trong trường hợp này? 2

Vì sao những gì TS. T đã làm lại có thể ảnh hưởng đến uy tín của ông này?

2 Chất diệt tinh trùng là những chất được sử dụng để diệt tinh trùng nam và thường được sử dụng như một dạng biện pháp ngừa thai ở phụ nữ. Chất diệt tinh trùng được bán không kê đơn ở nhiều nước và đã được nghiên cứu để đánh giá khả năng phòng ngừa HIV. 388

Triển khai các hệ thống Theo dõi và Đánh giá

NGHIÊN CỨU ĐIỂM C: Nonoxyl-9 (N-9), một loại thuốc diệt tinh trùng2 được sử dụng rộng rãi, đã có mặt trên thị trường trong 50 năm qua với kết quả xuất sắc về an toàn trong sử dụng (để ngừa thai). Sản phẩm này được cho là có hiệu quả trong các nghiên cứu xét nghiệm chống lại một số mầm bệnh quan trọng ngoài tác dụng chính, kể cả HIV. Nhiều thử nghiệm lâm sàng với N-9 đang được thực hiện để xác định hiệu quả trong phòng ngừa lây nhiễm mầm bệnh mới, trong đó có một số mầm bệnh dẫn tới tử vong. Tại một hội nghị quốc tế lớn, một nhà nghiên cứu đã trình bày phân tích sơ bộ về các kết quả số liệu trung gian từ một thử nghiệm ngẫu nhiên giai đoạn III, trong đó so sánh N-9 với một sản phẩm tương tự. Kết quả cho thấy nhóm phụ nữ sử dụng sản phẩm thử nghiệm có tỉ lệ mắc HIV cao hơn nhóm sử dụng sản phẩm so sánh. Hiện các cơ quan truyền thông, các tổ chức y tế quốc tế và y tế hàng đầu của Hoa Kỳ đã kêu gọi dừng tất cả các cuộc thử nghiệm lâm sàng đang triển khai và dự kiến có sử dụng thuốc N-9, đồng thời thông báo cho mọi phụ nữ tham gia thử nghiệm rằng họ có thể có nguy cơ nhiễm các bệnh nguy hiểm cao hơn. Bạn đang thực hiện một nghiên cứu về thử nghiệm N-9. Tuy nhiên, quần thể đối tượng của bạn khác xa so với quần thể tham gia thử nghiệm đã có kết quả. Câu hỏi về Nghiên cứu điểm C (Chọn câu trả lời phù hợp cho từng câu hỏi dưới đây): 1.

Bạn có tiếp tục nghiên cứu của mình không? b)

Không, chẳng có lý do gì để đặt đối tượng vào tình thế nguy hiểm.

Tiếp tục tiến hành nghiên cứu.

Tiếp tục nghiên cứu đã có kế hoạch hay đang triển khai nhưng sẽ tăng cường giám sát độ an toàn.

Có nên thông báo cho các phụ nữ tham gia nghiên cứu của bạn về dữ liệu công bố ở hội nghị quốc tế trên hay không? a)

Có; họ có quyền được biết.

Không; làm như vậy sẽ gây ra sự sợ hãi và hoang mang không cần thiết.

NGHIÊN CỨU ĐIỂM D: TS. S là một nghiên cứu sinh ngành điện toán đang làm việc với một số chương trình diệt virut máy tính. Hai nghiên cứu sinh khác làm việc cùng cô trong dự án, dưới sự chỉ dẫn của một nghiên cứu viên nhiều kinh nghiệm. TS. S vừa nhận được email từ một nhóm nghiên cứu làm việc trên một dự án tương tự ở một trường đại học khác. Nhóm này muốn TS. S chia sẻ một số dữ liệu và thiết kế sơ bộ liên quan đến dự án. TS. S chưa đăng ký bằng sáng chế cho nghiên cứu này tuy đã thảo luận về việc xin cấp patent với người giám sát.

Chương 11

Câu hỏi về Nghiên cứu điểm D: Bạn sẽ khuyên TS. S thế nào?

Đánh giá và Nghiên cứu

389

Nguyên tắc đạo đức nào có nguy cơ bị vi phạm?

Làm thế nào để TS. S có được quyết định hợp lý?

THỰC HÀNH 3:

ĐÁNH GIÁ CHẤT LƯỢNG TỐT?

Đọc các tiêu chí của một đánh giá chất lượng tốt trong Phụ lục E, sau đó đọc Nghiên cứu điểm E và trả lời các câu hỏi: NGHIÊN CỨU ĐIỂM E: Năm 2004, một năm sau khi triển khai dự án, các thông tin ban đầu về dự án được thu thập bằng dữ liệu định tính và một bộ câu hỏi điều tra. Năm 2007, khi phiên họp kiểm điểm giữa kỳ của dự án chỉ ra rằng dự án đang thiếu dữ liệu thì một đánh giá khác được triển khai bởi nhóm dự án, trong đó sử dụng bộ câu hỏi điều tra khác (bộ câu hỏi trước chưa được lưu và cần có dữ liệu mới). Qua điều tra cho thấy dự án với mục tiêu tăng tỉ lệ nhập học của trẻ em gái cuối cùng lại cho kết quả là tỉ lệ nhập học giảm. Do sử dụng các phương pháp thu thập dữ liệu ban đầu và trung gian khác nhau nên nhóm dự án không chia sẻ kết quả trên toàn quốc hay với chính phủ mà chỉ nhất chí với nhau rằng hai đánh giá này đã không so sánh tương xứng. Câu hỏi về Nghiên cứu điểm E: Đánh giá trên có được thực hiện một cách có đạo đức hay không?

Đây có phải là một đánh giá có chất lượng tốt không?

Nếu có cơ hội cho lời khuyên về cách nâng cao kết quả đánh giá, bạn sẽ khuyên nhóm đánh giá những gì?

Chương 11

390

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục A: Tiêu chí mẫu về Yêu cầu phê duyệt của Ban Kiểm tra Đạo đức Các hoạt động được CDC của Hoa Kỳ tài trợ hay có sự tham gia của cán bộ CDC chỉ cần nộp về Ban Kiểm tra Đạo đức [được gọi là Ban Thanh tra Thể chế (IRB)] nếu thỏa mãn định nghĩa về nghiên cứu và 2 điều kiện sau: 1) trong nghiên cứu có sử dụng đối tượng là người, 2) không thỏa mãn tiêu chí miễn trừ của Ban Thanh tra. Quyết định về việc hoạt động có cần phải được Ban Thanh tra phê duyệt hay không được minh họa trong Hình C11-1. Hình C11-1: Quyết định về việc hoạt động có cần phải được sự phê duyệt của Ban Kiểm tra Đạo đức hay không – Ví dụ về Y tế công Lập quy trình nghiên cứu

Nghiên cứu có mục đích ban đầu là hành nghề y tế công hay hoạt động phòng chống bệnh Sử dụng Bộ câu hỏi A

Trả lời CÓ với bất kỳ câu hỏi nào trong Bộ câu hỏi A

Đây là đánh giá

Bắt đầu đánh giá

IĐây là nghiên cứu và KHÔNG cần IRB

Bắt đầu nghiên cứu

Trả lời KHÔNG cho mọi câu hỏi trong Bộ câu hỏi A

Có cần IRB không? Sử dụng bộ câu hỏi B

Trả lời CÓ với bất kỳ câu hỏi nào trong bộ câu hỏi B

Trả lời KHÔNG với mọi câu hỏi trong bộ câu hỏi B Đây là nghiên cứu CẦN IRB

Chương 11

Bắt đầu quy trình IR

Nguồn: Tác giả, văn bản của CDC (1999)

Đánh giá và Nghiên cứu

391

Bộ câu hỏi A:

Mục đích ban đầu là hành nghề y tế công hay hoạt động phòng chống bệnh.

•

Hoạt động phòng chống bệnh dịch/ bệnh địa phương; dữ liệu có liên hệ trực tiếp với yêu cầu phòng chống bệnh

•

hoạt động giám sát bệnh thường quy; dữ liệu sử dụng trong chương trình phòng bệnh hay vì mục đích chính sách

•

hoạt động đánh giá chương trình; dữ liệu được sử dụng chủ yếu vì mục đích này

•

Giám sát sau tiếp thị về hiệu quả và/hoặc tác hại của một chế độ dinh dưỡng, thuốc hay thiết bị mới

•

Hoạt động chỉ mang tính hành chính thuần túy (ví dụ: đơn đặt hàng hay hợp đồng dịch vụ hay thiết bị) và không liên quan đến nghiên cứu

Bộ câu hỏi B:

Hoạt động là nghiên cứu nhưng KHÔNG sử dụng đối tượng là con người

•

Hoạt động là nghiên cứu có thu thập/phân tích dữ liệu về cơ sở y tế hay các tổ chức hay đơn vị khác không phải là cá nhân hay

•

Hoạt động là nghiên cứu có liên quan đến dữ liệu và/hoặc mẫu lấy từ người đã chết; hay

•

Hoạt động là nghiên cứu có sử dụng dữ liệu hay mẫu vô danh không có liên hệ. Toàn bộ (1-4) các yếu tố sau đều phải có: Hoạt động đề xuất không có sự tiếp xúc với đối tượng người;

Dữ liệu nay mẫu được thu thập vì mục đích khác;

Không có dữ liệu/mẫu bổ sung nào được thu thập cho mục đích này;

Thông tin danh tính không được thu thập hay đã bị loại bỏ để dữ liệu không thể liên hệ hay tái liên hệ với các đối tượng người xác định được.

Chương 11

392

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục B: Công cụ lập TOR Đánh giá Mẫu Danh mục Yêu cầu thực hiện Đánh giá Phòng ngừa HIV

Hướng dẫn Tham chiếu nhanh1 Đánh giá là ‘hoạt động khảo sát có hệ thống và khác quan một dự án, chương trình hay chính sách đang triển khai hay đã hoàn thành, cũng như các nội dung thiết kế, triển khai và kết quả. Mục tiêu là nhằm khẳng định sự phù hợp và hoàn thành mục tiêu, hiệu quả, hiệu suất phát triển, tác động và tính bền vững. Đánh giá cần cung cấp những thông tin đáng tin cậy và hữu ích, cho phép lồng ghép các bài học kinh nghiệm vào quá trình ra quyết định của cả đối tượng tiếp nhận và nhà tài trợ’. a

Mẫu ToR thực hiện Đánh giá Phòng ngừa HIV – Các mục chính Vì sao phải đánh giá? Chủ đề đánh giá Bối cảnh và lý do Mục tiêu đánh giá Người sử dụng đánh giá

Cần thực hiện đánh giá vì đánh giá giúp nhà quản lý cải thiện chương trình, xác định các bài học kinh nghiệm và cung cấp thông tin cho việc ra quyết định về hoạt động tài trợ sau này. Do đó, đánh giá phòng ngừa HIV sẽ giúp người ra quyết định hiểu được hiệu suất, hiệu quả của các chương trình phòng chống lây truyền HIV.

Cần đánh giá những gì? Các câu hỏi đánh giá Các nhóm đối tượng Các can thiệp phòng ngừa Các chỉ số phòng ngừa

Đánh giá có chất lượng cao bắt đầu bằng một Danh mục Yêu cầu (ToR) trong đó xác định mọi lĩnh vực đánh giá. Đây là một hướng dẫn dễ đọc, giúp cán bộ các tổ chức xã hội (TCXH)3 chủ trì các đánh giá quy trình và kết quả. Hướng dẫn này không chú trọng vào đánh giá tác động, vì các đánh giá này thường không được thực hiện bởi các TCXH mà thay vào đó là các cơ quan nhà nước. Người sử dụng không nhất thiết phải là các chuyên gia đánh giá nhưng phải là các nhà quản lý đánh giá.

Đánh giá như thế nào

Thiết kế đánh giá Các nguồn và quy trình dữ liệu Các quy trình phân tích dữ liệu

Cần quản lý hoạt động đánh giá như thế nào?

Hoạt động và tiến độ đánh giá Thành phần nhóm đánh giá và mức độ hoạt động

Không nhất thiết phải tuân thủ chặt chẽ theo mẫu này cũng như có thể thay đổi, kết hợp hay bỏ qua một số phần trong ToR, tùy thuộc tình hình.

Hỗ trợ hành chính và hậu cần Ngân sách

Để xem ví dụ đầy đủ về ToR đánh giá phòng ngừa HIV, mời ghé thăm trang web http://gametlibrary.worldbank.org 1

Hướng dẫn tham khảo nhanh này được trích dẫn từ tài liệu của MERG tiêu đề Lập Danh mục yêu cầu đánh giá phòng ngừa. www.worldbank.org/aids. Mời tham khảo tài liệu này để biết thêm hướng dẫn. 2

Danh mục thuật ngữ chính trong đánh giá và quản lý dựa trên kết quả của OECD, 2002, truy cập tại http://www.oecd.org/đataoec/29/21/2754804.pdf. 3

Tổ chức xã hội (TCXH) là thuật ngữ chung được sử dụng để chỉ các tổ chức phi chính phủ (NGO), tổ chức cộng đồng (TCCĐ) và tổ chức tín ngưỡng (TCTN).

Chương 11

Đánh giá và Nghiên cứu

393

Từ viết tắt và các thuật ngữ chính Từ viết tắt

Đánh giá kết quả là xác định xem các hoạt động hay dịch vụ của chương trình có đạt được các kết quả mong đợi hay không và đạt được đến mức nào. Đánh giá kết quả đối chiếu những thay đổi quan sát được với can thiệp thử nghiệm, mô tả mức độ hay phạm vi kết quả chương trình, chỉ ra những kết quả trong trường hợp không có chương trình. Đây là loại đánh giá nghiêm ngặt về phương pháp và cần có yếu tố so sánh trong thiết kế, như nhóm đối chứng hay đối chiếu.

Truyền thông thay đổi hành vi Tổ chức xã hội Tư vấn, xét nghiệm HIV Người tiêm chích ma túy Nhóm dân cư nguy cơ cao nhất Đồng tính nam Ủy ban AIDS quốc gia Bộ Y tế Đối tượng mại dâm Danh mục yêu cầu

Đánh giá tác động quan sát sự tăng giảm tỉ lệ nhiễm, lưu hành bệnh coi như một chức năng của chương trình AIDS. Hiệu quả (tác động) trên toàn bộ quần thể dân cư ít khi được gắn với một chương trình duy nhât hay thậm chí là một số chương trình, bởi vậy, đánh giá tác động trên dân cư thường có thiết kế đánh giá nghiêm ngặt bao gồm những hiệu quả kết hợp của một số chương trình dành cho các quần thể dân cư nguy cơ. Vì lý do đó, cũng như do chi phí tương đối cao mà đánh giá tác động thường không được các TCXH sử dụng mà chủ yếu là các cơ quan nhà nước.4

Thuật ngữ chính Phân tích số liệu Phân tích định tính là phân tích số liệu định tính (văn bản, hình ảnh, trực quan) nhằm kết luận về những vấn đề như cảm nhận của con người. Phân tích định lượng sử dụng các số liệu định lượng (con số hay tỉ lệ) để phân tích các xu hướng (thay đổi trong giá trị qua các thời kỳ) và tổng hợp số liệu. Các loại phân tích định lượng bao gồm: Thống kê mô tả - trung vị, phương thức, trung tuyến – để mô tả số liệu. Các kiểm tra thống kê có thể cho biết các thay đổi quan sát được có ý nghĩa thế nào. Phân tích chi phí theo dõi số lượng và tỉ lệ chi tiêu theo từng loại. Phân tích hiệu quả chi phí so sánh các kết quả và chi phí của các phương thức phòng ngừa khác nhau; phương thức có chi phí thấp nhất trên kết quả đơn vị chính là phương thức hiệu quả nhất Các loại hình đánh giá Đánh giá quy trình tập trung vào triển khai chương trình và sử dụng các phương pháp chủ yếu là định lượng nhằm mô tả các hoạt động và nhận thức chương trình, nhất là trong các giai đoạn phát triển và triển khai sớm chương trình. Đánh giá này còn có thể bao gồm một số phương thức định lượng như điều tra về mức độ thỏa mãn và nhận thức khách hàng về nhu cầu và dịch vụ. Đầu vào

Hoạt động

Đầu ra

Thiết kế đánh giá Thiết kế thực nghiệm là kết quả của việc chọn mẫu ngẫu nhiên nhóm đối chứng ở cấp độ cá nhân hay cụm nhóm/cộng đồng sau đó đối chiếu với các nhóm đối tượng mục tiêu của chương trình phòng bệnh. Thiết kế bán thực nghiệm đòi hỏi phải có một nhóm đối chiếu không xác định bằng chọn mẫu ngẫu nhiên (có thể mang tính tổng quát, chẳng hạn, lấy từ điều tra quốc gia) hay một thiết kế chuỗi thời gian (khi nhiều quan sát trên cùng các cá nhân hay cộng đồng được thực hiện qua các thời kỳ). Thiết kế phi thực nghiệm không đòi hỏi phải so sánh hay có nhóm đối chứng; nhóm đối tượng của các chương trình phòng bệnh được khảo sát ở thời điểm đầu và cuối dự án nhằm quan sát và phân tích các thay đổi: chi phí thấp nhất tức là thiết kế đáng tin cậy nhất. Chuỗi kết quả Chuỗi kết quả hay lý thuyết thay đổi, mô tả các giả định về đóng góp của hoạt động vào kết quả, chẳng hạn, nếu phụ nữ có thai được xét nghiệm và tư vấn và phụ nữ dương tính được điều trị thì lây truyền từ mẹ sang con sẽ giảm. Kết quả

Trong chuỗi kết quả, các nguồn lực (đầu vào) được chuyển hóa thành hàng hóa và dịch vụ (đầu ra). Kết quả về thay đổi trong kiến thức và hành vi, mức cải thiện trong tiếp cận và sử dụng dịch vụ (kết quả), từ đó tạo ra những thay đổi trong mô hình nhân khẩu-xã hội hay dịch tễ của một nhóm dân cư (tác động).

Tác động Mối liên hệ nhân quả trong chuỗi kết quả

Lưu ý rằng đánh giá tác động thường không được thực hiện bởi các TCXH

Chương 11

vì vậy không phải trọng tâm trong hướng dẫn này.

394

Triển khai các hệ thống Theo dõi và Đánh giá

Vì sao cần đánh giá? Chủ đề đánh giá Xác định xem bạn muốn đánh giá những gì và xác định chuỗi kết quả (xem các thuật ngữ chính ở trang 2) của chương trình hay can thiệp

VÍ DỤ

Tiêu đề - đá nh giá dự án phòng ngừa cư nguy cơ HIV thí điểm cao nhất (N DCNCCN). ở các nhóm dân Chuỗi kết qu ả - các dự án phòng ngừa là mở rộng phạm vi nh HIV ở ND CNCCN có kế óm đối tượ HIV. Tăng số ng t qu ch lượ ả ính có nguy cơ lây nhiễm hành vi nguy ng đối tượng sẽ đem lại những thay cơ (và sau cù đổi trong ng là giảm số ca lây nh iễm HIV mớ i).

và ĐTN, ĐTMD ng, trong đó ớc đây đã có dịch tập tru Nước X có CCN. Tuy trư CN cư ND n g cho dâ nhữn lái xe tải là g bệnh dành t dự án thí trình phòn mộ các chương 2006 đã có h nhưng năm CNCCN ở tỉn ND c cá là nói chung g – cho đối tượn ực hiện bởi một TCXH điểm dành th ay ợc th đư ích Dự án ến kh miền bắc X. ạt động đào tạo khuy n tài vố i vớ ho – có su trong đó át bao cao và phân ph đổi hành vi t số lượng dữ trợ. ập được mộ m nhưng y đã thu th Cho đến na dự án thí điể ả qu u hiệ ế về liệu hạn ch . n đánh giá xem chưa thực hiệ quyết định đánh giá để đạt hiệu quả thay n hiệ ực th Cần nh có bệ t có g òn ph đó cho biế chương trình y không, từ nguy cơ ha hay không. đổi hành vi chương trình vi ạm ph nên mở rộng

VÍ DỤ

Mục tiêu đánh giá

Nêu các quy trình cụ thể và/hoặc kết quả cần đánh giá, làm rõ mục đích chung của đánh giá, dựa trên các mục tiêu mong muốn của dự án và thường xác định: Khu vực địa lý và thời hạn đánh giá Kết quả sẽ được sử dụng như thế nào

o của lãnh đạ ợc ban á sẽ đư n dự án và xây h đánh gi iệ ả th i qu . cả ết K i trợ Đán dụng để i nhà tà c TCXH sử ất tiếp theo gử ủ nước X và cá xu ph h ín t định ch dựng đề được để quyế í điểm sẽ ng ng dụ giá cũ tế sử án th trợ quốc ng phạm vi dự nhà tài rộ nên mở xem có g. hay khôn

VÍ DỤ

Bối cảnh và lý do Nêu bối cảnh/tình hình đánh giá, trong đó có:

Tóm tắt chung về thực trạng HIV, AIDS trong nước, kể cả tỉ lệ lưu hành, mắc nhiễm và xu hướng Giải pháp của Chính phủ, TCXH và nhà tài trợ (cấp ngân sách và hỗ trợ kỹ thuật) Thành quả đạt được đến nay và kế hoạch cho tương lai Các đánh giá khác đã thực hiện cho đến nay; bài học kinh nghiệm Thông tin về chương trình cần đánh giá Nhu cầu đánh giá và sự sẵn sàng của chương trình cần đánh giá

VÍ DỤ

Xác định hiệu quả của một dự án phòng ngừa HIV trong thay đổi hành vi nguy cơ ở NDCNCCN trong 3 năm qua ở tỉnh miền bắc trên. Xây dựng các yếu tố chính góp phần vào hay cản trở các kết quả dự án. Kết quả đánh giá sẽ được sử dụng để cung cấp thông tin cho chính phủ và các nhà tài trợ về khả năng mở rộng phạm vi dự án ra các tỉnh khác ở nước X.

Người sử dụng đánh giá Xác định các đối tượng sử dụng và công dụng chính của đánh giá.

Ai sẽ sử dụng đánh giá Ai là người ra quyết định chính Liệt kê các đói tượng chính ở cấp địa phương, quốc gia, quốc tế, kể cả tổ chức tư nhân và nhà nước.

Chương 11

Đánh giá và Nghiên cứu

395

Cần đánh giá những gì? VÍ DỤ

Câu hỏi đánh giá phải: Có liên hệ với chủ đề đánh giá Cho biết các kết quả mong đợi chính của chương trình được đánh giá có đạt được hay không Tùy thuộc vào loại hình đánh giá (xem các thuật ngữ chính ở trang 2): Đánh giá quy trình: chương trình có được triển khai theo kế hoạch không? Đánh giá kết quả: các can thiệp có hiệu quả hay tạo sự chuyển biến không?

Các nhóm đối tượng

VÍ DỤ

Xác định các nhóm đối tượng của chương trình phòng bệnh và xác định khu vực địa lý, tính đến giới tính, độ tuổi, đặc trưng văn hóa và các đặc trưng khác của nhóm đối tượng.

dự khuôn khổ VÍ DỤ nh giá trong sẽ được đá Can thiệp CNCCN án, gồm: i với các ND g TĐHV đố xe Truyền thôn c điểm đỗ cá ở su o bao ca m đỗ xe Phân phát tin ở các điể g ôn th u tư liệ Cung cấp

Đánh giá sẽ tập trung vào NDCNCCN ở khu vực triển khai dự án dọc theo biên giới phía bắc. Do mỗi nhóm đối tượng này đều có đóng góp tương ứng vào sự lây lan HIV nên ưu tiên hàng đầu sẽ là các đối tượng ĐTN, sau đó là ĐTMD và lái xe tải ở các điểm đỗ xe trong khu vực thí điểm

Can thiệp phòng bệnh

Cho biết đánh giá có đặt mục tiêu là toàn bộ dự án hay chỉ một hay một số can thiệp. Liệt kê mọi can thiệp sẽ là đối tượng đánh giá

Các chỉ số phòng bệnh Phân tích các xu hướng trong dữ liệu chỉ số chính thường là một phần quan trọng trong quy trình đánh giá. Chọn chỉ số có liên quan đến những câu hỏi đánh giá cho toàn bộ chương trình hay từng can thiệp cần đánh giá. Cung cấp các giá trị ban đầu của chỉ số nếu có. Giá trị ban đầu là các giá trị chỉ số trước khi bắt đầu dự án hay chương trình. VÍ DỤ Đánh giá quy trình chú trọng vào các chỉ số quy trình và đầu ra Câu hỏi đánh giá Dự án có được triển khai theo kế hoạch không?

Chỉ số Số ĐTN, ĐTMD và lái xe tải được TTTĐHV

Các đầu ra mong đợi có đạt được không?

Giá trị ban đầu 0 (không có can thiệp trước khi dự án bắt đầu)

Đối với đánh gi á quy tr được triể ình: Dự n án phòn cải thiện khai theo kế ho g bệnh ạch ha kiện của y tăng cường ch không? Làm th có ch ế ươ thiệp có ương trình có đạ ng trình? Các đầ nào để được th t u ra dự đư ợc ực kh chuyển biến hay hiện với quy m ông? Vì sao? Ca ô đủ lớn n không? đủ mức để tạo Chất lượn chưa? g của ca n thiệp đã Đối với đánh gi á kế kết quả của chươ t quả: Hành vi th ng trình TT TĐHV ay đổi có phải là hay khôn g? Vì sao?

VÍ DỤ Đánh giá kết quả sẽ chú trọng vào các chỉ số đầu ra và kết quả Câu hỏi đánh giá

Chỉ số

Hành vi thay đổi có phải kết quả của dự án không?

Tỉ lệ ĐTMD nam/nữ khai báo có sử dụng bao cao su khi tiếp khách gần nhất

Giá trị ban đầu

Tỉ lệ nam giới cho biết có sử dụng bao cao su trong lần cuối có quan hệ tình dục với nam giới khác

Không có giá trị ban đầu của chỉ số kết quả ở cấp dự án; tuy nhiên, các nghiên cứu giám sát hành vi quốc gia có cung cấp giá trị ban đầu ở các khu vực dự án có thể áp dụng.

Chương 11

Số bao cao su được phân phát

396

Triển khai các hệ thống Theo dõi và Đánh giá

Cần đánh giá như thế nào? Bước 9-11 có thể là một phần trong ToR hay có thể được các đơn vị triển khai đánh giá xác định ở giai đoạn trước. Cũng có thể kết hợp các bước này thành một bước.

Thiết kế đánh giá Thiết kế có thể là thực nghiệm, bán thực nghiệm hay phi thực nghiệm (xem các thuật ngữ chính ở trang 2). Vì thiết kế thực nghiệm tốn kém và khó thực hiện, nên các thiết kế bán thực nghiệm hay phi thực nghiệm thường được các NGO sử dụng trong đánh giá quy trình hay kết quả. VÍ DỤ VỀ THIẾT KẾ PHI THỰC NGHIỆM

Số liệu kết quả được thu thập từ mẫu ở các NDCNCCN ở tỉnh phía bắc và so sánh qua các thời kỳ với dữ liệu ban đầu thu thập năm 2006 nhằm xác định mối quan hệ giữa mức tham gia trong dự án thí điểm và các hành vi ít nguy cơ hơn. Các yếu tố có thể ảnh hưởng đến các mô hình hành vi ngoài tham gia dự án cũng được tính đến.

Các nguồn và quy trình số liệu

Các đánh giá thường sử dụng các nguồn dữ liệu thứ cấp và sơ cấp Các nguồn dữ liệu sơ cấp (dữ liệu mới được thu thập) gồm:

Các nguồn dữ liệu thứ cấp (có sẵn) gồm:

Quan sát trực tiếp

Dữ liệu giám sát hiệu quả

Phỏng vấn và thảo luận nhóm

Các kế hoạch, khung lôgích, báo cáo, kế hoạch GS&ĐG chiến lược dự án hay chương trình

Xét nghiệm (như xét nghiệm máu) Bảng kiểm Bộ câu hỏi tự trả lời

Các đánh giá và điều tra gần đây (như các điều tra dân số và y tế, số liệu giám sát hành vi v.v) Các báo cáo đặc biệt (như báo cáo phát triển nhân lực, HIV)

VÍ DỤ

Phân tích địn h lượng sẽ đư ợc sử dụng định những để xác thay đổi tro ng các giá trị sánh dữ liệu chỉ số, so ban đầu từ năm 2006 vớ được từ kết i dữ liệu thu quả đánh giá . Tập hợp ph lượng và địn ân tích định h tính sẽ đư ợc sử dụng liệu thu được để xử lý từ đối tượng. Ph điều tra mức độ thỏa mã số ân tích chun n của g kết hiện nhằm rút ra kết luận về quả được thực phòng bệnh hiệu quả củ đang nghiê a dự án n cứu.

VÍ DỤ VỀ THIẾT KẾ BÁN THỰC NGHIỆM

Tỉnh miền năm nước X không có can thiệp phòng bệnh nào có đối tượng là các NDCNCCN sẽ được xác định là nhóm đối chứng trong đánh giá. So sánh dữ liệu hành vi của các tỉnh miền nam và miền bắc cho biết dự án thí điểm (đối chiếu với các can thiệp khác như các chiến dịch truyền thanh quốc gia ở cả 2 tỉnh) có dẫn đến thay đổi hành vi nào không. Các yếu tố khác, ngoài can thiệp đang xem xét có thể ảnh hưởng đến mô hình hành vi ở khu vực địa lý nhưng không ở khu vực khác cũng được xem xét khi diễn giải kết quả.

VÍ DỤ

Các nguồn dữ liệu sau sẽ được sử dụng: Rà soát tài liệu mọi văn bản liên quan Điều tra cấu trúc về đối tượng ĐTN, ĐTMD và lái xe tải; mẫu gồm khoảng 500 đối tượng sẽ được sử dụng để thu thập dữ liệu về các chỉ số chính Điều tra mức độ thỏa mãn định tính trên khoảng 100 đại diện của các NDCNCCN được tiếp cận hoạt động TTTĐHV trong chương trình.

Các quy trình phân tích số liệu

Phân tích định tính và định lượng là hai quy trình phân tích chính (xem các thuật ngữ chính ở trang 2): Phân tích định tính là phân tích số liệu định tính (văn bản, hình ảnh hay trực quan) nhằm rút ra kết luận về những yếu tố như cảm nhận của con người. Phân tích định lượng sử dụng số liệu định lượng (con số hay tỉ lệ) để phân tích xu hướng (thay đổi trong các giá trị trong các thời kỳ) và tổng hợp số liệu.

Chương 11

Đánh giá và Nghiên cứu

397

Cần quản lý đánh giá như thế nào? Các hoạt động và lịch trình đánh giá

Các nội dung này thường được trình bày dưới dạng biểu đồ cột Bao gồm ngày bắt đầu, kết thúc hoạt động, yêu cầu nhân sự và mức độ hoạt động. Nêu những kết quả đánh giá chính (kèm ngày chuyển giao), có nghĩa là quy trình đánh giá kết quả thực hiện, báo cáo ban đầu, báo cáo cuối cùng, tóm tắt các kết quả chính, kết quả và đề xuất, bản dự thảo báo cáo đầu và cuối. uyên gia ột nhóm ch hiện bởi m được thực Đánh giá sẽ trưởng quốc tế. gồm một uyên gia giá sẽ bao TT TĐHV, ch Nhóm đánh gia HIV, chuyên gia ột số làm ên ập liệu (m uy nh /ch và n óm vấ nh ỏng ân viên ph tâm lý, nh việc cho ngày làm biên chế). sẽ dành 20 ngày, chuyên gia óm nh g ởn 5 Dự kiến trư chuyên gia TT TĐHV ười mỗi y, (ví dụ: 3 ng cộng đánh giá nà phỏng vấn 30 ngày tổng ày, nhập liệu tâm lý 5 ng ngày) và nhân viên 10 người làm 30 ngày.

VÍ DỤ về Thời gian biểu (dạng cột) T1

Hoạt động

Lập kế hoạch nhóm Lập kế hoạch nhóm Công tác thực địa Nhập liệu & mã hóa mốc thời gian Phân tích, khảo sát dữ liệu Viết báo cáo Báo cáo: chỉnh sửa Hoàn thiện báo cáo

Các kết quả chính trong đánh giá này là: quy trình lập kế hoạch thực hiện và đánh giá (nộp vào cuối tháng 1), dự thảo báo cáo (cuối tháng 3) và báo cáo chính thức (cuối tháng 4).

VÍ DỤ

Hỗ trợ hành chính và hậu cần Nêu rõ ai thực hiện hỗ trợ hành chính và hậu cần, cụ thể là:

Thành phần nhóm đánh giá và mức độ hoạt động Đánh giá có thể được thực hiện nội bộ (bởi chính tổ chức) hay độc lập (thuê ngoài) bởi một tổ chức khác. Trong cả hai trường hợp, ToR sẽ xác định yêu cầu kỹ năng và số ngày làm việc cần có đối với từng hoạt động (nếu chưa được xác định trong tiến độ đánh giá) và cần bao gồm: Vai trò, trách nhiệm của cán bộ liên quan Số lượng ngày làm việc ước tính của từng thành viên nhóm.

Ngân sách

Ngân sách phải thể hiện mọi hoạt động và chi phí của hoạt động. Đóng góp bằng tiền và hiện vật thường được nêu rõ. VÍ DỤ Ước tính chi phí đánh giá là 17.450$. Tổng chi phí được chia chi tiết thành các nhóm sau: Đóng góp hiện vật

Đi lại tại chỗ

Nhóm chi phí

Đơn vị

Chi phí đơn vị

Khách sạn

Trưởng nhóm

20 ngày

300$ người/ngày

6.000

Chuyên gia TTTĐHV

5 ngày

200$ người/ngày

1.000

Chuyên gia tâm lý

5 ngày

200$ người/ngày

1.000

Phỏng vấn viên x 3

10 ngày /ngưòi

40$ người/ngày

1.200

Nhân viên nhập liệu x 2

15 ngày /ngưòi

40$ người/ngày

1.200

Tổng chi phí

Văn phòng, trang thiết bị văn phòng In ấn, photocopy Phiên/biên dịch Viết báo cáo Phổ biến báo cáo Đi lại ngoài nước VÍ DỤ

TCXH sẽ lo việc đi lại tại chỗ, văn phòng, trang thiết bị và phổ biến báo cáo. Đơn vị triển khai đánh giá lo đi lại ngoài nước, biên/phiên dịch và viết báo cáo.

Tổng chi phí nhân viên

10.400 2.600

Quản lý phí (@25%) Đi lại tại chõ Đi lại ngoài nước

100$ (TCXH) 3 chuyến bay

600$/chuyến

Văn phòng phẩm

100 1.800

50$ (TCXH)

Chỗ ở cho 3 người

10 (tổng số ngày thực địa)

100$ người/ngày

1.000

In báo cáo

1.000 báo cáo

0,5$/báo cáo

500

Biên dịch

1.000 báo cáo

0,5$/báo cáo

1.000 17.450$

Chương 11

Tổng cộng

398

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục C: Khung khái niệm giúp lập kế hoạch và đưa nghiên cứu vào chính sách hay thực tiễn (GRIPP) Khung khái niệm có thể ứng dụng cho cả tương lai và quá khứ. •

Về tương lai, khung khái niệm này có thể được sử dụng trong các giai đoạn lập kế hoạch của nhà tài trợ, người nghiên cứu hay nhà quản lý chương trình, nhằm đánh giá và có thể là gây ảnh hưởng đến các yếu tố giúp tăng cường sử dụng nghiên cứu.

•

Về quá khứ, khung khái niệm có thể được sử dụng để phân tích các điển hình (cả thành công và thất bại), để tổng hợp và rút kinh nghiệm.

Khung khái niệm (KKN) có thể áp dụng cho một loạt lĩnh vực nghiên cứu (như khoa học cơ bản, lâm sàng, dịch tễ, xã hội hay nghiên cứu hoạt động), với các vấn đề nghiên cứu, bên liên quan, chiến lược truyền thông và mục đích sử dụng khác nhau. Tuy KKN có thể áp dụng trong phạm vị một công trình nghiên cứu nhất định nhưng cần phải đặt nghiên cứu trong bối cảnh thực thể bằng chứng nghiên cứu đã có và tổng hợp rộng lớn hơn. Trong một số trường hợp, việc ứng dụng nghiên cứu có thể được xác định bằng mức đóng góp của nghiên cứu vào quá trình xây dựng nền tảng lý thuyết hay ảnh hưởng của nghiên cứu trong thúc đẩy các lĩnh vực điều tra khác. KKN có thể được sử dụng để xác định cần quan tâm hơn đến một số yếu tố nhưng không nhất thiết phải bảo đảm để các yếu tố này nằm trong phạm vi trách nhiệm hay ảnh hưởng của người nghiên cứu. Về mặt này, KKN có thể là một công cụ hữu ích để thu hút sự quan tâm và tham gia của nhiều bên liên quan, như nhà tài trợ, chính phủ, nhóm vận động, cấp hoạch định chính sách và nhà quản lý chương trình. Phần dưới đây sẽ trình bày những cấu phần chính của Khung Khái niệm Nghiên cứu. A.

Các yếu tố

Có một loạt yếu tố cần cân nhắc có thể có tác động đối với việc sử dụng nghiên cứu. Những yếu tố này được chia thành 4 nhóm chính trong cột đầu của khung khái niệm (xem nội dung dưới đây). 1.

Quy trình nghiên cứu: Những yếu tố này có liên hệ với chính quy trình nghiên cứu và được chia thành 3 giai đoạn: Tiền nghiên cứu: những yếu tố có liên hệ ban chủ yếu với giai đoạn lập kế hoạch nghiên cứu

•

Nghiên cứu: những yếu tố có liên hệ với việc thực hiện nghiên cứu

•

Hậu nghiên cứu: những yếu tố quan trọng trong giai đoạn hậu nghiên cứu.

Đánh giá và Nghiên cứu

Chương 11

•

399

Những giai đoạn này không phải lúc nào cũng rõ ràng/tách biệt và cần được xem xét một cách liên tục. 2.

Sự tham gia của các bên liên quan: Có thể có một loạt các bên liên quan cần tham gia nhằm tăng cường sử dụng nghiên cứu và có thể có sự khác biệt theo loại nghiên cứu (nghiên cứu cơ bản, nghiên cứu hoạt động v.v). Các bên liên quan gồm cả các nhóm ủng hộ và bất đồng cũng như tính chất, mức độ tham gia của các bên có thể khác nhau trong suốt các giai đoạn nêu trên.

Truyền thông: Những nhân tố này có liên quan đến những hoạt động truyền thông và phổ biến kết quả nghiên cứu với các nhóm mục tiêu liên quan.

Các yếu tố tình huống vĩ mô: Tuy nhiều yếu tố trong số các yếu tố nêu trên ở một chừng mực nào đó nằm trong phạm vi ảnh hưởng của người nghiên cứu nhưng vẫn có một loạt các yếu tố tình huống có ảnh hưởng đến việc sử dụng nghiên cứu nhưng nhìn chung vượt quá tầm kiểm soát của người nghiên cứu.

Hoạt động sử dụng và mở rộng phạm vi Những yếu tố này (được trình bày dưới dạng mũi tên nối liền quy trình nghiên cứu và ứng dụng nghiên cứu) chỉ các hoạt động có vai trò đáng kể trong việc sử dụng các kết quả nghiên cứu. Nếu thiếu hoạch định, phân bổ nguồn lực và những sửa đổi cụ thể (ví dụ: điều chỉnh từ giai đoạn thí điểm sang mở rộng phạm vi), khả năng ứng dụng cuối cùng các kết quả nghiên cứu có thể bị hạn chế.

Ứng dụng Cột cuối cùng cho biết mức độ sử dụng nghiên cứu thông qua khả năng ứng dụng ở 5 cấp: nghiên cứu, vận động, chính sách, chương trình và thực tiễn. Sự đóng góp của từng nghiên cứu nhất định ở từng cấp sẽ có sự khác biệt, cũng như định hướng ảnh hưởng (ví dụ: nghiên cứu ảnh hưởng đến chính sách và từ đó là chương trình hay ngược lại).

Nguồn: Thông tin trong Phụ lục này lấy từ Phụ lục A trong nghiên cứu của Nath, 2007

Chương 11

Trong trang sau, ta sẽ gặp một ví dụ về ứng dụng của khung khái niệm này vào một dự án phân tích thứ cấp (tổng hợp) ở Swaziland.

400

Triển khai các hệ thống Theo dõi và Đánh giá

Quy trình nghiên cứu

YẾU TỐ

• Nhóm nghiên cứu tại chỗ được các thành viên của Ngân hàng Thế giới và các nhóm hỗ trợ kỹ thuật tại chỗ và khu vực của UNAIDS hỗ trợ.

• Nghiên cứu ở nhiều nước để “Nắm rõ dịch bệnh” và “Biết rõ giải pháp” của UNAIDS và Ngân hàng Thế giới

• Lây nhiễm mới và đối tượng phòng bệnh hiện tại không đủ hiểu biết để thống nhất công tác phòng chống ở những nơi có lây nhiễm mới

• Phòng chống HIV không đem lại kết quả mong muốn

Tiền nghiên cứu

• Nâng cao năng lực của nhóm nghiên cứu tại chỗ thông qua hội thảo và tập huấn trực tiếp

• Thu thập dữ liệu về tình hình chính sách và thông tin chiến lược về phòng bệnh, cung ứng dịch vụ phòng bệnh của các đơn vị triển khai, phân tích chung với các thông tin từ Đánh giá Chi tiêu về AIDS Quốc gia

• Khảo sát dịch bệnh toàn diện nhằm tiến hành tam giác đạc dữ liệu trong mô hình

• Có thể cần xác định lại chương trình phòng chống, các mục tiêu chính, thông điệp và phương phướng

• Phổ biến kịp thời kết quả giúp lập kế hoạch chiến lược phòng chống HIV quốc gia và các dự án phòng chống HIV mới

• Báo cáo về tác động của các chính sách và chương trình dựa trên bằng chứng

• Báo cáo tổng hợp với cơ chế, trình bày rõ ràng

• Tổng hợp với 4 thành phần • Ứng dụng mô hình bệnh tật tối ưu hiện nay

Hậu nghiên cứu

Nghiên cứu

• Hỗ trợ kỹ thuật từ UNAIDS và Ngân hàng Thế giới trong tương lai

• Năng lực nghiên cứu tại chỗ

• Triển khai lại mô hình nhiễm mắc mỗi khi có hệ dữ liệu mới

• Kế hoạch chiến lược HIV mới và dự án HIV mới dựa trên kết quả nghiên cứu

Hoạt động mở rộng phạm vi

Ứng dụng Khung Khái niệm Nghiên cứu vào Dự án Tổng hợp Dịch tễ HIV Swaziland

Chương 11

Đánh giá và Nghiên cứu

401

• Cán bộ truyền thông được tập huấn đưa tin bài có chất lượng về HIV

• Nhóm vận động có sử dụng kết quả

• Có đại diện của cơ quan chính phủ cấp cao trong nhóm chính sách của nghiên cứu

• Tác động còn chờ đợi của chính sách và chương trình (bên liên quan, giới truyền thông)

Vận động

• Xác định chênh lệch trong dữ liệu về những yếu tố gây dịch

• Hỗ trợ kỹ thuật từ UNAIDS và Ngân hàng Thế giới trong tương lai

Cơ sở bằng chứng

Ứng dụng/sử dụng

402

Triển khai các hệ thống Theo dõi và Đánh giá

Sự tham gia của bên liên quan

YẾU TỐ

Chương 11

Nghiên cứu

Hậu nghiên cứu

• Năng lực thực hiện nghiên cứu • Bảo đảm hỗ trợ kỹ thuật từ UNAIDS Và NH Thế giới trong tương lai

• Ủng hộ/vận động Bộ Y tế và Ủy ban AIDS quốc gia

• Thực hiện lại mô hình mắc nhiễm mỗi khi có hệ dữ liệu mới

• Kế hoạch chiến lược HIV và dự án HIV mới dựa trên kết quả nghiên cứu

Hoạt động mở rộng phạm vi

• Kết quả sơ bộ nộp cho chính phủ và các bên liên quan để tối đa hóa đầu vào và quyền làm chủ.

• Hội thảo tập huấn về mô hình mắc nhiễm, tam giác đạc số liệu, tổng hợp tài liệu và phương thức đưa nghiên cứu vào chính sách và thực tiễn

• Các bên liên quan tham vấn về các công cụ thu thập dữ liệu và nguồn tư liệu nghiên cứu

• Ban chỉ đạo & ban chính sách cấp cao giám sát triển khai và nghiên cứu

• Các bên liên quan chính (người lập kế hoạch, cấp hoạch định chính sách, đối tác kỹ thuật) tham gia vào hội thảo khai mạc và hội thảo kế hoạch kỹ thuật để đóng góp vào thiết kế nghiên cứu và quá trình triển khai.

Tiền nghiên cứu

• Cam kết đầu tư: huy động các đối tác phát triển cùng hợp tác

• Rà soát lại các chính sách quốc gia (giới, giảm nghièo v.v)

• xây dựng kế hoạch chiến lược về HIV chờ kết quả nghiên cứu.

Policy

Ứng dụng/sử dụng

Các yếu tố tình hình vĩ mô

Truyền thông

YẾU TỐ

Chương 11

Đánh giá và Nghiên cứu

403

Nghiên cứu

Hậu nghiên cứu

• Do được xếp loại là nước có thu nhập trung bình nên không đủ điều kiện nhận một số hỗ trợ/chương trình tài trợ nhất định

• Trong nước đã có hệ thống GS&ĐG mạnh và một số dữ liệu nghiên cứu nhưng cung ứng dịch vụ không dựa trên bằng chứng

• Cơ cấu quyền lực truyền thống, những ưu tiên và sự phụ thuộc không phù hợp với s thay đổi nhanh chóng

• Số liệu khảo sát và số liệu tổng điều tra gần đây (dân số không đổi hay có thể giảm) đòi hỏi phải có hành động triệt để hơn để phòng ngừa lây nhiễm HIV.

• 37% ngân sách nghiên cứu được phân bổ cho hoạt động phổ biến thông tin (hội thảo lập kế hoạch/kiểm chứng/phổ biến thông tin 10.000$; Thảo luận 10.000$; In báo cáo tổng hợp 8.000$)

• Thảo luận với giới truyền thông, ủy ban danh mục HIV, lãnh đạo sở, các Ban AIDS khu vực

• Trình bày kết quả dưới nhiều hình thức khác nhau: báo cáo tổng hợp đầy đủ, sách giới thiệu, thông báo chính sách

• Mục tiêu và triển khai nghiên cứu được truyền dạt đến các bên liên quan thông qua các hội thảo và các tài liệu chính (báo cáo khai mạc, lịch triển khai)

• thiết lập các kênh liên lạc rõ ràng (Ủy bản AIDS Quốc gia, NH Thế giới, UNAIDS)

Tiền nghiên cứu

• Hỗ trợ kỹ thuật từ UNAIDS và Ngân hàng Thế giới trong tương lai

• Năng lực nghiên cứu tại chỗ

• Triển khai lại mô hình nhiễm mắc mỗi khi có hệ dữ liệu mới

• Kế hoạch chiến lược HIV và dự án HIV mới dựa tren kết quả nghiên cứu

Hoạt động mở rộng phạm vi

• Rà soát các thông điệp, xác định đối tượng và phương thức dựa trên kết quả nghiên cứu

Thực tiễn

• Xác định mục tiêu để bảo đảm dựa trên bằng chứng

• Ủy ban AIDS Quốc gia đề ra mục tiêu chiến lược và chỉ đạo các đơn vị thực hiện phòng bệnh (đã có cơ chế này chưa?)

Chương trình

Ứng dụng/sử dụng

Phụ lục D: Bảng kiểm kế hoạch đánh giá chương trình 1.

Tên cơ quan.................................................................................................................. .........................................................................................................................................

Tên chương trình đang được xem xét đánh giá.................................................. ......................................................................................................................................... .........................................................................................................................................

Mục đích đánh giá? (Đánh dấu tất cả những nội dung phù hợp)

Bạn cần gì để có thể ra quyết định thông qua đánh giá?

Chương 11

404



Lập kế hoạch dự án hay can thiệp tốt hơn (đánh giá định hình))



Cung cấp thông tin để làm rõ mục tiêu, quy trình và kết quả chương trình trong lập kế hoạch quản lý (đánh giá định hình))



Hiểu, kiểm định hay tăng cường tác động của sản phẩm hay dịch vụ đối với khách hàng (đánh giá kết quả)



Tăng cường cơ chế cung ứng cho có hiệu quả hơn và ít chi phí hơn (đánh giá quy trình)



Kiểm chứng xem có phải ta đang làm đúng những gì mình nghĩ hay không (đánh giá quy trình)



So sánh can thiệp chương trình để quyết định cần giữ lại những gì (đánh giá kinh tế)



Khảo sát và mô tả đầy đủ các chương trình hiệu quả để nhân rộng ở nơi khác (đánh giá tác động)



Hiểu được mọi kết quả/thành công dự kiến và không dự kiến đã đạt được của chương trình (đánh giá tác động)



Các lý do khác

Đối tượng của đánh giá? 

Nhà tài trợ/Đầu tư



Thành viên ủy ban



Ban quản trị



Nhân viên



Người thụ hưởng chương trình (khách hàng)

Triển khai các hệ thống Theo dõi và Đánh giá



Lãnh đạo cộng đồng, chính khách, các lãnh đạo khác



Cộng đồng khoa học



Công chúng



Đối tượng khác (nêu rõ).................................................................................... ............................................................................................................................... ...............................................................................................................................

Cần những thông tin nào? Ta cần loại thông tin nào để ra quyết định và/hoặc tiếp cận đối tượng dự kiến, chẳng hạn như những thông tin để hiểu được: 

Thông tin chung về tình huống cần có trước khi lên kế hoạch hay thực hiện can thiệp



Quy trình cung ứng sản phẩm hay dịch vụ (đầu vào, hoạt động và đầu ra)



Khách hàng sử dụng sản phẩm, dịch vụ



Ưu điểm, nhược điểm của sản phẩm hay dịch vụ



Lợi ích dành cho khách hàng (kết quả và tác động)



Chi phí-lợi ích và các lĩnh vực tài chính khác của can thiệp



Sản phẩm hay dịch vụ thất bại ra sao và vì sao



Bài học kinh nghiệm để cải thiện trong tương lai



So sánh các loại hình triển khai khác nhau



Các loại thông tin khác? (nêu rõ)..................................................................... ...............................................................................................................................

..................................................................................................................

Loại hình đánh giá? Dựa trên mục đích của đánh giá và loại thông tin ta cần, loại đánh giá nào đang được lên kế hoạch? Đánh giá định hình



Đánh giá quy trình



Đánh giá kết quả



Đánh giá kinh tế



Đánh giá tác động

Đánh giá và Nghiên cứu

Chương 11



405

Chương 11

406

Cần thu thập thông tin từ ai hay từ đâu? 

Nhân viên



Khách hàng



Tài liệu chương trình



Nhà tài trợ/Đầu tư



Đối tượng khác (nêu rõ) ................................................................................. ............................................................................................................................... ...............................................................................................................................

Làm thế nào để thu thập thông tin một cách hợp lý và thực tế? 

Bộ câu hỏi



Phỏng vấn



Tài liệu



Quan sát khách hàng



Quan sát nhân viên



Tiến hành thảo luận nhóm giữa (mô tả các thành viên nhóm điển hình) .................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. .............................................................................................................................. ..............................................................................................................................



Khi nào cần thông tin?............................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... Triển khai các hệ thống Theo dõi và Đánh giá

10.

Khi nào cần thông tin?..................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ............................................................................................................................... ...............................................................................................................................

Sau khi đã suy nghĩ về đánh giá với bảng kiểm Đánh giá chương trình cung cấp ở phần này, hãy lập Danh mục yêu cầu sử dụng cho hoạt động Đánh giá (xem Phụ lục B chương này để biết thêm thông tin về cách lập TOR). Sau khi đã lập TOR Đánh giá chương trình, hãy kiểm tra chất lượng đánh giá bằng cách đối chiếu TOR với các tiêu chí đánh giá để ra trong Phụ lục E. Bảng kiểm đánh giá phỏng theo http://www.managementhelp.org/ evaluatnchklist.htm

Chương 11

Đánh giá và Nghiên cứu

407

Phụ lục E: Hướng dẫn Thực hiện Đánh giá Hướng dẫn Đánh giá Châu Phi: ấn bản 2006 Hội Đánh giá Phi châu xuất bản (AfrEA) (đã được Hội Đánh giá Phi châu cho phép sao chép) Lời nói đầu Hướng dẫn đánh giá là những nguyên tắc đạo đức và tiêu chuẩn chất lượng. Đây là một bộ quy định và tiêu chuẩn cần có của mọi bên liên quan và được áp dụng trong suốt quá trình đánh giá. Các nguyên tắc này thể hiện một hệ thống tiêu chuẩn được mọi bên liên quan trong hoạt động đánh giá Phi châu chia sẻ. Các tiêu chuẩn đánh giá giúp tăng cường tính độc lập và khách quan khi thực hiện đánh giá. Các tiêu chuẩn này bảo đảm tính minh bạch và phương pháp tham gia cũng như tạo điều kiện tăng tính chủ động trong đánh giá và sử dụng kết quả. Đồng thời, các tiêu chuẩn cũng được đưa ra nhằm chuẩn hóa phương pháp và nâng cao độ tin cậy và hữu ích của đánh giá. Ấn bản lần thứ hai hướng dẫn đánh giá này tổng hợp những hoạt động của các bên liên quan trong lĩnh vực đánh giá ở Châu Phi. Nội dung hướng dẫn cũng phù hợp với các xu hướng và phương thức hiệu quả trong đánh giá trên toàn thế giới. Ấn bản mới về hướng dẫn đánh giá đề cập đến cả các tiêu chuẩn phổ cập và đề cao các yêu cầu đã được kiểm chứng qua thực trạng đánh giá ở châu Phi. Hướng dẫn được sử dụng để theo dõi quy trình, sản phẩm và bao hàm mọi lĩnh vực và giai đoạn trong dự án đánh giá. Các tiêu chuẩn được áp dụng cho mọi loại hình đánh giá, có thể điều chỉnh cho phù hợp và tích hợp nhiều khía cạnh. Những tiêu chuẩn này góp phần tăng cường tính chính trực của các bên liên quan và tăng mức độ tin cậy của quá trình đánh giá, đồng thời nâng cao tính chuyên nghiệp trong đánh giá ở châu Phi. Có 34 quy định chia làm 4 nguyên tắc chính sau: 1.

Nguyên tắc tiện ích: để có được những thông tin đầu ra và các kết quả mong đợi và thực tế.

Khả thi: để đảm bảo tính thực tiễn, thận trọng và hiệu quả.

Tính chính xác và chất lượng: để có phương pháp phù hợp tương ứng với mục tiêu và đối tượng đánh giá.

Tôn trọng tiêu chuẩn đạo đức: tôn trọng quy định pháp lý và đạo đức.

Nguyên tắc tiện ích: các quy định về tính tiện ích được đưa ra nhằm bảo đảm để đánh giá đáp ứng được nhu cầu thông tin của đối tượng sử dụng và được các bên liên quan sử dụng.

Chương 11

U1. Tác động của đánh giá. Đánh giá phải được lập kế hoạch, thực hiện, báo cáo và phổ biến theo cách thức và trong thời hạn cho phép tạo quyền chủ động cho các bên liên quan, nâng cao cơ hội kết quả được sử dụng vì hiệu quả phát triển.

408

Triển khai các hệ thống Theo dõi và Đánh giá

U2. Xác định bên liên quan. Cần xác định và đưa vào quá trình đánh giá những cá nhân, tổ chức tham gia hay bị ảnh hưởng bởi đánh giá (đặc biệt là các đối tượng từ cộng đồng và khó khăn) theo phương thức khuyến khích tham gia để đáp ứng nhu cầu của những đối tượng này giúp các bên liên quan có được sự tự chủ và sử dụng được các kết quả đánh giá ở mức độ hữu ích, khả thi và hợp lệ. U3. Độ tin cậy của người đánh giá. Người thực hiện đánh giá phải độc lập và đáng tin cậy. Người đánh giá phải có sự nhạy bén văn hóa, kỹ năng giao tiếp phù hợp và năng lực rõ ràng về phương pháp đánh giá để quá trình và kết quả đánh giá đạt được độ tin cậy và mức chấp nhận tối đa. Nếu không chắc chắn về năng lực, người đánh giá phải làm việc theo nhóm để bảo đảm có được các kỹ năng, kiến thức bổ trợ để các kết quả có độ tin cậy. U4. Độ tin cậy của Nhóm đánh giá. Các nhóm đánh giá cần được tập hợp với đủ năng lực rõ ràng về phương pháp đánh giá và các lĩnh vực chuyên môn cần có cũng như năng lực về văn hóa. U5. Phạm vi và lựa chọn thông tin. Số liệu và thông tin thu thập được phải được lựa chọn rộng khắp để giải đáp các câu hỏi liên quan và đáp ứng được nhu cầu, mối quan tâm của các bên liên quan, đặc biệt chú trọng các nhóm đối tượng khó khăn. U6. Xác định tiêu chuẩn. Cơ sở lý do, quan điểm, phương pháp sử dụng để diễn giải các kết quả phải được mô tả kỹ lưỡng để làm rõ nền tảng xác định tiêu chuẩn. Cần trình bày rõ nhiều cách diễn giải kết quả với điều kiện các cách diễn giải này đáp ứng được mối quan tâm và nhu cầu của bên liên quan vì mục đích sử dụng. U7. Báo cáo rõ ràng. Báo cáo đánh giá phải trình bày rõ ràng và ngắn gọn nội dung đánh giá cũng như tình huống, mục đích, phương pháp, bằng chứng và kết quả để cung cấp được những thông tin thiết yếu dễ hiểu. U8: Hình thức báo cáo. Hình thức báo cáo phải được điều chỉnh cho phù hợp với nhu cầu đa dạng của các bên liên quan và nâng cao cơ hội sử dụng. U9: Phổ biến báo cáo. Cần phổbiến kết quả trung gian và báo cáo đánh giá tới các bên liên quan ở mức độ hữu ích, khả thi và hợp lệ. Cần cân nhắc các nhận xét và phản hồi của các bên liên quan về các kết quả trung gian trước khi lập báo cáo cuối cùng. U10. Đóng góp vào việc nâng cao kho tàng kiến thức. Cần báo cáo và phổ biến kết quả đánh giá nhằm đóng góp vào kho tàng kiến thức để nhiều đối tượng khác có thể tiếp cận, sử dụng. Người đánh giá phải thương lượng các vấn đề về quyền tác giả, xuất bản, bản quyền với cơ quan chủ trì đánh giá để bảo đảm các kết quả sẽ được sử dụng bởi nhiều đối tượng khác ở mức độ khả thi và hợp lệ. Chương 11

Đánh giá và Nghiên cứu

409

Nguyên tắc khả thi: Nguyên tắc khả thi được đề ra nhằm bảo đảm tính hữu ích, tham gia, thực tế và hiệu quả của đánh giá.

F1. Quy trình thực tiễn. Các phương pháp đánh giá cần thực tế và phù hợp để tạo điều kiện thu thập dữ liệu. F2. Tính khả thi về mặt chính trị. Cần lập kế hoạch và thực hiện đánh giá theo phương thức tham gia nhằm bảo đảm sự tham gia của mọi bên liên quan. Cần chuẩn bị và thực hiện đánh giá dựa trên những nguyên tắc khoa học về các tiêu chí trung lập và nghiêm ngặt nhằm tránh mâu thuẫn dẫn đến tác động tiêu cực đối với quy trình và kết quả, cũng như quá trình triển khai và các đề xuất. F3. Hiệu quả chi phí. Cần tôn trọng nguyên tắc về hiệu quả trong suốt quá trình đánh giá để bảo đảm sử dụng hợp lý các nguồn lực dựa trên các dữ liệu, kết quả đạt được. Những người chịu trách nhiệm đánh giá và mọi bên liên quan đến đánh giá đều phải ấn định ngân sách, nguồn lực con người và tổ chức một cách tối ưu, theo các mục tiêu đánh giá.

Nguyên tắc chính xác và chất lượng: Nguyên tắc này được đề ra nhằm bảo đảm để đánh giá đem lại kết quả là những số liệu phù hợp về chuyên môn, thể hiện tính hiệu quả của dự án, chương trình và các chính sách được đánh giá.

A1. Văn kiện chương trình. Mọi dự án, chương trình, chính sách (DA-CT-CS) cần đánh giá đều phải được ghi chép đầy đủ. Cần áp dụng một quy trình liên lạc giữa các bên liên quan. A2. Đánh giá thực trạng. Tình huống phát sinh DA-CT-CS cần được khảo sát chi tiết về mọi lĩnh vực xã hội, chính trị, văn hóa và môi trường, đồng thời cũng cần chú trọng đến vấn đề giới. A3. Mục tiêu và quy trình rõ ràng. Cần tuân thủ rõ ràng các mục tiêu và quy trình đánh giá. Những mục tiêu, quy trình này được xác định đầy đủ và đề ra các tiêu chí đánh giá được nhất trí chấp nhận (sự phù hợp, hiệu quả, hiệu suất, tính khả thi, tác động) sử dụng trong đánh giá. A4. Tìm kiếm nguồn thông tin. Các nguồn thông tin sử dụng trong đánh giá cần được mô tả đầy đủ, chi tiết để bảo đảm độ tin cậy nhưng không ảnh hưởng đến tính khuyết danh và/hoặc sự nhạy cảm về văn hóa và cá nhân của người cung cấp thông tin. A5. Thông tin xác thực. Cần lựa chọn, xây dựng và triển khai các quy trình thu thập dữ liệu và chọn mẫu để bảo đảm thông tin có được là xác thực và đầy đủ. Chương 11

A5b. Thông tin đại diện. Cần lựa chọn, xây dựng và triển khai các quy trình thu thập dữ liệu để bảo đảm thông tin có được mang tính đại diện cho nhiều đối tượng.

410

Triển khai các hệ thống Theo dõi và Đánh giá

A6. Thông tin đáng tin cậy. Cần lựa chọn, xây dựng và triển khai các quy trình thu thập dữ liệu để bảo đảm cho số liệu thu được đáng tin cậy. A7. Thông tin hệ thống. Cần khảo sát có hệ thống các số liệu được thu thập, xử lý và báo cáo liên quan đến đánh giá, báo cáo và sửa chữa mọi sai sót đến mức tối đa. A8. Phân tích dữ liệu định lượng. Trong đánh giá, cần phân tích thỏa đáng và có hệ thống các dữ liệu định lượng để có thể kết luận về các vấn đề đánh giá, kể cả các kết quả mong đợi. A9. Phân tích dữ liệu định tính. Khi tham gia đánh giá, cần phân tích dữ liệu định tính một cách thỏa đáng và có hệ thống nhằm bảo đảm kết luận về các vấn đề đánh giá, kể cả kết quả mong đợi. A10. Kết luận phù hợp. Kết luận của đánh giá phải là kết quả của phương pháp và phân tích để cho phép các bên liên quan đánh giá với đầy đủ tính khách quan. A10b. Đạt được các đề xuất thực tế bằng đồng thuận. Các đề xuất của đánh giá cần được kiểm chứng bởi các bên liên quan, có tính khả thi và có liên hệ với các kết quả mong đợi. A11. Tính khách quan trong báo cáo. Báo cáo đánh giá cần được soạn thảo làm sao để không thể hiện quan điểm chủ quan của những người tham gia lập báo cáo nhằm bảo đảm tính khách quan. Báo cáo cần thể hiện kết quả của đánh giá. A12. Đánh giá dựa trên tài liệu có sẵn. Bản thân đánh giá cần được đánh giá chính thức và có hệ thống dựa trên các hướng dẫn để bảo đảm cho đánh giá được thực hiện phù hợp; từ đó cho phép các bên liên quan đánh giá ưu điểm và nhược điểm của đánh giá.

Nguyên tắc tôn trọng các tiêu chuẩn đạo đức: Những nguyên tắc này bảo đảm việc tôn trọng các quy định luật pháp và đạo đức cũng như lợi ích của các bên liên quan tham gia vào quá trình đánh giá hay chịu ảnh hưởng của các kết quả đánh giá.

P1. Mục tiêu và phạm vi đánh giá. Đánh giá phải được xây dựng để đáp ứng có hiệu quả nhu cầu của mọi đối tượng liên quan. P2. Phạm vi và chất lượng. Đánh giá cần tổng hợp và thỏa đáng. Đánh giá cần xác định và phân tích ưu điểm, nhược điểm của dự án, chương trình hay chính sách cần đánh giá. Mục tiêu của đánh giá là đưa ra các đề xuất hữu ích nhằm tăng cường các lĩnh vực tích cực của chương trình và phương thức xử lý những vướng mắc nảy sinh.

Đánh giá và Nghiên cứu

Chương 11

P3. Thỏa thuận chính thức. Mục tiêu, phương pháp, trách nhiệm, thời hạn và quyền sử dụng đánh giá cần được thỏa thuận và chính thức hóa trong cam kết trách nhiệm có thể sửa đổi. Cần đặc biệt chú ý các lĩnh vực cam kết ngầm định và không chính thức giữa các bên liên quan. 411

P4. Quyền của các bên liên quan. Cần xây dựng và thực hiện đánh giá phù hợp với các quyền và phẩm chất đạo đức, thể chất của các bên liên quan và cộng đồng. Cần bảo đảm tôn trọng tính riêng tư của các số liệu cá nhân thu thập được. P5. Quan hệ con người. Người đánh giá cần tôn trọng nhân cách và giá trị con người khi liên hệ với những người tham gia đánh giá theo những cách thức sao cho những người đó không cảm thấy bị đe dọa hay tổn hại về thể chất hay văn hóa hay tín ngưỡng tôn giáo. P6. Công bố kết luận. Các bên liên quan cần quản lý các kết quả đánh giá cũng như cần xác định chính xác các hạn chế của những phương pháp được sử dụng. Những đề xuất bắt nguồn từ quyền làm chủ này sẽ được xây dựng cùng với các bên liên quan. Cần duy trì sự riêng tư trong suốt quá trình nhằm tránh bất kỳ sự đe dọa nào đối với các cơ quan thực thi hay người đánh giá. P7. Mâu thuẫn lợi ích. Những mâu thuẫn này cần được giải quyết một cách khách quan để không làm ảnh hưởng đến quá trình và kết quả đánh giá.

Chương 11

P8. Tính minh bạch. Người đánh giá cần áp dụng những nguyên tắc về hiệu quả và tính minh bạch trong mọi hoạt động quản lý liên quan đến dự án và trong quá trình thực hiện đánh giá.

412

Triển khai các hệ thống Theo dõi và Đánh giá

Chương 12 Sử dụng thông tin trong việc nâng cao kết quả

Mục tiêu Chương này hướng dẫn bạn cách thức sử dụng thông tin vào việc nâng cao kết quả đạt được của tổ chức. Những chiến lược cần thiết sẽ được cung cấp nhằm giúp bạn tăng cường khả năng vận dụng thông tin từ hệ thống Theo dõi, đánh giá vào việc đưa ra những quyết định quan trọng có thể cải thiện kết quả công việc.

Kiến thức, kĩ năng trọng tâm a)

Giải thích tất cả các khái niệm liên quan đến dữ liệu, thông tin, cách ra quyết định, phương pháp phân tích và trình bày dữ liệu.

Phân tích, tổng hợp kết quả nghiên cứu khảo sát định kì và đánh giá dữ liệu trong hệ thống Theo dõi, đánh giá.

Tổng hợp báo cáo động (sản phẩm thông tin), bao gồm trình bày thông tin một cách hiệu quả, hỗ trợ người quản lý, người ra quyết định.

Thực hiện các chiến lược đổi mới, đa dạng nhằm tận dụng tối đa thông tin có được.

413

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Trước khi bắt đầu... Hãy dành vài phút đọc qua những câu hỏi dưới đây. Bạn sẽ nhận thấy việc viết câu trả lời ra rất hữu ích. Khi đọc qua chương này, hãy so sánh câu trả lời của bạn với quan điểm của tác giả. •

Thách thức hay vấn đề mà tổ chức của bạn hiện đang gặp phải là gì?

•

Lý do gì khiến bạn đọc phần 12 cấu phần của hệ thống Theo dõi, đánh giá chức năng?

•

Điều gì tác động tới quyết định mà tổ chức của bạn đưa ra cũng như dịch vụ mà tổ chức bạn cung cấp?

•

Tại sao tổ chức của bạn lại có hệ thống Theo dõi, đánh giá?

•

Hệ thống Theo dõi, đánh giá của tổ chức sẽ đưa ra những thông tin dạng nào?

•

Ai đưa ra quyết định về chiến lược, chương trình và kế hoạch hoạt động của tổ chức bạn?

•

Thông tin thu nhận được qua hệ thống Theo dõi, đánh giá có dẫn đến thay đổi nào trong chiến lược, chương trình và kế hoạch hoạt động của tổ chức hay không?

•

Bạn có thể nhớ lại một lần nào đó mà thiết kế chương trình được cải thiện hay hoạt động triển khai bị thay đổi do dữ liệu thu nhận từ báo cáo Theo dõi, đánh giá hay không?

•

Tổ chức bạn đã từng đưa ra một quyết định khác người nào chưa? Yếu tố nào thúc đẩy việc đưa ra quyết định đó?

•

Những người ra quyết định mà bạn hợp tác làm việc có yêu cầu thông tin không? Tại sao và khi nào họ muốn có thông tin? Để làm gì?

•

Sử dụng thông tin để nâng cao kết quả nghĩa là gì?

•

Những yếu tố nào cản trở hay khuyến khích bạn sử dụng thông tin mà bạn nhận được?

•

Thông tin có được nghiên cứu, kiểm tra trước khi ra quyết định hay phát triển một kế hoạch mới hay không?

•

Những người nắm vai trò ra quyết định trong tổ chức của bạn có ý thức cân nhắc cách thức, thời điểm hay đối tượng sử dụng thông tin thu nhận từ hệ thống Theo dõi, đánh giá trong quá trình chọn lọc thông tin không?

Chương 12

Mục đích trọng tâm, quan trọng nhất của hệ thống Theo dõi, đánh giá là nhằm giúp đỡ tổ chức của bạn hoàn thành sứ mệnh: cải thiện các chiến lược hoạch định mục tiêu của tổ chức; cải thiện kế hoạch và ngân sách cho các hoạt động của tổ chức nhằm đạt được kết quả đề ra; và nâng cao cách thức tiến hành hoạt động. Chương này sẽ hé mở các khái niệm về cách thức sử dụng thông tin trong việc nâng cao hiệu quả hoạt động, lý giải một số chiến lược đã được kiếm nghiệm nhằm nâng cao hiệu quả thông tin trong quá trình ra quyết định, và cung cấp một số ví dụ về cách thông tin có thể hoặc đã từng được sử dụng.

414

Triển khai các hệ thống Theo dõi và Đánh giá

Cấu phần 12: Sử dụng thông tin trong việc nâng cao kết quả

1. Giới thiệu “Các nhà nghiên cứu đã phát hiện ra rằng các thành viên tổ chức càng được thông báo kĩ càng hơn về vấn đề họ được yêu cầu xử lý cũng như điểm mạnh, yếu của từng phương án lựa chọn, họ càng có khả năng dưa ra một quyết định đúng đắn hơn.“ Hirokawa, 1996 Tại sao cấu phần Sử dụng thông tin trong việc nâng cao kết quả được đặt ở giữa cấu phần 12 với hình họa đỏ? Hệ thống theo dõi, đánh giá cung cấp thông tin giúp các tổ chức giải quyết vấn đề và thách thức gặp phải trong công việc cũng như đạt được mục tiệu đềra. Trung tâm của hệ thống này, hay còn gọi là hồng tâm (lý do vì sao mà nó được đặt ở giữa cấu phần 12 và in màu đỏ), là vận dụng thông tin từ hệ thống theo dõi, đánh giá trong khi ra các quyết định về chiến lược, chương trình, ngân sách, phân bố tài nguyên, nhân lực và thực hiện. Không hẳn tất cả thông tin đều được sử dụng cho mục đích ban đầu đề ra. Tác dụng của thông tin phụ thuộc vào nhiều yếu tố: thiện chí, khả năng, cách thức ra quyết định; bản chất thông tin (thông tin có thể không chính xác, không đầy đủ hay không liên quan tới quyết định cần đưa ra); cách trình bày thông tin; văn hóa tổ chức (có tác dụng thúc đẩy nhân viên coi trọng hay không coi trọng việc sử dụng thông tin); sự năng động của nhóm (trong trường hợp quyết định cần có tính thống nhất); bản chất của quyết định cần đưa ra (nhữngthông tin yêu cầu thay đổi hoàn toàn chiến lược hay cách thức tiến hành sẽ có xu hướng bị loại bỏ). Trong chương này, chúng tôi hướng dẫn các bạn vận dụng tối đa thông tin có được từ hệ thống theo dõi, đánh giá nhằm đạt được mục tiêu đề ra của tổ chức. Bố cục của Chương này: Phần 2 giải thích các khái niệm trọng tâm liên quan tới dữ liệu, thông tin, chu kỳ quản lý dữ liệu, và cách thức ra quyết định. Kết quả lâu dài của việc sử dụng thông tin trong khi ra quyết định sẽ được đề cập tới trong phần 3; phần 4 nêu ra các lợi ích của việc sử dụng thông tin nhằm nâng cao kết quả; phần 5 nêu rõ các chiến lược tận dụng thông tin trong việc nâng cao kết quả đạt được. Phần Hướng dẫn trong chương này đồng thời hướng dẫn (a) cách phân tích thông tin định lượng, (b) cách phân tích thông tin định tính, và (c) cách trình bày dữ liệu bằng hình ảnh (Phần 6, 7, 8). Kết thúc chương là tóm tắt tất cả bài học (Phần 9), và một số hoạt động học tập thực tế để củng cố kiến thức đã học (Phần 10).

415

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

2. Thông tin và các khái niệm cơ bản Làm sao chúng ta biết được rằng thông tin được sử dụng khi đưa ra quyết định? Khi những người ra quyết định yêu cầu cung cấp thông tin. Một người ra quyết định sẽ tăng nhu cầu tìm thêm thông tin nếu họ được khuyến khích làm vậy. Các khái niệm trình bày dưới đây cung cấp thêm kiến thức về bối cảnh và thông tin nền. Đánh giá chính sách: Đưa ra chính sách đúng đắn với một vấn đề tầm cỡ quốc gia đòi hỏi quyết định đề ra dựa trên bằng chứng cụ thể. Có thể có một chút trùng hợp giữa phương pháp và chiến lược sử dụng trong ngành nghiên cứu chiến lược và Theo dõi, đánh giá. Các đánh giá chính sách có có thể áp dụng với chính sách tương lai hay trước đây. Các đánh giá chính sách tương lai bao gồm phân tích so sánh các viễn cảnh của các chính sách thay thế khác nhau trong khi đánh giá chính sách trước đây là quy trình kiểm tra lại các hậu quả hay một chính sách cụ thể nào đó (Mathison, Bách khoa Đánh giá, 2005). Vạch chiến lược: Quá trình hoạch định chiến lược bao gồm các hoạt động liên quan trực tiếp tới việc xác định trước các tài nguyên vật lực, nhân lực cần thiết để đạt được mục tiêu đề ra. Quá trình này gồm xác định các phương án lựa chọn, phân tích kĩ từng phương án và chọn cái tốt nhất (Mintzberg 1994). Để nắm được mục tiêu nào cần đạt được và hoạt động nào sẽ góp phần đạt được mục tiêu đó, thông tin là rất cần thiết. Có được thông tin, bạn sẽ xác định được chính xác mục tiêu cần hướng đến nhằm giải quyết các thách thức, vấn đề thiết yếu. Dữ liệu định lượng và định tính: Những quan sát người, vật hay sự kiện có tác dụng quan trọng nhằm trả lời các câu hỏi liên quan tới chương trình và chính sách của chính phủ. Nhóm các quan sát đó được gọi chung là dữ liệu, gòm hai loại là định lượng (phần chữ) hay định tính (phần số). Dữ liệu là dạng thông tin thô, chưa được tóm tắt hay phân tích (Wikipedia, 2007). Dữ liệu định lượng bao gồm: danh sách, số đếm, khoảng thời gian hay dữ liệu tỷ lệ (xem Phụ lục A để nắm được từng loại dữ liệu cụ thể). Dữ liệu định tính bao gồm: phần chữ viết (ví dụ: nhật ký); thông tin dạng âm thanh (ví dụ: ghi âm); và thông tin dạng hình ảnh (ví dụ: tranh ảnh, video) •

Trong một chuyến bay, để báo cáo độ cao, theo cách định lượng ta sẽ nói “chúng tôi vừa đạt tới độ cao 35.000 feet.”

•

Trong khi đó, theo cách định tính ta sẽ nói “chúng tôi đang bay cao hơn bất cứ loài chim nào và thậm chí cao hơn cả mây nữa.”

Chương 12

Thông tin và sản phẩm thông tin: Dữ liệu sẽ có ít tác dụng với những người ra quyết định nếu chúng chứa nhiều thông tin chi tiết nhỏ lẻ quá. Để dữ liệu có thể sử dụng hiệu quả, chúng cần được chuyển thành thông tin ở dạng có thể phân tích, tổng hợp, giải thích và trình bày. Thông tin là dữ liệu đã được biến đổi thành dạng có ý nghĩa (Wikipedia, 2007). Thông tin thường được tìm thấy trong các sản phẩm thông tin như báo cáo, tờ rơi quảng cáo, tóm tắt chính sách, hay bài trình bày PowerPoint.

416

Triển khai các hệ thống Theo dõi và Đánh giá

Phân tích dữ liệu: Phân tích dữ liệu là quá trình vận dụng dữ liệu (định tính hay định lượng) bao gồm tóm tắt, tính toán, so sánh và sử dụng các biện pháp phân tích dữ liệu khác nhằm mô tả, hiểu và nhìn ra quan hệ giữa các dữ liệu theo thời gian. Phân tích dữ liệu cũng giống như bản thân dữ liệu, có thể ở dạng định tính hay định lượng. Phân tích dữ liệu định tính là kĩ thuật quy nạp, bao gồm phân loại, giải thích từ ngữ dạng viết, nói hay hình ảnh. Có thể bao gồm cả phân tích ma trận, trong đó dữ liệu được vào một ma trận, và mã hóa nội dụng, trong đó dữ liệu viết được phân tích, tìm ra các điểm chung. Trong khi đó, phân tích dữ liệu định lượng là kĩ thuật diễn dịch, bao gồm phân tích thống kê, vận dụng, tóm tắt, giải Phân tích = nghệ thuật tìm ra 3 lỗi sai thích dữ liệu. Ngoài ra, có thể so trong hàng ngàn dòng sánh quan sát trong các thời kì khác chữ nhau để tìm ra xu hướng chung. Hiểu biết tường tận = nghệ thuật hiểu • Thống kê mô tả mang lại hình được 3 thống kê ảnh về dữ liệu bằng cách sử liên quan dụng các biện pháp xu hướng Tóm tắt từ: Kaushik, 2006 hướng tâm (biện pháp lấy số trung bình, trung vị và mode, hay giá trị của phần tử có số lần xuất hiện nhiều nhất trong danh sách) và các biện pháp dao động trung bình (khoảng biến thiên dao độ và độ lệch trung bình). •

Thống kế suy luận là sản phẩm của các bài kiểm tra thông kê nhằm hỗ trợ những suy diễn dựa trên dữ liệu, từ đó kiểm tra các giả thuyết và liên hệ giữa kết quả nghiên cứu các mẫu với toàn nhóm đối tượng.

Phân tích dữ liệu chưa đủ: nhà phân tích cần nắm được nhu cầu của người ra quyết định để định hướng những phân tích của mình. Họ cần luận dữ liệu một cách kĩ càng để hiểu được bản chất cũng như giải thích những hàm ý ẩn trong đó. Kiến thức: Kiến thức là thông tin mà một nguời vốn có cũng như thông tin mới người đó tiếp nhận và nắm vững được. Kiến thức là năng lực sử dụng thông tin, do đó đòi hỏi học tập và trải nghiệm. Foskett (1982) cho rằng “kiến thức là cái tôi biết, thông tin là cái chúng ta biết.” Nói cách khác, kiến thức là quá trình cá nhân tiếp thu thông tin, tìm hiểu rõ về nó vaàcó khả năng áp dụng vào một tình huống cụ thể. Học tậpvà thích nghi là những khả năng vô cùng quan trọng trong môi trường biến đổi tới chóng mặt của chúng ta và như Alvin Toffler đã chỉ ra “những người thất học ở thế kỉ 21 sẽ không phải là những người không biết đọc, biết viết mà là những người không có khả năng học tập, quên đi những gì đã học và học lại.” Báo cáo và phổ biến: Báo cáo là bằng chứng ở dạng viết còn phổ biến là hành động chia sẻ báo cáo với những người khác. Trong quá trình phân tích dữ liệu, dữ liệu được chuyển thể thành thông tin hữu ích và sau đó “các hoạt động phổ biến đảm bảo thông tin đúng đến với đúng người cần chúng vào đúng lúc” (USAID, không rõ ngày tháng: 2).

417

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Sử dụng thông tin: Thông tin được sử dụng khi người ra quyết định và các thành viên xem xét kĩ lưỡng thông tin họ được cung cấp trong quá trình lập chính sách, lên kế hoạch và điều hành chương trình hay cung cấp dịch vụ. Quyết định hay hành động cuối cùng có thể không chỉ dựa vào thông tin mà thông tin chỉ là một phần trong quá trình ra quyết định (Đánh giá phương pháp và USAID, không rõ ngày tháng). Sử dụng dữ liệu giải quyết vấn đề: Khi có một vấn đề cần giải quyết, làm thế nào để kết hợp tất cả các khái niệm này? Hình C12-1 mô tả cách tìm, đối chiếu, thu thập và phân tích dữ liệu để tạo ra thông tin. Thông tin này sau đó được nội bộ hóa (bởi tổ chức hay cá nhân tham gia vào công tác báo cáo) và báo cáo (với cá nhân hay tổ chức khác), thường ở dạng sản phẩm thông tin. Phạm vi sản phẩm thông tin được phổ biến ảnh hưởng tới sự hình thành kiến thức mới (bởi cá nhân người báo cáo hoặc những người khác) và từ đó quyết định khả năng sử dụng thông tin mới để đưa ra những quyết định tốt hơn. Hình C12-1:

Sử dụng dữ liệu trong giải quyết vấn đề

VẤN ĐỀ

Làm thế nào để giải quyết?

Kết quả tốt hơn QUYẾT ĐỊNH

CHÚ GIẢI Đường đỏ liền thể hiện các quá trình lập kế hoạch

Sử dụng kiến thức có được để cải thiện quyết định

Tìm, đối chiếu, thu thập dữ

Kiến thức mới nảy sinh

Phân tích dữ liệu để tạo ra thông tin

Nội bộ hóa

Phát triển sản phẩm

Phổ biến

Đường đỏ chấm thể hiện mức độ không chắc chắn về sự việc Khả năng thông tin dẫn đến hình thành KIẾN THỨC mới và khả năng thông tin đó ảnh hưởng tới việc ra quyết định phụ thuộc vào: • • • • • •

Sự phổ biến các sản phẩm thông tin Trình bày thông tin bằng hình ảnh Những lưu tâm chính trị Văn hóa tổ chức Các yếu tố tình huống Các rào cản khác với việc sử dụng thông tin

Nguồn: Các tác giả, với sự hỗ trợ của De Beyer

Câu hỏi tư duy 1:

Chương 12

Các quyết định của tổ chức bạn được đưa ra dựa trên cơ sở xem xét các lựa chọn và hậu quả của chúng, hay dựa trên các nguyên tắc, hay đơn giản chỉ là cảm tính của người ra quyết định? Việc ra quyết định của tổ chức bạn có phải là quá trình thống nhất, rành mạch không hay mơ hồ và lộn xộn? Việc ra quyết định đó chủ yếu là vì lợi ích nó mang lại hay vì mộtcá nhân hoặc quan điểm xã hội nào đó được dựng lên và tuân thủ? Kết quả của quá trình ra quyết định chủ yếu dựa vào mộtcá nhân nào đó hay sự tương tác của nhiều người, tổ chức và thông tin? (Tóm tắt tháng 3/1994)

418

Triển khai các hệ thống Theo dõi và Đánh giá

Các quyết định của tổ chức bạn được đưa ra như thế nào? Các quyết định trong một tổ chức không được đưa ra một cách máy móc. Chúng là sự kết hợp các vấn đề (phát hiện qua thông tin), giải pháp (nơi thông tin mô tả các kết quả có thể có), và các thành viên (Borun, 2000). Tất cả những yếu tổ này đều có thể bị tác động bởi những yếu tố chính trị và phi nguyên tắc (những quyết định không bị tác động bởi thông tin (Amason, 1991). Cách thức ra quyết định nên và thực sự đa dạng đáng kể. Về mặt lý thuyết, trong một tình huống ra quyết định lý tưởng, trước tiên vấn đề nên được phân loại và xác định, sau đó xem xét kĩ các khía cạnh (xác định các phương án, kết quả, và ưu tiên). Với vốn kiến thức này, người ra quyết định có thể xác định được phương án nào và kết quả nào là tối ưu nhất. Cuối cùng là bước thực hiện hành động theo quyết định đã đưa ra và kiểm tra tính hiệu lực và hiệu quả của quyết định với một số các trường hợp thực tế (Drucker et al., 2005). Trên thực tế, việc ra quyết định ở các tổ chức thường không thống nhất, không rõ ràng và bị ảnh hưởng nhiều hơn bởi hành vi và văn hóa tổ chức (những hành vì cá nhân và các phản ứng trước quyết định đưa ra có thể xuất hiện, văn hóa tổ chức, quan điểm của người đứng đầu, tiêu chuẩn quốc tế và quốc gia, hay thực tế tại các quốc gia khác) chứ không chỉ là quá trình tư duy đơn thuần: “Nghiên cứu quá trình ra quyết định thực tế cho thấy không phải tất cả các phương án đều được tính đến, tất cả các hệ quả đều được xem xét và cũng phải tất cả các ưu tiên được phát sinh cùng lúc. Thay vì xem xét tất cả phương án có thể, những người ra quyết định thường chỉ cân nhắc một số và nghiên cứu chúng lần lượt thay vì cùng lúc. Những người ra quyết định thường không tính được hết các hệ quả của các phương án. Họ thường chú tâm vào một số và lờ tảng những kết quả khác nữa. Thay vì xác định rõ ràng, thống nhất các ưu tiên, những người ra quyết định dường như chỉ có những mục tiêu không đầy dủ, không thống nhất và họ cũng không xem xét tất cả mục tiêu đó cùng lúc. Thay vì tính toán chọn ra “hành động tối ưu nhất” họ chỉ tìm ra phương án nào “đủ tốt” (March, 1994:9). “Những người ra quyết định …thường không nhìn ra ‘vấn đề’ cho tới khi họ có giải pháp “ (March và Romelaer, 1976). Làm thế nào để cải thiện việc ra quyết định của tổ chức? Những người ra quyết định thường có những hạn chế nghiêm trọng làm giảm khả năng đưa ra những quyết định đúng đắn: hạn chế về sự chú ý, trí nhớ, lĩnh hội, và giao tiếp (March, 1991). Bazerman (2008) cho rằng quá trình ra quyết định có thể được cải thiện bằng cách sử dụng những công cụ phân tích quyết định, nắm bắt chuyên môn, chống thiên vị trong đánh giá của người ra quyết định, nhìn từ góc độ người ngoài cuộc và nắm bắt những thiên vị phát sinh của những người khác. Tất cả các chiến lược cải thiện đều đòi hỏi thông tin. Tuỳ theo bước tiến hành, các thành viên thường gặp phải các vấn đề khác nhau, do đó cần đưa ra quyết định khác nhau dựa trên các loại thông tin khác nhau (Bảng C12-1).

419

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Quá trình này tưởng chừng đơn giản và liền mạch: thu thập dữ liệu, phân tích và sử dụng thông tin trong việc cải thiện các quyết định của tổ chức nhằm đạt mục tiêu đã đề ra. Trên thực tế, quá trình đó phức tạp hơn nhiều. Sử dụng thông tin đã trở nên thời thượng (nhiều tổ chức và hoạt động được cho là dựa trên bằng chứng cụ thể), nhưng đôi lúc việc sử dụng thông tin thực tế có tính biểu tượng hơn là khoa học (Feldman và cộng sự, 1981). Hầu hết các tổ chức đều tập hợp nhiều thông tin hơn lượng họ sử dụng, vậy mà vẫn liên tục yêu cầu thêm thông tin. Có vẻ đó là do “thông tin đã trở thành tín hiệu và biểu tượng của sự thành thục trong ra quyết đinh. Tập hợp và trình bày thông tin cho thấy (và chứng tỏ) khả năng cũng như tính hợp pháp của người ra quyết định. Một người ra quyết định giỏi có khả năng đưa ra quyết định đúng đắn, có chuyên môn và biết sử dụng thông tin được công nhận rộng rãi. Cuộc ganh đua tên tuổi giữa những người ra quyết định dẫn đến sự “thừa thãi thông tin” (March and Romelaer 1976). Tuy vậy, các thông tin liên quan tới quyết định rất hiếm khi vô hại. Hầu hết thông tin đều dễ bị hiểu lầm hoặc tạo ra sự thiên vị một cách không cố ý (March 1991), do đó không chỉ có sự cản trở về mặt chính trị với quá trình ra quyết định mà còn với chính bản thân thông tin. Bảng C12-1:

Loại thông tin cần thiết tuỳ theo bước tiến hành

Bước tiến hànhchính sách/ chương trình mới

Loại vấn đề điển hình

Quyết định đưa ra

Các thành viên góp phần ra quyết định

Loại thông tin cần thiết

1. Xác định, nhận biết vấn đề

Hiểu tình huống

Thiết lập ưu tiên, Ủng hộ, xác định mục tiêu và quyết định chính sách

Đại diện công chúng, xã hội, nhà lãnh đạo

Phân tích tình huống, dữ liệu điều tra, điều tra, đánh giá chính sách, đánh giá mức sẵn sàng,

2. Lựa chọn giải pháp

Đánh giá tương đốí ảnh hưởng của các phương án can thiệp khác nhau

Tìm nguồn chi cho chính sách

Quan chức lập chính sách cộng đồng, nhà cung cấp dịch vụ, đối tượng hưởng lợi ích

Xem xét nghiên cứu liên quan, phân tích thứ cấp dữ liệu có được (gồm cả mặt giá cả), các nghiên cứu đặc biệt, các nghiên cứu về vấn hành và hình thành, và tổng hợp các nghiên cứu

Nắm được ảnh hưởng của các phương án chính sách khác nhau

Chương 12

Đánh giá các giải pháp dự trù

420

Triển khai các hệ thống Theo dõi và Đánh giá

Bước tiến hànhchính sách/ chương trình mới

Loại vấn đề điển hình

Quyết định đưa ra

Các thành viên góp phần ra quyết định

Loại thông tin cần thiết

3. Tiến hành và quan sát

Tiến triển không như dự tính Chất lượng không như dự kiến Không đủ hoặc lãng phí tài nguyên nước Làm thế nào để cải thiện quá trình thực hiện?

Duy trì kết hoạch vận hành và tiếp tục ngân sách tài trợ Điều chỉnh giữa kì

Nhà cung cấp dịch vụ và giám đốc chương trình, xã hội

Theo dõi và đánh giá quá trình, đánh giá chất lượng, theo dõi đầu ra

4. Kết luận

Mức không chắc chắn về ảnh hưởng của chương trình Bài học rút ra Chương trình có nên tiếp tục không?

Đánh giá Đại diện công chúng, xã hội, chương trình Ngừng và kiểm tra phương án can thiệp

Nghiên cứu đánh giá đầu ra, khảo sát, tìm và khảo sát thói quen

Nguồn: Tóm tắt từ Bảng 1, trang 11 về khung khái niệm DDIU, Đánh giá phương pháp, không rõ ngày tháng xuất bản..

Việc thu thập đúng loại, đúng lượng dữ liệu, trình bày chúng một cách khách quan, từ đó đưa ra những quyết định hoàn toàn khách quan là một thử thách lớn. Lý do tại sao thông tin không phải lúc nào cũng được sử dụng trong quá trình ra quyết định nhằm cải thiện kết quả của tổ chức: Một lí do khiến dữ liệu có thể không được dùng đến là quan điểm dữ liệu thu thập là để phục vụ công việc của người khác (Levesque và cộng sự, 996). Các lí do khác bao gồm: •

Thời gian: Quyết định thường cần phải được đưa ra nhanh chóng và người quản lý thường dựa vào bản năng, kinh nghiệm nhiều năm hơn là đợi xem xet thông tin cần thiết cho quyết định.

•

Chính sách chính phủ mâu thuẫn nhau: Ví dụ, chính sách về sự biến đổi khí hậu có thể mâu thuẫn với chính sách phát triển kinh tế và quyền lực.

•

Tư tưởng chính trị và quan điểm của quần chúng: Một quyết định có thể theo tư tưởng chính trị của đảng phái chính hay quan điểm của đa số công chúng trong nước, ví dụ việc tăng hay giảm tiền phúc lợi, bất kể những ảnh

421

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

hưởng kinh tế và xã hội có thể xảy ra hay việc ủng hộ, phản đối tử hình bất kể vấn đề tài chính cũng như hậu quả tới tình trạng phạm tội. •

Tranh cãi về dữ liệu, phương pháp đánh giá ảnh hưởng, thu thập dữ liệu hay công cụ phân tích dữ liệu. Những dữ liệu hay thông tin gây tranh cãi thường ít được dùng trong quá trình ra quyết định.

•

Phương pháp hay công cụ phân tích không rõ ràng, chưa được thống nhất: Điều đó có thể làm giảm độ tin cậy của thông tin được trình bày.

•

Thử thách và lưu trữ và phân tích dữ liệu: Phân tích dữ liệu kĩ lưỡng có thể cần rất nhiều công sức nếu muốn dữ liệu được trình bày, tập hợp theo cách tiện cho phân tích linh hoạt (Wayman 2005:298).

Làm sao chúng tôi biết thông tin từng được sử dụng thế nào trong quá trình ra quyết định nâng cao kết quả của tổ chức bạn? Hầu hết các nhà ra quyết định khi được hỏi đều chắc chắn rằng họ có sử dụng thông tin. Làm sao chúng tôi khẳng định được rằng thông tin đã được sử dụng? Mặc dù rất khó để lượng hóa một cách khách quan thông tin đã sử dụng, bằng chứng về thông tin có thể nhận thấy bằng cách dùng các biện pháp định tính: •

Chỉnh sửa thiết kế hay tiến hành chương trình giữa kì dựa trên dữ liệu mới báo lên.

•

Ngân sách được phân bổ lại tới các chương trình hiệu quả cao hơn.

•

Các chương trình hoạt động kém hiệu quả sẽ được phát hiện và cải tiến, các chương trình tốt sẽ được công nhận

•

Liên hệ chính xác tới thông tin mới nhất trong các báo cáo.

•

Phổ biến báo cáo và trưng bày bằng chứng bằng hình ảnh trong văn phòng thực hiện dự án.

•

Người thực hiện yêu cầu thông tin cụ thể hơn về các báo cáo theo dõi, đánh giá.

•

Kế hoạch chiến lược xác định giải pháp cho các vấn đề quan trong trong nước hay tổ chức.

•

Người thực hiện cân nhắc các báo cáo và thông tin có được trong quá trình thảo luận các vấn đề liên quan tới hành vi hay tình hình họ đang muốn thay đổi.

3. Kết quả cần đạt được khi thực hiện cấu phần này

Chương 12

Kết quả dài hạn: Phân tích dữ liệu từ hệ thống theo dõi, đánh giá và phổ biến thông tin tới những người ra quyết định cốt cán, hỗ trợ sử dụng dữ liệu trong việc lập chính sách, kế hoạch và chương trình.

422

Triển khai các hệ thống Theo dõi và Đánh giá

Kết quả ngắn và trung hạn: •

Phân tích nhu cầu thông tin và người sử dụng thông tin

•

Mẫu báo cáo và trình bày bảng biểu chuẩn

•

Lịch trình báo cáo

•

Sản phẩm thông tin hướng đến các đối tượng khác nhau

•

Bằng chúng về việc sử dụng thông tin (ví dụ: quyết định cải thiện chương trình dựa trên thông tin, các chương trình đã cải thiện, v.v.)

Câu hỏi tư duy 2: Xem xét tổ chức bạn đang làm việc và cách thức ra quyết định trong tổ chức. Dữ liệu có đươc thu thập, sau đó chuyển thể thành thông tin hữu dụng không? Tổ chức bạn quản lý dữ liệu như thế nào? Việc này có được thực hiện thường kì hay thỉnh thoảng? Có thể nhìn thấy bao nhiêu kết quả ngắn, trung hạn liệt kê ở trên?

4. Lợi ích của thông tin trong nâng cao kết quả 4.1. Sử dụng thông tin sẽ giúp tổ chức hay bộ phận của bạn giải quyết vấn đề Nếu có thông tin, vấn đề sẽ được xác định và nắm bắt tốt hơn. Nhờ đó, người ta có thể biết được những nguyên nhân gốc rễ của vấn đề hay thách thức mà tổ chức, quốc gia đang gặp phải và ước tính hệ quả của việc thực hiện những giải pháp khác nhau. Ví dụ Bộ Giao có thể sử dụng tổng hợp nhiều nguồn dữ liệu khác nhau để xác định các khu vực hay xảy ra va chạm và đánh giá các giải pháp có thể thực hiện (SEMCOG, 2008). Từ đó, các nhà hoạch định sẽ có cơ sở đưa ra được những quyết định khách quan, hợp lý và đề xuất giải pháp. Cùng một dữ liệu có thể vừa dùng để đánh giá thành công của giải pháp, vừa đề xuất cải tiến. Tiến sĩ John Snow đã tận dụng dữ liệu theo một cách cổ điển để mở đường cho ngành dịch tễ học hiện đại.

Hình C12-2:

423

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Bản đồ của Tiến sĩ John Snow

Năm 1865, một đại dịch lớn bùng phát ở một khu vực nhỏ của Luân Đôn. Được sử trợ giúp của một mục sư địa phương, (Reverend Henry Whitehead), Snow đã khám phá ra những người bị chết đều từng uống nước từ một máy bơm lớn trong khu vực, Điều này hỗ trợ giả thiết rằng có thể máy bơm đó chính là nguồn gốc bệnh tật (xem Hinh C12-2). (Máy bơm được khoanh tròn. Các cột màu đậm thể hiện nơi sinh sống của những người chết vì bệnh dịch trong tuần đầu tiên.) Cùng lúc đó, gần như chỉ có Snow nghi ngờ rằng bệnh dịch xuất phát từ nước, còn những người khác đều cho rằng không khí tệ hại mới là nguồn gốc. Snow kêu gọi những người ra quyết định địa phương và cần máy bơm bị tháo bỏ khiến máy bơm không hoạt động được nữa. Dù còn nghi ngờ giải thích của Snow, cuối cùng những người này cũng quyết định làm theo và kết thúc được bệnh dịch sau tuần đầu với 500 người chết. Tuy vậy, trong nhiều trường hợp, thông tin đáng tin, được kiểm định chưa chắc đã đủ. Người ta đã không tin việc máy bơm nước là nguồn gốc phát sinh bệnh dịch vì nước từ máy bơm đó trong có vẻ chất lượng hơn nước từ các máy bơm khác (không ô nhiễm). Sau khi bệnh dịch chìm xuống, người ta đã thay cái cần máy bơm mới. Dù có bằng chứng hẳn hoi, giả thuyết của Snow về bệnh dịch không đuợc chấp nhận rộng rãi mà phải mất vài năm người ta mới bị dữ liệu, bản đồ và các khám phá khác của ông thuyết phục. Người đấu tranh cho theo dõi, đánh giá, thông tin cô đọng từ dữ liệu, cùng với gợi ý giải pháp từ đó là những yếu tố cốt lõi đảm bảo rằng dữ liệu được sử dụng để định hướng hành động. Thông thường có một hay nhiều hơn một người tin vào khả năng hỗ trợ giải quyết vấn đề của thông tin từ hệ thông theo dõi, đánh giá. Để tận dụng được dữ liệu cần phải tìm ra nhu cầu của người ra quyết định và giải thích rõ cho họ dữ liệu đáng tin có khả năng hỗ trợ giải quyết vấn đề ra sao.

4.2. Sử dụng thông tin tạo ra đầu mối chia sẻ hiểu biết về các vấn đề và thống nhất hành động Nếu được trình bày rõ ràng, khách quan, thông tin có thể cung cấp cơ sở tạo ra đầu mối hợp nhất, chia sẻ quan điểm. Xem xét thông tin khách quan cho phép giúp rút ra kết luận (hay ít nhất là sự khác nhau về quan điểm). Sử dụng thông tin giúp các thành viên chia sẻ cùng quan điểm, cách nhìn nhận vấn đề từ đó ảnh hưởng tới đóng góp của từng cá nhận tới việc giải quyết vấn đề.

Chương 12

Bình luận về diễn biến tại trường học khi việc thu thập dữ liệu và chắt lọc thông tin hỗ trợ việc ra quyết đinh hiệu trưởng phát biểu “Thay đổi lớn nhất là trường của chúng ta đã thay đổi từ là một nhóm các giáo viên riêng lẻ thành một cộng đồng giáo viên.” (Ailen Dickey, Hiệu trưởng và phụ trách dữ liệu, trường cấp 1 Wildﬂower, Colorado Springs, Colorado)

424

Triển khai các hệ thống Theo dõi và Đánh giá

4.3. Sử dụng thông tin giúp đảm bảo chính sách và giải pháp có liên quan Bằng cách mô tả tình huống hiện tại cũng như hệ quả của các chính sách cũ, thông tin giúp xác định nguyên nhân và hệ quả. Thực hiện chính sách A nên nhằm vào vấn đề B. Do đó, thông tin là yếu tố thiết yếu giúp hình thành chính sách tốt thay vì chỉ chọn lựa chính sách vì các nước khác cũng làm vậy hoặc do hướng dẫn từ phía quốc tế. Trong ví dụ John Snow nói trên, khám phá và dữ liệu mà ông tổng hợp, phân tích, trình bày đã đătj nên móng cho cách tiếp cận y tế cộng đồng hiệnđại. Nếu Snow không thu thập dữ liệu về cách bùng phát của bệnh dịch, hay trình bày thông tin theo một cách kém thuyết phục hơn, hoặc đưa ra kết luận sai, sự sống còn của Luân Đôn và lịch sử Anh đã khác.

4.3. Sử dụng thông tin giúp tổ chức hay bộ phận của bạn cải thiện chương trình và tận dụng nguồn ngân sách vốn có (từ đó giúp tổ chức quản lý được kết quả) Một khi phát hiện ra vấn đề, tổ chức hay bộ phận của bạn có thể xác định xem tiếp cận nó ra sao và tổ chức muốn đạt được kết quả như thế nào. Thông tin giúp theo dõi tiến triển trong quá trình hướng tới mục tiêu, từ đó, giúp quyết định xem chính sách hay chiến lược hành động nào hiệu quả nhất như minh họa trong Hình C12-3. Điều này cũng giúp phân bổ ngân sách tới các giải pháp tiết kiệm, hiệu quả hơn. Ví dụ, nếu có thông tin tốt, hệ thống kiểm soát chứng có thể nắm được tình hình cung cầu thực sự, và không phụ thuộc một cách bị động vào nhu cầu được thông báo. Một nhà nghiên cứu giáo dục có nói “Nhiều nghiên cứu…cho thấy sử dụng dữ liệu về học sinh một cách tích cực có thể có liên quan tới thành tích của học sinh. Nghiên cứu về tiến bộ và hiệu quả trường hợp đã cho thấy tầm quan trọng của việc sử dụng dữ liệu với quá trình cải tiến trường học “ (Wayman 2005: 297). Hình C12-3:

Quy trình cải tiến Chính sách, Chương trình và Tổ chức

1. Xác định mục tiêu dài hạn

2. Xác định đầu ra, thực tiễn (chương trình)và đầu vào (cần thiết để đạt mục tiêu)

3. Xác định các chỉ số (làm sao để đánh giá mức độ thành công?)

6. Phát triển chiến lược phát triển

5. Thực hiện (chương trình). Thu thập, kiểm tra giải thích dữ liệu

4. Xác định nguồn chỉ số (làm sao để xác định các giá trị của chỉ số?)

Tóm tắt từ: Levesque và cộng sự, 1996

425

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

4. Sử dụng thông tin giúp tạo ra sự hỗ trợ của công chúng với các chương trình, dịch vụ do tổ chức hay bộ phận bạn cung cấp Sử dụng dữ liệu để kiểm tra tiến độ giúp tạo dựng tên tuổi và cho phép các thành viên tham gia vào một chương trình hay chính sách mới. Chính phủ Mĩ gần đây đã kí Dự thảo Hồi phục Mĩ nhằm kích thích nền kinh tế tăng trưởng với số tiền bỏ ra là 787 tỉ đôla Mĩ. Để xây dựng mạng lưới hỗ trợ của công chúng với Dự thảo và đề cao tinh thần trách nhiệm, các chi tiêu từ số tiền nói trên sẽ được công bố rộng rãi trên trang web(www.recovery.gov). Ngân hàng Thế giới có chính sách thông tin cộng đồng quy đình tài liệu nào có thể phổ biến trên mạng và Quỹ toàn cầu phòng chống AIDS, Lao và Sốt rét cũng xuất bản thông tin về tài trợ trên trang web. Câu hỏi tư duy 3: Bạn đã bao giờ tham gia vào cải tổ nào của tổ chức chưa? Thông tin có được sử dụng trong lần đưa ra quyết định đó không? Thông tin được sử dụng ra sao và lợi ích trực tiếp của việc sử dụng thông tin là gì? Có cách nào khác để tổ chức bạn sử dụng dữ liệu trong tương lai không?

5. Chiến lược đề cao việc sử dụng thông tin nhằm nâng cao kết quả Để phát huy khả năng sử dụng thông tin của tổ chức bạn, hãy tập trung vào những vấn đề mà tổ chức hay bộ phận đang đối mặt và cách tiếp cận chúng. Cũng cần tạo ra mô hình lãnh đạo có tính khuyến khích, động viên và văn hóa tổ chức coi trọng thông tin. Người ta cần hiểu rõ yếu tố nghiệp vụ của tổ chức và thông tin được phổ biến. Ngoài ra, quá trình quản lý thông tin tiêu chuẩn cần phải được áp dụng vào hệ thống quản lý thành tích và đảm bảo chất lượng trong tất cả các giai đoạn của quá trình quản lý dữ liệu theo dõi, đánh giá. Sản phẩm thông tin tốt báo cáo và trình bày thông tin theo cách liên quan tới đối tượng người sử dụng và khán giả. Dạng sản phẩm thông tin tiêu chuẩn cho phép người sử dụng xác định rõ mục tiêu cần đạt và làm quen hơn với dữ liệu.

5.1. Tập trung vào các vấn đề tổ chức hay bộ phận gặp phải và cách tiếp cận chúng

Chương 12

Bằng cách tập trung vào vấn đề mà tổ chức hay bộ phận gặp phải, nhu cầu thông tin trở nên mạnh mẽ, rõ nét hơn vì người ta bắt đầu nhận rằng thông tin có thể giúp; (a) hiểu vấn đề; (b) xác định các giải pháp; (c) biết được giải pháp nào là tốt

426

Triển khai các hệ thống Theo dõi và Đánh giá

nhất) (d) đưa ra quyết định đúng đắn. Ngoài ra, nó cũng giúp các chương trình tập trung cải thiện và gia tăng cơ hội hợp tác. Tại sao cần cải thiện chương trình? Tập trung vào cải tiến chương trình giúp nhận biết thế mạnh, thế yếu và nghiên cứu nguyên nhân cũng như chiến lược cải thiện phù hợp. Từ đó hệ thống quản lý thành tích có thể cho ra bằng chứng về hiệu quả của các chiến lược. Tại sao lại gia tăng cơ hội hợp tác? Các tổ chức thường được cấu thành từ nhiều nhóm nhỏ, mỗi nhóm có những thành viên nắm rõ những điều khác nhau, có quan điểm khác nhau về những gì họ biết. Khi các thành viên này chia sẻ thông tin. Nhóm có thể tiếp cận với một lượng thông tin lớn hơn bất cứ lượng thông tin nào mà một thành viên có thể có, giúp họ đưa ra quyết định đúng (Dennis, 1996). Trao đổi với nhân viên và thành viên về dữ liệu cũng là cơ hội hợp tác quan trọng, giúp tăng cường hiểu biết và suy luận nhằm nâng cao kết quả. Ví dụ, trước khi phát triển một chính sách giáo dục mới, bộ giáo dục cần hiểu được tình trạng hiện tại, bao gồm tỉ lệ tổng và tỉ lệ thực tế của học sinh thuộc các lứa tuổi. Cùng với tỉ lệ bỏ học, thi đỗ và phản hồi định tính từ phụ huynhgiáo viên về những thách thức trong hệ thông giáo dục, từ đó giúp nhận định chính sách mới cần thiết.

5.2. Tạo môi trường lãnh đạo có tính động viên và văn hóa tổ chức coi trọng thông tin Lãnh đạo rất cần thiết với việc tạo ra môi trường cho dữ liệu bổ trợ. Armstrong và Anthes (2001) và Massel (2001) nhận ra rằng lãnh đạo tốt và văn hóa có tính động viên, hỗ trợ là đặc điểm chung của các trường biết sử dụng tối đa dữ liệu (Wayman, 2005:303), Dean và Sharfman (1996) nhận ra rằng ứng xử chính trị trong tổ chức ảnh hưởng lớn tới quyết định được thực thi. Lãnh đạo cũng có thể khuyến khích văn hóa tổ chức tích cực coi trọng sử dụng thông tin. Văn hóa tổ chức đã được chứng minh là động lực mạnh mẽ của các quyết định, còn hơn cả các quy trình quản lý thành tích. Văn hóa của một tổ chức có thể cần thay đổi nhằm nâng cao khả năng sử dụng thông tin. Cần xem xét yếu tố văn hóa trước khi quyết định cách thức trình bày thông tin và thời điểm đưa ra quyết định (Naor và cộng sự, 2008). Thái độ của tổ chức với việc sử dụng thông tin cần có tính chiến lược linh hoạt và hướng tới khách hàng. Tổ chức cần bắt đầu xem xét thông tin theo một cách khác như giới thiệu trong Bảng C12-2.

427

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Bảng C12-2: Cách văn hóa tổ chức cẩn thay đổi nhằm khuyến khích sử dụng thông tin Bớt chú trọng vào...

Chú trọng hơn vào...

Trách nhiệm bên ngoài

Trách nhiệm bên trong với tập thể

Đưa ra quyết định trước khi có thông tin

Đối thoại và quyết định dựa trên dữ liệu cập nhật thường xuyên

Ít sử dụng dữ liệu

Sử dụng rộng rãi và hiểu rõ dữ liệu

Không coi trọng dữ liệu

Coi dữ liệu như phản hồi nhằm tiến bộ không ngừng

Dữ liệu là để phân loại

Dữ liệu là để phục vụ

Tóm tắt từ: http://usingdata.terc.edu/about/UDOnlineArtifacts/DCGuide.pdf on December 23, 2008

Do văn hóa tổ chức cần có tính động viên và coi trọng sử dụng thông tin, một tổ chức đề cao thông tin cần có các đặc điểm sau •

Công nhận rằng ra quyết định không phải là quá trịnh tự động đơn thuần dựa trên thông tin. Do đó, để chuẩn bị cho việc ra quyết định không phải chỉ cần có sản phẩm thông tin Việc ra quyết định không đơn thuần là dựa trên bằng chứng mà được hỗ trợ bởi bằng chứng. (Thuật ngữ quyết định dựa trên bằng chứng chỉ những quyết định được đưa ra một cách đơn thuần, chóng vánh sau khi dữ liệu được trình bày trong khi thuật ngữ quyết định hỗ trợ bỏi bằng chứng công nhận rằng còn nhiêềuyếu tố khác nữa ảnh hưởng tới quyết định). Một quyết định đúng đắn không chỉ đòi hỏi dữ liệumà còn cần tậptrung vào các quá trình và các yếu tố khác nữa. Quá trình ra quyết định:

•

Chấp nhận rằng người lãnh đạo cần làm gương sử dụng và yêu cầu thông tin trong quá trình ra quyết định;

•

Hiểu rằng cần phải có phần thưởng cho hành động sử dụng thông tin để kích thích tất cả nhân viên làm theo

•

Công nhận và đề cao thành tích để những người khác noi theo.

5.3. Phát triển chuyên môn để hiểu được yếu tố nghiệp vụ của tổ chức và thông tin được phổ biến

Chương 12

Với các tổ chức có văn hóa coi trọng thông tin, phát triển chuyên môn rất cần thiết (Wayman, 2005). Nhân viên Nghiệp vụ cần hiểu rõ về các con số, thông kê, còn bộ phận nhân viên thống kê/Theo dõi, quản lý cần hiểu được cơ chế vận hành và chương trình của tổ chức. Nhân viên Nghiệp vụ cần biết cách luận dữ liệu, các công cụ phân tích, trình bày dẽ liệu để có thể xử lý thông tin thu nhận được tốt hơn. Nhân viên Theo dõi, quản lý thì cần nắm được hoạt động của tổ chức để có thể cung cấp dữ liệu liên quan hướng vào các câu hỏi và vấn đề mà người ra quyết định mắc phải.

428

Triển khai các hệ thống Theo dõi và Đánh giá

“Phản hồi cho thấy họ dành nhiều thời gian tập hợp dữ liệu mà không có thời gian hay khả năng xử lý thông tin này. Thậm chí cả khi thư viện đã tập hợp đúng các biện pháp mục đích của họ, kĩ năng phân tích, suy luận, trình bày và sử dụng dữ liệu cũng là vấn đề lớn” (Covey, 2002:3).

5.4. Thực hiện các quy trình quản lý dữ liệu tiêu chuân trong hệ thống quản lý thành tích Hệ thống quản lý thành tích là gì? Mục tiêu lớn nhất của hệ thống này là sự cải thiện chương trình, do đó nó xoay quanh các quy trình quản lý dữ liệu đã được định trước, xác định xem cần làm gì (dựa trên các vấn đề đã nhận diện được), đo mức độ thành công bằng việc sử dụng đúng chỉ số liên quan, phân tích dữ liệu thu được, cải tiến chương trình, và kiểm soát thực hiện chương trình (gồm cả giám sát). Chỉ số là những thống kê cho thấy hoặc báo hiệu điều gì đó về hoạt động của một quận, một trường hay một chương trình. Các chỉ số mô tả sản phẩm, quá trình và đầu vào ở dạng giá trị trung bình, phần trăm hay tỉ lệ. Trong một hệ thông quản lý thành tích tốt, quan hệ giữa các sản phẩm, quá trình và đầu ra có liên kết chặt chẽ và các thành viên cần theo dõi các con số thống kê thường xuyên (Wayman, 2005). Một lí do khác nữa cho sự tồn tại của hệ thống quản lý thành tích rõ ràng là dự liệu sẽ chỉ được sử dụng nếu mọi người tiếp cận với nó dễ dàng. Hệ thống tại chỗ này đảm bảo rằng thông tin có thể được tiếp cận bất cứ lúc nào cần thiết, từ đó tăng khả năng sử dụng thông tin. O’Reilly (1982) cho rằng thông tin được sử dụng thường xuyên chứng tỏ nó có thể được tiếp cận, một chức năng quan trọng của thông tin. Hệ thống quản lý thành tích cần nhận diễn được người chịu trách nhiệm trong tổ chức. Chính phủ luôn là nhà ra quyết định tố quan trọng. Những thành viên chính có xu hướng sử dụng dữ liệu khi tham gia vào quá trình tập hợp, phân tích thông tin, do đó họ nắm được bối cảnh thu thập, phân tích dữ liệu, từ đó nhận trách nhiệm và là đối tượng sở hữu dữ liệu (UNAIDS, 2003; McCoy, Ngari và Krumpe, 2005).

5.5. Đảm bảo chất lượng trong tất cả các giai đoạn thiết kế, quản lý dữ liệu theo dõi, quản lý Dữ liệu chất lượng cao thể hiện độ tin cậy của thông tin và dĩ nhiên thông tin chất lượng thường có khả năng được sử dụng cao hơn (Dennis, 1996). Việc đảm bảo chất lượng là cần thiết với tất cả giai đoạn thiết kế, quản lý dữ liệu theo dõi, quản lý (ví du: tìm, tập hợp, đối chiếu, phân tích, báo cáo và sưửdụng), từ khi các chỉ số được hình thành đến khi thông tin được trình bày và xem xét. Giám sát, kiểm định dữ liệu cũng được tính đến như một cấu phần (Cấu phần 9) của hệ thống theo dõi, đánh giá nhằm đảm bảo nỗ lực không ngừng nâng cao chất lượng dữ liệu. Trong sản phẩm thông tin cũng cần nhấn mạnh đến cách thức dữ liệu được giám sát, kiểm định vì điều này có liên quan tới việc phân tích dữ liệu.

429

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Đảm bảo chất lượng cũng bao gồm việc phân tích thông tin để hiểu hơn về những thống kê đáng kể liên quan tới kết quả hướng tới và thông tin cho chúng ta kết quả đó. Một phần quan trọng của quá trình xử lý dữ liệu là xác nhận thông tin sử dụng những nguồn khác bằng phương pháp tổng hợp hay còn gọi là phép “đạc tam giác” dữ liệu. Kết quả đã được kiểm chứng sẽ tạo cơ sở vững chắc hơn cho việc thực hiện kế tiếp. “Bản thân dữ liệu không có ý nghĩa gì. Nghĩa chỉ được đúc kết qua quá trình xử lý dữ liệu. Cách nhìn thế giới của chúng ta có ảnh hưởng tới các chúng ta đúc kết dữ liệu. Những người biết sử dụng dữ liệu hiệu quả luôn nhận thức được và để ý tới quan điểm của họ. Đương nhiên, bản thân dữ liệu cũng có thể làm phát sinh thắc mắc, quan điểm mới và thay đổi thực tế hành động trên cơ sở cách nghĩ mới đó” (Love và cộng sự, 2007/08).

5.6. Xác định và nhằm vào đối tượng sử dụng thông tin chính Đối tượng sử dụng thông tin có thể có nhu cầu thông tin khác nhau, do đó việc hiểu được họ rất quan trọng. Sản phẩm thông tin có thể được chuyển dịch thành các thứ tiếng khác, tóm tắt hay đơn giản hóa để phù hợp với đối tượng tiếp nhận. Thiết kế sản phẩm thông tin cho đối tượng cụ thể đảm bảo tính liên quan, khả năng được tiếp cận và sử dụng của thông tin. 5.7. Báo cáo và trình bày thông tin theo cách hợp với đối tượng tiếp nhận “Những người ra quyết định tìm kiếm thông tin, nhưng họ nhìn ra cái họ mà muốn tìm “ (March, 1994). Cần báo cáo, trình bày thông tin theo cách có thể hỗ trợ hiệu quả nhất việc ra quyết định (những quyết định khách quan và có khả năng cho hiệu quả tích cực nhất). Dennis (1996) đã tiến hành một cuộc thử nghiệm trong đó tất cả thành viên nhóm nhận được dữ liệu khác nhau (nhưng không trái ngược) về cùng một nhiệm vụ mà họ phải hoàn thành. Trong đó họ cần hợp tác đưa ra quyết định tối ưu. Các nhóm trao đổi bằng lời nói có vè trao đổi được ít thông tin hơn và đưa ra quyết định kém hơn. Trong khi đó, nhóm sử dụng ngôn ngữ viết làm công cụ giao tiếp có thể chia sẻ nhiều thông tin hơn. Điều đó cho thấy thông tin viết rất quan trọng

Báo cáo dữ liệu từ hệ thống theo dõi, đánh giá

Chương 12

Trong khi báo cáo thông tin, dữ liệu có thể được truyền theo nhiều cách khác nhau, bằng nhiều dạng thức ngôn ngữ khác nhau. Ví dụ dưới đây (UNAIDS, 2000) cho thấy tầm quan trọng của việc lựa chọn dạng ngôn ngữ phù hợp với đối tượng tiếp nhận thông tin:

430

Triển khai các hệ thống Theo dõi và Đánh giá

Dạng ngôn ngữ 1.

Tỉ lệ lây nhiêm HIV khả cao ở lứa tuổi 15 – 19 và đặc biệt cao nhất ở nhóm nữ 19 tuổi với 33%.

Dạng ngôn ngữ 2.

Lây nhiễm HIV đã trở nên phổ biến trong giới thanh thiếu niên;; 1/3 thanh niên nữ 19 tuổi dương tính với HIV

Dạng ngôn ngữ 3.

Hàng trăm thanh thiếu niên bị nhiễm mỗi tuần. Ví dụ nếu lớp con gái bạn có 60 học sinh nữ, khoảng 20 trong số đó nhiễm HIV trước khi tốt nghiệp.

Trình bày thông tin Cách dữ liệu được trình bày trực tiếp có ảnh hưởng tới cách chúng được hiểu, xử lý và do đó ảnh hưởng tới quyết định đưa ra. Edward Tufte (2000: tr. 3 and tr. 31) tóm tắt như sau: “Nhiệm vụ phân tích trong đưa ra quyết định dựa trên bằng chứng cụ thể là yêu cầu hiểu cơ chế hoạt động, kết hợp, quy trình và động lực, nguyên nhân và kết quả. Đó là nhu cầutư duy hệ thống. Đưa ra quyết định dựa trên bằng chứng đòi hỏi trình bày bằng chứng một cách hợp lý. Trình bày dữ liệu (thông tin) hợp lý giúp thể hiện những kiến thức liên quan tới việc hiểu cơ chế hoạt động, quy trình, động lực, nguyên nhân, kết quả nói trên. Do đó, trình bày dữ liệu (thông tin) thông kê cần hỗ trợ trực tiếp việc phân tích. Để làm được điều đó, chúng ta cần cam kết tìm, nói và trình bày sự thật.” Trình bày dữ liệu bằng hình ảnh có thể ở dạng bảng, biểu đồ, sơ đồ (Hình C12-4). Bất kể dùng loại hình ảnh gì, tất cả phải theo một mẫu hợp lý, có cơ sở khoa học. Hình C12-4: Các cách trình bày dữ liệu bằng hình ảnh A: Bảng Bộ

Funding allocated for 2009

Funding spent in 2009 (3 quarters)

Balance remaining

Priorities

Giáo dục

400 000

370 000

30 000

Xe buýt trường

Bộ Y tế

200 000

50 000

150 000

Bệnh viện mới

Bộ Giao thông

300 000

100 000

200 000

Cải tạo đường xá

431

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

B: Biểu đồ Ngân sách và chi tiêu năm 2009 của Bộ Y tế, Giáo dục và Giao thông 450,000 Ngân sách 09

400,000

Chi tiêu 09

350,000 Ngân sách 09

300,000 250,000 Ngân sách 09

200,000 150,000

Chi tiêu 09

100,000 Chi tiêu 09

50,000

Bộ Giáo dục

Bộ Y tế

Bộ Giao thông

C: Các cách trình bày bằng hình ảnh khác Kích cỡ tranh thể hiện ngân sách của từng Bộ. Trình bày thông tin rõ ràng chính xác sẽ hỗ trợ tư duy rõ ràng, chính xác.

Chương 12

Hướng dẫn 12-3.1 cung cấp chi tiết, ví dụ minh họa quy tắc trình bày thông tin rõ ràng, chính xác (Tufte, 1997, 2001):

432

•

Nêu rõ nguồn và đặc điểm dữ liệu

•

So sánh dữ liệu

•

Thể hiện cơ chế nhân - quả

•

Nhận ra bản chất đa dạng của vấn đề phân tích

•

Tìm hiểu, đánh giá nhiều phương án giải thích

•

Tránh làm sai lệch ý nghĩa dữ liệu

•

Trình bày được nhiều con số thống kê trong một không gian nhỏ

•

Liên kết các tổ hợp dữ liệu lớn

•

Khuyến khích so sánh, đối chiếu các dữ liệu khác nhau

•

Thể hiện dữ liệu ở nhiều cấp độ chi tiết khác nhau

Triển khai các hệ thống Theo dõi và Đánh giá

5.7. Mẫu sản phẩm thông tin tiêu chuẩn Trình bày dữ liệu một cách chuẩn mực giúp thể hiện được xu hướng theo thời gian cũng như giúp người sử dụng quen với mẫu trình bày. Người dùng càng nắm vững cách trình bày thông tin thì càng có khả năng tập trung phân tích thông tin. Trước khi chuẩn bị sản phẩm thông tin, cần xác định xem sản phẩm đầu ra trông sẽ ra sao và sẽ cần những kênh phổ biến thông tin nào. Dánh thời gian phân tích trước khi kết luận và viết. (UNAIDS, 2003; McCoy, Ngari và Krumpe, 2005). Một thông tin có thể được trình bày theo nhiều cách khác nhau với các đối tượng khác nhau, tại các thời điểm khác nhau. Trong kế hoạch theo dõi đánh giá, tổ chức cần cam kết cung cấp cho thành viên phát hồi đều đặn, rõ rằng và cho họ thông tin liên quan, đã được tóm lược và phân tích. Kế hoạch theo dõi đánh giá lí tưởng cần vạch ra được mẫu sản phẩm thông tin trong đó nêu rõ nội dung và cách sử dụng từng sản phẩm. Cần có bảng biểu cụ thể cho mỗi loại sản phẩm thông tin tiêu chuẩn giúp báo cáo kết quả điều tra cũng như dữ liệu báo cáo. Kế hoạch theo dõi đánh giá cần định rõ phương thức phổ biến sản phâẩmthông tin. Ma trận phổ biến sản phẩm thông tin là bảng biểu được viết trong kế hoạch. Bảng C12-3: Ví dụ về Ma trận Phổ biến sản phẩm thông tin

THÀNH VIÊN

CÁC SẢN PHẨM THÔNG TIN Sản phẩm thông tin 1

Sản phẩm thông tin 2

Thành viên 1

Hội thảo

E-mail

Thành viên 2

E-mail

Gửi thư

Thành viên 3

Gửi thư

Hội thảo

Thành viên 4

Hội thảo

Trình bày cho quốc hội

Thành viên 5

Hội thảo

Thành viên 6

Gửi thư

E-mail

Thành viên 7

E-mail

Trình bày cho quốc hội

Nguồn: Tác giả

433

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Khi lập ma trận phổ biến thông tin, không nên chỉ tính đến các thành viên cốt cán của tổ chức trực tiếp tham gia vào chương trình mà cả những người có thể hứng thú với kết quả chương trình. Một cách tiếp cận với công chúng là công bố thông tin hay cách làm dễ hiểu (nghĩa là: ngắn gọn, đơn giản) trên các phương tiện truyền thông (ví dụ: báo, TV, đài) (UNAIDS, 2003; McCoy, Ngari và Krumpe, 2005). Sản phẩm thông tin chuẩn nên được công bố trong các tạp chí quý, 1 năm 2 lần hay hàng năm. Nhờ đó dữ liệu được sử dụng cho việc ra quyết định và kết quả cũng hỗ trợ cho việc chuẩn bị các kế hoạch hoạt động năm (UNAIDS, 2003; McCoy, Ngari và Krumpe, 2005). Tóm lại, các tổ chức coi trọng sử dụng thông tin: e.

Tập trung vào mục tiêu, kết quả muốn đạt được

Đề cao các phân tích, chất vấn và tìm hiểu bản chất vấn đề

Nêu sự thật trong khi trình bày dữ liệu

Đo thành công trong việc đạt được thành tích đã định

Sử dụng quy trình rõ ràng, chuẩn hóa mọi người đều biết, lường trước và đón nhận

Tóm tắt từ Kaushik (2006)

Câu hỏi tư duy 4: “Dữ liệu từng là bí mật. Nhưng bây giờ ai cũng dùng tới chúng.” Điều này có đúng với tổ chức bạn hay không? Nếu có, bạn đã áp dụng chiến lược sử dụng thông tin nào để đảm bảo thông tin được sử dụng trong quá trình ra quyết định của tổ chức? Nếu không, có chiến lược nào giúp nâng cao khả năng thông tin được sử dụng ở tổ chức bạn không?

6. Hướng 12-1: Cách phân tích dữ liệu định tính “Thống kê, giống như món bánh bê, sẽ ngon nếu bạn biết ai làm ra chúng và nắm được nguyên liệu cần thiết..“ Lawrence Lowell, 1909. Khi phân tích dữ liệu định tính, có hai loại phân tích thống kê chính: mô tả và suy diễn.

Chương 12

•

434

Thống kê mô tả: Cách phân tích thống kê phổ biến nhất là mô tả, theo đó các phát hiện và dữ liệu được tóm tắt lại. Biểu đồ, bảng hay các số thống kê

Triển khai các hệ thống Theo dõi và Đánh giá

đơn lẻ có thể được sử dụng. Có 2 câu hổi chính mà thống kê mô tả hướng tới: 1.

Các điểm dữ liệu tương đồng tới mức nào? Để trả lời câu hỏi này có thể sử dụng các biện pháp xu hướng hướng tâm như: giá trị trung bình, trung vị, mode.

Các điểm dữ liệu khác nhau tới mức nào? Để trả lời câu hỏi này có thể sử dụng các biện pháp dao động: khoảng biến thiên, độ lệch chuẩn, hệ số biến thiên, chỉ địch bậc, hàng số tứ phân.

Xem thêm trang web sau để hiểu thêm thống kê mô tả: http://allpsych.com/ stats/ index.html. •

Thống kê suy diễn: Thống kê suy diễn sử dụng các bài kiểm tra và công thức thống kê để đưa ra kết luận sâu hơn về dữ liệu, kiểm tra giả thuyết và liên hệ các khám phá giữa mẫu đối tượng nghiên cứu và toàn nhóm đối tượng thực tế. Những kĩ thuật này có khả năng thể hiện hiệu quả thay đổi xảy ra do tiến hành một chương trình bằng biện pháp so sánh các nhóm và tìm ra quan hệ.

Hướng dẫn này đưa ra cách phân tích dữ liệu sử dụng thống kê mô tả và tóm tắt dữ liệu sử dụng thống kê suy diễn.

Quy trình phân tích thông tin sử dụng thống kê mô tả

Bước 1:

Sao chép dữ liệu, lưu trữ dữ liệu gốc. Sử dụng bản sao đó để biên tập, chỉnh sửa

Bước 2:

Lập bảng thông tin, bao gồm tính toán/cộng tỉ lệ, xếp hạng, trả lời ‘có, không’ cho mỗi câu hỏi.

Bước 3:

Quyết định cách thể hiện dữ liệu. Vẽ biểu đồ phân bố dữ liệu.

Bước 4:

Quyết định biện pháp xu hướng hướng tâm sẽ sử dụng bằng cách kiểm tra lại dữ liệu ở trên. Việc lựa chọn biện pháp phụ thuộc vào (a) dữ liệu “đối xứng” hay “lệch”, và (b) dữ liệu dao động xung quanh một hay nhiều giá trị. Hình C12-5 tóm tắt cách thức phân bố dữ liệu. •

Nếu dữ liệu ở dạng đối xứng, giá trị trung bình, trung vị và mode gần như bằng nhau.

•

Nếu dữ liệu ở dạng nhiều giá trị, nêu rõ giá trị trung bình, trung vị và/hoặc mode cho mỗi nhóm.

•

Nếu dữ liệu ở dạng một giá trị, nêu trung vị.

435

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Hình C12-5: Các cách phân bố dữ liệu khác nhau

Đơn giá trị

Hai đỉnh

Hai đỉnh có khoảng cách

Ba đỉnh

Đối xứng

Lệch trái

Lệch phải

Nguồn: Wild và Seber (2000. tr. 59). Sửa bởi tác giả

Bước 5:

Tính toán biện pháp xu hướng hướng tâm phù hợp (giá trị trung bình, mode, trung vị)

Bước 6:

Tính toán biện pháp tính dao động (khoảng biến thiên và độ lệch chuẩn)

Bước 7:

Trình bày dữ liệu ở dạng bảng, biểu đồ, áp dụng các mẹo ở Hướng dẫn 12.3

Mẫu quy trình phân tích dữ liệu sử dụng thống kê suy diễn

Sử dụng thống kê suy diễn, bạn có thể ước lượng được trung bình nhóm bằng cách sử dụng mẫu nhóm, giả thuyết rằng mẫu chọn là tiêu biểu cho toàn nhóm bằng cách chạy kiểm tra thống kê và sau đó kết luận, đưa ra quyết định về nhóm đối tượng

Chương 12

Để hiểu thêm về các tính toán liên quan tới thống kê suy diễn, vào trang web về thống kê suy diễn: http://allpsych.com/stats/index.html.

436

Triển khai các hệ thống Theo dõi và Đánh giá

7. Hướng dẫn 12-2: Cách phân tích dữ liệu định tính Dữ liệu định tính gồm phản hồi dạng nói của đáp viên, được ghi lại trong các cuộc phỏng vấn, các câu hỏi tự luận trong phiếu điều tra. Một lượng rất nhỏ dữ liệu loại này có thể phân tích một cách cơ học dù dữ liệu đã ở dạng điện tử, thậm chí một số phần mềm cơ bản có thể giúp tiết kiệm thời gian. Cũng có nhiều chương trình vi tính đặc biệt, phức tạp giúp phân tích dữ liệu định tính tuân theo cùng nguyên tắc cơn bản sau. Bước 1:

Đọc qua tất cả dữ liệu định tính (ví dụ: bản ghi phỏng vấn, ghi chú từ thảo luận nhóm).

Bước 2:

Xác định nhóm hay chủ đề chung trong dữ liệu định tính, ví dụ: mối quan tâm, gợi ý, thế mạnh, nhược điểm, kinh nghiệm tương đồng, đầu vào, đóng góp, đầu ra, chỉ số đầu ra, .v.v..

Bước 3:

Đặt tên nhóm hay chủ đề, ví dụ: mối quan tâm tới biến đổi khí hậu, gợi ý cải thiện tình hình kinh tế, lí do thất bại chương trình HIV hiện tại, .v.v.

Bước 4:

Cô gắng nhận diện xu hướng chung hay liên hệ giữa các nhóm, ví dụ: tât cả những người tham gia khóa học buổi tối đều có chung mối quan tâm, hầu hết những người đến từ cùng vùng vùng miền, có cùng mức lương, đều trải qua các quy trình hay biến cố x, y, z, .v.v. trong chương trình.

Bước 5:

Lưu trữ tất cả dữ liệu định tính trong vài năm sau khi hoàn thành đề phòng cần tới sau này.

Quá trình phân tích định tính có thể được thực hiện bằng cách sử dụng cách mã hóa nội dụng định tính, vốn là “phương pháp nghiên cứu bằng cách luận dữ liệu chủ quan qua cách phân loại hệ thống, quy trình mã hóa và xác định chủ đề/mô hình chung” (Hsieh and Shannon, 2005:1278). Tóm lại, có các bước cơ bản sau: Bước 1:

Sắp xếp dữ liệu để phân tích nội dung định tính (tiện nhất là có sẵn dữ liệu ở dạng điện tử).

Bước 2:

Quyết định đơn vị phân tích (ví dụ: hộ, cộng đồng, hay cá nhân).

Bước 3:

Đọc qua dữ liệu: nhận diễn xu hướng chung (trả lời tương tự, đưa ra các vấn đề tương tự, tình huống tương tự) và dùng chung để lập nên các nhóm (ví dụ: nếu chọn hộ gia đình là đơn vị phân tíchm, lập nhóm các hộ. Trong trường hợp thảo luận nhóm, tập trụg về ảnh hưởng của khủng hoảng kinh tế, các hạng mục (dựa trên lời đáp viên) có thể như sau; không có ảnh hướng tới HIV; ảnh hưởng

437

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

ở dạng nhiều việc nhà hơn; hay ở dạng ít tiền hơn dành cho giải trình hoặc ở dạng xem nhiều phim gia đình hơn. Bước 4:

Lập mô hình mã hóa. Mỗi nhóm, hạng mục có một mã riêng. Ví dụ: hình khác nhau (ví dụ: tam giác, vuông), mẫu khác nhau. Ví dụ như sau Category

Coding

Không có ảnh hưởng gì

Đường tròn đỏ

Ảnh hưởng ở dạng nhiều việc nhà hơn

Tam giác xanh

Ảnh hưởng ở dạng nhiều trách nhiệm với gia đình hơn

Đường tròn vàng

Ảnh hưởng ở dạng có ít tiền hơn để giải trí

Tam giác xanh

Ảnh hưởng ở dạng xem nhiều phim gia đình không

Đường tròn tìm

Bước 5:

Kiểm tra bảng mã trên một văn bản mẫu bằng cách đọc qua văn bản, gạch chân những đoạn liên quan đến hạng mục nào đó đã mã hóa.

Bước 6:

Mã hóa cả văn bản.

Bước 7:

Đánh giá độ thống nhất mã hóa bằng cách kiểm tra xem mã có khớp với tất cả khái niệm liên quan tới dữ liệu không và có dễ hiểu không (hai người thử mã hóa cùng một đoạn văn bản theo cách giống nhau).

Bước 8:

Kết luận từ dữ liệu mã hóa. Dựa trên các ví dụ, kết luận có thể đưa ra loại ảnh hưởng bởi khủng hoảng kinh tế và loại ảnh hưởng các hộ gia đình đưa ra nhiều nhất (nhớ rằng đơn vị phân tích là ‘hộ’ – xem Bước 2).

Bước 8:

Báo cáo kết luận, xem xét kĩ các hạng mục và câu hỏi nghiên cứu.

Để biết thêm chi tiết về phân tích nội dung định tính, vào trang web:

Chương 12

http://ils.unc.edu/~yanz/Content_analysis.pdf) Ví dụ xem ở Phụ lục B.

438

Triển khai các hệ thống Theo dõi và Đánh giá

8. Hướng dẫn 12-3: Cách cải thiện trình bày thông tin bằng hình ảnh Dưới đây là lời khuyên hữu dụng và minh họa cần nhớ khi thiết kệ bảng biểu và các mô hình khác (ý tưởng của Tufte, 2001, và kinh nghiệm của tác giả).

Thiết kế bảng

Bảng là phương tiện thể hiện chính xác giá trị số và hợp cho các chuỗi dữ liệu nhỏ. Bảng cũng hữu dụng khi bạn cần trình bày so sánh khu biệt hay so sánh các chuỗi dữ liệu. Bảng truyền thông tin tới người đọc. Nếu bảng không cho bạn thông tin gì mới thì người đọc cũng sẽ thu nhận được rất ít. •

Thống kê theo nhóm điều tra nếu được

•

Bảng phải rõ ràng, thống nhất

•

Chú ý kiểm tra thống kê nếu cần . Cân nhắc việc làm tròn dữ liệu nếu tiện hơn.

Số lượng giường

Phòng riêng

Bệnh viện 1

100

Bệnh viện 2

340

Bệnh viện 3

23 0

Bệnh viện 4

270

Bệnh viện 5

280

Bệnh viện 6

120

Chăm sóc đặc biệt

P P

P P P

Hình C12-6: Bảng so sánh đặc điểm các bệnh viện khác nhau

Thiết kế biểu đồ, đồ họa

“ ... chừng nào chúng ta chưa thể trình bày thông tin bằng hình ảnh, tiéng nói của khóa học, dù giúp khắc phục nhiều lỗi sai, cũng sẽ không bao giờ được những người thực tế để tâm tới.” (J.A. Shumpeter 1933, Khái quát về toán kinh tế. Toán kinh tế 1:5-12) •

Đồ họa cần khơi gợi tư duy và làm rõ xu thế thể hiện trong dữ liệu mà nhiều khi dạng bảng hay dạng văn kể không thể diễn tả được. Sử dụng đồ họa để thể hiện những xu hướng mà bạn nghĩ bảng không thể diễn tả được.

•

Đảm bảo đồ họa có tiêu đề mô tả

•

Ghi rõ các cấu phần của đồ họa như trục, chú thích, đảm bảo dễ đọc dữ liệu.

•

Trích nguồn dữ liệu.

439

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

•

Chương 12

•

440

Sử dụng đồ họa để thể hiện rõ thông điệp của dữ liệu bằng cách dùng các kí hiệu, màu sắc phân loại dữ liệu

450,000 400,000

Budget 09 Expenditure 09

350,000 Budget 09

300,000 250,000 Budget 09

200,000

150,000 Tiết kiệm tối đa mực 100,000 trong việc thể hiện dữ liệu. Đừng phí mực bằng 50,000 cách thêm vào những chiều hay hình không cần thiết hoặc nhiều chữ quá. 400,000 Biểu đồ đơn 350,000 giản, 2 chiều 300,000 ở trên cùng 250,000 hình 12 – 7 rõ ràng hơn nhiều 200,000 so với hình 150,000 3-D phía dưới 100,000 (dữ liệu giống 50,000 nhau)

Expenditure 09 Expenditure 09

Ministry of Education

Ministry of Health

Ministry of Transport

Expenditure 09

•

Budget 09 Hạn chế sử Ministry of Education Ministry of Health dụng biểu Ministry of Transport đồ với nhiều Budget 09 Expenditure 09 tranh vẽ vì có thể tuy trông đẹp những lại Hình C12-7: Minh hoạ tỉ lệ mực dùng trong đồ họa không truyền tải thông tin. Trong sơ đồ sự phát triển của trẻ em trong Hinh 12 – 8, tranh trẻ con có thể tăng thêm màu sắc và hình ảnh hấp dẫn nhưng lại dễ làm phân tán tư tưởng và không có tác dụng gì do tranh to hơn dữ liệu

•

Không bao giờ được bỏ trục y trong biểu đồ (xem Hình C12-9). Dữ liệu trong 2 hình như nhau, nhưng

Hình C12-8: Minh họa việc tranh ảnh làm phân tán tư tưởng

Triển khai các hệ thống Theo dõi và Đánh giá

điểm khác là biểu đồ 1 trục y bắt đầu từ 0 trong khi biểu đồ 2 bắt đầu từ 15000. Bỏ trục y khiến cho sự gia tăng ngân sách của Bộ giáo dục có vẻ lớn hơn. (biểu đồ 2). Phân bổ ngân sách cho Bộ giáo dục từ năm 2000 tới 2007 80000 70000 60000 50000 40000 30000 20000 10000 0 2000

2001

2002

2003

2004

2005

2006

2007

2006

2007

Hình C12-9: Minh họa hậu quả của việc bỏ trục y 75000 65000 55000 45000 35000 25000 15000

2000

2001

2002

2003

2004

2005

Hình C12-9: (tiếp) Hãy đảm bảo tỉ lệ trong hình không dễ gây hiểu nhầm hoặc rắc rối (Hình C12-10).

441

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Hình C12-10: Minh họa tỉ lệ sai trong trình bày đồ họa

Thay đổi giá một thùng dầu thô theo thời gian Dươí đây là một loạt các thùng dầu dạng 3-D, cỡ thùng khác nhau tương ứng với giá khác nhau.

$2.41

$10.95

$10.46

$11.51

$12.09

$12.70

$13.34

Rút gọn từ: Tufte, 2001

Biểu đồ cột sau cũng trình bày cùng dữ liệu

Giá mỗi thùng dầu thô (đôla Mĩ )

14 12 10 8 6 4 2 0

1973

1974 1975 1976

1977 1978

1979

Chương 12

Chú ý cách biểu đồ làm sai lệch sự tăng giá thùng dầu. Theo đó, mức gia tăng gần đây nhất có vẻ cao hơn thực tế.

442

Triển khai các hệ thống Theo dõi và Đánh giá

•

Theo nguyên tắc Hình chữ nhật vàng, hầu hết biểu đồ trông sẽ đẹp hơn nếu chiều rộng lớn hơn chiều cao. Biểu đồ ở Hình C12-11 minh họa nguyên tắc Hình chữ nhật vàng đó. Biểu đồ bên trái biểu diễn hình dạng lí tưởng (hình chữ nhật có chiều rộng lớn hơn chiều cao) còn biểu đồ bên phải thể hiện rằng tốt hơn nên đặt “nguyên nhân” ở trục x (trục hoành) và “kết quả” (ảnh hưởng, đầu ra, kết quả) ở trục y (trục tung).

Hình C12-11: Nguyên tắc thiết kế biểu đồ “Hình chữ nhật vàng” Chiều cao ngăn hơn

Kết quả

Chiều rộng lớn hơn

Nguyên nhân

Nguồn: Tufte, 2001

•

Không nên vô tình khiến người đọc hiểu nhầm với dữ liệu bóp méo sự thật. Biểu đồ ở Hình C12-12 tạo ân tượng rằng chi phí giảm đáng kể trong 3 năm qua ở cả 3 bộ. Xem xét kĩ hơn có thể thấy dữ liệu năm 2009 thực ra chỉ là của nửa năm (xem đường tròn đỏ), điều này dễ gây hiểu lầm khi đặt so sánh với ba năm còn lại.

Hình C12-12: Không vô tình bóp méo dữ liệu 70000 60000 50000 2006

40000

2007 2008

30000

Nửa đầu năm 2009

20000 10000 0

Bô Giáo dục

Bộ y tế

443

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Bộ giao thông

Sử dụng đúng loại biểu đó để truyền tải thông điệp (Xem Hình C12-13). Hình C12-13: Thời điểm sử dụng các dạng đồ họa khác nhau Loại biểu đồ Biểu đồ hình tròn: thể hiện tỉ lệ phần trăm hay tỉ lệ từng thành phần • Nên dùng để trình bày dữ liệu phân loại hay định danh • Hữu dụng với nghiên cứu dịch tễ học và nghiên cứu hành vi. • Thể hiện rõ ràng sự phân nhóm và phân bố dữ liêu..

Mẫu tốt Trẻ em đi học Tiểu học

6 489 381

THCS

3 691 132

Trung cấp 15%

Trung cấp 1 808 380

Các trường kết hợp tiểu học và THCS 1%

Dữ liệu trong bảng có thể trình bày hiệu quả hơn bằng biểu đồ hình tròn vì nó thể hiện tỉ lệ

THCS 30%

trẻ em từng cấp trong Tiểu học 54%

hệ thống giáo dục..

Mẫu tồi Trong trường hợp này, không nên dùng 2 biểu đồ hình tròn để thể hiện chiều hướng thay đổi theo thời gian. Rất khó để so sánh kích cỡ các phần của biểu đồ hình tròn (do kích cỡ cũng chỉ tương đối vì biểu đồ thể hiện phần trăm chứ không phải số chính xác). Biểu đồ cột thể hiện xu hướng rõ ràng hơn.

2007 Trung cấp 15%

2008 Các trường kết hợp tiểu học và THCS 1%

THCS 30%

Chương 12

Các trường kết hợp tiểu học và THCS 4%

THCS 25% Tiểu học 54%

444

Trung cấp 11%

Tiểu học 60%

Triển khai các hệ thống Theo dõi và Đánh giá

Hình C12-13: (tiếp ) Loại biểu đồ Biểu đồ cột: thể dữ liệu so sánh, phân loại

Mãu tốt Số lượng trẻ em trong hệ thống giáo dục năm 2007 và 2008 700000

• Đặc biệt hữu dụng khi thể hiện sự phân bố dữ liệu

600000

• Biểu đồ cột đặc biệt hữu dụng khi ở dạng tương đối đơn giản

400000

2007 2008

500000

2007

300000

2008 2007

200000

2008

100000

2007 2008

0 Tiểu học

THCS

Trung cấp

Kết hợp

Mẫu tồi Tình hình sử dụng TV theo lứa tuổi 200 180 160 140 120

Ít hơn 24

100 80

24 - 49

50 và hơn 50

40 20 0 Khu vực 1

Khu vực 2

Khu vực 3

Khu vực 4

Phần trăm số người có thể tiếp cận với TV

Trong ví dụ này, biểu đồ tạo ấn tượng rằng sự phổ biến của TV được tích luỹ dần qua các lứa tuổi trong khi điều này là không đúng.

445

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Hình C12-13: (tiếp) Mẫu tồi (tiếp) Thay đổi số lượng nhập học theo thời gian Roina 2005 Roina 2000

Nữ 15-49

Nam 15-49

Moavia 2003 Moavia 1997

Biểu đồ cột nhằm thể hiện thay đổi số nam, nữ theo thời gian ở các nước khác nhau. Tuy vậy, các ý không rõ ràng và khá rối..

Bronzalia State 2005 Bronzalia State 1995 Silverstar State 2003 Silverstar State 1998 Goldstar State 2006 Goldstar State 2000 0%

1% 2%

Loại biểu đồ Biểu đồ đường: thể hiện xu hướng trong các khoảng thời gian bằng nhau của dữ liệu.

Mẫu tốt Thay đổi số lượng nhập học theo thời gian

800000 700000

Tiểu học

600000

THCS

• Phù hợp với dữ liệu chiều dọc.

500000

Trung cấp

400000

• Thể hiện xu hướng theo thời gian của nhóm

300000

Kết hợp tiểu học & THCS

• Giá trị trung bình của nhóm được thể hiện theo thời gian

• Hữu ích khi thể hiện xu hướng khác nhau giữa các nhóm tuổi

200000 100000 2007

2008

2009

Mẫu tồi Thay đổi số lượng nhập học theo thời gian 800000 700000

2007

600000

2008

500000

2009

400000 300000 200000 100000

Chương 12

446

Tiểu học

THCS

Trung cấp

Kết hợp tiểu học và THCS

Triển khai các hệ thống Theo dõi và Đánh giá

Hình C12-13: (tiếp) Loại biểu đồ Trực phương đồ: Đây Là loại biểu đồ cột đặc biệt thể hiện tần suất xuất hiện của một sự việc Trực phương đồ dùng để thể hiện sự phân bố tần suất của các dữ liệu số hay khoảng

Sản lượng cà phê năm 2008 Số lượng gia đình 12

• Dữ liệu được nhóm lại để thể hiện rõ hơn sự phân bố.

2 0 0-10

11-20

21-30

31-40

bean yield in metric tonnes Sản lượng cà phêCoffee năm 2008 12 10

Số lượng nông dân 10 8

9 7

6 4

5 2

1 191 - 200

181 - 190

171 - 180

161 - 170

151 - 160

141 - 150

131 - 140

111 - 120

121 - 130

101 - 110

81 - 90

91 - 100

71 - 80

61 - 70

51 - 60

41 - 50

31 - 40

21 - 30

0 - 10

11 - 20

Sản lượng cà phê theo tấn

Trong biểu đồ này, quá nhiều đường tần suất khiến cho thông điệp chính bị lu mờ.

447

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Hình C12-13: (tiếp) Loại biểu đồ

Mẫu tốt

Biểu đồ phân bố: thể hiện quan hệ giữa các điểm dữ liệu

Learner to educator ratio and class average exam results

120 100

• Sử dụng trong phân tích một đối tượng đơn nhất

80 60

• Hợp với khám phá quan hệ giữa hai tham số.

40 20

• Có thể sử dụng để thể hiện liên hệ hay thiếu liên hệ giữa hai tham số

100

Learner to Educator Ratio of different classes Mẫu tồi Số ca nhiễm HIV mới và mức hiểu biết về HIV 5

Estimated annual incidence (%)

• Hữu ích khi kiểm tra sơ đồ phân bố trước khi áp dụng mô hình hồi quy, để biết đường hồi quy nào hợp với dữ liệu nhất

4.5 4 3.5 3 2.5 2 1.5 1 0.5 0

Benin, DHS 2001 Botswana, AIS 2001 Burundi, MICS 2000 Cameroon, DHS 2004 Cote d'Ivoire, MICS 2000 Ethiopia, DHS 2005 Ghana DHS, 2003 Kenya, DHS 2003 Lesotho, DHS 2004 Malawi, DHS 2004 Mali, DHS 2001 Mozambique, DHS 2003 Namibia, DHS 2000 Nigeria, DHS 2003 Senegal, DHS 2005 Swaziland, DHS 2006/7 Tanzania, DHS 2004 Togo, MICS 2000 Uganda, AIS 2004/5 Zambia, DHS 2001/2 Zimbabwe, DHS 2005/6

Hiểu biết về HIV, nữ (%)

Chương 12

Mỗi đường tròn hay tam giác thể hiện một nước. Rất khó nhìn ra xu hướng chung do dễ bị phân tán tư tưởng bởi hình dạng, màu sắc khác nhau cùng bảng chú thích.

448

Triển khai các hệ thống Theo dõi và Đánh giá

Sau đây là tóm tắt cách trình bày hợp và không hợp mắt người xem, giúp bạn có cơ sở thiết kế biểu đồ theo ý mình: Hình C12-14: Đặc điểm của biểu đồ hay cách trình bay hợp mắt người xem Biểu đồ/cách trình bày hợp mắt

Biểu đồ/cách trình bày không hợp mắt

Tránh từ ngữ không rõ ràng, bí ẩn và mã hóa

Nhiều chữ viết tắt khiến người xem phải xem qua văn bản để giải mã chữ viết tắt

Chữ chạy từ trái qua phải, hưởng xuâts hiện thông thường của ngôn ngữ phương Tây

Chữ chạy theo đường xiên, có thể dọc theo trục y, chữ chạy theo nhiều hường khác nhau

Các thông điệp nhỏ giúp giải thích các sự việc

Hình khó hiểu, cần có phần giải thích bằng lời để hiểu

Tránh mã hóa quá nhiều bằng bóng, gạch bóng, màu sắc, thay vào đó nên đặt các giải thích lên ngay trên biểu đồ để không cần tới chú giải

Kí hiệu khó hiểu khiến người xem phải nhìn qua, nhìn lại giữa biểu đồ và chú giải

Đồ họa hấp dẫn, khơi dậy trí tò mò của người xem

Hình xấu, có nhiều tranh ảnh không mang nội dung thông tin

Màu sắc cần được lựa chọn kĩ đề người mù màu cũng đọc được (5% - 10% dân số, hầu hết người có vấn đề với màu sắc có thể phần biết xanh da trời với các màu khác

Thiết kế không tính đến đối tượng người xem có vấn đề về màu sắc, sử dụng xanh, đỏ thể hiện những tương phản quan trọng

Loại biểu đồ rõ ràng, chính xác, hiện đại

Loại biểu đồ lộn xộn hay nhỏ, khó đọc

Sử dụng cả chữ in hoa và in thường

Tất cả các từ IN HOA

Nguồn: Tufte, 2001

9. Tóm tắt kiến thức, kĩ năng Chương 12 Trong chương này, bạn sẽ tìm hiểu các khái niệm liên quan tới dữ liệu, thông tin, kiến thức, phân tích dữ liêu, báo cáo và trình bày dữ liệu. Bạn sẽ nghiên cứu cách các tổ chức đưa ra quyết định và mặc dù thông tin không phải là yếu tố duy nhất, đó cũng là khía cạnh quan trọng ảnh hưởng tới quyết định đưa ra. Bạn cũng sẽ hiểu cách thông tin tác động tới việc ra quyết định về các chính sách, hoạch định, và ảnh hưởng của chương trình, nhờ đó bạn có thể nâng cao kết quả đạt được của tổ chức. Thông tin tốt giúp tăng cường hiểu biết về nhưng vấn đề giúp cải thiện chương trình.

449

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Bạn đã tìm hiểu về các rào cản của việc sử dụng thông tin khi ra quyết định, lợi ích và chiến lược khuyến khích sử dụng thông tin. Bạn cũng đã biết cách phân tích dữ liệu định tính, định lượng, cách cải thiện trình bày thông tin ở dạng hình ảnh.

10. Bài tập BÀI TẬP 1:

NGHIÊN CỨU TÌNH HUỐNG VỀ RA QUYẾT ĐỊNH

Đọc nghiên cứu tình huống dưới đây, sau đó trả lời 2 câu hỏi: a)

Những người ra quyết định gặp phải 5 thử thách chính nào khi cố gắng thống nhất mở rộng sân bay trong tương lai ở Anh?

Theo bạn, cần tuân theo các bước nào để cải thiện tình hình và thống nhất quan điểm?

NGHIÊN CỨU TÌNH HUỐNG Thứ 4, ngày 21/5/2008 - Bản báo cáo thực hiện bởi Ủy ban phát triển bền vững (SDC) và Viện nghiên cứu chính sách công (IPPR) đã kết luận có nhiều tranh cãi về ảnh hưởng môi trường, kinh tế hay xã hội gây ra bởi sân bay, do đó cần tạm ngừng hoạt động sân bay trong 3 năm cho tới khi đã nghiên cứu và xem xét kĩ đề xuất mở rộng sân bay. Báo cáo, Phá vỡ mô hình cũ, nhận thấy dữ liệu về lợi ích và tác động của hàng không đang được đem ra “tranh luận rộng rãi” nhưng không đủ để đưa ra quyết định đáng tin cậy cho tương lại hàng không nước Anh. Báo cáo cũng cảnh báo rằng quyết định về tương lai ngành hàng không thể bỏ qua việc xem xét chính sách ban hành bởi Anh và quốc tế liên quan tới ảnh hưởng khí hậu của hàng không. Các dữ liệu cốt lỗi về hàng không Anh vẫn gây nhiều tranh cãi, cụ thể là về lợi ích nó mang lại cho nền kinh tế Anh cũng như ảnh hưởng tới sự biến đổi khí hậu. ô nhiễm tiếng ồn và không khí, khả năng giảm thiểu những ảnh hưởng tới môi trường của công nghề. “Mâu thuẫn lớn về hậu quả của ngành hàng không thật không hề có lợi cho chính phủ, công nghiệp và cả người dân do nó khiến người ta mất lòng tin vào những chính sách đưa ra,” báo cáo nêu rõ.

Chương 12

Kết quả nghiên cứu được rút ra sau một loạt các hội thảo, cuộc họp với đại diện chính quyền quốc gia và địa phương, đại diện ngành hàng không, học giả, tổ chức phi chính phủ và các nhóm dân chúng. Sau đây là ba vấn đề gây tranh cãi nhất:

450

Triển khai các hệ thống Theo dõi và Đánh giá

•

Không thống nhất được biện pháp đánh giá lợi ích và ảnh hưởng của ngành hàng không: Mặc dù ai cũng biết rằng hàng không có thể mang lại lợi nhuận kinh tế nhờ thương mại và du lịch, vẫn có những vấn đề gây tranh luận: •

lợi ích của du lịch nội địa so với những thiệt hại của du lịch địa phương và ảnh hưởng gây ra bởi du lịch tại các nước đang phát triển;

•

hàng không tạo việc làm, nguồn tài chính; mức độ đầu tư thực sự cho nó và chi phí cơ hội khi giảm đi các phương tiện vận chuyển khác;

•

ảnh hưởng có thể đo đếm được của ngành hàng không tới y tế, dân sinh, cụ thể là ô nhiễm tiếng ồn và không khí tại địa phương.

•

Thiếu dữ liệu hoàn chỉnh về ảnh hưởng tới khí hậu của ngành hàng không và vai trò không rõ ràng của công nghệ: Người ta quan tâm xem liệu công nghệ có thực sự có khả năng giảm thiểu ảnh hưởng tới môi trường của ngành hàng không hay không; bao giờ mới có được tiến bộ; và liệu có những biện pháp nào khác để thực thi trong giai đoạn chuyển giao không.

•

Thiếu sự thống nhất về chính sách giữa các chính quyền: Chính sách của các nước, các ban ngành rất khác nhau – chính sách nào bao gồm khuyến khích phát triển kinh tế, đáp ứng nhu cầu du lịch trong tương lai, bảo vệ môi trường, xử lí vấn đề biến đôổikhí hậu và đảm bảo y tế, dân sinh của cộng đồng – là nguyên nhân đáng kể dẫn tới sự thiếu thống nhất này.

Báo cáo cũng cảnh báo rằng quyết định về chính sách hàng không Anh không nên tảng lờ các chính sách quan trọng của Anh và quốc tế liên quan tới ảnh hưởng khí hậu của ngành hàng không như: Dự luật biến đổi khí hậu Anh, Tư vấn nghĩa vụ hàng không Anh, Mô hình thương mại châu Âu (ETS), và và Chiến lược sau 2012 của Bali.. Tuy vậy, báo cáo cũng cho rằng nếu các thành viên “hỗ trợ rộng rãi” “ngành hàng không và hiệp định về biến đổi khí hậu hậu 2012, dàn xếp lại Hiệp định Chicago và hiệp định song phương hiện đang hạn chế thuế nhiên liệu.” Nguồn: http://www.greenaironline.com/news.php?viewStory=180 BÀI TẬP 2:

PHÂN TÍCH VÀ CẢI THIỆN TRÌNH BÀY DỮ LIỆU BẰNG HÌNH ẢNH

Xem hai bộ dữ liệu và biểu đồ dưới đây cũng như trình bày đồ họa số ba. Với mỗi bỗ, (a) viết ra cách bạn hiểu dữ liệu và các câu hỏi bạn muốn gửi tới nhóm thực hiện chương trình, và (b) gợi ý và minh họa cách cải thiện việc trình bày dữ liệu dạng đồ họa.

451

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Bộ dữ liệu và biểu đồ 1 Phần trăm số người mắc bệnh loãng xương và phần trăm số người có nước đã xử lí ở 6 khu vực của bang Goldstar trong giai đoạn 2004 – 2007 Số người mắc bệnh loãng xương - 2004

Số ngưỡi mắc bệnh loãng xương - 2007

Số hộ có nước đã qua xử lí địa phương - 2 0 04

Số hộ có nước đã qua xử lí - địa phương - 2 0 10

Số hộ có nước đã qua xử lí – toàn quốc

Nam

Nữ

Nam

Nữ

Khu vực 1

45%

56%

34%

31%

12%

32%

50%

Khu vực 2

23%

12%

27%

29%

34%

36%

60%

Khu vực 3

25%

67%

23%

54%

45%

53%

45%

Khu vực 4

21%

43%

21%

56%

67%

69%

70%

Khu vực 5

34%

21%

25%

19%

38%

80%

Khu vực 6

21%

39%

19%

39%

51%

60%

Số lượng nam, nữ mắc bệnh loãng xương năm 2004

80% 70% 60%

Đàn ông mắc bệnh loãng xương – 2004

50% 40%

Phụ nữ mắc bệnh loãng – 2004

30% 20% 10% 0%

Chương 12

Khu vực 1 Khu vực 2 Khu vực 3 Khu vực 4 Khu vực 5 Khu vực 6

452

Triển khai các hệ thống Theo dõi và Đánh giá

Số lượng nam, nữ mắc bệnh loãng xương năm 2007

60% 50% Đàn ông mắc bệnh loãng xương - 2007

40% 30%

Phụ nữ mắc bệnh loãng xương – 2007

20% 10% 0% Khu vực 1 Khu vực 2 Khu vực 3 Khu vực 4 Khu vực 5 Khu vực 6 Số hộ có nước đã qua xử lí - 2004

Số hộ có nước đã qua xử lí - 2007 Số hộ có nước đã qua xử lí - 2007

Số hộ có nước đã qua xử lí - 2004

Khu vực 1 Khu vực 2 Khu vực 3 Khu vực 4 Khu vực 5 Khu vực 6

Bộ dữ liệu và biểu đồ 2: Kiểm soát tình hình buôn bán thuốc lá ở Nam Mĩ

453

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Chương 12

454

R135 R142 R147 R143

R77

R71

R75

R73

1982

1983

R92

1977

1981

R93

1976

1980

R114

R92

1975

R116

R120 R125

R92

1974

R125

R115

R97

1973

R89

R102 R109

R100

1972

R84

R100

R103

1971

1979

R100

1970

1978

Tiêu dùng

Giá

Năm

R116

R117

R122

R113

R109

R115

R112

R117

R115

R111

R112

R108

R100

Thu nhập

39.06

38.26

48.13

39.86

38.65

38.55

41.26

46.54

46.48

41.27

41.80

43.32

40.37

45.70

% thuế

1997

1996

1995

1994

1993

1992

1991

1990

1989

1988

1987

1986

1985

1984

Năm

R90

R85

R81

R72

R73

R71

R70

R66

R64

R63

R64

R68

R69

R73

Giá

R90

R95

R105

R119

R135

R165

R151

R148

R151

R147

R140

R144

Tiêu dùng

R116

R112

R113

R112

R114

R115

R114

R110

R108

R114

R121

Thu nhập

52.00

32.00

23.78

27.57

20.05

21.70

23.85

21.90

23.61

27.15

26.11

28.29

31.19

34.62

Bộ dữ liệu và biểu đồ 2: Kiểm soát buôn bán thuốc là ở Nam Phi

Triển khai các hệ thống Theo dõi và Đánh giá

Biểu đồ 2: Kiểm soát buôn bán thuốc lá ở Nam Phi 2060 2040 2020 2000 1980 1960

% Thuế Năm

1940 1920

1 3 5

7 9 11 13 15 17 19 21 23 25 27

Biểu đồ 3: Nguyên nhân mắc bệnh HIV ở các vùng Nam Á, Đông Á và Thái Bình Dương

Lây nhiễm do quan hệ tình dục Lây nhiễm do sử dụng ma tuý Lây nhiễm hạn chế qua quan hệ tình dục hoặc sử dụng ma túy

Nguồn: trích dẫn bởi Wilson, 2004

455

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

BÀI TẬP 3:

SỬ DỤNG DỮ LIỆU KHI RA QUYẾT ĐỊNH THỰC TẾ

Bang Goldstar đang trong quá trình xem xét ngân sách nhà nước hàng năm để tìm cách tiết kiệm chi phí. Bộ y tế được yêu cầu tiết kiệm 10% và để làm được điều đó, nó cần nhận diện các vấn đề nảy sinh trong việc bố trí nhân viên và phân bổ ngân sách tại các bệnh viện. Dữ liệu được cung cấp ở bảng dưới đây. Là người tham gia vạch kế hoạch cho Bộ y tế, bạn được yêu cầu đề xuất giải pháp xử lý một số vấn đề liên quan tới chính sách của bệnh viện dựa trên dữ liệu dưới đây. Gợi ý cho việc đề ra chính sách Mỗi bác sĩ chỉ điều trị tối đa 10 bệnh nhân Mỗi y tá chăm sóc 6 bệnh nhân Các yếu tố và chi phí khác Chi phí bổ nhiệm lại G10,000 Chi phí cho một bác sĩ G25,000 một tháng Chi phí cho một y tá G8,000 một tháng Chi phí cho một bệnh nhân G2,500 một ngày

Chương 12

Tổng chi phí cho bệnh viện là tổng cộng chi phí cho bác sĩ, y tá và bệnh nhân

456

Triển khai các hệ thống Theo dõi và Đánh giá

Sử dụng thông tin trong việc nâng cao kết quả

Chương 12

457

18 34 20

210 120 400 210 370

Bệnh viện 13

Bệnh viện 14

Bệnh viện 15

Bệnh viện 16

Bệnh viện 17

446

100

Bệnh viện 12

Lượng thiếu hụt mỗi tháng: 10%

4460

Bệnh viện 20

TOTAL

Bệnh viện 19 4

1 30

45 320

Bệnh viện 18

340 400

Bệnh viện 11

Số bác sĩ

Bệnh viện 10

215

370

Bệnh viện 6

Bệnh viện 9

210

Bệnh viện 5 50

200

Bệnh viện 4

210

250

Bệnh viện 3

Bệnh viện 8

220

Bệnh viện 2

Bệnh viện 7

200

Bệnh viện 1

Số giường bệnh

721

Số y tá

1413

129

219

126

103

157

119

Số bệnh nhân trong 1 tháng

3.5

1.5

Số ngày ở / bệnh nhân

G 23,654,280

G 359,000

G 1,429,800

G 296,980

G 1,891,000

G 1,346,700

G 2,301,000

G 987,000

G 898,000

G 295,000

G 1,467,800

G 1,456,000

G 1,328,000

G 335,000

G 257,800

G 2,284,000

G 1,398,200

G 1,560,000

G 1,453,200

G 1,309,800

G 1,000,000

Ngân sách tháng

26,021,750

G 193,000

G 1,827,000

G 146,000

G 2,087,000

G 1,273,500

G 2,243,000

G 1,088,000

G 1,221,000

G 668,000

G 1,678,000

G 1,634,250

G 1,338,000

G 934,000

G 230,000

G 2,280,000

G 1,535,000

G 1,489,000

G 1,552,000

G 1,555,000

G 1,050,000

Chi phí thực tế hàng tháng

G (2,367,470)

G 166,000

G (397,200)

G 150,980

G (196,000)

G 73,200

G 58,000

G (101,000)

G (323,000)

G (373,000)

G (210,200)

G (178,250)

G (10,000)

G (599,000)

G 27,800

G 4,000

G (136,800)

G 71,000

G (98,800)

G (245,200)

G (50,000)

Chi phí tiết kiệm (lỗ)

BÀI TẬP 4:

SỬ DỤNG DỮ LIỆU THEO DÕI THƯỜNG XUYÊN CẢI THIỆN VIỆC THỰC HIỆN CHƯƠNG TRÌNH

Dưới đây là 5 câu hỏi. Mỗi câu thể hiện một loại dữ liệu theo dõi thường xuyên đã được thu thập, chọn lọc từ quá trình thực hiện chương trình ở bang Goldstar và các dữ liệu đều có thể dùng ngay bởi quản lý chương trình [G = Golden (đơn vị tiền tệ của bang Goldstar)]. CÂU HỎI 4.1:

Làm sao để sử dụng dữ liệu trong bảng này để thể hiện sự tiến triển?

Chương 12

NĂM 1 – QUÝ 1 Mô tả hoạt động

Chỉ số

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Giáo viên an toàn đường bộ

Số lượng giáo viên an toàn đường bộ được tập đào tạo và có thể giảng dạy

G 300,000

G 460,560

Tiến hành giáo dục an toàn đường bộ ở cơ quan

Số lượng người biết đến

300

276

G 800,000

Hỗ trợ các hộ Khó khăn được hỗ trợ thực phẩm

Số hộ được hỗ trợ

100

120

G 600,000

G 450,000

Hỗ trợ học phí cho trẻ mồ côi

Số trẻ mồ côi được hỗ trợ

G 550,000

G 10,000

458

Tiến bộ

Triển khai các hệ thống Theo dõi và Đánh giá

CÂU HỎI 4.2:

Làm thế nào sử dụng dữ liệu trong sáu bảng sau để thể hiện xu hướng theo thời gian? Giải thích bằng từ ngữ và vẽ biểu đồ mô tả.

NĂM 1 - TỔNG HỢP NĂM Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Tiến bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G 300.000

G 460.560

Hoàn thành

Tiến hành Giáo dục an Toàn đường bộ ở cơ quan

Số lượng người biết đến

300

276

G 800.000

Hoàn thành

Mô tả hoạt động

Chỉ số

Đào tạo GV an toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

Tiến hành giáo dục an toàn đường bộ ở cơ quan

Số lượng người biết đến

100

Hỗ trợ học phí Cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

100

Mô tả hoạt động

Chỉ số

Đào tạo GV An toàn đường bộ

NĂM 2 - KẾ HOẠCH HOẠT ĐỘNG Dự kiến

Ngân sách

Q1 Q2 Q3 Q4

G 100.000

G 150.000

G 200.000

G 150.000

200

G 100.000

G 200.000

G 300.000

G 50.000

400

G 300.000

G 20.000

G 40.000

G 700.000

459

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

NĂM 2 – BÁO CÁO QUÝ 1 Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G 80.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

105

G 165.000

Hỗ trợ học phí Cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

G 300.000

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Mô tả hoạt động

Chỉ số

Đào tạo giáo viên An toàn đường bộ

Lượng dự kiến

Chương 12

NĂM 2 – BÁO CÁO QUÝ 2

460

Mô tả hoạt động

Chỉ số

Lượng dự kiến

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G 80.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

105

G 200.103

Hỗ trợ học phí Cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

G 56.000

Triển khai các hệ thống Theo dõi và Đánh giá

NĂM 2 – BÁO CÁO QUÝ 3 Mô tả hoạt động

Chỉ số

Đào tạo giáo viên An toàn đường bộ

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G 198.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

G 305.000

Hỗ trợ trẻ mồ côi

Số lượng trẻ được hỗ trợ

G400.000

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

NĂM 2 – BÁO CÁO QUÝ 4 Mô tả hoạt động

Chỉ số

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G 230.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

202

G 50.000

Hỗ trợ trẻ mồ côi

Số lượng trẻ được hỗ trợ

G400.000

CÂU HỎI 4.3:

Lượng dự kiến

Sử dụng dữ liệu từ Câu hỏi 4.2 và dữ liệu phụ trợ dưới đây, giải thích cách sử dụng dữ liệu để huy động tài nguyên. Bạn có thể sử dụng biểu đồ để minh họa ý tưởng.

Số trẻ mồ côi ở Goldstar: 2 000 Số hộ dễ tổn thương: 4 000

461

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

CÂU HỎI 4.4:

Làm thế nào để sử dụng dữ liệu trong bốn bảng sau để so sánh các tổ chức khác nhau? Sử dụng từ ngữ và biểu đồ để minh họa các ý chính.

TỔ CHỨC SAFE-ROADS-ARE-US Mô tả hoạt động

Chỉ số

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G76.000

G 80.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

105

G170.000

G 165.000

Hỗ trợ học phí Cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

G69.000

G 300.000

TỔ CHỨC SALAMANDER Mô tả hoạt động

Chỉ số

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G400.000

G 80.000

Hỗ trợ học phí Cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

204

G300.000

G 56.000

Chương 12

HỘI LÁI XE TÁI XE KELELE SQUARE Mô tả hoạt động

Chỉ số

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G250.000

G 198.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

G408.000

G 305.000

462

Triển khai các hệ thống Theo dõi và Đánh giá

CA SĨ HÁT PHỤ SHANGANI Mô tả hoạt động

Chỉ số

Lượng dự kiến

Lượng đạt được trong quý

Ngân sách dự kiến

Chi phí thực

Đào tạo giáo viên An toàn đường bộ

Số lượng giáo viên an toàn đường bộ được đào tạo và có thể giảng dạy

G165.000

G 230.000

Giáo dục an toàn đường bộ cho cơ quan

Số lượng người biết đến

100

202

G50.000

G 54.000

Hỗ trợ học phí cho trẻ mồ côi

Số lượng trẻ mồ côi được hỗ trợ

200

456

G43.000

G 994.000

CÂU HỎI 4.5:

Làm thế nào để sử dụng dữ liệu từ báo cáo tuần 4 nhà giáo dục an toàn đường bộ từ đó nhận diện nhu cầu đào tạo?

BÁO CÁO TUẦN CỦA JABU

BÁO CÁO TUẦN CỦA THEMBISILE

Số giờ làm việc: 34

Số giờ làm việc: CẢ NGÀY

Số buổi giáo dục đồng đẳng: 64

Số buổi giáo dục đồng đẳng: NHIỀU

Số sách an toàn đường bộ phát ra: 32

Số sách an toàn đường bộ phát ra: KHÔNG

BÁO CÁO TUẦN CỦA NHLENGIWE

BÁO CÁO TUẦN CỦA HALIMA

Số giờ làm việc: 12

Số giờ làm việc: 40

Số buổi giáo dục đồng đẳng: 2

Số buổi giáo dục đồng đẳng: 20

Số sách an toàn đường bộ phát ra: 500

Số sách an toàn đường bộ phát ra: 20

463

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

CÂU HỎI 4.6:

Đọc hướng dẫn an toàn đường bộ dưới đây. Với hướng dẫn như vậy, dữ liệu từ báo cáo tuần về bốn nhà giáo dục đồng đẳng trong câu hỏi 4.5 sẽ được sử dụng ra sao để gia tăng nỗ lực của người điều phối?

Chương 12

Hướng dẫn cho các nhà giáo dục đồng đẳng

464

•

Không được nói ngay vào chủ đề an toàn đường bộ (hay chương trình nào khác) mà cần hỏi một số câu hỏi chung chung trước để người nghe thấy dễ chịu hơn

•

Buổi giáo dục đồng đẳng nên kéo dài 1 tiếng

•

Tài liệu về an toàn đường bộ cần được phát đầy đủ vào các buổi học để người học tham khảo, nếu người học cần thêm thông tin hay muốn chia sẻ thông tin

Triển khai các hệ thống Theo dõi và Đánh giá

Phụ lục A: Các loại dữ liệu định lượng: Giải thích và Ví dụ cụ thể Giải thích

Ví dụ

Định danh

Loại

Không có trình tự cụ thể nhưng có thể gán các số cho các hạng mục biến số định danh (nhưng không có quan hệ “ít hơn” hay “nhiều hơn” giữa các mục)

Giới tính, tình trạng hôn nhân, chủng tộc, tôn giáo, đảng phái chính trị, chuyên ngành đạI học, nơi sinh, vị trí của một nước thể hiện qua mã điện thoại của nước đó hay nhà sản xuất, model của ô tô

Số thứ tự

Các số được gán cho các đối tượng theo thứ tự (1, 2, 3, .v.v.) của toàn bộ thực thể cần xác định, nhưng khoảng biến thiên giữa các số không quan trọng lắm

Cân Mohs đo độ rắn của chất khoáng, kết quả đua ngựa, trong đó chỉ nêu ra con nào đến thứ nhất, hai, ba, .v.v nhưng không nêu khoảng thời gian, thái độ yêu ghét, bảo thủ, định kiến hay tầng lớp xã hội

Khoảng biến thiên

Giống như số thứ tự nhưng có thêm sự khác nhau đồng đều giữa các phép đo lường các khoảng biến thiên tương đương và không có giá trị 0 nào có nghĩa

Năm, ngày tháng trên lịch và nhiệt độ C hay F trên thang đo nhiệt độ

Tỉ suất

Giống như khoảng biến thiên nhưng có thêm giá trị 0 có nghĩa, do đó tỉ suất giữa hai phép đo có nghĩa

Khối lượng, chiều dài, năng lượng đo bằng Kelvin, tuổi, số năm sinh sống ở một nơi, số tổ chức thành viên, số người đến nhà thờ tại một thờI điểm cụ thể

Nguồn: www.uky.edu/CommInfoStudies/JAT/Telecommunications/300/Descriptive_statistics.ppt

Cấp độ

Có thể xác định...

Dãy dữ liệu mẫu

Tính toán mẫu

Định danh

Mode

Có, có, không, không, có, không, có

Mode — câu trả lời có tần suất xuất hiện nhiều nhất = ‘có’

Số thứ tự

Số trung bình

1, 9, 12, 3, 10, 7, 8, 8, 9, 2, 5,

Số trung bình = số phần trăm thứ 50

10, 11

Sắp xếp từ cao tới thấp 1 2 3 5 7 8 8 9 9 10 10 11 Giá trị giữa = 8

Khoảng biến thiên

Khoảng trung bình, độ lệch chuẩn

Nhiệt độ trong 1 tuần (đo bằng F) 40, 35, 35, 37, 55, 32, 60

294/7 = 42

465

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Tính toán trung bình:

Phụ lục B: Bài viết mẫu phân tích dữ liệu định tính Tóm lược các thách thức với 3 yếu tố và hệ thống theo dõi đánh giá: Phản hồi từ đáp viên Phương pháp Dữ liệu được thu thập bằng cách gửi phiếu điều tra dạng mở qua email tới học viên khóa theo dõi, đánh giá 16. Mục đích của phiếu điều tra là củng cố hiểu biết, quan điểm về cách xây dựng hệ thống theo dõi, đánh giá trước khi khóa học bắt đầu và từng bước thiết kế khóa học theo dõi, đánh giá có trọng tâm hơn. Một trong những đáp viên cho biết công việc của anh/cô ta không liên quan trực tiếp đến theo dõi đánh giá, dữ liệu, tập trung vào hai câu hỏi cuối (3 và 4), sau đó được phân tích sử dụng biện pháp phân tích nội dung định tính1. Từ đó, những tương đồng hay khác biệt giữa các đáp viên sẽ được phân tích thay vì chỉ nhằm vào các vấn đề, tình huống cá nhân cụ thể. Do đó, quá trình đánh giá, phân tích này cung cấp thông tin tổng quan và thường được sử dụng để luận ra những ẩn ý bên trong. dữ liệu trình bày dưới đây trả lời những câu hỏi cơ bản (3 và 4) tương ứng với 2 phạm vi chủ đề nghiên cứu.

Nhiệm vụ theo dõi, đánh giá thách thức nhất Phần lớn đáp viên cố gắng miêu tả các vấn đề liên quan tới môi trường và văn hóa theo dõi, đánh giá HIV/AIDS cũng như những khó khăn chung khác như kêu gọi sự tham gia của thành viên hay vấn đề chất lượng/thu thập dữ liệu về mặt phát triển chiến lược, chương trình. Rất ít đáp viên chỉ ra được những nhiệm vụ theo dõi, đánh giá khó cụ thể mặc dù những hoạt động này vẫn thường được sử dụng khi giải thích các vấn đề/thử thách lớn lao hơn liên quan tới môi trường theo dõi, đánh giá hiện tại. Chỉ có một đáp viên nhắc đến động lực văn hóa với tư cách một thách thức cho việc lập kế hoạch và thực hiện các hoạt động theo dõi, đánh giá HIV/AIDS. Tập trung cụ thể hơn vào các khía cạnh nhỏ lẻ của câu hỏi sẽ phát hiện ra nhiều yếu điểm hay thử thách khác nhau xung quanh vấn đề nhiệm vụ theo dõi, đánh giá thách thức nhất. Khó khăn có thể xuất phát từ việc tổng hợp báo cáo, phát triển mô hình quốc gia, sự thiếu thốn tài nguyên kinh tế và con người, hay thiếu sự hỗ trợ của nhà nước. Các nhiệm vụ cụ thể được nhắc đến đều liên quan tới các khóa tập huấn quốc tế (nơi giáo viên chia sẻ kinh nghiệm , bài học với học viên các khóa theo dõi, đánh giá; 2 đáp viên), tập hợp báo cáo UNGASS và phát triển mô hình quốc gia (5 đáp viên) và thiệt lập đơn vị theo dõi, đánh giá quốc gia (1 đáp viên). Tuy vậy, dường như phần lợi phản hồi tập trung xung quanh vấn đề thiếu dữ liệu chất lượng, làm việc với các thành viên tham gia công tác theo dõi, đánh giá các cấp khác nhau và phát triển môi trường thuận lợi cho hoạt động theo dõi, đánh giá nói chung (1 đáp viên). Tuy vậy, dường như phần lợi phản hồi tập trung xung quanh vấn đề thiếu dữ liệu chất lượng, làm việc với các thành viên

Chương 12

1 Flick (1998) An Sơ lược về nghiên cứu định tính. Nhà xuất bản Sageions: London

466

Triển khai các hệ thống Theo dõi và Đánh giá

tham gia công tác theo dõi, đánh giá các cấp khác nhau và phát triển môi trường thuận lợi cho hoạt động theo dõi, đánh giá nói chung Trong số các thách thức chính có đề cập tới việc có nhiều thành viên, đối tác khác nhau tham gia vào công tác theo dõi, đánh giá. Nhiều đáp viên (6) kể lại rằng rất khó để thu hút các thành viên tham gia vào quy trình theo dõi, đánh giá và thống nhất được họ. Một số lại cho rằng khó khăn nằm ở việc tạo dựng hiểu biết chung về cái cần theo dõi và các chỉ số cần dùng: “Dự thảo Mô hình theo dõi, đánh giá ở trẻ em nhiễm HIV/AIDS gặp phải khó khăn do các thành viên khác nhau có cái nhìn khác nhau về đối tượng theo dõi, chỉ số quốc gia phù hợp với Kế hoạch hành động cũng như thời gian thực hiện mục tiêu đề ra. Thành ra tôi thấy rất khó làm việc trong môi trường như vậy, nên không bao giờ hoàn thành nhiệm vụ.” “Để thống nhất quan điểm về theo dõi đánh giá giữa các thành viên khác nhau (trên 40 người), xây dựng hệ thống theo dõi, đánh gía phù hợp cho các chương trình của Quỹ oàn cầu…tập huấn, thái độ tích cực, kĩ năng đàm phán và tinh thần học hỏi là cần thiết.” Có hai đáp viên đề cập tới khó khăn trong việc hợp tác, thống nhất quan điểm giữa các đối tác quốc tế về hệ thống theo dõi đánh giá quốc gia. Những người khác còn chỉ rõ rằng thách thức trong việc thực hiện Ba yếu tố nằm ở “thực tế rằng các cơ quan Liên hiệp quốc kiên quyết muốn thay đổi hệ thống y tế quốc gia cũng như hướng đến biện pháp đa kỉ luật , hướng HIV vào cùng nhóm PRS”. Dường như mô hình thu thập dữ liệu phi tập trụng đã khiến cho quá trình này trở nên rời rạc, thiếu hợp tác: “Thách thức còn ở chỗ làm sao để thu hút sự tham gia của tất cả thành viên để nâng cao hiệu biết về hệ thống theo dõi đánh giá, phát triển mỗi trường theo dõi đánh giá bền vững. Trong khi làm báo cáo UNGASS chúng tôi yêu cầu tất cả mọi người đều tham gia và dữ liệu đến từ mọi nguồn, nhưng không có sự thống nhất/phân tích/điểm hành động rõ ràng, dữ liệu trở nên rất rời rạc.” Một vấn đề quan trọng khác nữa được đưa ra có liên tới chất lượng dữ liệu, sự chênh lệch dữ liệu và các tài nguyên hiện có. Một số đáp viên (4) đề cập tới sự thiếu dữ liệu hay dữ liệu kém chất lượng là thách thức lớn nhất với công tác theo dõi đánh giá trong lĩnh vực HIV/AIDS. Dữ liệu hiện có được cho là “nghèo nàn” và “kém tin cậy.”” “Không có/thiếu dữ liệu hay dữ liệu chất lượng kém cho một vài chương trình.” “Khó khăn nằm ở việc tuân theo chỉ dẫn theo dõi, đánh giá dựa theo các chỉ số UNGASS, trong điều kiện cụ thể với các tài nguyên có sẵn trong nước. Điều này đòi hỏi sự linh hoạt, sáng tạo nhưng cũng khó khăn nếu cùng lúc bạn muốn thực hiện những tiêu chuẩn đề ra “Tôi đang thực hiện điều tra cơ bản và gặp khó khăn trong việc tìm dữ liệu do nước tôi không có dữ liệu nào về HIV/AIDS.”

467

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Một số đáp viện bộc lộ nghi ngại về vấn đề chất lượng dữ liệu cũng như cho rằng quá trình thu thập dữ liệu chưa đủ chắc chắn, hợp lý để thu được dữ liệu tốt: “Hệ thống báo cáo dữ liệu tồi dẫn tới việc thiệu cơ sở dữ liệu cho một số thành tố.” Hai đáp viên cho rằng sự thiếu kế hoạch, hợp tác khiến cho việc lập chương trình dựa trên bằng chứng gặp khó khăn. “Do chúng ta vẫn chưa có kế hoạch theo dõi đánh gia và cơ quan hợp tác vững vàng, rất khó để biến thông tin thành hành đông thành các chương trình hiệu quả dựa trên bằng chứng có tác động tới đại dịch HIV.” Sự thiếu hụt tài nguyên kinh tế, nhân lực chất lượng cũng được đưa ra như một trong các yếu tố dẫn đến chất lượng dữ liệu kém. “Theo dõi đánh giá là trách nhiệm của mọi người nhưng sự thiếu nhân lực đang ảnh hưởng nghiêm trọng tới công tác theo dõi đánh giá do nhân viên ôm đồm quá nhiều việc “ Một thách thức khác liên quan tới vấn đề tài chính là cih phí và khó khăn trong việc tiếp cận thông tin tài chính, chi tiêu do các nhà tài trợ, nhà hành động không nhiệt tình chia sẻ thông tin. “Việc tách riêng ngân sách cho HIV, AIDS khỏi các hoạt động khác sẽ gặp khó khăn trong bối cảnh HIV, AID vốn được tích hợp vào các hoạt động khác. Trong ngành Y tế, việc cấp ngân sách một cách chính xác cho HIV, AIDS và các can thiệp cần thiết khác cũng không hề dễ dàng.” Mặt khác, một đáp viên phản hồi rằng thực tế tài nguyên kinh tế thì đủ nhưng hỗ trợ chính trị chưa đầy đủ, khiến cho hoạt động của đơn vị theo dõi, đánh giá gặp khó khăn. “Sự thiết lập đơn vị Theo dõi đánh giá quốc gia… Hỗ trợ cho đơn vị này căn cứ theo quy định cấp kinh phí của chính phủ, tuy vậy, nhà nước còn chưa tham gia tích cực, khiến cho đơn vị chưa được thành lập chính thức..”

Thách thức lớn nhất với Ba yếu tố trong 3 năm tới Hầu hết các phản hồi trong phần bốn này có về trùng lặp với câu hỏi ba về nhiệm vụ theo dõi đánh giá thách thức nhất.

Chương 12

Một số đáp viên bộc lộc quan điểm cho rằng thách thức lớn nhất hiện nay là xây dựng môi trường phù hợp cho công tác theo dõi, đánh giá (tuyển dụng nhân viên, đảm bảo ngân sách, văn hóa theo dõi đánh giá, sự tham gia tích cực của thành viên) để có hệ thống theo dõi đánh giá hoạt động hiệu quả. Đa só các câu trả lời xoay quanh sự thiếu quan tâm của các thành viên, nhà đầu tư với ba yếu tố. Tuy vậy, các đáp viên cũng đề cập tới những thách thức vĩ mô trong công tác thực hiện ba yếu tố như khủng hoảng lương thực thực phẩm, thiếu trách nhiệm từ phía nhà chính trị. Tuy vậy, hầu hết đáp viên đều đồng ý rằng các thách thức trả lời cho câu hỏi bốn thuộc bốn mảng chính:

468

Triển khai các hệ thống Theo dõi và Đánh giá

Sự thiếu sự tham gia/hứng thú/hiểu biết của các thành viên, nhà tài trợ với 3 yếu tố. “Tu hút sự tham gia của các nhà hành động quốc gia vào quá trình thực hiện kế hoạch chiến lược quốc gia và kế hoạch theo dõi, đánh giá quốc gia” “… thách thức chính là thực hiện kế hoạch này ở nhiều cấp quản lý khác nhau, ví dụ ở những thành phố, thị xã có tỉ lệ lây nhiễm cao” “Nâng cao sự thống nhất giữa các nhà hành động quốc gia với kế hoạch chiến lược quốc gia và kế hoạch theo dõi, đánh giá quốc gia” “Sự cam kết của nhiều phía trong công tác quản lý lấy kết quả làm nền tảng” “Thiếu sự tận tuỵ của nhà nước” “Khó khăn trong việc phốihợp nhiều nguồn ngân sách từ nhà tài trợ và ngân sách nhà nước ở cấp quốc gia”

Đảm bảo tài nguyên đầy đủ “Có thể hoạt động hiệu quả hơn nếu ngân sách kết hợp hỗ trợ ba yếu tố với sắp xếp rõ ràng, các thành viên chịu trách nhiệm quản lý phản hồi, và NAC không áp đặt trong các yêu cầu hành động mà phân chia nhiệm vụ một cách chiến lược” “Thực hiện kế hoạch quốc gia “

Đảm bảo hỗ trợ quốc gia quốc tế và toàn cầu với HIV/AIDS và duy trì sự chú trọng chính trị với HIV/AIDS “Duy trì tầm quan trọng của AIDS trong các nghị sự chính trị” “Không chắc chắn liệu chính phủ các quốc gia đang phát triển có khả năng duy trì và kiên quyết đấu tranh chống lại HIV/AIDS trong bố cảnh giá thực phẩm tăng chóng mặt” “Thiếu sự thống nhất giữa các nhà tài trợ với các chương trình nghị sự quốc tế trên phạm vi toàn cầu” “Duy trì phản hồi của quốc gia dựa vào Quỹ toàn cầu và đóng góp của nhà tài trợ” “Lãnh đạo kém ở các NAC đã làm suy giảm đáng kể hệ thống theo dõi, đánh giá và tình trạng này sẽ còn tiếp diễn cả trong hiện tại và tương lai” “Các đối tác phát triển/nhà tài trợ cần đề cao 3 yếu tố và không có tác động tiêu cực tới nó” “Các nhà tài trợ đã mệt nhoài”

Xây dựng hay duy trì hệ thống theo dõi, đánh giá quốc gia “[Thách thức là] có được mô hình theo dõi, đánh giá tầm quốc gia “ “Xây dựng “văn hóa theo dõi, đánh giá” và thực hiện theo dõi, đánh giá Kế hoạch chiến lược và đa khu vực quốc gia về mặt hiệu quả và hiệu suất trên toàn quốc” “Thể chế hóa các hệ thống theo dõi, đánh giá chất lượng cao, kịp thời” “Xây dựng hệ thống phản hồi quốc gia và vận hành nó! Huy động tài nguyên quốc gia và quốc tế để lựa chọn nhân lực (đúng người đúng chỗ), phát triển quá trình trao đổi giữa các bên, tăng cường hệ thống và cơ chế theo dõi, đánh giá với phản hồi thống nhất toàn diện, từ đó đạt hiệu quả, hiệu suất cao trong việc thực thi mục tiêu đề ras.” 469

Chương 12

Sử dụng thông tin trong việc nâng cao kết quả

Tài liệu tham khảo Abedian, I. undated. Economics of Tobacco Control in South Africa, PowerPoint presentation made at the School of Economics, University of Cape Town, South Africa African Evaluation Association (AfREA). 2006. Guidelines for Evaluation in Africa-edition 2006. Published by African Evaluation Association (AfrEA). Ainsworth, M., Beyer, C. & Soucat, A. 2003. AIDS and public policy: The challenges of ‘Success’ in Thailand. Health Policy 64: 13-37 American Heart Foundation. 2008. Types of Research, accessed on 13 October 2008 at http://www.americanheart.org/presenter.jhtml?identifier=218 Antonacopoulou, E. 1999. Individuals’ Responses to Change: The Relationship Between Learning and Knowledge, in Creativity and Innovation Management, Volume 8, Number 2, June 1999 , pp. 130-139(10) Atherton, J.S. 2005. Learning and Teaching: Experiential Learning. Accessed online on 21 November 2008 at http://www.learningandteaching.info/learning/experience.htm Australian National Health and Medical Research Council, 2007. National statement on ethical conduct in human research. Canberra, Australia: Australian Government. ISBN Print: 1864962690 Bazerman, M.H. 2008. Judgment in managerial decision making (7th Ed.). Wiley publishers. ISBN-10: 0471684309 Belmont Report. 1979. Ethical Principles and Guidelines for the protection of human subjects of research. The National Commission for the Protection of Human Subjects of Biomedical and Behavioral Binnendijk, A. 1999, “Results-based management,” Prepared for the International Conference on Evaluation Capacity Development, Beijing, China. Borum, F. 2000. 2000 Honorary member: Laudatio by Finn Borum, Accessed online on 1 March 2009 at http://www.egosnet.org/jart/prj3/egosnet/main. jart?rel=en&content-id=1227251866223&reserve-mode=active Bošnjak, S. 2001. The Declaration of Helsinki The cornerstone of research ethics. Archive of Oncology. 2001; 9(3):179-84. 2 Boyle, R., and D. Lemaire, eds. 1999, Building Effective Evaluation Capacity. Transaction Books, New Brunswick, N.J.

470

Triển khai các hệ thống Theo dõi và Đánh giá

Byrne, G. undated. Integrating Impact Assessment Data into Decision-Making Dealing with Socioeconomics Surrounding Biotechnology in the Canadian Federal Government. IDRC. Accessed online on 28 February 2009 at http://www.idrc. ca/en/ev-30727-201-1-DO_TOPIC.html Business Link. 2007. Benefits of databases. Accessed online on 24 October 2007 at www.businesslink.gov.uk/bdotg/action/layer?topicId=1075422967 Centres for Disease Control and Prevention (CDC). 1999. Guidelines for defining public health research and public health non-research. Revised October 4, 1999. Accessed on 15 October 2007 at http://www.cdc.gov/od/science/regs/hrpp/ researchDefinition.htm Centres for Disease Control and Prevention (CDC). 2006. Types of Evaluations. Accessed online on 3 March 2008 at http://www.cdc.gov/STD/program/progeval/ApC-PGprogeval.htm Centers for Disease Control and Prevention (CDC). 2007. HIV/AIDS statistics and surveillance. Accessed on 20 October 2007 at http://www.cdc.gov/hiv/topics/surveillance/ Coffman, J. 2007. What’s different about Evaluating Advocacy and Policy Change? The Evaluation Exchange: A Periodical on Emerging Strategies in Evaluation. Harvard Family Research Project, Harvard Graduate School of Education. 8(1), Spring 2007. Accessed online at http://www.hfrp.org/var/hfrp/storage/original/application/6bdf92c3d7e970e7270588109e23b678.pdf on 3 October 2008 Constella Futures. Not dated. Essential Advocacy Project. Implementation: Developing Advocacy Action Plans Covey, D.T. 2002. Usage and Usability Assessment: Library Practices and Concerns. Washington DC. Digital Library Federation and Council on Library and Information Resources. Cradler, C., Beuthel, B., and Vance, E. 2008. Data-Driven Decision-Making and Electronic Learning Assessment Resources (ELAR). California Department of Education. Accessed online on 28 February 2009 at http://www.clrn.org/elar/ dddm.cfm Czech Republic. 2006. Code of Ethics for Researchers of the Academy of Sciences of the Czech Republic. Accessed online on 24 December 2008 at http://www.cas. cz/en/code_of_ethics.php Dean, J.W., and Sharfman, M.P. 1996. Does Decision Process Matter? A Study of Strategic Decision-Making Effectiveness, in The Academy of Management Journal, Vol. 39, No. 2 (Apr., 1996), pp. 368-396. Accessible at http://www. jstor.org/stable/256784

Tài liệu tham khảo

471

Dennis, A.R. 1996. Information Exchange and Use in Group Decision Making: You Can Lead a Group to Information, but You Can’t Make It Think, in MIS Quarterly, December 1996. Management information Systems Research Center, University of Minnesota. Drucker, P.F., Hammond, J., Keeney, R., Raiffa, H., and Hayashi, A.M. 2001. Harvard Business Review on Decision Making. Harvard Business School Press: Massachuchets. ISBN-10: 1578515572 Errkola, T. 2007. Personal communications (Contact mgorgens@worldbank.org). Evaluation, no. 33. Jossey – Bass, San Francisco, California. Family Health International FHI. 2000. Behavioral Surveillance Surveys: Guidelines for Repeated Behavioral Surveys in Populations at Risk of HIV, Family Health International, 2000, http://www.fhi.org/en/HIVAIDS/pub/guide/bssguidelines. htm Family Health International FHI. 2001. Research Ethics Training Curriculum. Accessed online on 10 February 2009 at http://www.fhi.org/training/en/ RETC/ Family Health International FHI. 2001. Research Training Curriculum. Accessed online on 5 October 2008 at http://www.fhi.org/en/RH/Training/trainmat/ethicscurr/RETCCREn/index.htm Family Health International – FHI. 2002. Human capacity development for an effective response to HIV/AIDS: The community response report. Addis Ababa, Ethiopia. Feldman, M.S., and March, J.G. 1981. Information in Organizations as Signal and Symbol, in Administrative Science Quarterly Volume 26 (1981). pp 171 - 186 Ferber, R., Sheatsley, P., Turner, A., Waksberg, J. 1980. What is a Survey? Accessed online on 5 Oct 2008 at http://client.norc.org/whatisasurvey/downloads/pamphlet_1980.pdf Flinders University. 2007. Flinders University/Southern Adelaide Health Service. Ethical guidelines for social and behavioural research. Adelaide, South Australia: Flinders University Foskett, A.C. 1982. The subject approach to information, Linnet Books, The Shoe String Press, Inc., Hamden, CT, 1982, p1. Furubo, J., Rist, R., and R. Sandahl, eds. 2002, International Atlas of Evaluation. Transaction Books, New Brunswick, N.J. Goold, M., and Campbell, A. 2002a. Designing effective organizations: How to create structured networks. Jossey-Bass, 2002.

472

Triển khai các hệ thống Theo dõi và Đánh giá

Goold, M., and Campbell, A. 2002b. Do you have a well designed organization? Harvard Business Review, March, pp. 117-124. Goold, M., and Campbell, A. 2002c. Nine tests of organization, design, directions. The Ashridge Journal, Summer. Görgens-Albino, M., and Victor-Ahuchogu, J. 2008. Planning for, measuring and achieving HIV results: A handbook for task team leaders of World Bank lending operations with HIV components. Washington D.C: The World Bank. Governance. Smith, M.F. 1989, Evaluability Assessment: A Practical Approach. Kluwer Academic Publishers, Boston, Mass. United Way, 1996, Measuring Program Outcomes: A Practical Approach. Alexandria, Virginia. Government of the Kingdom of Swaziland, UNAIDS and The World Bank. 2008. Inception Report for the Analysis of HIV Prevention Response and Modes of Transmission Study. Swaziland National Emergency Response Council on HIV and AIDS (NERCHA): Mbabane. Government of Republic of Namibia (GRN). 2008. Guidelines for managing the System for Programme Monitoring of HIV, TB and Malaria data. GRN: Windhoek. Greenair. 2008. UK Government’s environment adviser says disputed data undermines aviation policy decision-making. Accessed online on 27 February 2009 at http://www.greenaironline.com/news.php?viewStory=180 Guerrero, P. “Comparative Insights from Colombia, China, and Indonesia,” in Boyle, R. and D. Lemaire, eds., Building Effective Evaluation Capacity. Transaction Books, New Brunswick, N.J. Hiller, S. 2002. ‘But what does it mean?’ Using statistical data for Decision Making in Academic Libraries. Statistics in Practice – Measuring and Managing pp 10 - 23. Hirokawa, R. Y., and Poole, M. S. 1996. Communication and Group Decision Making. SAGE: United States of America. ISBN 076190462X Holzer, M. 1999, “Public Performance Evaluation and Improvement,” Prepared for the International Conference on Evaluation Capacity Development, Beijing, China. Hopkins, T. J. 1994. Handbook on capacity assessment methodologies: An analytical review. UNDP. Accessed online on 2 April 2007 at www.pogar.org/publications/other/undp/governance/capmet94e.pdf. Horton, R. 2006. The Lancet, Vol. 368: pp. 716-718. IEG. 2007. Russian federation: Health reform pilot project. Project performance assessment report. World Bank, Washington, D.C., March 27. Bartol,

Tài liệu tham khảo

473

K. M.; Martin, D. C.; Tein, M. H., and Matthews, G. W. 2001. Management: a Pacific Rim focus. 3rd Edition. Roseville, NSW: McGraw-Hill Book Company. Irani, K. 2007. Type of organizational structures. Accessed online on 10/06/2008 at: www.buzzle.com/articles/type-of-organizational-structures.html Kaushik, A. 2006. Occam’s Razor, published online on 23 October 2006 at http://www.kaushik.net/avinash/2006/10/seven-steps-to-creating-a-datadriven-decision-...02/27/2009 Kemerer, V. (ed.), Swaziland National AIDS Programme, Swaziland; Ministry of Health and Social Welfare, Swaziland; The National Emergency Response Council on HIV and AIDS, Swaziland; United States Agency for International Development, Southern Africa Regional HIV/AIDS Program; and MEASURE Evaluation (2007). Training workshop: Basic monitoring and evaluation concepts, data quality, and data analysis and use. Chapel Hill, NC: MEASURE Evaluation. Kenneth Lafferty Hess Family Charitable Foundation. 2008. Designing a Survey. Accessed online on 5 October 2008 at http://www.sciencebuddies.org/ science-fair-projects/project_ideas/Soc_survey.shtml Ketz de Vries, M.F.R. 2001. The leadership mystique: A user’s manual for the human enterprise. London: Prentice Hall, Financial Times. Kiernan, N.E. (2001). Steps for Writing Program Objectives: Tipsheet #10, University Park, PA: Penn State Cooperative Extension. Accessed on 2 October 2008 from http://www.extension.psu.edu/evaluation/pdf/TS10.pdf Leung, W.C. 2001a. How to conduct a survey. StudentBMJ 2001;9:143-5. (May.) Accessed online at http://student.bmj.com/back_issues/0501/education/143. html on 5 October 2008 Leung, W.C. 2001b. How to design a questionnaire. Accessed online on 5 October 2008 at student.bmj.com/back_issues/0601/education/187.html Levesque, K., Bradby, D., and Rossi, K. 1996. Using Data for Programme Improvement: How Do We Encourage Schools To Do It? In Centerfocus, Number 12.May 1996. National Center for Research in Vocational Education. University of California at Berkeley. Accessed online on 25 February 2009 at http:// vocserve.berkeley.edu/centerfocus/CF12.html Love, N., Stiles, K. E, Mundry, S. E., and DiRanna, K. 2007/08. A Data Coach’s Guide to Improving Learning For All Students - Unleashing the Power of Collaborative Inquiry. Hands On! Winter 2007/2008, volume 30, number 2. Accessed online at: http://usingdata.terc.edu/attachments/DCGuide.pdf on April 3, 2009. Lamptey P.R., Zeitz P., and Larivee C. 2001. Strategies for an expanded and comprehensive response (ECR) to a national HIV/AIDS epidemic. Family Health International – FHI. Accessed online on 2 October 2007 at www.fhi org/NR/

474

Triển khai các hệ thống Theo dõi và Đánh giá

rdonlyres/e3vplv5peej6b3a4hj2j6cs4a4dgru4ccifai577sbmf7 v3xl4pcozryre76t7aocb3rd6gwbohr6h/ECRenglishwithChapter9.pdf. MacDonald, R. 2001. ‘Avoiding biases’, in Student BMJ Volume 9 144 May 2001 Mackay, K. 1999, “Evaluation Capacity Development: A Diagnostic Guide and Action Framework,” The World Bank, Washington, D.C. Mackay, K. 2007. How to use monitoring and evaluation to build better government. The World Bank: Washington DC. March, J. G. 1991. How decisions happen in organizations, in Human-Computer Interaction Volume 6, Issue 2 (June 1991), pp 95-117. L. Erlbaum Associates Inc. Hillsdale, NJ, USA. ISSN:0737-0024 March, J. G. (1994). A Primer on Decision Making: How Decisions Happen. Simon and Schuster: USA. ISBN 0029200350 March, J. G., and Romelaer, P. J. (1976). Position and presence in the drift of decisions. In J.G. March & J. P. Olsen (Eds.), Ambiguig and choice in organizations (pp. 25 1-276). Bergen, Norway: Universitetsforlaget. Mayne, J. 1997, “Accountability for Program Performance: A Key to Effective Performance Monitoring and Reporting,” in Mayne, J. and E. Zapico – Goni, eds. Monitoring Performance in the Public Sector. Transaction Books, New Brunswick, N.J. Mayne, J. and E. Zapic – Goni, eds. 1997, Monitoring Performance in the Public Sector. Transaction Books, New Brunswick, N.J. McCoy, K. L., Ngari, P. N., Krumpe, E. E. 2005. Building monitoring, evaluation and reporting systems for HIV/AIDS programs. Washington D.C: PACT. McNamara, C. 1997. Basic Guide to Program Evaluation. Accessed online at 5 October 2008 at http://www.managementhelp.org/evaluatn/fnl_eval. htm#anchor1587540 MEASURE Evaluation. 2008. Routine Data Quality Assessment Tool (RDQA): Guidelines for Implementation. Accessed online on 30 May 2009 at MEASURE Evaluation. 2008. Routine Data Quality Assessment Tool (RDQA): Guidelines for Implementation. Accessed online on 30 May 2009 at http:// www.cpc.unc.edu/measure/tools/monitoring-evaluation-systems/data-quality-assurance-tools/RDQA%20Guidelines-Draft%207.30.08.pdf MEASURE Evaluation, USAID. Undated. Data demand and information use in the health sector (DDIU): Conceptual framework. North Carolina: University of North Carolina.

Tài liệu tham khảo

475

Michigan State University: <http://research.chm.msu.edu/RO/rschtypes. htm> Moock, J.L. Not dated. How we invest in capacity building. Rockefeller Foundation. New York: United States of America. Naor, M., Goldstein, S. M., Linderman, K. W., Schroeder, R.G. 2008. The Role of Culture as Driver of Quality Management and Performance: Infrastructure Versus Core Quality Practices, in Decision Sciences. Volume 34 Issue 4, Pages 671 – 702 Nath, S. 2007. Final Report: Getting Research into Policy and Practice GRIPP. JSI Europe. USAID: Washington DC Nzima, M. 2007. Personal communications. (Contact mgorgens@worldbank. org). OECD. 2003. DAC Guidelines and Reference Series: Harmonising donor practices for effective aid delivery. Paris, France: OECD. OECD. 2006. DAC Evaluation Series: Guidance for managing joint evaluations. Paris, France: OECD. O’Reilly, C. A. 1982. Variations in Decision Makers’ Use of Information Sources: The Impact of Quality and Accessibility of Information, in Academy of Management Journal Volume 24 Nr 4. pp 756 – 771. Osborne, D., and Gaebler, T. 1992. Reinventing government. Boston: AddisonWesley Publishing. Pimple, K. D. 2002. “Six domains of research ethics: A heuristic framework for the responsible conduct of research.” Science and Engineering Ethics 8:191-205 Kusek, J.Z. and R.C. Rist, 2001, “Making M&E Matter – Get the Foundation Right,” Evaluation Insights, Vol. 2, no. 2. PowerPoint presentation accessed online at www.futuresgroup.com/fg/ resources/E.1-Advocacy-Action-Plans-and-ME.ppt on 3 Oct 2008. Research. April 18, 1979. National Institutes of Health, USA Resnik, D.B. 2007. What is Ethics in Research & Why is It Important?, National Institute of Environmental Health Sciences. Accessed online on 24 December 2008 at http://www.niehs.nih.gov/research/resources/bioethics/whatis. cfm Rossi, P. H., and Freeman, H.E. 1993. Evaluation: A systematic approach. Newbury Park, Calif. Sage Publications. ISBN 0803944586. Rist, R.C. 2000, “Evaluation Capacity Development in the People’s Republic of China: Trends and Prospects,” in Malik, K. and C. Roth, eds., Evaluation Ca476

Triển khai các hệ thống Theo dõi và Đánh giá

pacity Development in Asia. United Nations Development Program Evaluation Office, New York, New York. Robbins, S., and Decenzo, D. 2004. Fundamentals of Management. New Jersey: Prentice-Hall.) Robbins, S.P., and Decenzo, D.A. 2001. Fundamentals of management: Essential concepts and applications. Third edition. Upper Saddle River, N. J.: PrenticeHall. Rugg, D., Carael, M., Boerma, T., and Novak, J. 2004. Global advances in monitoring and evaluation of HIV/AIDS: From AIDS case reporting to programme improvement. In: Global advances in HIV/AIDS monitoring and evaluation, Rugg D, Peersman G, Carael M (Eds), New Directions in Evaluation, Nr 103, Fall 2004, p1-11. Rugg, D., Peersman, G., and Carael, M. (eds). 2004. Global advances in HIV/ AIDS monitoring and evaluation: New directions in evaluation, Nr 103, Fall 2004, pp. 1-11. Schreuner, F. 2004. What is a survey? American Statistical Association Shamoo, A., and Resnik, D. 2003. Responsible Conduct of Research (New York: Oxford University Press). Shannon, A. 1998. Advocating for Adolescent Reproductive Health in Sub-Saharan Africa. Washington, DC: Advocates for Youth, 1998. Accessed online on 3 October 2008 at http://www.advocatesforyouth.org/PUBLICATIONS/advocate/ chapter9.htm Sharp, C. 2001, Strategic Evaluation: Performance Measurement in the Service of Effective Southeast Michigan Council Of Governments (SEMCOG). 2008. Using Data for Better Decision-Making. Accessed online on 22 February 2009 at http://tsp. trb.org/assets/BP18_SEMCOG.pdf Star, L., and Estes, J.E. 1990: Geographic information systems: an introduction. Englewood Cliffs, NJ: Prentice-Hall. Swaziland Government (2009). Swaziland Protocol for the Swaziland Quality, Comprehensiveness and Relevance of Impact Mitigation Services Survey. Swaziland Government: Mbabane. Tanzania Commission for AIDS (TACAIDS). 2007. Guidelines for the Tanzania Output Monitoring System for HIV/AIDS. Dar Es Salaam: Government of Tanzania. The Global Fund to Fight AIDS, TB and Malaria. 2006. Data Quality Audit Tool Briefing Paper. The Global Fund: Geneva. Tài liệu tham khảo

477

The Global Fund to Fight AIDS, TB and Malaria, WHO, UNAIDS, OGAC, PEPFAR, USAID, WHO, UNAIDS The Global Fund to Fight AIDS, TB and Malaria; WHO; World Bank; UNICEF; UNAIDS; USAID; HHS/CDC; MEASURE Evaluation and Family Health International. 2006. Monitoring and Evaluation Toolkit HIV/AIDS, Tuberculosis and Malaria. WHO and Global Fund, Geneva, January 2006 (2nd ed.). http://www.theglobalfund.org/pdf/guidelines/pp_me_toolkit_en_lowres.pdf The World Bank. 2000. “Thailand’s response to AIDS: Building on success, confronting the future.” Thailand Social Monitor V. World Bank, Bangkok. McCoy, KL., Ngari, PN., and Krumpe, EE. 2005. Building monitoring, evaluation and reporting systems for HIV/AIDS programs. PACT: Washington DC. The World Bank. 2005. The LogFrame handbook: A logical framework approach to project cycle management. The World Bank: Washington DC. The Global Fund to Fight AIDS, TB and Malaria; WHO; World Bank; UNICEF; UNAIDS; USAID; HHS/CDC; MEASURE Evaluation and Family Health International. 2006. Monitoring and Evaluation Toolkit HIV/AIDS, Tuberculosis and Malaria. WHO and Global Fund, Geneva, January 2006 (2nd ed.). http:// www.theglobalfund.org/pdf/guidelines/pp_me_toolkit_en_lowres.pdf Trochim, W.K. 2008. Types of Research. http://www.socialresearchmethods. net/kb/resques.php Tyebkhan, G. 2003 DECLARATION OF HELSINKI: the ethical cornerstone of human clinical research. Indian J Dermatol Venereol Leprol. 2003 MayJun;69(3):245-7. UK Department of Health. 2001. Governance arrangements for NHS Research Ethics Committees. Accessed online on 3 November 2007 at http://www.doh. gov.uk/research UNAIDS. 2003. HIV Monitoring and evaluation training chapters. Geneva: UNAIDS. UNAIDS (Joint United Nations Programme on AIDS) and the MERG (global HIV Monitoring and Evaluation Reference Group). 2009. Indicator standards: Operational guidelines. UNAIDS: Geneva. UNAIDS/Monitoring and Evaluation Reference Group (MERG). April 2008. Organizing framework for a functional national HIV monitoring and evaluation system. Geneva: UNAIDS. UNAIDS, WHO. 2000. Second-generation surveillance for HIV: The next decade. Geneva, Switzerland: World Health Organisation. Accessed electronically on 23 October 2007 at http://www.who.int/emc

478

Triển khai các hệ thống Theo dõi và Đánh giá

UNDP. 1997. General guidelines for capacity assessment and development to support the development and implementation of national programme frameworks (NPF). UNDP. September 1994. Accessed online on 30 March 2007 at www. pogar.org/publications/other/undp/governance/genguid97e.pdf. U.S. Agency for International Development (USAID). 2007. Data Quality Assurance Tool for Program-Level Indicators. USAID: Washington DC. USAID. Accessed online on 30 May 2009 at http://www.pepfar.gov/documents/organization/79628.pdf USAID. Undated. Contraceptive security: Ready Lessons 5 – Using data for decision-making. USAID: Washington DC. Vercic, D. Messages and Channels, part of a World Bank Distance Learning Training Course. Available on the World Bank Learning Management System at “Communicating Reform -The Missing Link: A Distance-Learning Course for the Central Asia Region” Wayman, J. C. 2005. Involving Teachers in Data-Driven Decision Making: Using Computer Data Systems to Support Teacher Inquiry and Reflection, in Journal Of Education For Students Placed At Risk, 10(3), 295–308 Weiss, H. 2007. From the Editor’s Desk. The Evaluation Exchange: A Periodical on Emerging Strategies in Evaluation. Harvard Family Research Project, Harvard Graduate School of Education. 8(1), Spring 2007. Accessed online at http:// www.hfrp.org/var/hfrp/storage/original/application/6bdf92c3d7e970e727058 8109e23b678.pdf on 3 October 2008 Wholey, J.S. 1987, “Evaluability Assessment: Developing Program Theory,” in Bickman, l., ed., Using Program Theory in Evaluation.” New Directions for Program Wikipedia. 2006. ‘Evaluation’ accessed at www.evaluationwiki.org/index. php/Evaluation_Definition (3Oct 2006) Wikipedia. 2007. Searched for ‘database management system’, on 3 October 2007, and accessed at http://en.wikipedia.org/wiki/Database Wilson, D. 2004. World Bank contribution to Building National HIV/AIDS Monitoring and Evaluation Capacity in Africa: Going Beyond Indicator Development and Conceptual Training, in Rugg, D., Peersman, G. and G. & M. Carael (eds). “Global Advances in Global HIV/AIDS Monitoring and Evaluation” New Directions in Evaluation, 103, UNAIDS, Fall 2004. World Medical Association 2000. DECLARATION OF HELSINKI - Ethical Principles for Medical Research Involving Human Subjects. Accessed online on 2 April 2009 at http://www.wma.net/e/policy/pdf/17c.pdf

Tài liệu tham khảo

479

Dưới đây là các tài liệu tham khảo trên internet: http://www.cpc.unc.edu/measure/tools/monitoring-evaluation-systems/dataquality-assurance-tools/RDQA%20Guidelines-Draft%207.30.08.pdf www.uky.edu/CommInfoStudies/JAT/Telecommunications/300/Descriptive_statistics.ppt home.business.utah.edu/bebrpsp/URPL5010/Lectures/10_DescriptiveStatistics. pdf www.stat.psu.edu/~lsimon/stat250/fa99/slides/location/location.ppt www.stat.nus.edu.sg/~stayapvb/lec2.ppt www.pauldickman.com/teaching/game/descriptive_statistics.pdf http://ils.unc.edu/~yanz/Content%20analysis.pdf

480

Triển khai các hệ thống Theo dõi và Đánh giá

iều gì xảy ra sau khi bạn thiết kế xong chiến lược của chương trình? Làm thế nào để biết bạn có thành công hay không khi thực hiện những chiến lược đã được xây dựng? Mặc dù các hệ thống theo dõi và đánh giá (M&E) có vai trò thiết yếu để đo lường kết quả, nhưng việc triển khai và duy trì hoạt động của các hệ thống này từ lâu nay đã một thách thức của quá trình phát triển. Cuốn sách Triển khai Các hệ thống Theo dõi và Đánh giá không chỉ giúp bạn xây dựng các hệ thống M&E hoạt động được, mà còn cung cấp cho bạn những công cụ và khái niệm để giúp những người khác xây dựng hệ thống của họ.

Trên con đường phát triển của mình, Thổ Nhĩ Kỳ bắt buộc phải kéo các hệ thống khác nhau lại gần nhau một cách lô-gich: làm cho các hệ thống đó “nói chuyện” với nhau. 12 cấu phần cung cấp cho các ngành thuộc khu vực công — từ giao thông đến nông nghiệp, y tế và giáo dục — một cách trao đổi thông tin phổ biến về các hệ thống M&E của các ngành, hiểu được các mối liên kết, và thậm chí có thể lên kế hoạch cho các hoạt động phối hợp chung. Nó cũng giúp ai muốn đi theo sự nghiệp M&E học hỏi về hệ thống M&E trong một ngành với 12 cấu phần, và áp dụng những kiến thức này vào một ngành khác. 12 cấu phần đã thực sự giúp tôi nhìn thấy các mảnh của hệ thống M&E có thể khớp với nhau như thế nào. Mehmet Uzunkaya Chuyên gia kế hoạch, Văn phòng Thủ tướng Thổ Nhĩ Kỳ, Ban Kế hoạch Nhà nước Khóa đào tạo về 12 cấu phần mà tôi tham dự đã tỏ ra rất có ích. Tôi đang xây dựng một khóa học về M&E dựa trên kết quả ở Ai-len, và cũng đang sử dụng khung 12 cấu phần này để phát triển các kế hoạch và khung M&E cho một số tổ chức, như Barnardos, UCC, Bộ Tài nguyên và Phát triển Nông thôn ở Man-ta, và Quỹ Niềm Hy vọng (Hope Foundation) ở Calcutta. Đây là chương trình mang tính thực tiễn nhất tôi đã từng học về theo dõi và đánh giá, và tôi dự định sẽ lồng ghép các nguyên tắc của chương trình vào công việc của tôi sau này. Niamh Kenny Tư vấn M&E, Công ty tư vấn EXODEA Europe Consulting, Cork, Ai-len Ở Trinidad, chúng tôi đã sử dụng mô hình 12 cấu phần làm khung chẩn đoán để đánh giá các nhu cầu xây dựng năng lực nhằm cải thiện hệ thống theo dõi và đánh giá y tế quốc gia. Chúng tôi đã đánh giá hệ thống ở đất nước chúng tôi theo từng cấu phần trong số 12 cấu phần này để xác định xem chúng tôi hiện đang ở đâu, và chúng tôi cần đi đến đâu để có thể theo dõi và quản lý tốt hơn HIV/AIDS và các vấn đề sức khỏe khác ở đất nước chúng tôi. Chúng tôi đánh giá cao mô hình và kế hoạch này, tuy đơn giản nhưng toàn diện, và chúng tôi dự định sẽ tiếp tục sử dụng mô hình này trong các kế hoạch xây dựng năng lực M&E của chúng tôi. Tiến sĩ Violet Duke Quan chức chính phủ, Bộ Y tế, Trinidad và Tobago

NGÂN HÀNG THẾ GIỚI