Đường đến kết quả by Le Nghiem

ĐƯỜNG đến KẾT QUẢ

ĐƯỜNG đến KẾT QUẢ Thiết kế và Thực hiện Các Đánh giá Phát triển Hiệu quả Linda G. Morra Imas Ray C. Rist

ngân hàng thế giới

© 2009 The International Bank for Reconstruction and Development / The World Bank 1818 H Street NW Washington DC 20433 Telephone: 202-473-1000 Internet: www.worldbank.org E-mail: feedback@worldbank.org Giữ mọi bản quyền 1 2 3 4 12 11 10 09 Cuốn sách này là sản phẩm của các cán bộ của Ngân hàng Tái thiết và Phát triển Quốc tế / Ngân hàng Thế giới. Những phát hiện, kiến giải và kết luận được thể hiện trong cuốn sách này là của các tác giả và không nhất thiết phản ánh những quan điểm của Hội đồng Giám đốc điều hành của Ngân hàng Thế giới hay các chính phủ mà họ đại diện. Ngân hàng thế giới không đảm bảo tính chính xác của những dữ liệu được sử dụng trong cuốn sách này. Đường biên giới, màu sắc, việc gọi tên và những thông tin khác được thể hiện trên bất cứ bản đồ nào trong cuốn sách này không hàm ý một sự xác nhận hay thừa nhận nào đối với các đường biên giới, hoặc vị thế pháp lý của bất cứ lãnh thổ nào từ phía Ngân hàng Thế giới. Quyền và Giấy phép Tất cả các tư liệu trong bản phẩm này đều có bản quyền. Việc sao chép hoặc chuyển tải từng phần hoặc toàn bộ ấn phẩm mà không được phép là vi phạm pháp luật hiện hành. Ngân hàng Tái thiết và Phát triển Quốc tế/Ngân hàng Thế giới khuyến khích việc truyền bá và cho phép tái bản ấn phẩm của Ngân hàng. Quyền tái bản ấn phẩm sẽ được cấp phép một cách nhanh chóng. Để được phép sao chép và in lại bất cứ phần nào của cuốn sách này hãy gửi đề nghị với thông tin đầy đủ đến: Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers, MA 01923, USA, telephone 978-750-8400, fax 978-750-4470, www.copyright.com. Mọi câu hỏi khác về quyền và giấy phép kẻ cả quyền được mở chi nhánh phải gửi về: Office of the Publisher, World Bank, 1818 H Street, NW, Washington, DC 20433, USA, fax 202-522-2422, e-mail pubrights@worldbank.org. ISBN: 978-0-8213-7891-5 eISBN: 978-0-8213-7911-0 DOI: 10.1596/978-0-8213-7891-5 Library of Congress Cataloging-in-Publication Data Morra-Imas, Linda G. The road to results : designing and conducting effective development evaluations / Linda G. Morra-Imas, Ray C. Rist. p. cm. ISBN 978-0-8213-7891-5 -- ISBN 978-0-8213-7911-0 (electronic) 1. Economic development--Evaluation. I. Rist, Ray C. II. Title. HD75.M666 2009 338.91068’4--dc22 2009013401 Cover design: Naylor Design, Washington, DC

LỜI ĐỀ TẶNG

Dành cho chồng tôi, Silvio, người đã rất hỗ trợ và khuyến khích tôi trong công việc và tôi dành sự biết ơn đặc biệt đến hai người phụ nữ là người thầy và hình mẫu trong vai trò đánh giá của tôi: Eleanor Chelimsky và Lois-ellin Datta Linda G. Morra Imas

Dành tặng Molly, Ethan, Madeleine, Lukas, Nina, và Anna: Sáu người cháu đã mang niềm vui đến mỗi ngày Ray C. Rist

Phiên bản tương tác của Đường đến Kết quả có sẵn tại địa chỉ: http://www.worldbank.org/r2r. Công cụ này cho phép sinh viên và giáo viên chia sẻ ghi chú và các tài liệu liên quan có trải nghiệm tốt hơn với các ứng dụng đa truyền thông.

MỤC LỤC

Lời tựa Nói về các Tác giả Chữ viết tắt

xv xvii xix

Giới thiệu

Tài liệu tham khảo

CƠ SỞ NỀN TẢNG

Chương 1. Giới thiệu về Đánh giá Phát triển

Đánh giá là gì? Nguồn gốc và lịch sử của Hoạt động Đánh giá Nguồn gốc và lịch sử của Hoạt động Đánh giá Các nguyên tắc và tiêu chuẩn của Đánh giá Phát triển Ví dụ về Đánh giá phát triển Tóm tắt Thực hành Chương 1 Chủ giải Tài liệu tham khảo Trang Web

8 19 26 29 36 41 41 42 42 46

Chương 2. Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Tổng quan về Đánh giá ở các quốc gia Phát triển và các quốc gia Đang phát triển 50 Chỉ báo về các Vấn đề Phát triển Mới phát sinh 70 Tóm tắt 93 Tài liệu tham khảo 94 Trang Web 101

CHUẨN BỊ VÀ THỰC HIỆN CÁC ĐÁNH GIÁ PHÁT TRIỂN HIỆU QUẢ

103

Chương 3. Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

105

Vai trò quan trọng của Giám sát và Đánh giá dựa trên kết quả hoạt động 106 Giám sát và Đánh giá dựa trên kết quả thực hiện là gì? 107 Giám sát và Đánh giá truyền thống và Giám sát và Đánh giá dựa trên kết quả hoạt động 108 Mười bước để xây dựng một hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động 112 Tóm tắt 135 Thực hành Chương 3 136 Ghi chú 139 Tài liệu tham khảo và đọc thêm 139 Trang Web 140

Chương 4. Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

141

Phân tích Nhận diện Nhận diện Khách hàng chính và Các bên có liên quan chủ yếu Hiểu bối cảnh Xác định các kiến thức hiện có Xây dựng, Sử dụng và Đánh giá Thuyết thay đổi Tóm tắt Thực hành Chương 4 Tài liệu tham khảo và đọc thêm Trang Web

142 144 149 150 150 171 172 174 177

Chương 5. Phương pháp Tiếp cận Đánh giá

181

Các Phương pháp Tiếp cận chung trong Đánh giá Tóm tắt Thực hành Chương 5 Chú giải Tài liệu tham khảo Trang Web

182 206 211 212 212 216

THIẾT KẾ VÀ THỰC HIỆN

219

Chương 6. Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

221

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Nguồn câu hỏi Các loại câu hỏi Nhận biết và lựa chọn câu hỏi Xây dựng những câu hỏi chuẩn Thiết kế đánh giá Tóm tắt Thực hành Chương 6 Tài liệu tham khảo và đọc thêm Trang Web

222 223 230 232 234 244 245 246 246

Chương 7. Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

247

Kết nối các câu hỏi với thiết kế Thiết kế cho dạng câu hỏi nhân quả Thiết kế câu hỏi dạng mô tả Thiết kế cho dạng câu hỏi chuẩn tắc Nhu cầu thiết kế đánh giá chặt chẽ Thực hành Chương 7 Bài tập ứng dụng 7.1: Lựa chọn thiết kế đánh giá Tài liệu tham khảo và đọc thêm Trang Web

248 252 272 275 275 281 282 284 287

Chương 8. Lựa chọn và xây dựng công cụ thu thập số liệu

289

Chiến lược thu thập số liệu Những đặc điểm của phương pháp đo lường tốt Số liệu định tính và định lượng Công cụ thu thập số liệu Tóm tắt Thực hành Chương 8 Tài liệu tham khảo Trang Web

290 293 294 299 348 349 350 354

Chương 9. Lựa chọn chiến lược chọn mẫu

355

Tổng quan về việc chọn mẫu Các loại mẫu: Ngẫu nhiên và phi ngẫu nhiên Xác định kích thước mẫu Tóm tắt Thực hành Chương 9 Tài liệu tham khảo Trang Web

356 356 364 366 368 370 371

Mục lục

vii

Chương 10. Lập kế hoạch và tiến hành phân tích số liệu

373

Chiến lược phân tích số liệu Phân tích số liệu định tính Phân tích số liệu định lượng Kết hợp dữ liệu định tính và số liệu định lượng Tóm tắt Thực hành Chương 10 Tài liệu tham khảo và đọc thêm Trang Web

374 374 388 401 403 405 408 411

ĐỐI MẶT VỚI THÁCH THỨC

413

Chương 11. Đánh giá các dự án can thiệp phức tạp

415

Bức tranh tổng thể về Đánh giá Phát triển Phối hợp đánh giá chung Đánh giá các Chương trình Quốc gia Đánh giá các Dự án ngành Đánh giá Chủ đề Đánh giá các Chương trình Hợp tác Khu vực và Toàn cầu Tóm tắt Tài liệu tham khảo Trang Web

416 417 421 423 424 429 434 435 438

HƯỚNG DẪN

439

Chương 12. Quản lý một Dự án Đánh giá

441

Quản lý Ma trận Thiết kế Đề xướng Hoạt động Đánh giá Vai trò và Trách nhiệm của các Bên tham gia Quản lý con người, Nhiệm vụ và Ngân sách Tóm tắt Thực hành Chương 12 Tài liệu tham khảo Trang Web

442 442 446 451 460 461 463 465

Chương 13. Trình bày Kết quả Đánh giá

467

Xây dựng Chiến lược Truyền thông Viết Báo cáo Đánh giá Trình bày Thông tin bằng Hình ảnh Thuyết trình Tóm tắt

468 471 476 488 491

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 13 Tài liệu tham khảo Trang Web

491 492 493

Chương 14. Cẩm nang dành cho Cán bộ đánh giá Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

495

Hành vi Đạo đức Chính trị và Đánh giá Chuẩn mực và Nguyên tắc Đánh giá Tóm tắt Thực hành Chương 14 Tài liệu tham khảo Trang Web

496 499 506 510 511 512 513

Chương 15. Hướng đến Tương lai

515

Từ Quá khứ đến Hiện tại Tương lai Thực hành Chương 15 Tài liệu Tham khảo Trang Web

516 518 527 528 529

Phụ lục Chỉ số

531 563

Hộp 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 2.1 3.1 3.2 3.3 Mục lục

Sử dụng Đánh giá 15 Viện Kiểm toán nội bộ và Viện Kiểm toán Quốc tế tối cao 24 Mười Tiêu chuẩn Chất lượng Đánh giá của DAC 31 Mức độ phù hợp: Đánh giá Chương trình Lương thực thế giới trong hoạt động trợ cấp và khôi phục kinh tế ở Somalia 36 Tính hiệu quả: Đánh giá của DfID về Các nỗ lực Hỗ trợ Chương trình Lương thực thế giới ở Băng-la-đét 37 Hiệu suất: Đánh giá Quỹ cứu trợ lũ lụt ở Mô-dăm-bích của Ủy ban Cứu trợ Khẩn cấp 38 Tác động: Đánh giá chung về Hoạt động Hỗ trợ Khẩn cấp cho Ru-an-đa 39 Tính bền vững: Đánh giá của JICA về Chương trình Đào tạo Công nghệ Thông tin và Truyền thông cho các nước Thế giới thứ Ba 40 Mục tiêu Phát triển Thiên niên kỷ 74 Sức mạnh của việc xác định kết quả 107 Sự khác biệt giữa Giám sát dựa trên kết quả hoạt động và Đánh giá dựa trên kết quả hoạt động 108 Mười ứng dụng của các kết quả phát hiện 131 ix

4.1 4.2 4.3 5.1 5.2 5.3 6.1 6.2 6.3 7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13 9.1 10.1 10.2 10.3

Tiến hành phân tích bên có liên quan như thế nào? Xác định kho kiến thức về ngăn ngừa tội phạm Tổng lược Tài liệu các Chương trình để tăng Kết Quả học của học sinh ở nước Nam Phi Đánh giá xã hội về Dự án Phát triển Nông nghiệp và Tín dụng ở A-giéc-bai-dan Tạo lòng tin trong Đánh giá Có sự tham gia Sử dụng Đánh giá Tổng hợp để Đo lường các Lợi ích cho Môi trường Đánh giá sự can thiệp mà không có tiêu chuẩn Đánh giá chính sách và sự can thiệp thông qua sử dụng câu hỏi và trả lời câu hỏi Năm giai đoạn của quá trình đánh giá Điều gì làm đàn voi bỏ đi? Liệu các trường học do địa phương quản lý có hoạt động tốt không? Dùng thiết kế thu thập số liệu giản đơn để trả lợi câu hỏi dạng mô tả Ví dụ về thiết kế nghiên cứu điển hình cho các câu hỏi dạng nhân quả Dùng thiết kế trước và sau để trả lời câu hỏi dạng mô tả Ví dụ về thiết kế chuỗi thời gian gián đoạn cho câu hỏi dạng mô tả Tác động của chương trình đào tạo cho công nhân bị thôi việc Hỗ trợ của Tây Ban Nha cho những thiết kế đánh giá nghiêm túc Các nguyên tắc thu thập số liệu Áp dụng phương pháp tiếp cận cấu trúc để đánh giá một dự án nông nghiệp Danh mục 20 câu hỏi định tính của Patton Xác định tính Phổ biến của Triển lãm Nghệ thuật sử dụng phương pháp ép buộc và không ép buộc Dùng Google Earth để vẽ bản đồ Câu hỏi khảo sát cấu trúc và bán cấu trúc Một số lưu ý về từ ngữ trong câu hỏi khảo sát Hướng dẫn chung để thực hiện khảo sát Lưu ý xây dựng câu hỏi Lưu ý khi thực hiện phỏng vấn Lưu ý khi thực hiện phỏng vấn với những văn hóa khác nhau Chú ý Khi Thiết kế Câu hỏi Thảo luận Mẫu Câu hỏi Thảo luận Dùng phương pháp chọn mẫu theo cụm để nhận diện những người bị AIDS cho phỏng vấn Ví dụ về mã hóa Sử dụng phân tích nội dung để xác định lợi ích của bơm tay Các phương pháp mã hóa dữ liệu bằng phần mềm

148 150 156 191 197 202 226 228 238 248 262 268 272 273 274 276 277 291 292 296 299 304 317 322 328 328 332 333 338 339 361 378 379 383

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

10.4 10.5 10.6 11.1 11.2 11.3 12.1 12.2 12.3 13.1 13.2 13.3 13.4 15.1 15.2

Gợi ý cho lưu trữ số liệu định lượng Tính toán độ lệch tiêu chuẩn Hướng dẫn phân tích số liệu khảo sát định lượng Ví dụ về Phương pháp Đánh giá Chương trình Quốc gia Phối hợp đánh giá ngành y tế Tazania giai đoạn 1999-2006 Ví dụ về Đánh giá theo Chủ đề: Đánh giá về trẻ em nhặt rác ở châu Phi, châu Á, và châu Âu Bí quyết viết Điều khoản Giao việc cho Hoạt động Đánh giá Các kỹ năng Giải quyết Xung đột Các cách nâng cao Hoạt động nhóm Sử dụng Kỹ xảo Truyền thông Sáng tạo để Tăng sự thu hút đối với Kết quả Đánh giá Hướng dẫn Tạo Hình họa Hiệu quả Hướng dẫn Chuẩn bị Bài thuyết trình trên PowerPoint và Tài liệu phát tay Hướng dẫn sử dụng slide Những vấn đề mấu chốt khi phân tích Hệ thống M&E của một Chính phủ Các năng lực cần thiết của Cán bộ Đánh giá Chương trình

388 395 396 422 425 427 445 452 453 470 487 490 490 520 524

Hình 3.1 3.2

3.3 3.4 3.5 3.6 3.7 3.8 3.9 4.1 4.2 4.3 4.4 4.5 Mục lục

Chương trình Nguyên lý Thay đổi (Mô hình logic) để đạt được kết quả và tác động 110 Mẫu chương trình nguyên lý thay đổi (mô hình logic) để giảm bệnh tật ở trẻ em thông qua liệu pháp truyền muối và đường qua đường miệng 111 Mười bước để Thiết kế, Xây dựng và Duy trì bền vững một Hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động 113 Tổng thể các phương pháp thu thập dữ liệu 120 Xác định mức cái tiến mong muốn đỏi hỏi lựa chọn các mục tiêu hoạt động 122 Các loại giám sát chủ chốt 124 Liên kết giữa Giám sát hoạt động và Giám sát kết quả 125 Ví dụ về Liên kết giữa Giám sát hoạt động và Giám sát Kết quả 125 Đạt được kết quả thông qua hợp tác 126 Quá trình từ đầu vào đến kết quả 152 Những khả năng ảnh hưởng của môi trường đến các kết quả của chương trình 153 Quá trình Xây dựng Thuyết Thay đổi 155 Thuyết Thay đổi giản đơn đê Cải thiện việc Ra Quyết định bằng cách Đào tạo Người đánh giá 157 Thuyết thay đổi giản đơn với Các Giả thiết chính đã xác định 159 xi

4.6 4.7 4.8 4.9 4.10 4.11 4.A 4.B 6.1 6.2 6.3 8.1 8.2 8.3 10.1 10.2 10.3 10.4 10.5 10.6 12.1 13.1 13.2 13.3 13.4 13.5 13.6 13.7 13.8 13.9 13.10 13.11

Mẫu Thuyết thay đổi 160 Thuyết Thay đổi của Chương trình Cải thiện Kết quả môn Tập đọc của học sinh bằng Các cuộc thăm nhà học sinh của Giáo viên 162 Thuyết Thay đổi của Chương trình dùng Hội thảo có sự tham gia của người dân để giảm tham nhũng của Chính phủ 164 Biểu đồ phát triển tiêu chuẩn 166 Sơ đồ phát triển chú trọng các giả thiết 167 Chuỗi kết quả tiêu chuẩn 167 Thuyết thay đổi đơn giản cho Chương trình cho vay vi mô 172 Thuyết thay đổi phức tạp hơn của Chương trình Cho vay vi mô 173 Sử dụng khung logic để lập khuôn khổ câu hỏi đánh giá 223 Phương pháp tiếp cận đánh giá phát triển 240 Mẫu ma trận thiết kế 243 Phương pháp thu thập dữ liệu mẫu 307 Mẫu ví dụ về quan sát dựa trên vấn đề 311 Mẫu ví dụ về quan sát được định trước 312 Các bước nghiên cứu phân tích nội dung 381 Biểu trắng cho phân tích dữ liệu định tính 383 Một bảng hoàn chỉnh về phân tích dữ liệu định tính 385 Phân phối chuẩn 393 Phân phổi phi chuẩn 394 Độ lệch tiêu chuẩn trong phân phối chuẩn 394 Mẫu Biểu đố Gantt 455 Hai giai đoạn MATR để Theo dõi Khuyến nghị của IFC 475 Ví dụ về Sơ đồ Tổ chức 478 Ví dụ về Biểu đồ Gantt 479 Sự giảm nhiệt độ trung bình ở tỉnh A, từ Tháng Hai – Tháng Tám 2008 480 Điểm đọc ở ba trường trong quận, 2004/05 481 Điểm Trắc nghiệm kỹ năng làm cha mẹ theo khu vực 482 Tỷ lệ trả lời của Trợ lý và Giám đốc 483 Chi phí Điện Cao nhất trong quý ba (Đô la Ca-na-đa, 2008) 483 Giá trị trung bình giữa Điểm trắc nghiệm và Lớp 483 Ví dụ về một Đồ thị Rườm Rà không cần thiết 488 Ví dụ về Đồ thị được sắp xếp hợp lý và tối đa hóa Nét dữ liệu 488

Minh họa 13.1

Hình dung của Trẻ em về làng mình trước và sau can thiệp

477

Ví dụ về Đánh giá Dự án, Chương trình, Chính sách So sánh giữa Giám sát và Đánh giá

14 17

Bảng 1.1 1.2

xii

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

1.3 1.4 3.1 3.2 3.3 3.4 3.5 3.6 4.1 4.2 4.3 5.1 5.2 5.3 6.1 6.2 7.1 7.2 7.3 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13

Mục lục

Những thay đổi của Ngân hàng Thế giới trong cách tiếp cận Phát triển, giai đoạn 1950–2000 Tiêu chí và các Chỉ báo Xác định Tính độc lập của các Đơn vị Đánh giá Các thành phần chính của một nguyên lý thay đổi Ma trận lựa chọn các chỉ tiêu Sample Performance Framework: Outcomes and Indicators Mẫu khung hiệu quả hoạt động: Kết quả, chỉ tiêu và kỳ gốc Mẫu Khung Hiệu quả hoạt động: Kết quả, các chỉ số, số liệu kỳ gốc, và mục tiêu Mẫu Bảng báo cáo kết quả Vai trò của Các bên liên quan trong một đánh giá Các câu hỏi tại các giai đoạn khác nhau của một đánh giá Khung lôgic cho Chương trình Giảm Tỉ lệ tử vong của trẻ sơ sinh Các hình thức câu hỏi dự báo và các cách đặt vẫn đề Đặc điểm Kỹ thuật của Đánh giá có Sự tham gia và Đánh giá Truyền thống Mục đích, Đặc điểm, Điểm mạnh và Khó khăn của Các Phương pháp Đánh giá khác nhau Những câu hỏi định tính dùng trong các giao đoạn khác nhau của một chu kỳ chính sách Ma trận lựa chọn và xếp hạng câu hỏi đánh giá Hai đặc điểm chính của phương pháp thực nghiệm, bán thực nghiệm và phi thực nghiệm Bốn dạng kiểm toán hoạt động Thuận lợi và bất lợi của một số thiết kế thực nghiệm thông thường Bảng quyết định lựa chọn phương pháp thu thập số liệu Khi nào thì sử dụng cách tiếp cận định tính và định lượng Thuận lợi và thách thức của họp cộng đồng Ưu điểm và nhược điểm khi sử dụng dữ liệu sẵn có Lý do sử dụng và các ví dụ quan sát Sử dụng quan sát được xác định trước một phần Thuận lợi và thách thức của thu thập thông tin bằng phương pháp quan sát Thuận lợi của khảo sát cấu trúc và bán cấu trúc Thuận lợi và thách thức của khảo sát Mức độ lọc trong việc xác định nội dung bảng hỏi Kết quả thẻ báo cáo công dân về mức độ hài lòng với dịch vụ cơ sở hạ tầng Sử dụng thẻ báo cáo công dân Thuận lợi và thách thức của thẻ báo cáo công dân đối với thu thập số liệu

27 33 109 118 118 121 123 129 146 149 170 183 194 207 225 232 251 275 279 290 298 302 310 311 314 316 318 319 321 330 331 331 xii

8.14 Tóm tắt thuận lợi và thách thức trong quá trình phỏng vấn 8.15 Bốn giai đoạn trong Thảo luận Nhóm tập trung và Nhiệm vụ của Người điều hành 8.16 Thuận lợi và Khó khăn của Thảo luận nhóm Tập trung 8.17 Hướng dẫn Sử dụng Nhật ký và Nhật trình 8.18 Thuận lợi và Khó khăn của Nhật ký và Danh mục tự đánh giá 8.19 Thuận lợi và Khó khăn của Thẩm định Chuyên gia 8.20 Thuận lợi và Khó khăn của Phương pháp Delphi 9.1 Kích thước mẫu nhỏ nhất ở khoảng tin cậy 95 phần trăm với độ lệch sai số 5 phần trăm 9.2 Kích cỡ mẫu với tổng thể từ 1 triệu trở lên 10.1 Gợi ý cho việc thu thập và phân tích số liệu định tính 10.2 Điểm mạnh và những thách thức của phân tích nội dung 10.3 Tổ chức và lý giải dữ liệu định tính 10.4 Tỷ lệ đô thị hóa theo nước ở Mỹ Latin và Trung Mỹ 10.5 Các cách đo lường su hướng trung tâm theo các dạng số liệu được ưa thích 10.6 Quan điểm của khách hàng về dịch vụ chăm sóc sức khỏe ở các cơ sở y tế địa phương (% người trả lời) 10.7 Quan điểm của khách hàng về dịch vụ chăm sóc sức khỏe ở các cơ sở y tế địa phương (% người trả lời) 11.1 Lựa chọn, Tổ chức, và Quản lý Nhóm Đánh giá bên ngoài và Báo cáo Kết quả 12.1 Sơ đồ Nhiệm vụ Mẫu 12.2 20 Hoạt động Quản lý dự án của Greer 13.1 Mẫu Danh sách Kế hoạch Thông tin cho giai đoạn bắt đầu và thiết kế Đánh giá 13.2 Hệ thống Theo dõi Khuyến nghị 13.3 Các thành phần trong Đồ thị 13.4 Các dạng và Mục đích khác nhau của Đồ thị 13.5 Ví dụ về Bảng số liệu có quá nhiều dòng 13.6 Ví dụ về Bảng số liệu có ít dòng kẻ 13.7 Ví dụ về Bảng phân loại

xiv

333 339 340 341 342 344 346 365 366 375 382 387 392 393 397 397 420 455 458 469 474 480 481 485 485 486

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

LỜI TỰA

Đánh giá phát triển là một cấu phần thú vị trong bức tranh khảm về đánh giá rộng hơn. Nó giải quyết các mảng phức tạp, chuyên sâu và nổi bật của phát triển. Đánh giá công tác giảm nghèo, toàn cầu hoá và những tác động của nó đến người nghèo, tác động của sự nóng lên ở quy mô toàn cầu đến các quốc gia dễ bị tổn thương, cấu trúc bất bình đẳng của các hệ thống tài chính toàn cầu và các chiến lược giúp các quốc gia thời kỳ hậu chiến là một số ít các mảng trong đó đánh giá phát triển thực sự đóng góp lớn cho sự hiểu biết và khả năng phản ứng trước những vấn đề nhiều sức ép này. Bởi lẽ sức ép về trách nhiệm giải trình của chính phủ và các tổ chức về những kết quả của các hoạt động của họ để có phản ứng tốt hơn trước các yêu cầu của các đối tác bên trong và bên ngoài ngoài tổ chức đang gia tăng ở quy mô toàn cầu, đánh giá đang nổi lên như một cách thức chủ đạo để giải quyết và trả lời câu hỏi “Rồi sao?” một cách có hệ thống. Sẽ không đủ khi chỉ chỉ ra rằng chúng ta thật bận rộn, bây giờ cần phải chỉ ra chúng ta có hiệu quả (hay không). Đánh giá phát triển cũng là một mảng câu hỏi đang nổi lên. Tìm ra các cách thực hiện đánh giá là một sự tinh tế khi các hệ thống dữ liệu của chính phủ thường yếu kém và thậm chí không tồn tại, sự vùi dập của thông tin về các kết cục chính trị diễn ra thường xuyên, khoảng trống thông tin rất lớn và hiện hữu và không có một sự đảm bảo nào về chất lượng của thông tin được cung cấp. Khi đối mặt với những thách thức này, đánh giá phát triển thể hiện sức bật, sáng tạo trong tìm kiếm các con đường giúp cung cấp thông tin cho công dân, các quan chức của chính phủ, các nhà tài trợ, xã hội dân sự và giới báo chí để xem liệu rằng các chương trình của chính phủ có đang làm nên sự khác biệt.. Cuốn sách giáo khoa này đóng góp vào sự cải thiện các đánh giá phát triển với tư cách là một công cụ để thông tin về sự xây dựng và thực hiện các chính sách và chương trình nói riêng và các hệ thống hành chính nói chung. Đánh giá có thể trở thành công cụ quản lý công mạnh mẽ để cải thiện hiệu quả hoạt

động của chính phủ và các tổ chức. Đóng góp của nó không dừng lại ở cửa của các cơ quan công quyền. Đánh giá có thể là công cụ đầy sức mạnh của xã hội dân sự, các tổ chức phi chính phủ, các tổ chức tài trợ tìm kiếm trợ giúp phát triển dành cho người nghèo. Tài liệu trong cuốn sách này được tham khảo từ Chương trình Quốc tế về Đào tạo Đánh giá Phát triển (IPDET), một chương trình đào tạo đánh giá phát triển do Ngân hàng Thế giới và Trường đại học Carleton tổ chức vào mỗi mùa hè (xem www.IPDET.org). IPDET kết nối học viên trên khắp thế giới lại với nhau trong vòng một tháng để học về đánh giá phát triển. Tài liệu trong cuốn sách này là sự mở rộng các nội dụng đào tạo căn bản do IPDET cung cấp. Nó được giới thiệu với mục đích mở rộng và chia sẻ nội dung của khoá học IPDET với những người khác quan tâm đến đánh giá phát triển. Chúng tôi, các tác giả, chân thành cám ơn các cá nhân đã đóng góp những lời khuyên, đọc các phần của bản thảo và đưa ra các phản biện, và đã khích lệ chúng tôi tiếp tục hoàn thiện cuốn sách này. Danh sách các cá nhân mà chúng tôi muốn cám ơn được đưa ra ở phần cuối của cuốn sách này (Mục lục 1). Một số người chúng tôi muốn đặc biệt cám ơn ở đây gồm: Michael Patton, Patrick Grasso, Martin Abrams, Niels Dabelstein, Gregg Jackson, Gene Swimmer, và Nancy Porteous. Mỗi người trong số họ đã đọc và phản biện các phần của cuốn sách. Chúng tôi biết ơn những nỗ lực của họ. Santiago Pombo Bejarano ở Văn phòng Nhà xuất bản Ngân hàng Thế giới đã hỗ trợ rất lớn cho chúng tôi khi không bao giờ nản chí động viên chúng tôi tiếp tục hoàn thiện bản thảo. Chúng tôi cũng cám ơn hai người bạn đồng hành cùng IPDET ở Đại học Carleton: Karen Ginsberg và Barbara Levine. Sẽ không có cuốn sách này nếu không có IPDET. Họ là những đối tác và là những người bạn tuyệt vời. Cuối cùng, chúng tôi ghi nhận sự đóng góp nổi bật của Diane Schulz Novak, người đã làm việc cùng chúng tôi trong suốt quá trình viết và viết lại bản thảo. Sự đóng góp, quan tâm và kỹ năng của Diane khi làm việc cùng chúng tôi thực sự quan trọng mà thiếu nó sẽ không thể làm nên lời tựa cũng như không thể hoàn thiện cuốn sách này. Hai người chúng tôi đã là bạn và đồng nghiệp trong suốt chặng đường gần 30 năm. Chúng tôi gặp và làm việc cùng nhau lần đầu tiên tại Văn phòng Kiểm toán của Chính phủ Hoa Kỳ vào năm 1981. Chúng tôi làm việc cùng nhau tại Ngân hàng Thế giới đã hơn một thập kỷ nay. Sự hợp tác và tình bạn của chúng tôi ngày càng gắn bó hơn. Sẽ là điều đúng đắn khi nói rằng khi tiến dần đến đỉnh cao của sự nghiệp, chúng tôi có thể mang đến cộng đồng đánh giá trái ngọt từ những nỗ lực hợp tác của chúng tôi.

xvi

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

VỀ CÁC TÁC GIẢ

Linda G. Morra Imas là cố vấn của Nhóm Đánh giá Độc lập của Ngân hàng Thế giới. Tiến sĩ Morra Imas được biết đến như là “người khai sinh ra IPDET,” Chương trình Quốc tế về Đào tạo Đánh giá Phát triển và là đồng Giám đốc của Chương trình. Tiến sĩ Morra Imas đã cố vấn và đào tạo về giám sát và đánh giá ở nhiều nước trên thế giới. Tiến sĩ hiện là Phó giáo sư tại Đại học George Washington và Đại học Carlton. Tiến sĩ Morra Imas làm việc tại Ngân hàng Thế giới từ năm 1996 và đã lãnh đạo rất nhiều dự án đánh giá. Tiến sĩ Morra Imas đã từng là Giám đốc Cấp cao tại Văn phòng Kiểm toán của Chính phủ Hoa Kỳ và là người giải trình thường xuyên cho các các Uỷ ban Quốc hội về các chương trình giáo dục và việc làm. Ray C. Rist là cố vấn của Nhóm Đánh giá Độc lập của Ngân hàng Thế giới. Tiến sĩ Rist làm việc tại Ngân hàng từ năm 1997. Tiến sĩ Rist đã trải qua 15 năm làm việc cho Chính phủ Hoa Kỳ với nhiều chức vụ ở cả văn phòng điều hành lẫn lập pháp. Tiến sĩ Rist giữ các chức vụ nghiên cứu tại Đại học Cornell, Đại học Johns Hopkins và Đại học George Washington. Tiến sĩ Rist là Cán bộ cao cấp của Chương trình Fulbright tại Viện nghiên cứu Max Planck ở Béclin, Đức giai đoạn 1976–77. Tiến sĩ Risk là tác giả, biên tập viên và đồng biên tập của 25 cuốn sách, viết 135 bài báo và đã giảng bài ở hơn 75 quốc gia.

xvii

CÁC TỪ VIẾT TẮT

ADBA AEA AfDB ANOVA ANSI ASEAN

Ngân hàng Phát triển châu Á Hiệp hội Đánh giá Hoa Kỳ Ngân hàng Phát triển châu Phi Phân tích Phương sai Viện Tiêu chuẩn Quốc gia Hoa Kỳ Hiệp hội các nước Đông Nam Á

Môi trường Kinh doanh

CAHMI CAQDAS CATI CES CESE CGD CIDA CIS CODE CSF CSR

Sáng kiến Đánh giá Sức khoẻ Trẻ em và Thanh niên Phần mềm phân tích Dữ liệu Định tính Phỏng vấn qua điện thoại với sự hỗ trợ của máy tính Hiệp hội Đánh giá Ca-na-đa Trung, Đông và Nam Âu Trung tâm Phát triển Toàn cầu Trung tâm Phát triển Toàn cầu Cộng đồng các Quốc gia Độc lập Uỷ ban Hiệu quả Phát triển của IFC Khung Hỗ trợ Cộng đồng Trách nhiệm Xã hội của Doanh nghiệp

DAC DANIDA DfID DEC

Uỷ ban Hỗ trợ Phát triển Cơn quan Phát triển Quốc tế Đan Mạch Bộ Phát triển Quốc tế Vương quốc Anh Uỷ ban Cứu trợ khẩn cấp

EBRD ECI

Ngân hàng Tái thiết và Phát triển châu Âu Chỉ số Giao tiếp sớm

xix

EDUCO EET ESEA ESRC EU

Chương trình Trường học được quản lý bởi cộng đồng của En-xan-va-đo Thuế miễn kép Đạo luật Giáo dục Tiểu học và Trung học Uỷ ban Nghiên cứu Kinh tế và Xã hội Cộng đồng châu Âu

FAO FATF FDI FIT-ED

Tổ chức Lương thực và Nông nghiệp Liên hiệp quốc Lực lượng đặc nhiệm Tài chính về chống rửa tiền Đầu tư trực tiếp nước ngoài Quỹ Phát triển Công nghệ Thông tin và Giáo dục

GAD GAO GDP GICHD GMI GPRA GRPPs

Giới và Phát triển Văn phòng Kiểm toán Chính phủ Tổng sản phẩm quốc nội Trung tâm Quốc tế hoạt động bom mìn nhân đạo Geneva Thu nhập tối thiểu được đảm bảo Đạo luật Kết quả và Hiệu quả Hoạt động Chính phủ Các chương trình Hợp tác Khu vực và Toàn cầu

HIPC HSSP2 HZZO

Các quốc gia nghèo và nặng nợ Kế hoạch Chiến lược 2 cho ngành Y tế Viện Bảo hiểm Y tế Croatia

IBSTPI

Hội đồng Quốc tế về các Tiêu chuẩn về Đạo tạo, Hoạt động và Chỉ dẫn Hiệp hội Đánh giá Phát triển Quốc tế Trung tâm Nghiên cứu Phát triển Quốc tế Ca-na-đa Quỹ Quốc tế cho Phát triển Nông nghiệp Công ty Tài chính Quốc tế Viện nghiên cứu Quốc tế về Phát triển Bền vững Tổ chức Lao động Quốc tế Quỹ Tiền tệ Quốc tế Bộ Đánh giá Chính sách và Hoạt động Hà Lan Tổ chức Di trú Quốc tế Chương trình Quốc tế về Đào tạo đánh giá Phát triển Hệ thống quản trị dựa trên kết quả tích hợp Tổ chức Quốc tế các cơ quan Kiểm toán tối cao Tổ chức Quốc tế về Hợp tác và Đánh giá

IDEAS IDRC IFAD IFC IISD ILO IMF IOB IOM IPDET IRBM INTOSAI IOCE

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

JEEAR JICA

Hợp tác Đánh giá về Hoạt động hỗ trợ khẩn cấp cho Ru-an-đa Tổ chức Hợp tác Quốc tế Nhật Bản

LGAB LOA LSMS

Lẩn tránh trách nhiệm Mức độ tiếp thu Nghiên cứu Khảo sát Đo lường Mức sống

M&E MATR MBS MDBs MDGs MFPED MIS MMV MSH

Giám sát và Đánh giá Biên bản Giám sát Hoạt động Quản lý Hệ thống Ngân khố sửa đổi Các ngân hàng phát triển đa phương Các mục tiêu Phát triển Thiên niên kỷ Bộ Tài chính, Kế hoạch và Phát triển Kinh tế Hệ thống quản lý thông tin Chương trình tìm thuốc chống sốt rét Khoa học quản lý y tế

NAD Bộ Kiểm toán Quốc gia NCSTE Trung tâm Quốc gia về Đánh giá Khoa học và Công nghệ Trung Quốc NDC Xác định dựa trên mức đóng NEIR TEC Liên minh Công nghệ về giáo dục Khu vực Tây Bắc và các quần đảo NGO Tổ chức phi chính phủ NHIFA Cơ quan quản lý Quỹ Bảo hiểm Y tế quốc gia Hung-ga-ry NORAD Cơ quan Hợp tác Phát triển Na Uy NSGPR Chiến lược Quốc gia về Phát triển và Giảm nghèo NSSI Viện nghiên cứu Quốc gia về Bảo hiểm Xã hội Bun-ga-ri ODA OECD

Hỗ trợ phát triển chính thức Tổ chức Hợp tác và Phát triển Kinh tế

PEAP POW PPBS PPBS PRSP

Chương trình hành động xoá nghèo Chương trình Chiến lược ngành Y tế Hệ thống lập kế hoạc, chương trình và ngân quỹ Hệ thống hoạt động ngân quỹ Tài liệu về các chiến lược giảm nghèo

RFP

Mời nộp đề xuất

Chữ viết tắt

xxi

SDC Cơ quan Hợp tác và Phát triển Thuỵ Sỹ SHIPDET Chương trình quốc tế về Đào tạo Đánh giá Phát triển Thượng Hải SIDA Cơ quan Hợp tác Phát triển Quốc tế Thuỵ Điển SIEF Quỹ Tín thác Ngân hàng Thế giới – Tây Ban Nha về Đánh giá tác động SIR Sự lý giải thực tế mang tính chủ quan SWAps Tiếp cận toàn ngành TI TOR

Minh bạch quốc tế Các điều khoản Giao việc

UNDP Chương trình Phát triển Liên hiệp quốc UNEG Nhóm Đánh giá Liên hiệp quốc UNEP Chương trình Môi trường Liên hiệp quốc UNESCO Tổ chức Giáo dục, Khoa học và Văn hoá Liên hiệp quốc UNFPA Quỹ Dân số Liên hiệp quốc UNHCR Cao uỷ Liên hiệp quốc về Người tị nạn UNICEF Quỹ Nhi đồng Liên hiệp quốc UNSD Cơ quan Thống kê Liên hiệp quốc USAID Cơ quan Phát triển Quốc tế Hoa Kỳ

xxii

WHO WID WTO

Tổ chức Y tế Thế giới Phụ nữ trong tiến trình phát triển Tổ chức Thương mại Thế giới

ZUS

Quỹ Bảo hiểm Xã hội Ba Lan

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Giới thiệu

Khung phân tích, nhận thức và chính trị của phát triển đang thay đổi mạnh mẽ. Lộ trình phát triển mới kêu gọi một sự hiểu biết rộng hơn về các ngành, các quốc gia, các chiến lược phát triển và các chính sách. Nó nhấn mạnh vào việc học hỏi và phản hồi liên tục tại mọi giai đoạn của chu trình phát triển. Quả thực, đánh giá phát triển có thể được xem như là một sản phẩm công: Đánh giá mở rộng giới hạn của bất cứ tổ chức nào. Một nghiên cứu đánh giá tốt có thể mang lại hiệu ứng lan toả tích cực cho toàn bộ cộng đồng phát triển. Đánh giá phát triển có các đặc trưng của một sản phẩm công quốc tế. (Picciotto và Rist, 1995, p. 23)

Khi lộ trình phát triển tăng trưởng cả về quy mô lẫn mức độ phức tạp thì đánh giá phát triển phải phát triển tương ứng. Các chuyên gia đánh giá phát triển đang dần rời xa các mô hình đánh giá hoạt động truyền thống và tập trung vào đầu ra để hướng về các mô hình đánh giá dựa trên kết quả hoạt động bởi cộng đồng đánh giá kêu gọi kết quả và sự gắn kết với các Mục tiêu Thiên niên kỷ. Bởi lẽ các chuyên gia đánh giá phát triển chuyển dịch sự chú ý vào các dự án để giải quyết toàn diện các thách thức của quốc gia, họ đang tìm kiếm các phương pháp qua đó đánh giá kết quả ở cấp quốc gia, ngành, lĩnh vực, chính sách và thậm chí các cấp ở quy mô toàn cầu. Khi cộng đồng 1

phát triển nhận ra vai trò quan trọng các cách tiếp cận không chỉ toàn diện mà còn được điều phối để giải quyết các thách thức mà các nước đang phát triển phải đối mặt và nhấn mạnh vào sự hợp tác, các chuyên gia đánh giá phát triển đang tham gia tích cực hơn vào các đánh giá nhiều bên. Các đánh giá đa bên rất thuận lợi về nhiều mặt nhưng lại làm gia tăng tính phức tạp của các đánh giá phát triển (OECD 2006). Thêm vào đó, các chuyên gia đánh giá phát triển đang ngày càng phải đối mặt nhiều hơn với các thách thức về đo lường xác định hiệu quả hoạt động của một tổ chức đánh giá độc lập riêng lẽ trong bối cảnh rộng lớn hơn và để xác định mức độ đóng góp của nó. Với sự gia tăng của các cách tiếp cận phát triển ngày càng phức tạp và nhiều đòi hỏi, thiết kế đánh giá trở nên khó khăn hơn. Nó phải đáp ứng nhiều nhu cầu về phương pháp luận phức tạp và đặt ra các tiêu chuẩn cao để xác định tác động. Nhu cầu về các cách tiếp cận đánh giá mới và các kỹ năng mới vượt quá khuôn khổ của kinh tế học. Các vấn đề nổi cộm, như biến đổi khí hậu, kêu gọi các phương pháp đánh giá mới để đánh giá tính bền vững. Phạm vi của các vấn đề về môi trường, các hậu quả đa quốc gia, các khó khăn trong việc thu thập các thang đo có thể so sánh và bằng chứng rõ ràng về các hậu quả chưa được tính đến đòi hỏi cần phải có phương án tiếp cận phức tạp và đa diện để đánh giá. Có thể không có một kỷ luật đơn lẻ nào được kỳ vọng sẽ chiếm ưu thế trong suốt hành trình giải quyết các thách thức, hi vọng và sự nỗ lực của đại đa số loài người. Trong sự thiếu vắng tâm điểm trí tuệ, sự xâm lấn giữa phạm vi các lĩnh vực là phổ biến và các chuyên gia đánh giá phải ngày càng chiết trung và mạo hiểm sử dụng các công cụ khoa học xã hội. (Picciotto và Rist, 1995, trang. 169)

Xây dựng năng lực đánh giá – xây dựng các bộ phận đánh giá được đào tạo về phương pháp và thực hành đánh giá phát triển— là một thách thức mà các nước đang phát triển gặp phải. Sự gia tăng của các hiệp hội đánh giá quốc gia ở các nước đang phát triển và các nhóm đánh giá khu vực là bước đầu tiên để mở rộng nghề nghiệp trong cộng đồng đánh giá phát triển. Ngày nay, các chuyên gia đánh giá phát triển tìm thấy ở Hiệp hội Đánh giá Phát triển (IDEAS) còn non trẻ một tổ chức đánh giá quốc tế cống hiến vào những gì mà họ cần. Bên cạnh đó, giúp đỡ xây dựng năng lực đánh giá phát triển là mảng đang ngày càng mở rộng trong các khoá đào tạo sau đại học ở các trường đại học và các trung tâm đào tạo khu vực. Cuốn sách này được dùng như một công cụ sử dụng khi nâng cao năng lực đánh giá phát triển. Nó nhằm giúp các cán bộ đánh giá phát triển suy nghĩ về và khám phá các kiến trúc đánh giá mới và đặc biệt để thiết kế và thực hiện các đánh giá tập trung vào kết quả để đáp ứng các thách thức của tiến trình phát triển.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Chương trình Quốc tế về Đào tạo Đánh giá Phát triển (IPDET) được xây dựng bởi Ban Đánh giá Hoạt động (nay là Ban Đánh giá Độc lập [IEG]) của Ngân hàng Thế giới vào năm 2001. IEG phối hợp với Đại học Carleton, với sự hỗ trợ của Viện nghiên cứu Ngân hàng Thế giới, đã tổ chức chương trình đào tạo lần đầu tiên ở Ottawa, Canada. Từ năm 2003, chương trình được tổ chức các khoá học 1 tuần và 2 tuần dựa trên các phiên bản chỉnh sửa của IPDET ở hàng chục nước. Năm 2007, Chương trình Quốc tế về Đào tạo Đánh giá Phát triển Thượng Hải (SHIPDET) được thiết lập. Dù IPDET không ngừng phát triển để phản ảnh bản chất thay đổi không ngừng của phát triển nó vẫn chú trọng vào các vấn đề đánh giá phát triển. Chương trình này tìm kiếm để cung cấp các công cụ chung để đánh giá các hoạt động can thiệp phát triển (chính sách, chương trình và dự án) ở các cấp địa phương, quốc gia, vùng và các cấp quy mô toàn cầu. Nó được nhắm vào các cán bộ đánh giá của các tổ chức phát triển song phương và đa phương, chính phủ ở các nước đang phát triển, các tổ chức phi chính phủ cũng như các nghị sĩ và các tư vấn viên độc lập. Mục tiêu chung của IPDET là nâng cao kiến thức, kỹ năng và khả năng thiết kế và thực hiện các đánh giá phát triển hiệu quả cho người học để phục vụ quá trình ra quyết định dựa trên bằng chứng thực tiễn. Nó được dựa trên 14 mô-đun hướng dẫn để vạch ra tổng thể con đường dẫn tới các đánh giá hiệu quả của các can thiệp phát triển. Cuốn sách này dựa trên và mở rộng các mô-đun đó, trình bày các thảo luận toàn diện về các vấn đề mà các chuyên gia đánh giá phát triển phải đối mặt và cũng là tài liệu hướng dẫn để thực hiện các đánh giá phát triển. Xuyên suốt cuốn sách này, sẽ có rất nhiều người đang làm việc trong lĩnh vực phát triển sẽ có được các công cụ chung để thực hiện các đánh giá chắc chắn về các kết quả phát triển.

Tài liệu tham khảo OECD (Organisation for Economic Co-operation and Development). 2006. DAC Guidance for Managing Joint Evaluations. Paris: OECD. http://www.oecd.org/dataoecd/28/14/37484787.pdf. Picciotta, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies and Programs: New Approaches for a New Agenda. San Francisco: Jossey-Bass.

Giới thiệu

CƠ SỞ NỀN TẢNG “Thiên tài thực sự nằm ở khả năng đánh giá các thông tin không chắc chắn, các nguy cơ và các thông tin trái chiều nhau.” —WINSTON CHURCHILL

Chương 1: Giới thiệu Đánh giá Phát triển • Đánh giá là gì? • Nguồn gốc và lịch sử của hoạt động đánh giá • Bối cảnh của Đánh giá phát triển • Các nguyên tắc và tiêu chuẩn của hoạt động Đánh giá phát triển • Các ví dụ về Đánh giá phát triển Chương 2: Tìm hiểu Các yếu tố Chi phối Đánh giá Phát triển • Tổng quan về Đánh giá ở các nước phát triển và các nước đang phát triển • Gợi mở những Xu hướng phát triển mới

CHƯƠNG 1

Giới thiệu về Đánh giá Phát triển Chương này giới thiệu về định nghĩa và những khái niệm chung về hoạt động đánh giá dự án, chương trình, và đánh giá chính sách. Sau đó chương này sẽ trình bày về hoạt động đánh giá các chương trình can thiệp, thường được gọi là đánh giá phát triển. Chương gồm năm phần: • • • • •

Đánh giá là gì? Nguồn gốc và lịch sử của hoạt động đánh giá Bối cảnh của đánh giá phát triển Các nguyên tắc và tiêu chuẩn của đánh giá phát triển Các ví dụ về Đánh giá phát triển

Đánh giá là gì? Để tìm hiểu về đánh giá phát triển, trước hết cần phải hiểu đánh giá là gì, mục đích của hoạt động đánh giá, và đánh giá được sử dụng như thế nào. Phần này trình bày về • • • • • •

Định nghĩa hoạt động đánh giá Xác định mục đích của hoạt động đánh giá Liệt kê các lợi ích từ hoạt động đánh giá Mô tả các mô hình đánh giá Trình bày mối quan hệ giữa giám sát và đánh giá Xác định vai trò và hoạt động của các chuyên gia đánh giá.

Định nghĩa về Đánh giá ■■ Đánh giá: Hoạt động thẩm định giá trị của một dự án, một chương trình, hay một chính sách

Có nhiều định nghĩa về Đánh giá. Từ điển tiếng Anh của trường Đại học Oxford định nghĩa đánh giá là: 1. Hoạt động thẩm định hoặc định giá (ví dụ như hàng hóa); hoạt động đo lường hoặc khẳng định giá trị. 2. Hoạt động đo lường hoặc xác định giá trị (của một biểu thức toán học, một đại lượng vật lý …) hoặc ước lượng tính xác thực của các xác suất, chứng cứ….

Trong khuôn khổ của hoạt động đánh giá, thuật ngữ này được hiểu theo rất nhiều nghĩa. Sự khác biệt trong các định nghĩa này thể hiện những trọng tâm khác nhau trong mục đích đánh giá – mục đích kiểm toán khác với mục đích tìm hiểu–hoặc phản ánh sự khác nhau về thời điểm đánh giá nhằm cân nhắc để triển khai một chương trình, dự án hoặc chính sách. Trong thực tế, không tồn tại một định nghĩa thống nhất về đánh giá. Quả thực, khi xem xét đến yếu tố ngôn ngữ của thuật ngữ Đánh giá, gần đây, ông Michael Scriven, một trong những nhà sáng lập mô hình đánh giá hiện đại, đã cho biết có gần sáu mươi thuật ngữ khác nhau được dùng để chỉ hoạt động đánh giá, tùy theo bối cảnh. Các thuật ngữ này bao gồm: phân xử, định giá, phân tích, đánh giá, phê bình, kiểm định, phân loại, thanh tra, xét xử, xếp hạng, xếp loại, tổng kết, chấm điểm, nghiên cứu, kiểm tra (Fitzpatrick, Sanders, và Worthen 2004, tr. 5)

Hầu hết các định nghĩa về đánh giá đều có cách hiểu chung là tiến hành nhận xét về giá trị của khách thể đánh giá. Trong thực tế, thuật ngữ “định giá” này được dùng để phân biệt hoạt động đánh giá với hoạt động nghiên cứu và giám sát. Ấn phẩm này sử dụng định nghĩa trong Từ điển thuật ngữ của Ủy ban Hỗ trợ Phát triển (DAC) thuộc Tổ chức Hợp tác và Phát triển Kinh tế (OECD 2000, tr. 21):

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá là quá trình xác định giá trị hoặc ý nghĩa của một hoạt động, một chính sách hoặc một chương trình. Đánh giá là hoạt động mang tính hệ thống và khách quan nhất có thể, nhằm thẩm định một hoạt động can thiệp đã được lên kế hoạch, đang thực hiện hoặc đã kết thúc.

Đánh giá có thể là đánh giá hình thành, đánh giá tổng kết hoặc đánh giá triển vọng: Đánh giá hình thành là hoạt động đánh giá được thực hiện nhằm mục đích cải thiện quy cách thực hiện, [và] được thực hiện thường xuyên nhất trong suốt giai đoạn thực hiện một dự án hoặc chương trình. Đánh giá hình thành cũng có thể được thực hiện do nhiều nguyên nhân khác, ví dụ như thực hiện theo quy định hoặc yêu cầu về luật pháp, hoặc đánh giá là một phần trong các sáng kiến đánh giá quy mô lớn hơn. Ngược lại, đánh giá tổng kết là những nghiên cứu được thực hiện vào giai đoạn cuối của một hoạt động can thiệp (hoặc cuối một giai đoạn trong chương trình can thiệp) để xác định mức độ đạt được kết quả dự kiến. Đánh giá tổng kết lại hướng đến mục đích cung cấp thông tin về hiệu quả của một chương trình. (OECD 2002, tr.21-22).

Một đánh giá hình thành xem xét đến các cách thức thực hiện một chương trình, chính sách hoặc dự án. Đánh giá hình thành xác định liệu logic hoạt động có phù hợp với các hoạt động thực tế hay không, và nhận diện các hệ quả (trực tiếp) có được từ (các bước) thực hiện. Mô hình đánh giá này được thực hiện trong suốt quá trình triển khai dự án hoặc chương trình. Đánh giá hình thành đôi khi được gọi là đánh giá tiến độ, vì nó tập trung vào các hoạt động của dự án. Một ví dụ về đánh giá hình thành là đánh giá của Trung tâm Nghiên cứu Phát triển Quốc tế Ca-na-đa (IDRC) về sáng kiến quản lý các nguồn tài nguyên thiên nhiên ở Châu Mỹ La-tinh và vùng Ca-ri-bê (được gọi là chương trình Minga) (Adamo 2003). Mục tiêu chung của chương trình Minga là góp phần thành lập nhóm các chuyên gia bao gồm cả nam giới và phụ nữ để quản lý nguồn tài nguyên thiên nhiên tại Bô-li-vi-a, Ê-cu-a-đo và Pê-ru. Một mô hình khác của đánh giá hình thành là đánh giá giữa kỳ. Đúng như tên gọi, một đánh giá giữa kỳ được thực hiện giữa chu trình dự án, được thực hiện sau khi đã triển khai được một nửa dự án, chương trình hoặc một cải cách về chính sách. Đánh giá giữa kỳ nhằm mục đích xác định những nhân tố mang lại hiệu quả và những nhân tố không mang lại hiệu quả. Đánh giá giữa kỳ có thể bắt đầu tập trung vào các bài học thu được, cũng như mức độ phù hợp, hiệu suất và hiệu quả. Các bài học đúc kết được có vai trò quan trọng trong việc chỉ đạo các can thiệp sẽ thực hiện và cải thiện các can thiệp hiện thời. Một đánh giá tổng kết thường được gọi là đánh giá kết quả hoặc đánh giá tác động, được thực hiện vào cuối kỳ hoặc sau khi hoàn thành can thiệp để xác định mức độ đạt được những kết quả kỳ vọng. Đánh giá tổng kết nhằm cung cấp thông tin về hiệu quả và tác động của chương trình. Đánh giá tổng kết bao

Giới thiệu về Đánh giá Phát triển

■■ Đánh giá

hình thành:

Đánh giá các phương pháp triển khai một dự án, một chương trình hoặc một chính sách

■■ Đánh giá

tổng kết:

Đánh giá được thực hiện vào giai đoạn cuối của can thiệp để xác định mức độ đạt được các kết quả dự kiến của can thiệp..

gồm đánh giá tác động, đánh giá chi phí hiệu suất, kiểm tra ngẫu nhiên, và nghiên cứu trường hợp điển hình. Một đánh giá tổng kết thường được gọi là đánh giá kết quả hoặc đánh giá tác động, được thực hiện vào cuối kỳ hoặc sau khi hoàn thành can thiệp để xác định mức độ đạt được những kết quả kỳ vọng. Đánh giá tổng kết nhằm cung cấp thông tin về hiệu quả và tác động của chương trình. Đánh giá tổng kết bao gồm đánh giá tác động, đánh giá chi phí hiệu suất, kiểm tra ngẫu nhiên, và nghiên cứu trường hợp điển hình. Một ví dụ về đánh giá tổng kết là đánh giá Chương trình Hỗ trợ Ngành tài chính lần thứ hai tại Mông Cổ (ADB 2007) do Ngân hàng Phát triển châu Á (ADB) thực hiện. Chương trình gồm các hoạt động cải cách ngành tài chính do ADB hỗ trợ, bao gồm tái cơ cấu và chuyển đổi ngành tài chính từ hệ thống ngân hàng đơn cấp thành hệ thống hai cấp. Đánh giá tổng kết hoàn thành vào cuối giai đoạn hai của chương trình. Đánh giá tổng kết phục vụ cho việc trả lời các câu hỏi về mức độ thích hợp, tình hình thực thi, các tác động, tính bền vững, mức độ duy trì các lợi ích sau khi kết thúc, và các bài học thu được. Sự khác nhau giữa đánh giá hình thành và đánh giá tổng kết có thể được chỉ ra như sau: • Đánh giá hình thành tập trung vào việc thực hiện và nâng cấp chương trình,

dự án hoặc chính sách • Đánh giá tổng kết tập trung vào kết quả. Đánh giá tổng kết phục vụ cho

việc đưa ra các quyết định duy trì, sao chép, nhân rộng hoặc kết thúc một dự án, chương trình hoặc chính sách.

■■ Đánh giá

triển vọng:

Đánh giá những kết quả có thể đạt được của một dự án, chương trình hoặc chính sách đề xuất.

Đặc biệt, cả hai mô hình đánh giá này đều cần thiết và phục vụ cho các tổ chức, đơn vị ở những thời điểm khác nhau trong một chu trình dự án, chương trình, hoặc chính sách. Đánh giá triển vọng đánh giá những kết quả có thể đạt được của một đề xuất dự án, đề xuất chương trình hoặc kiến nghị chính sách. Đánh giá trả lời câu hỏi “Chương trình hoặc dự án này có đáng để đánh giá hay không?” và “Liệu những thành quả đạt được có thỏa đáng so với chi phí hoạt động và nguồn nhân lực không?” Đánh giá triển vọng tổng hợp những phát hiện từ những nghiên cứu trước đó để ước lượng các kết quả có thể đạt được. Ví dụ, các nghị sĩ quốc hội ở Mỹ thường tham vấn Văn phòng Kiểm toán của Chính phủ Hoa Kỳ (GAO) để dự báo về những kết quả có thể đạt được của một dự thảo luật.1 Một ví dụ về đánh giá triển vọng đã được thực hiện từ lâu nhưng vẫn khá thú vị là nghiên cứu GAO thực hiện năm 1986 về Thực trạng mang thai vị thành niên: 500.000 trẻ em được sinh ra trong một năm nhưng có quá ít chương trình kiểm tra (U.S GAO 1986). Đánh giá này sử dụng bốn quy trình. Đánh giá

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

phân tích những đặc điểm chính trong hai đề xuất của Quốc hội, tổng kết các con số thống kê về tỷ lệ trẻ vị thành niên mang thai, kiểm tra các đặc điểm đặc thù của các chương trình thuộc liên bang và các chương trình ngoài liên bang, và xem xét các nghiên cứu đánh giá về hiệu suất của các chương trình trước đó nhằm hỗ trợ trẻ vị thành niên mang thai và trẻ vị thành niên có con, cũng như trẻ vị thành niên có nguy cơ mang thai cao. Các cán bộ đánh giá tái lập lại lý thuyết nền tảng của chương trình và logic thực hiện của cả hai đề xuất để tìm ra những nhân tố có thể mang lại hiệu quả như đã nêu trong đề xuất của những sáng kiến này. Sau đó các chuyên gia so sánh chứng cứ tìm được với những yếu tố được nêu trong đề xuất được đưa ra. Hình thức đánh giá triển vọng này đôi khi được gọi là đánh giá ban đầu (đánh giá trước dự án) (Rossi và Freeman 1993). Đánh giá ban đầu hay còn gọi là đánh giá triển vọng thường gồm có tái lập cơ sở lý thuyết của chương trình hoặc đánh giá, và nghiên cứu thực tiễn cũng như tổng kết các nghiên cứu và đánh giá hiện có để từ đó đi đến quyết định thống nhất về đề xuất.

Mục tiêu của Đánh giá Đánh giá phục vụ cho nhiều mục tiêu. Trong hoạt động đánh giá, có nhiều quan điểm khác nhau về mục tiêu hay mục đích của đánh giá theo từng bối cảnh nhất định. Quan điểm phổ biến cho rằng đánh giá có bốn mục tiêu: • Tuân thủ đạo đức: : báo cáo cho những chính trị gia và công chúng về tình

hình thực hiện và những kết quả thu được của một chính sách hoặc chương trình. Mục tiêu này kết hợp với các mục tiêu khác để sử dụng tốt hơn trách nhiệm giải trình, tiếp cận thông tin và tăng cường dân chủ. • Mục tiêu quản lý: hướng tới hoạt động phân phối nguồn lực tài chính và con người hợp lý hơn giữa các chương trình “cạnh tranh nhau”, nâng cao hoạt động quản lý chương trình, và tăng thêm các lợi ích có được từ chương trình. • Mục tiêu ra quyết định: làm cơ sở cho các quyết định về việc tiếp tục, chấm dứt hoặc điều chỉnh lại một chính sách hoặc chương trình. • Mục tiêu giáo dục và vận động: góp phần giáo dục và vận động các tổ chức cộng đồng và đối tác bằng cách tạo điều kiện để các tổ chức này hiểu về các chương trình họ đang tham gia và xác định vị trí mục tiêu của mình (Hội đồng Đánh giá Quốc gia và Khoa học 1999). Các chuyên gia đánh giá hàng đầu mô tả các mục tiêu của đánh giá như sau: • Vươn tới cải thiện xã hội • Thúc đẩy thảo luận dân chủ.

Giới thiệu về Đánh giá Phát triển

Cung cấp hoạt động giám sát và tuân thủ. Đảm bảo tính trách nhiệm và minh bạch. Xây dựng, chia sẻ và quản lý tri thức. Góp phần nâng cao tổ chức. Thẩm định mức độ phù hợp, tình hình thực thi, hiệu suất, hiệu quả, tác động và tính bền vững của dự án, chương trình và chính sách. • Phổ biến các bài học kinh nghiệm. • • • • •

Chelimsky và Shadish (1997) đã mở rộng bối cảnh đánh giá, đưa ra một viễn cảnh đánh giá toàn cầu với những thách thức trên phạm vi toàn thế giới. Các thách thức họ đưa ra gồm có tác động của công nghệ mới, mật độ phân bố dân cư không đồng đều giữa các quốc gia, vấn đề bảo vệ môi trường, khủng bố, nhân quyền, và những vấn đề khác có ảnh hưởng đến một chương trình, thậm chí một quốc gia. Tóm lại, mục tiêu của bất cứ hoạt động đánh giá nào cũng nhằm cung cấp thông tin cho những nhà hoạch định chính sách, tạo điều kiện cho họ đưa ra những quyết định sáng suốt hơn về các dự án, chương trình hoặc chính sách. Đánh giá có thể giúp các nhà hoạch định chính sách hiểu về những gì có thể, đang và đã xảy ra do một hoạt động can thiệp nào đó, và xác định các cách thức để đạt được nhiều kết quả kỳ vọng hơn.

Lợi ích của đánh giá Đánh giá giúp trả lời những câu hỏi về các hoạt động can thiệp như: • Can thiệp mang đến những tác động gì? • Can thiệp có đang được thực hiện theo kế hoạch không? • Có sự khác biệt trong việc triển khai can thiệp ở những vùng khác nhau

không? • Ai là người hưởng lợi từ can thiệp này?

Con người được thụ hưởng từ những đánh giá này theo nhiều cách khác nhau. Có những người hưởng lợi trực tiếp, những người khác lại là đối tượng thụ hưởng gián tiếp – những người không tham gia vào can thiệp nhưng vẫn được hưởng lợi từ nó. Nhiều can thiệp đưa ra lợi ích ngắn hạn; những can thiệp khác lại mang lại lợi ích dài hạn. Để minh họa các hình thức hưởng lợi khác nhau, hãy xem ví dụ sau. Phòng Phát triển nhà và đô thị Mỹ (1997) đã đánh giá chương trình bóng rổ nửa đêm dành cho các cô bé, cậu bé tuổi từ 16-20 cư trú trong ngôi nhà cộng đồng. Nghiên cứu được thực hiện với những người tham gia ở cả thời điểm trước và sau khi chương trình được thực hiện. Các phát hiện trong khảo sát cho thấy

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

trước khi triển khai chương trình, 92 phần trăm người trả lời cho biết họ chắc rằng sẽ gặp phải vài rắc rối và hai phần ba trong số họ nghĩ rằng họ sẽ là nạn nhân của các hành vi bạo lực trong vòng ba tháng tới. Trong giai đoạn tiếp theo của chương trình, 20 phần trăm người trả lời khẳng định rằng họ sẽ vướng phải một số rắc rối, và chỉ 5 phần trăm chắc rằng họ sẽ trở thành nạn nhân của tội phạm. Đánh giá về chương trình này cho thấy tỷ lệ phạm tội vị thành niên trong độ tuổi 16-20 đã giảm 78 phần trăm trong vùng ngoại ô nơi có ngôi nhà cộng đồng. Theo những người tham gia khảo sát, nguyên nhân chủ yếu của sự thuyên giảm này là chương trình bóng rổ nửa đêm mang lại cho họ những điều tích cực để làm. Trong ví dụ này những người tham gia là những đối tượng thụ hưởng trực tiếp của một chương trình mà họ tin rằng sẽ giúp họ thoát khỏi những rắc rối và tránh trở thành nạn nhân của các tội ác bạo lực. Nghiên cứu cũng phỏng vấn cả cộng đồng dân cư. Những người trả lời cho biết họ cảm thấy cả cộng đồng và con cái của họ được an toàn hơn nhờ có chương trình bóng rổ nửa đêm. Trong trường hợp này, cộng đồng dân cư là đối tượng thụ hưởng gián tiếp – ít nhất là trong giai đoạn ngắn hạn (phụ thuộc vào khả năng duy trì những thành tựu đã đạt được). Mặc dù họ không tham gia vào dự án, nhưng nhờ có nó họ cũng có được cảm giác an tâm hơn. Các phát hiện tổng kết trên có thể sử dụng để chứng minh với người dân và cả cộng đồng rằng chương trình này đã thành công trong việc ngăn chặn và giảm bạo lực. Những người quản lý chương trình cũng có thể trình bày những phát hiện này tới hội đồng thành phố nhằm đề xuất thêm ngân sách để tiếp tục chương trình. Người quản lý chương trình là những đối tượng thụ hưởng gián tiếp, với nguồn ngân sách tiếp tục được hỗ trợ họ sẽ giữ được công việc hiện có lâu hơn Xét về lâu dài, xã hội nói chung cũng được hưởng lợi nếu những người trẻ không phải vào tù, vì xã hội không thể chu cấp được chi phí nuôi tù nhân, và sẽ mất đi năng suất lao động. Thay vì ngồi tù, những thanh niên này có thể trở thành những công dân có việc làm, có thể sản xuất và đóng thuế. Một đánh giá có thể cung cấp thông tin về tình hình thực thi một chương trình. Các đơn vị nhà đất công cộng khác (đối tượng thụ hưởng ngoài dự kiến) cũng có thể đúc kết được những bài học kinh nghiệm thu được trong suốt quá trình thực hiện dự án và trong đánh giá kết quả chương trình. Trong ví dụ thứ hai, hoạt động can thiệp là xây dựng và duy trì thiết bị xử lý nước để mang nước sạch đến cho người dân. Những lợi ích trực tiếp và ngay lập tức là mang đến nguồn nước sạch cho người dân. Lợi ích lâu dài đối với từng cá nhân nói riêng và cả cộng đồng nói chung là giảm mức độ ảnh hưởng của những căn bệnh do nguồn nước ô nhiễm gây ra. Lợi ích trung hạn gián tiếp có thể là thu hút các ngành công nghiệp khi địa bàn đã có nước ăn sạch.

Giới thiệu về Đánh giá Phát triển

Đối tượng Đánh giá Đánh giá có thể xem xét đến nhiều cấp độ phát triển (bảng 1.1). Có thể kể ra các cấp độ sau: • Dự án: can thiệp được thực hiện ở một địa phương hoặc một dự án được

thực hiện ở nhiều địa phương • Chương trình: một can thiệp bao gồm nhiều hoạt động hoặc nhiều dự án

nhằm hướng tới một mục tiêu chung • Chính sách: các tiêu chuẩn, nguyên tắc chỉ đạo, hoặc quy tắc của một tổ

chức nhằm đưa ra các quyết định phát triển • Tổ chức: nhiều chương trình can thiệp do một tổ chức thực hiện • Ngành: các can thiệp trong một lĩnh vực chính sách, như giáo dục, lâm

nghiệp, nông nghiệp, hoặc y tế • Chủ đề: các vấn đề cụ thể, được chia nhỏ ra, như bình đẳng giới hoặc hàng

hóa công cộng toàn cầu • Hỗ trợ quốc gia: chương trình quốc gia liên quan đến một hoạt động, hiệu ứng hỗ trợ tổng thể, và bài học kinh nghiệm.

Sử dụng Đánh giá Các kết quả đánh giá có thể được sử dụng dưới nhiều hình thức. Đánh giá cung cấp phản hồi về một chính sách, chương trình hay một dự án cho khách hàng, cơ quan chính phủ, các tổ chức phi chính phủ (NGO), công chúng và những đối tượng khác. Các kết quả đánh giá cung cấp thông tin về cách thức sử dụng các quỹ công. Đánh giá cũng mang đến cho các nhà quản lý và các nhà hoạch định chính sách thông tin về những gì đang được thực hiện tốt, và cả những gì chưa tốt để đạt đến các mục tiêu ban đầu hoặc các mục tiêu đã được điều chỉnh. Bảng 1.1 Ví dụ về Đánh giá Dự án, Chương trình, Chính sách Can thiệp Hình thức đánh giá

Tư nhân hóa hệ thống cung cấp nước

Tái định cư

Đánh giá dự án

So sánh các phương pháp tư nhân hóa hệ thống cung cấp nước

So sánh các chiến lược tái định cư dân cư đến khu vực mới

Đánh giá chương trình

Đánh giá tình hình quản lý tài chính của hệ thống nhà nước

Đánh giá mức độ duy trì sinh kế trước

Đánh giá dự án

So sánh sự thay đổi trong mức thu phí nước ở hai tỉnh

Đánh giá hoạt động canh tác của cư dân tái định cư tại một tỉnh

của những dân làng tái định cư

Nguồn: Tác giả.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá có thể giải thích được sự sử dụng quỹ công của các dự án, chương trình và chính sách. Đánh giá có thể thẩm định các dự án, chương trình, chính sách nhằm sao chép mô hình, nhân rộng, điều chỉnh hay chấm dứt hoạt động. Weiss (2004) nhấn mạnh tầm quan trọng của việc xác định trước các công dụng dự kiến của đánh giá ngay từ bước lên kế hoạch ban đầu. “Nếu bạn không thể xác định và điều phối những người sử dụng đánh giá, không thể dự kiến các công dụng ban đầu của đánh giá thì không thể tiến hành hoạt động đánh giá”, tác giả viết. “Những đánh giá không được sử dụng là sự phí phạm nguồn lực tài chính và nguồn nhân lực quý báu” (tr. 1). Từ đầu đến cuối quy trình, đánh giá cần phải được thiết kế và tiến hành dựa theo nhu cầu của người dự kiến sử dụng chính. Những người sử dụng chủ yếu này sẽ chịu trách nhiệm tiến hành hoạt động điều chỉnh tùy theo sự tham gia của họ vào can thiệp, hoặc dựa vào các phát hiện thu được từ đánh giá.. Đánh giá có thể có nhiều mục tiêu và công dụng (hộp 1.1). Đánh giá có thể • Giúp phân tích lí do để đạt được hay không đạt được các kết quả dự kiến • Lí giải nguyên nhân có những kết quả hoặc hiệu ứng ngoài dự kiến • Đánh giá cách thức và nguyên nhân kết quả bị ảnh hưởng từ các hoạt động

cụ thể • Làm rõ quy trình thực hiện, các thất bại, hoặc thành công ở mọi cấp độ • Giúp đưa ra những bài học, làm nổi bật những thành tựu hoặc tiềm lực, và đưa ra các khuyến nghị cụ thể để điều chỉnh và cải cách. Tóm lại, đánh giá có thể hữu dụng khi tập trung vào • Các vấn đề mang tính chiến lược và kế hoạch chính sách (“Những việc đang

thực hiện có đúng không?”) • Các vấn đề về hoạt động và thực thi (“Chúng ta có đang làm đúng không?”) • Còn có cách nào tốt hơn để giải quyết vấn đề không (“Chúng ta học được

những gì?”) Hộp 1.1

Sử dụng Đánh giá

Đánh giá có thể được dùng dưới nhiều hình thức: • • • • • •

Phục vụ việc đưa ra các quyết định phân bổ nguồn lực Phục vụ việc xem xét nguyên nhân của vấn đề Xác định các vấn đề phát sinh Hỗ trợ việc ra quyết định để lựa chọn phương pháp tốt nhất Hỗ trợ cải cách và đổi mới ngành công Đưa ra nhận thức chung về nguyên nhân của khó khăn và cách giải quyết.

Nguồn: Kusek và Rist 2004.

Giới thiệu về Đánh giá Phát triển

Mối quan hệ giữa Giám sát và Đánh giá ■■ Giám sát: Thu thập các dữ liệu để các nhà quản lý có thể đánh giá mức độ đạt được các mục tiêu

Để thống nhất, chúng tôi sử dụng Từ điển chú giải thuật ngữ về Đánh giá của OECD/DAC để định nghĩa Giám sát: Giám sát là một chức năng liên tục, dựa trên hoạt động thu thập dữ liệu một cách hệ thống về các chỉ số cụ thể để cung cấp những chỉ báo về tiến độ và thành tựu đạt được các mục tiêu, cũng như quá trình sử dụng nguồn kinh phí đã được phân bổ cho các nhà quản lý và những bên tham gia của can thiệp phát triển đang diễn ra. (OECD 2002, tr.27-28).

Giám sát là một hoạt động nội bộ diễn ra liên tục và thường xuyên. Giám sát được dùng để thu thập thông tin về hoạt động, sản phẩm đầu ra và kết quả tương ứng với tình hình thực thi một chương trình. Một ví dụ về hệ thống giám sát là Bộ Y tế Ma-la-uy đã sử dụng 26 chỉ số giám sát chất lượng dịch vụ y tế ở Bệnh viện Trung Ương. Các chỉ số là số lượng bệnh nhân được các chuyên gia quan sát trong bốn tuần, số lượng tử vong ở bệnh nhân điều trị nội trú, số lượng trẻ sơ sinh tử vong, và số ngày điều trị nội trú (Chính phủ Ma-la-uy 2007). Thường xuyên cung cấp dữ liệu về các chỉ số này mang lại cho Bộ trưởng Bộ Y tế thông tin về xu hướng của thực tiễn. Bất cứ sự dao động nào cũng có thể được thanh kiểm tra. Ví dụ, sự tăng lên đáng chú ý của số lượng bệnh nhân nội trú tử vong có thể phản ánh tỷ lệ lây nhiễm cao trong bệnh viện và cần sớm có biện pháp giảm tỷ lệ này. Tỷ lệ lây nhiễm giảm đáng kể có thể cho thấy phương pháp tẩy trùng mới mang lại hiệu quả, và cần được phát huy. Đánh giá thường được tiến hành để trả lời câu hỏi “tại sao” cho những dữ liệu giám sát– những câu hỏi như tại sao số ca mổ đẻ lại tăng ở 5 bệnh viện hoặc tại sao 3 trong 50 khu vực lại có tỷ lệ rất cao trẻ sinh non còn sống. Đánh giá cũng cần thiết trong việc xem xét mối liên hệ của các kết quả thu được với một can thiệp cụ thể, chứ không phải nhằm đi tìm những nguyên nhân khác. Cả theo dõi và đánh giá đều đo lường và đánh giá tình hình thực hiện, nhưng theo các hình thức khác nhau và ở những thời điểm khác nhau (bảng 1.2). • Giám sát được thực hiện trong suốt quá trình thực hiện chương trình hoặc

dự án. • Đánh giá là hoạt động đánh giá định kỳ tình hình thực hiện chương trình

hoặc dự án. Đánh giá đi tìm câu trả lời cho câu hỏi “tại sao?” Giám sát là hoạt động nội bộ do cán bộ dự án tiến hành. Nhìn chung, ban quản lý dự án có trách nhiệm theo dõi hoạt động thực thi và sử dụng các kết quả theo dõi. Ngược lại, đánh giá có thể là hoạt động tiến hành nội bộ hoặc độc lập. Đánh giá do các cán bộ đánh giá thực hiện cùng với cán bộ dự án (Insideout 2005).

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 1.2

So sánh giữa Giám sát và Đánh giá

Giám sát

Đánh giá

Liên tục, thường xuyên

Theo giai đoạn và thời điểm

Hoạt động nội bộ

Hoạt động nội bộ, độc lập hoặc cùng tham gia

Trách nhiệm quản lý

Trách nhiệm của cán bộ đánh giá cùng với cán bộ chương trình

Phản hồi liên tục để cải thiện tình hình thực thi chương trình

Phản hồi định kỳ

Nguồn: Insideout 2005.

Vai trò và hoạt động của các cán bộ đánh giá Do khái niệm và mục tiêu của hoạt động đánh giá đã được mở rộng trong thời gian qua, vai trò và hoạt động của cán bộ đánh giá cũng thay đổi theo. Cán bộ đánh giá đảm nhiệm nhiều vai trò và tham gia vào nhiều hoạt động. Vai trò của cán bộ đánh giá phụ thuộc vào tính chất và mục tiêu đánh giá. Theo Fitzpatrick, Sanders, và Worthen (2004, tr. 28), “Cán bộ đánh giá đảm nhiệm nhiều vai trò, vai trò nhà chuyên môn, người thực hiện, cộng tác viên, hỗ trợ người ra quyết định, đồng thời là một bằng hữu “khó chiều.” Cán bộ đánh giá cũng đồng thời hoạt động như những nhà phê bình, người bạn đáng tin cậy, là giáo viên, và nhân viên biến đổi xã hội. ■■ Đánh giá

Ai là người thực hiện đánh giá? Cán bộ đánh giá có thể tham gia vào các đánh giá nội bộ, đánh giá độc lập, hoặc đánh giá có sự tham gia.

nội bộ:

Đánh giá do cán bộ trong tổ chức thực hiện

Từ điển chú giải thuật ngữ của OECD/DAC định nghĩa đánh giá nội bộ là Đánh giá một can thiệp phát triển do một đơn vị hoặc cá nhân báo cáo lên cấp quản lý của đơn vị tài trợ, đối tác hoặc đơn vị thực hiện (2002, tr. 26)

Từ điển này định nghĩa đánh giá độc lập là Đánh giá một can thiệp phát triển do một đơn vị độc lập và/hoặc các cá nhân không thuộc đơn vị tài trợ, đối tác hay đơn vị thực hiện. (2002, Tr.23)

■■ Đánh giá

độc lập:

Đánh giá do những người không thuộc tổ chức thực hiện

Sử dụng cán bộ đánh giá nội bộ hay chuyên gia đánh giá độc lập đều có ưu và khuyết điểm. Cán bộ đánh giá nội bộ thường hiểu về chương trình, dự án hoặc chính sách rõ hơn những chuyên gia bên ngoài. Cán bộ triển khai và quản lý hoạt động can thiệp cũng chịu trách nhiệm thực hiện đánh giá. Những cán bộ này thường biết sâu hơn về lịch sử, tổ chức, văn hóa, người tham gia, và các khó khăn cũng như thành tựu của chương trình. Do có hiểu biết này, cán bộ

Giới thiệu về Đánh giá Phát triển

đánh giá nội bộ có thể đặt ra những câu hỏi thích hợp; họ biết cần phải tìm đến bộ phận nào của tổ chức để hiểu ra cái gì đang thực sự diễn ra. Tuy nhiên thuận lợi này cũng có thể là một bất lợi. Cán bộ đánh giá nội bộ có thể quá gần gũi với chương trình, dự án hoặc chính sách đến mức họ không nhìn rõ hoặc không thể nhận ra những cách giải quyết hoặc thay đổi mà những người khác có thể tìm ra. Cán bộ đánh giá nội bộ cũng có thể có khó khăn khi phải chịu áp lực hoặc ảnh hưởng từ những người ra quyết định trong chương trình, đồng thời là những người đưa ra các quyết định về nhân sự. Cũng có thể họ chỉ nhìn nhận toàn bộ hoạt động chương trình từ vị trí của mình mà thôi. Thêm vào đó, các bên tham gia có thể xem các phát hiện của họ có độ tin cậy ít hơn so với phát hiện của những chuyên gia đánh giá độc lập. Chuyên gia đánh giá độc lập thường có uy tín hơn và đưa ra những nhìn nhận khách quan hơn trong hoạt động đánh giá. Hơn nữa, hầu hết những chuyên gia đánh giá độc lập đều có chuyên môn hơn, điều cần thiết để thực hiện đánh giá có hiệu quả. Họ cũng độc lập với các quyết định quản lý và tài chính của chương trình (Fitzpatrick, Sanders, và Worthen 2004). Tuy nhiên, một đánh giá độc lập không phải là sự bảo đảm cho tính độc lập và kết quả đáng tin cậy, đặc biệt nếu chuyên gia tư vấn có ràng buộc với chương trình từ trước. Chuyên gia tư vấn độc lập cũng có thể dàn xếp với ban quản lý dự án với hy vọng có được công việc trong tương lai. Đánh giá có sự tham gia ngày càng được xem như một phương pháp đánh giá thứ ba. Những chuyên gia đánh giá cùng với đại diện các đơn vị và các bên tham gia để thiết kế, tiến hành, và trình bày đánh giá (OECD 2002). Đánh giá có sự tham gia khác với đánh giá nội bộ và đánh giá độc lập ở một vài điểm cơ bản. Đánh giá có sự tham gia là một bước tiến xa hơn và tiến bộ hơn so với mô hình đánh giá độc lập. …[Đó] là một hình thức đánh giá san bằng và xác định lại sự phân biệt giữa chuyên gia và người không chuyên, nhà nghiên cứu và người được nghiên cứu … Chuyên gia đánh giá … [hoạt động] chủ yếu [như] người thực hiện và chỉ đạo những người khác tiến hành đánh giá. (Molund và Schill 2004, tr.19)

Lưu ý sự khác biệt giữa đánh giá có sự tham gia và các phương pháp có sự tham gia của cộng đồng. Các phương pháp có sự tham gia của cộng đồng có thể được sử dụng trong cả đánh giá nội bộ và đánh giá độc lập. Hoạt động của cán bộ đánh giá Cán bộ đánh giá tiến hành những hoạt động tương ứng với các vai trò khác nhau của họ. Cán bộ đánh giá nội bộ có thể tiến hành thiết kế, triển khai chương trình hoặc dự án, và tiến hành các chiến lược mở rộng. Chuyên gia đánh giá độc lập đặc biệt hạn chế tham gia vào hoạt động quản lý dự án. Nhìn chung tất cả các cán bộ đánh giá

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• tư vấn cho các bên tham gia chính • quản lý ngân sách đánh giá • lên kế hoạch đánh giá • thực hiện hoặc tiến hành đánh giá hoặc thuê chuyên gia để thực hiện đánh giá • xác định các tiêu chuẩn để đánh giá hiệu quả (dựa trên căn cứ từ tài liệu hoặc các nguồn khác) • thu thập, phân tích, diễn giải và trình bày báo cáo về các dữ liệu và phát hiện. Để hoàn thành mục tiêu, các cán bộ đánh giá phải có kỹ năng đa dạng. Là một phần trong tiến trình đánh giá, họ có thể góp phần mang lại kiến thức và phổ biến các bài học kinh nghiệm.

Nguồn gốc và lịch sử của Hoạt động Đánh giá Hình thức đánh giá hiện đại có nguồn gốc từ nghiên cứu khoa học xã hội, nghiên cứu dựa trên phương pháp khoa học. Nhưng đánh giá cũng có lịch sử lâu đời. Trong thực tế, các bằng chứng khảo cổ học cho thấy Người Ai Cập cổ đại thường xuyên theo dõi sản lượng ngũ cốc và gia súc của cả nước từ hơn 5.000 năm trước. Người Trung Hoa và Hy Lạp cổ đại cũng tiến hành hoạt động đánh giá: Trong khu vực công, bằng chứng về hoạt động đánh giá chính thức xuất hiện từ năm 2000 trước công nguyên, khi các quan chức Trung Hoa tiến hành kiểm tra dịch vụ cộng đồng để đánh giá năng lực của các ứng viên cho các chức vị trong triều đình. Và, trong giáo dục, Socrates cũng sử dụng các đánh giá điều đình đối thoại như một phần trong chương trình học (Fitzpatrick, Sanders, và Worthen, tr. 31)

Một số chuyên gia truy nguyên sự xuất hiện của phương pháp đánh giá hiện đại từ sự ra đời của các ngành khoa học tự nhiên và sự coi trọng các hiện tượng quan sát được (phương pháp thực chứng) ở thế kỷ 17. Tại Thụy Điển, hội đồng chính sách đặc biệt, cơ quan thực hiện các hoạt động đánh giá, được ra đời vào thời điểm đó. Trong thực tế, các hệ thống hội đồng này vẫn còn tồn tại ở Thụy Điển ngày nay, với số lượng lên tới vài trăm hội đồng. Vào những năm 1800, đánh giá giáo dục và đánh giá các chương trình xã hội đã bén rễ ở nhiều nước Anglo-Saxon. Tại Anh, một hội đồng đánh giá chương trình được chính phủ thành lập để thanh kiểm tra và đánh giá sự bất mãn về các chương trình giáo dục và chương trình xã hội. Các đoàn thanh tra trường học độc lập ngày nay là hiện thân của những hội đồng thanh tra thời kỳ trước. Tại Mỹ, các nỗ lực đánh giá đầu tiên được thực hiện trong suốt những năm 1800 đã sử dụng kết quả các bài kiểm tra để thanh tra chất lượng giáo dục trong trường học. Những nỗ lực này tiếp tục duy trì cho đến ngày nay, khi bảng điểm Giới thiệu về Đánh giá Phát triển

của sinh viên được xem là thước đo chính để đánh giá chất lượng giáo dục ở các trường học. Cũng từ giai đoạn này, nước Mỹ bắt đầu triển khai đánh giá xếp hạng các trường trung học và đại học.

Lịch sử hoạt động đánh giá trong thế kỷ 20 Đánh giá chính thức và xếp hạng cho các trường y tại Mỹ và Ca-na-đa được thực hiện từ đầu những năm 1900. Những lĩnh vực thanh kiểm tra/ đo lường và đánh giá trong giai đoạn này gồm có y tế, nhà ở, năng suất lao động, sự lãnh đạo dân chủ và duy ý chí, và kiểm tra tiêu chuẩn giáo dục. Hầu hết đều là những hoạt động quy mô nhỏ do các cơ quan nhà nước và dịch vụ xã hội tiến hành. Rossi và Freeman (1993) đã lần ngược lại các đánh giá hệ thống về các chương trình ở Mỹ để tìm về các hoạt động nâng cao trình độ văn hóa, cung cấp hoạt động đào tạo nghề, và giảm số tử vong từ các bệnh truyền nhiễm trong suốt thế kỷ qua. Trong lĩnh vực phát triển, “nỗ lực giới thiệu về hành vi uống nước đun sôi như là một hành vi sức khỏe cộng đồng ở các làng thuộc Trung Đông là một trong những nghiên cứu bước ngoặt trong tài liệu xã hội học thực nghiệm thời kỳ trước thế chiến thứ hai” (Rossi và Freeman 1993, tr.10). Nghiên cứu xã hội ứng dụng phát triển nhanh chóng ở Hoa Kỳ sau khi Tổng Thống Franklin D.Roosevelt lập ra chính sách New Deal. Chính phủ Liên bang nhanh chóng được ra đời, khi các cơ quan mới được thành lập để quản lý và thực hiện các chương trình quốc gia. Những chương trình này bao gồm cứu trợ nông nghiệp cho nông dân, các hoạt động cộng đồng và chiến lược tạo việc làm, điện khí hóa nông nghiệp, và bảo hiểm xã hội. Do các chương trình quy mô lớn này có tính chất mới mẻ và thử nghiệm, nhu cầu đánh giá hiệu quả về tăng trưởng kinh tế, tạo việc làm, và thiết lập mạng lưới bảo trợ xã hội tăng lên. Yêu cầu đánh giá tăng lên trong suốt và sau Thế chiến thứ Hai, khi các chương trình có quy mô lớn hơn được thiết kế và thực hiện trong quân đội, nhà ở đô thị, việc làm và đào tạo nghề, và y tế. Thời gian này cũng có các cam kết quan trọng với các chương trình quốc tế bao gồm kế hoạch hóa gia đình, sức khỏe và dinh dưỡng, và phát triển cộng đồng nông thôn. Do chi phí hoạt động cho các chương trình này lớn nên các thông tin về kết quả của chương trình là cần thiết. Vào những năm 1950 và 1960, đánh giá trở thành hoạt động thường xuyên hơn ở Mỹ và châu Âu để đánh giá các chương trình giáo dục, y tế và sức khỏe tinh thần, hoạt động nhân đạo, phòng chống tội phạm, và cải tạo tội phạm. Chương trình “Cuộc chiến chống đói nghèo” của Tổng thống Lyndon B. Johnson trong những năm 1960 khuyến khích sự quan tâm đến hoạt động đánh giá. Hoạt động ở những nước đang phát triển trên khắp thế giới cũng được mở

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

rộng, cùng với hoạt động đánh giá các chương trình nông nghiệp, phát triển cộng đồng, kế hoạch hóa gia đình, chăm sóc y tế, và dinh dưỡng. Phần lớn các đánh giá này dựa trên các công cụ nghiên cứu khoa học truyền thống, như khảo sát và phân tích thống kê. Năm 1949, Hội đồng Hoover thứ nhất đã đề xuất rằng các thông tin về ngân sách trình lên Chính phủ quốc gia ở Mỹ nên được cơ cấu theo đầu mục hoạt động thay vì trình bày theo thời gian. Hội đồng cũng khuyến nghị đính kèm các đánh giá thực thi theo báo cáo tiến độ (Burkhead 1956; Mikesell 1995). Hình thức cải cách ngân sách này được biết đến là tiến độ giải ngân (Tyler và Willand 1997). Năm 1962, Bộ Quốc phòng Mỹ, dưới thời của Bộ trưởng Bộ Quốc phòng Robert McNamara, Hệ thống Hoạt động Ngân quỹ (PPBS) đã được triển khai. Mục tiêu của PPBS là tăng hiệu suất và cải thiện hoạt động của chính phủ, bao gồm • đặt ra các mục tiêu kế hoạch dài hạn • phân tích chi phí hiệu quả để đạt được mục tiêu của các chương trình đang được lựa chọn • trình bày các chương trình dưới dạng đề xuất ngân sách và dự thảo luật và đề án dài hạn PPBS thay đổi quy trình giải ngân truyền thống bằng việc chú trọng đến mục tiêu và liên kết kế hoạch với quy trình giải ngân (Văn phòng Bộ trưởng Bộ Quốc phòng 2007). Những nỗ lực trước đó của PPBS cuối cùng cũng dẫn tới khuynh hướng “giám sát dựa trên kết quả”. Vào cuối những năm 1960, nhiều nước Tây Âu bắt đầu tiến hành hoạt động đánh giá chương trình. Lấy ví dụ tại Cộng hòa Liên bang Đức, Quốc hội đã bắt đầu yêu cầu chính quyền liên bang báo cáo về tình hình thực thi và tác động của nhiều chương trình kinh tế-xã hội và chính sách thuế. Các báo cáo này có trong Luật Lao động và việc làm (1969), Luật trợ cấp giáo dục (1969), chương trình liên kết liên bang-nhà nước để cải thiện cơ cấu kinh tế vùng (1970), chương trình đầu tư bệnh viện (1971), và nhiều báo cáo về cứu trợ và thuế (Derlien 1999). Trong thời kỳ này, chính phủ Ca-na-đa cũng bắt đầu hướng đến đánh giá các chương trình của chính phủ và tình hình thực thi. Các bộ trong chính phủ Ca-na-đa được khuyến khích thiết lập các đơn vị lên kế hoạch và đánh giá. Những nỗ lực trước đây không mang lại kết quả đáng kể. Cộng hòa Liên bang Đức và Thụy Sỹ, “dù đã thể chế hoá đánh giá chương trình trong nhiều lĩnh vực chính sách, các hệ thống này vẫn rời rạc và số các nghiên cứu được tiến hành tương đối ít” (Derlien 1999, tr.146). Đạo luật Giáo dục Tiểu học và Trung học (ESEA) năm 1965 là mốc đánh dấu cho hoạt động đánh giá ở Liên bang Mỹ. Đạo luật này yêu cầu chính phủ đánh Giới thiệu về Đánh giá Phát triển

giá tình hình học tập của học sinh và tiêu chuẩn chất lượng của giáo viên. Đạo luật cũng cung cấp các nguồn lực (ngân sách đầu tiên của Mỹ dành riêng cho đánh giá) để thực hiện các hoạt động này, từ đó thể chế hóa hoạt động đánh giá. Liên bang đã cung cấp kinh phí vào đánh giá từ cuối những năm 1960 và đầu những năm 1970, nhiều bài báo và ấn phẩm về đánh giá bắt đầu xuất hiện ở Mỹ và một số nước OECD. Các chương trình đại học chuyên về đánh giá được triển khai để đào tạo lực lượng cán bộ đánh giá nòng cốt nhằm đáp ứng nhu cầu ngày càng tăng về trách nhiệm giải trình và tính hiệu quả của các chương trình kinh tế-xã hội do chính phủ cấp kinh phí, ví dụ như chương trình cấp học bổng cho các trường cơ sở và trung học, và các chương trình “Xã hội lớn”, gồm các chương trình giảm nghèo, các trường học vỡ lòng, các hoạt động bảo vệ quyền công dân, và chương trình tạo việc làm. Ca-na-đa, Cộng hòa Liên bang Đức, và Thụy Điển thực hiện hoạt động đánh giá chương trình vào những năm 1960 để đánh giá các chương trình giáo dục, y tế, và phúc lợi xã hội có kinh phí từ ngân sách chính phủ. Trong bối cảnh này, các phương pháp lên kế hoạch chính quy ra đời, hoặc bị giới hạn vì kế hoạch tài chính trung hạn (ở Cộng hòa Liên bang Đức) hoặc lồng ghép hoạt động giải ngân vào chương trình (ở Thụy Điển và Canda). Trong bất kỳ trường hợp nào, đánh giá hoặc được xem xét một cách logic như một phần của các hệ thống kế hoạch này, hoặc được xem là cần thiết từ yêu cầu về thông tin của các chương trình can thiệp… Sau đó, hoạt động đánh giá bước đầu được cán bộ quản lý chương trình sử dụng để đánh giá hiệu quả của các chương trình đang thực hiện hoặc các chương trình mới. (Derlien 1999, tr.153-54)

Từ giữa những năm 1970 đến giữa những năm 1980, hoạt động đánh giá trở thành một trong những ngành nghề đã hoàn toàn trưởng thành ở nhiều nước OECD. Các hiệp hội đánh giá được thành lập, nhiều chương trình đào tạo cán bộ đánh giá được giới thiệu, các tạp chí đánh giá bắt đầu xuất hiện, và hoạt động đánh giá bắt đầu vươn rộng ra khỏi phạm vi của các chương trình do chính phủ cấp kinh phí, hướng đến các tập đoàn, tổ chức, và các thiết chế tôn giáo. Ví dụ như tại Pháp, đánh giá chính sách công được triển khai một cách có hệ thống, nhiều trường đại học, trong đó có trường Grandes Écoles—mở các khóa học và lồng ghép thông tin về hoạt động đánh giá vào chương trình học. Nhiều nước OECD đã xây dựng các chương trình đào tạo đánh giá cho các quan chức nhà nước cả ở khu vực nhà nước và các đối tác bên ngoài. Các phương pháp và mô hình mới được phát hiện, chú trọng nhiều hơn vào nhu cầu thông tin của người tiêu dùng, kiểm tra các kết quả ngoài dự kiến, và sự phát triển về giá trị và tiêu chuẩn. Các ấn phẩm về đánh giá cũng phát triển cả về chất lượng và số lượng (Fontaine và Monnier 2002). Từ năm 1985 máy tính

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

và công nghệ đã làm tăng đáng kể khả năng thu thập, phân tích và báo cáo và chia sẻ các phát hiện đánh giá của các cán bộ đánh giá.

Đánh giá Phát triển và Kiểm toán Đánh giá phát triển có nguồn gốc từ kiểm toán và nghiên cứu khoa học xã hội. Có nhiều điểm giống, khác nhau và mối quan hệ quan trọng giữa hai nguồn gốc này. Nguồn gốc kiểm toán Hoạt động kiểm toán bắt nguồn từ thế kỷ 19 ở nước Anh, trong bối cảnh công nghiệp và thương mại ngày càng phát triển kéo theo yêu cầu về các biên bản tài chính chính xác, đáng tin cậy và có thể xác minh được … Công việc của các kiểm toán viên mang lại sự tín nhiệm cho cơ sở hạ tầng tư bản chủ nghĩa đang phát triển ở Phương Tây. Ý kiến của các kiểm toán viên rất có trọng lượng vì họ có trình độ chuyên môn kỹ thuật và vì những người thực hiện kiểm toán là người ngoài cuộc (Brooks 1996, tr. 16).

Hoạt động kiểm toán gồm có quản lý và điều tra tài chính, và định hướng thanh toán. Kiểm toán tìm kiếm thông tin để xác định một chương trình có hoạt động đúng kế hoạch hay không, và tiền có được chi tiêu theo đúng luật, quy định và yêu cầu của chương trình hay không. Kiểm toán sử dụng các khái niệm như kiểm soát nội bộ, quản lý và phân phối sản phẩm, và thẩm tra. Trọng tâm của hoạt động kiểm toán là trách nhiệm giải trình và tính tuân thủ. Từ điển chú giải thuật ngữ của OECD/DAC (OECD 2002) xác định nhiều hình thức kiểm toán: • kiểm toán tiêu chuẩn: một hoạt động kiểm tra độc lập, khách quan được thiết kế để gia tăng giá trị và nâng cao hoạt động của tổ chức (giúp một đơn vị hoàn thành mục tiêu thông qua phương pháp đánh giá hệ thống và khắt khe để điều chỉnh tính hiệu quả của hoạt động quản lý rủi ro, hoạt động kiểm soát và các quy trình quản trị.) • kiểm toán tài chính: hoạt động kiểm toán chú trọng vào tính tuân thủ quy chế và quy định • kiểm toán thực hiện: hoạt động kiểm toán về mức độ phù hợp, tính kinh tế, hiệu suất và hiệu quả. Kiểm toán có thể là chức năng nội bộ hoặc độc lập (hộp 1.2). Hoạt động kiểm toán nội bộ giúp một tổ chức đạt được mục tiêu thông qua một phương pháp hệ thống và khắt khe để đánh giá và cải thiện hiệu quả quản lý rủi ro, hoạt động kiểm soát và quá trình quản trị. Các chính phủ sử dụng kiểm toán độc lập khi ban quản lý chương trình đòi hỏi tính độc lập trong hoạt động kiểm toán.

Giới thiệu về Đánh giá Phát triển

■■ Kiểm toán

tiêu chuẩn:

hoạt động kiểm soát khách quan để cải thiện hoạt động của tổ chức ■■ Kiểm toán

tài chính:

kiểm toán chú trọng vào tính tuân thủ quy chế và quy định ■■ Kiểm toán

thực hiện:

kiểm toán đánh giá mức độ phù hợp, tính kinh tế, hiệu suất và hiệu quả

Hộp 1.2 Viện Kiểm toán nội bộ và Tổ chức Quốc tế các cơ quan Kiểm toán tối cao

Được thành lập năm 1941, Viện Kiểm toán nội bộ là hiệp hội quốc tế đầu tiên thúc đẩy và phát triển kiểm toán nội bộ. Các viện quốc gia được thành lập trên khắp thế giới, và có 165 quốc gia thành viên. Năm 1947, Viện Kiểm toán nội bộ cho ra đời Tuyên ngôn về Trách nhiệm của Kiểm toán nội bộ, Tuyên ngôn đã trở thành nền tảng để phát triển bộ tiêu chuẩn kiểm toán nội bộ. Tiêu chuẩn của hoạt động Kiểm toán nội bộ chuyên nghiệp được thông qua vào năm 1978. Từ Áp-ga-ni-xtan đến Zimbabwe, hầu hết các nước đã và đang phát triển đều là thành viên của Tổ chức Quốc tế các Cơ quan Kiểm toán tối cao (INTOSAI), hoạt động dưới sự bảo trợ của tổ chức cộng đồng kiểm toán chính phủ độc lập. Được thành lập năm 1953, INTOSAI thúc đẩy phát triển và trao đổi ngôn ngữ để điều chỉnh kiểm toán chính phủ trên khắp thế giới. Đạo đức và tiêu chuẩn Kiểm toán và Cẩm nang thực hiện Kiểm toán Thực thi được áp dụng rộng rãi. Đến năm 2008 INTOSAI đã có 188 quốc gia thành viên. Nguồn: http://www.theiia.org, http://www.intosai.org.

Thực tế là hoạt động kiểm toán vững mạnh ở nhiều nước đang phát triển dẫn đến sự tuân thủ kiểm toán vững mạnh trong đánh giá. Ví dụ như Bộ Kiểm toán quốc gia của Malaysia (NAD) đã đóng vai trò bảo đảm trách nhiệm giải trình công trong suốt hơn 100 năm qua. NAD tiến hành kiểm toán để • bảo đảm sự tuân thủ luật pháp và quy định • phát hiện các nhân tố không hợp lý dẫn đến sự thiếu hiệu quả, giảm hiệu suất và lãng phí • xác định xem các văn bản tài chính có chân thực không và các biên bản có được chuẩn bị theo đúng quy trình kế toán được cho phép và theo đúng tiêu chuẩn kiểm toán không. ■■ Kiểm toán

nội bộ:

Kiểm toán thực hiện trong nội bộ tổ chức để đánh giá các hoạt động tài chính và tiến trình thực hiện

Kiểm toán nội bộ gồm một loạt các hoạt động về “tài chính và hoạt động bao gồm các hệ thống, sản xuất, kỹ thuật xây dựng, marketing, và nhân lực” (http://www.theiia.org). Kiểm toán nội bộ có được sự tin cậy (uy tín) do có chứng chỉ hành nghề, điều kiện mà hoạt động đánh giá chưa có được (chương 15 trình bày về sự ủng hộ và phản đối việc cấp giấy phép cho những cán bộ đánh giá). Đánh giá phát triển thừa hưởng ở hoạt động kiểm toán sự chú trọng vào tính tuân thủ luật pháp và quy chế. Điều này có thể quan sát thấy ở khung đánh giá dự án dựa trên mục tiêu của những đối tác song phương và các ngân hàng

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

phát triển. Ví dụ, Nhóm Hợp tác Phát triển của Ngân hàng phát triển đa phương (MDB) triển khai “Tiêu chuẩn thực hành mẫu mực cho công tác đánh giá hoạt động của các chi nhánh công do MDB hỗ trợ”, gồm có các mục tiêu đạt được, trên cơ sở “các hoạt động đánh giá dựa vào mục tiêu để nâng cao tính trách nhiệm” (Nhóm hợp tác Đánh giá của Ngân hàng phát triển đa phương, tr.9) Mối quan hệ giữa hoạt động kiểm toán và hoạt động đánh giá Kiểm toán và đánh giá nằm trong một tiến trình liên tục, đưa ra những thông tin có liên quan nhưng dưới các hình thức khác nhau về tính tuân thủ, trách nhiệm, tác động và kết quả. Có một số “điểm trùng lặp trong một số phạm vi như hiệu suất hoạt động và chi phí hiệu quả… trong đó đánh giá quan tâm đến phân tích chính sách và sản phẩm đầu ra, còn kiểm toán quan tâm đến kiểm soát tài chính nội bộ và bộ máy quản lý” (Ủy ban Thư ký Kho bạc Ca-na-đa 1993, đoạn 3). Cả kiểm toán và đánh giá đều phục vụ những người ra quyết định “bằng các thông tin hệ thống và đáng tin cậy, hữu dụng trong việc xây dựng, quản lý, giám sát, thay đổi và đôi khi hủy bỏ chương trình” (Wisler 1996, tr. 1). Có nhiều người đã viết về sự khác biệt và trùng lắp giữa kiểm toán và đánh giá. Sự khác biệt xuất phát từ nguồn gốc của hai hoạt động, kiểm toán phần lớn bắt nguồn từ kế toán tài chính còn đánh giá ra đời chủ yếu từ khoa học xã hội. Kiểm toán chú trọng đến tính tuân thủ quy chế, trong khi đánh giá đặt trọng tâm vào những thay đổi có thể quan sát được do một chính sách, chương trình, hoặc một dự án mang lại. Kiểm toán viên tìm kiếm câu trả lời cho các câu hỏi về tiêu chuẩn (điều gì đang đi ngược lại yêu cầu), trong khi chuyên gia đánh giá tìm kiếm câu trả lời cho các câu hỏi mô tả và câu hỏi nhân-quả (Wisler 1996). Nguồn gốc khoa học xã hội Khi chính phủ và các tổ chức chuyển trọng tâm từ tính xác thực và tính tuân thủ đến tác động của can thiệp, các phương pháp khoa học xã hội kết hợp lại thành đánh giá. Đánh giá phát triển xuất phát từ các phương pháp nghiên cứu khoa học xã hội. Phương pháp khoa học là phương pháp hệ thống để đạt được các thông tin phục vụ cho nỗ lực tách bạch thực tế và niềm tin. Với cách tiếp cận này, dữ liệu được thu thập thông qua việc quan sát và thử nghiệm, và dựa trên cơ sở xây dựng và kiểm định giả thuyết. Các nhà nghiên cứu sử dụng phương pháp khoa học để • xác định vấn đề, nghiên cứu, và xem xét các giải trình trước đây • phát triển một giả thuyết về quan hệ nhân-quả, và trình bày nó dưới dạng các biến có thể đo lường được

Giới thiệu về Đánh giá Phát triển

• Kiểm định giả thuyết bằng cách tiến hành các thử nghiệm và thu thập dữ liệu • Phân tích dữ liệu và đưa ra kết luận • Soạn thảo và phổ biến các phát hiện thu được • Sử dụng kết quả để sàng lọc giả thuyết. Đánh giá kế thừa các phương pháp khác của nghiên cứu xã hội, gồm có xã hội học, nhân chủng học, chính trị học, và kinh tế học. Việc áp dụng các phương pháp nghiên cứu xã hội để đánh giá đi cùng với sự phát triển và tự sàng lọc các phương pháp, kèm theo các thay đổi về hệ tư tưởng, chính trị và đặc điểm nhân chủng học trong thế kỷ này. Điểm quan trọng mấu chốt là sự xuất hiện và khẳng định vị trí ngày càng lớn mạnh của khoa học xã hội trong các trường đại học và sự ủng hộ cao hơn dành cho nghiên cứu xã hội. Các khoa khoa học xã hội trong trường đại học trở thành trung tâm của những hoạt động đánh giá chương trình ban đầu và tiếp tục chiếm một vị trí có ảnh hưởng trong lĩnh vực này (Rossi và Freeman 1993, tr. 9)

Đánh giá cũng thừa hưởng từ nghiên cứu khoa học xã hội những phương pháp xây dựng lý thuyết, phương án, tiếp cận, phương pháp thu thập dữ liệu, phân tích và diễn giải, thống kê, khảo sát và chọn mẫu.

Bối cảnh của Đánh giá Phát triển Đánh giá phát triển ra đời như một dạng thức của hoạt động đánh giá. Hoạt động đánh giá phát triển bắt đầu chủ yếu cùng với các nỗ lực tái thiết và phát triển sau Thế chiến Thứ hai. Ngân hàng Thế giới được thành lập từ năm 1944 và thành lập nhóm đánh giá độc lập đầu tiên vào năm 1972. Ngân hàng Tái thiết và Phát triển Châu Âu (EBRD) được thành lập năm 1991. Các ngân hàng phát triển đa quốc gia khác cũng được ra đời vào những năm 1990. Các tổ chức song phương như Bộ Phát triển quốc tế Vương quốc Anh (DfID) và Cơ quan Phát triển Quốc tế Ca-na-đa (CIDA) cũng được thành lập. Nguồn gốc của đánh giá phát triển bắt nguồn từ việc xây dựng các tổ chức, khi các nhà tài trợ phải chịu trách nhiệm về kinh phí và kết quả của dự án. Đổi lại, chính phủ nội các của các nước đang phát triển cần phải đáp ứng yêu cầu báo cáo các phát hiện về dự án, có sử dụng phương pháp đánh giá dự án của các nhà tài trợ để học hỏi và giải trình. Do khái niệm về phát triển đã thay đổi trong các thập kỷ qua, khái niệm đánh giá phát triển cũng thay đổi theo. Ví dụ, lúc đầu, Ngân hàng Thế giới đã đổi trọng tâm, hướng đến sự phức tạp của đánh giá phát triển (bảng 1.3). OECD cũng đóng một vai trò quan trọng trong việc thúc đẩy đánh giá phát triển. Được thành lập năm 1961, nhiệm vụ của OECD vẫn là “giúp các chính 26

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 1.3

Những thay đổi của Ngân hàng Thế giới trong cách tiếp cận Phát triển, giai đoạn 1950–2000

Thập kỷ

Trọng tâm

Cách tiếp cận

Phương pháp

1950s

Xây dựng lại, tái thiết, hỗ trợ kỹ thuật và ứng dụng công nghệ

Hỗ trợ kỹ thuật

Công nghệ ứng dụng

1960s

Tăng trưởng kinh tế, tài chính, xây dựng dự án, với hy vọng kinh tế phát triển vững mạnh hơn sẽ có thể giúp nhiều người thoát khỏi cảnh nghèo

Dự án

Tài chính

1970s

Các ngành xã hội hoặc các nhu cầu thiết yếu (giáo dục, y tế và phúc lợi xã hội); kế hoạch dài hạn và đầu tư

Đầu tư ngành

Kế hoạch

vào các ngành xã hội 1980s

Các chính sách điều chỉnh cơ cấu và cho vay; điều chỉnh cho vay ứng với các điều kiện cụ thể để hỗ trợ cải cách chính sách chủ yếu và giúp quốc gia đối phó với khủng hoảng tài chính và nợ nần

Điều chỉnh vay nợ

Kinh tế học tân cổ điển

1990s

Có nhiều hơn các quốc gia toàn diện so với các dự án riêng rẽ; chú trọng nhiều hơn vào xây dựng năng lực và các tổ chức trong phạm vi các nước đang phát triển

Hỗ trợ quốc gia

Kết hợp

2000s

Giảm nghèo, hợp tác, tham gia, mở rộng tiếp cận ngành, và hướng tới kết quả

Hợp tác

Quản lý dựa trên kết quả

Nguồn: Based on Picciotto 2002.

phủ đạt được tăng trưởng kinh tế và việc làm và tăng mức sống của người dân ở những quốc gia thành viên trong khi duy trì sự ổn định tài chính, góp phần vào sự phát triển kinh tế thế giới” (http://www.oecd.org). Thành viên của OECD ở các Ủy ban chuyên biệt, gồm có Ủy ban Hỗ trợ Phát triển (DAC) đã có nhóm công tác về đánh giá phát triển (hiện nay là Mạng lưới Đánh giá của DAC). Mục tiêu của Mạng lưới Đánh giá của DAC là tăng hiệu quả của các chương trình phát triển quốc tế thông qua hỗ trợ hoạt động đánh giá thiết thực, có nhiều thông tin và độc lập. Nhóm công tác này cũng kết hợp các cơ quan phát triển song phương và đa quốc gia. Định nghĩa của DAC về đánh giá phát triển nhận được sự đồng tình rộng rãi. Định nghĩa này khác với đánh giá nói chung được trình bày ở phần đầu chương này. Theo DAC, một đánh giá phát triển là hoạt động đánh giá có hệ thống và khách quan về phương án thực hiện, tình hình thực thi và kết quả của một dự án, chương trình hoặc chính sách đang thực hiện hoặc đã hoàn thành. Mục tiêu là xác định mức độ phù hợp và mức độ hoàn thành mục tiêu, hiệu suất phát triển, tính hiệu quả, tác động, và tính bền vững. Một đánh giá phải đưa ra các thông tin có độ tin cậy cao và hữu dụng, kết hợp

Giới thiệu về Đánh giá Phát triển

cùng với các bài học kinh nghiệm để phục vụ quá trình ra quyết định của cả đơn vị nhận tài trợ và đơn vị tài trợ. [OECD 1991b, tr.4]

Đánh giá phát triển sử dụng rất nhiều phương pháp lý thuyết và thực hành. Sự kết hợp các lý thuyết, các phương pháp phân tích, và các phương pháp thường phát huy hiệu quả trong đánh giá phát triển được chấp nhận rộng rãi, đặc biệt là đối với quy mô và tính phức tạp ngày càng tăng của các dự án, chương trình hoặc chính sách phát triển. Sự kết hợp phương pháp này được gọi là phương pháp đạc tam giác, việc sử dụng nhiều lý thuyết, nguồn thông tin hoặc hình thức thông tin, và/hoặc nhiều hình thức phân tích để xác thực và chứng minh một đánh giá nào đó. Bằng cách kết hợp nhiều nguồn dữ liệu, nhiều phương pháp, hoặc lý thuyết, các chuyên gia đánh giá nỗ lực tránh những sai số từ từng người cung cấp thông tin, của từng phương pháp độc lập, từ từng quan sát viên, hoặc từ mỗi nghiên cứu lý thuyết (OECD 2002, tr. 37)

Theo Chelimsky và Shadish (1997, tr. 11): Đánh giá vẫn tiếp tục trở nên đa dạng hơn về phương pháp luận. Đánh giá được thành lập chặt chẽ đến mức toàn bộ các phương pháp khoa học xã hội đều nằm trong bộ công cụ phương pháp luận của chuyên gia đánh giá – các công cụ từ tâm lý học, thống kê, giáo dục, xã hội học, chính trị học, nhân chủng học, và kinh tế học.

Phương án và phương pháp đánh giá (hoặc kết hợp các phương án và phương pháp) sẽ được lựa chọn dựa trên câu hỏi đánh giá hoặc dựa vào các thông tin cần tìm kiếm.

Sự phát triển của các Hiệp Hội Đánh giá Các hiệp hội đánh giá tạo ra hệ thống hỗ trợ và tạo điều kiện chuyên nghiệp hóa cho cộng đồng đánh giá. Sự ủng hộ này góp phần phát triển năng lực của hoạt động đánh giá phát triển. Vào những năm 1980, chỉ có ba hiệp hội đánh giá khu vực và quốc gia. Kể từ đó bùng nổ nhiều hiệp hội đánh giá quốc gia, khu vực và quốc tế mới trải khắp thế giới; hiện nay có hơn 75 hiệp hội đánh giá ở các nước đã và đang phát triển (http:/www.ioce.net/members/eval_associations.shtml). Số lượng thành lập các hiệp hội đánh giá tăng lên nhiều ở các nước đang phát triển. Ví dụ, ở cấp quốc gia, các hiệp hội đã được thành lập ở Malaysia và Sri Lanka từ năm 1999 và ở Uganda từ năm 2002. Ở cấp khu vực, Hội Đánh giá Australia được thành lập vào năm 1991, Hội Đánh giá Châu Âu được thành lập năm 1994, và Hiệp Hội Đánh giá Châu Phi năm 1999.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một tổ chức đánh giá quốc tế quan trọng là Tổ chức Quốc tế về Hợp tác và Đánh giá (IOCE), khối liên minh mở của các tổ chức đánh giá quốc gia và khu vực (các hiệp hội, hội, và mạng lưới) trên khắp thế giới. IOCE hướng tới xây dựng khả năng quản lý và năng lực đánh giá ở các nước đang phát triển và thúc đẩy sự kết hợp giữa lý thuyết và thực hành về đánh giá trên toàn thế giới. Để làm được điều này, các cán bộ đánh giá phải có phương pháp tiếp cận toàn cầu hơn để góp phần xác định và tìm ra giải pháp đối phó với các thách thức toàn cầu (http://ioce.net/overview/general.shtml). Một tổ chức đánh giá quốc tế quan trọng khác là Hiệp Hội Đánh giá Phát triển Quốc tế (IDEAS). IDEAS ra đời năm 2001 để hỗ trợ xây dựng năng lực đánh giá ở các nước đang phát triển. Nhiệm vụ của nó là “phát triển và mở rộng hoạt động đánh giá phát triển bằng cách sàng lọc các phương pháp, nâng cao năng lực và tăng quyền sở hữu” (http://www.ideas-int.org). IDEAS là hiệp hội duy nhất của các cán bộ thực hiện đánh giá phát triển. Chiến lược của IDEAS là • thúc đẩy đánh giá phát triển về kết quả, tính minh bạch, và trách nhiệm giải trình về chính sách công và chi tiêu công • ưu tiên phát triển năng lực đánh giá • thúc đẩy các tiêu chuẩn cao nhất về tính tri thức và tính chuyên nghiệp trong đánh giá phát triển

Các nguyên tắc và tiêu chuẩn của Đánh giá Phát triển Cộng đồng đánh giá cần có các nguyên tắc và tiêu chuẩn để nâng cao tính trách nhiệm, tạo điều kiện để so sánh, đối chiếu, và nâng cao tính xác thực và chất lượng của hoạt động (Piccoitto 2005). Hầu hết các tổ chức có liên quan đến phát triển đều sử dụng các nguyên tắc, tiêu chuẩn và tiêu chí của OECD/ DAC. Một tài liệu quan trọng (OECD 1991a) xác định năm tiêu chí đánh giá hỗ trợ phát triển: • mức độ phù hợp: mức độ thích hợp của can thiệp phát triển đối với yêu cầu của đối tượng thụ hưởng, nhu cầu quốc gia, các ưu tiên toàn cầu, và chính sách của đối tác và các cơ quan phát triển • hiệu quả: thước đo đo lường mức độ đạt được mục tiêu của một hoạt động • hiệu suất: đo lường mối quan hệ - cả về chất và lượng - giữa các yếu tố đầu vào và các sản phẩm đầu ra (Thuật ngữ kinh tế này cho biết hoạt động hỗ trợ sử dụng nguồn lực với chi phí tối thiểu để có thể đạt được kết quả mong muốn. Điều này thường đòi hỏi phải có nhiều phương pháp lựa chọn để so

Giới thiệu về Đánh giá Phát triển

sánh với mục tiêu là đạt được cùng sản phẩm đầu ra, từ đó quyết định ra quy trình thực hiện hiệu suất nhất.) • tác động: những thay đổi tiêu cực và tích cực do một can thiệp phát triển mang lại một cách trực tiếp hoặc gián tiếp, có chủ định hoặc không có chủ định (Đo lường tác động và hiệu ứng chính bắt nguồn từ một hoạt động dựa trên các chỉ số xã hội, kinh tế, môi trường ở địa phương và các chỉ số khác để xác định các tác động và hiệu ứng chủ yếu của một hoạt động. Việc đánh giá tác động phải dựa trên cả các kết quả đạt được do vô tình hay hữu ý và phải tính đến cả các tác động tiêu cực và tích cực của các nhân tố bên ngoài, như những biến động về điều kiện thương mại và tài chính.) • tính bền vững: khả năng tiếp tục duy trì các lợi ích đạt được theo thời gian (khái niệm bền vững đặc biệt thích hợp để đánh giá [không phải đo lường] xem lợi ích của một hoạt động hoặc chương trình có khả năng duy trì sau khi chấm dứt tài trợ hay không. Các dự án và chương trình cần đảm bảo tính bền vững của môi trường và tài chính [OECD 1991b].) DAC phát triển các nguyên tắc đánh giá hỗ trợ phát triển (OECD 1991b). Các nguyên tắc này hướng đến các vấn đề sau: • • • • • • • • • •

mục đích đánh giá tính công minh và độc lập độ tin cậy tính hữu dụng sự tham gia của nhà tài trợ và đơn vị nhận tài trợ hợp tác tài trợ lập chương trình đánh giá phương án và tình hình thực thi của hoạt động đánh giá báo cáo, phổ biến và phản hồi thực tế áp dụng các nguyên tắc này.

Bài phê bình về “Nguyên tắc Đánh giá Hỗ trợ Phát triển” của DAC được ra đời năm 1998. Phê bình này so sánh nguyên tắc của DAC với các nguyên tắc của các tổ chức khác và tìm kiếm sự nhất quán và những nội dung có thể mở rộng được. Đề xuất của các quốc gia thành viên về những nội dung có thể điều chỉnh trong bộ nguyên tắc này bao gồm: • Điều chỉnh phần trình bày mục tiêu • Hướng trực tiếp đến câu hỏi về các đánh giá phi tập trung và đánh giá có sự tham gia • Chi tiết hơn về các nguyên tắc và thủ tục về sự tham gia nhận tài trợ và sự hợp tác tài trợ

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Giới thiệu các phát triển gần đây của hoạt động đánh giá, ví dụ như đánh giá tình hình thực thi, tình trạng, và các hệ thống phân hạng thành tựu, và phát triển một hệ thống các mô hình của hoạt động đánh giá (OECD 1998). Phê bình này đặt nền móng cho các ấn phẩm tiếp theo của DAC. Vào năm 1994, Hiệp hội Đánh giá Hoa Kỳ (AEA) xuất bản cuốn “Tiêu chuẩn Đánh giá chương trình tại Liên bang Mỹ.” Bộ tiêu chuẩn này được Viện Tiêu chuẩn Quốc Gia Hoa Kỳ (ANSI) thông qua như một Bộ tiêu chuẩn Quốc Gia Hoa Kỳ về Đánh giá Chương trình. Bộ tiêu chuẩn được sửa đổi vào năm 1998 và được áp dụng ở các hiệp hội đánh giá khác, trong đó có các hiệp hội đánh giá ở các nước đang phát triển. Vào tháng Ba năm 2006, Mạng lưới Đánh giá của DAC xây dựng “Tiêu chuẩn Chất lượng Đánh giá của DAC” (OECD 2006) (hộp 1.3). Các tiêu chuẩn hiện đang được sử dụng trên cơ sở thử nghiệm trong giai đoạn kiểm định ứng dụng, xác định các yếu tố cần thiết cho một quy trình và sản phẩm đánh giá chất lượng: • Đưa ra tiêu chuẩn về tiến trình (thực hiện) và sản phẩm (đầu ra) của hoạt động đánh giá. • Thực hiện so sánh, đối chiếu hoạt động đánh giá ở các quốc gia (đánh giá xuyên quốc gia). • Tạo điều kiện hợp tác và phối hợp trong hoạt động liên kết đánh giá. • Phục vụ các nước thành viên tốt hơn trong việc sử dụng các phát hiện và báo cáo đánh giá của các quốc gia khác (gồm có các thực thi điển hình và bài học kinh nghiệm). • Tổ chức hợp lý các nỗ lực đánh giá.

Hộp 1.3

Mười Tiêu chuẩn Chất lượng Đánh giá của DAC

OECD đã đặt ra 10 tiêu chí để đánh giá chất lượng đánh giá: • • • • • • • • • •

cơ sở, mục tiêu và mục đích đánh giá phạm vi đánh giá bối cảnh phương pháp đánh giá nguồn thông tin tính độc lập đạo đức đánh giá đảm bảo chất lượng mức độ phù hợp của kết quả đánh giá tính toàn diện.

Nguồn: OECD 2006.

Giới thiệu về Đánh giá Phát triển

■■ Đánh giá

độc lập:

Đánh giá do những người không thiết kế và thực hiện can thiệp tiến hành

Theo yêu cầu của Mạng lưới Đánh giá OECD/DAC và các mạng lưới đánh giá khác, Nhóm Đánh giá Độc lập của Ngân hàng Thế giới phát triển bộ tiêu chuẩn và nguyên tắc hướng dẫn để đánh giá Chương trình Hợp tác Khu vực và Toàn cầu (GRPP), một chương trình có nhiều đặc thù khiến hoạt động đánh giá phức tạp hơn. Những nguyên tắc và tiêu chuẩn hướng dẫn được kiểm định thông qua sử dụng và sẽ được xem xét và xác nhận trong vòng vài năm tới. (Địa chỉ trang Web của bộ tiêu chuẩn và nguyên tắc này được ghi ở cuối chương. Các nguyên tắc và tiêu chuẩn được trình bày rõ hơn trong chương 14.) Một thành phần quan trọng về độ tin cậy của đánh giá phát triển là tính độc lập. Từ điển chú giải thuật ngữ của OECD/DAC định nghĩa đánh giá độc lập là “đánh giá do các đơn vị và cá nhân nằm ngoài sự kiểm soát của những người chịu trách nhiệm thiết kế và thực hiện can thiệp phát triển thực hiện” (OECD 2002, tr.25). Định nghĩa chú ý đến: Độ tin cậy của đánh giá phụ thuộc vào việc nó được tiến hành độc lập như thế nào. Tính độc lập có nghĩa là không bị ràng buộc bởi các ảnh hưởng chính trị và áp lực từ tổ chức. Nó được thể hiện ở khả năng tiếp cận thông tin và quyền tự chủ khi tiến hành thanh kiểm tra và báo cáo các phát hiện thu được.

Tính độc lập không có nghĩa là biệt lập: sự phối hợp giữa các cán bộ đánh giá, nhà quản lý chương trình, cán bộ chương trình và đối tượng thụ hưởng có thể thúc đẩy hoạt động đánh giá và việc sử dụng kết quả đánh giá. Một đánh giá có thể được thực hiện trong nội bộ hoặc thực hiện độc lập bởi những người đánh giá thuộc quyền tổ chức của những người chịu trách nhiệm ra quyết định thiết kế và thực hiện chương trình can thiệp (tức là quản lý). Những đánh giá này không phải đánh giá độc lập. Các đánh giá này phục vụ mục tiêu rút ra bài học kinh nghiệm chứ không phải mục tiêu giải trình trách nhiệm. Những người đứng đầu hoạt động đánh giá ở những ngân hàng phát triển đa quốc gia là thành viên thường xuyên của Nhóm Hợp tác Đánh giá, đã xác định bốn yếu tố hoặc tiêu chí của tính độc lập trong đánh giá: • • • •

tính độc lập về tổ chức độc lập về hành xử không bị ảnh hưởng bởi các yếu tố bên ngoài tránh các xung đột lợi ích.

Bảng 1.4 trình bày các tiêu chí và chỉ báo để đánh giá tính độc lập của một đơn vị đánh giá được tổng hợp từ nhiều nguồn khác nhau.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 1.4 Tiêu chí và các Chỉ báo Xác định Tính độc lập của các Đơn vị Đánh giá Tiêu chí

Nội dung

Chỉ báo

Độc lập về

Cấu trúc và vai trò của đơn vị đánh giá thích hợp.

Đơn vị đánh giá có hay không có văn bản xác định rõ rằng, phạm vi trách nhiệm của nó vươn tới mọi hoạt động của tổ chức, và cơ chế báo cáo, cán bộ, ngân sách và chức năng của nó có liên quan đến quá trình ra quyết định nhưng độc lập về mặt tổ chức đối với các bộ phận tổ chức, chính sách, và kế hoạch trong cơ quan.

Đơn vị chịu trách nhiệm và báo cáo kết quả đánh giá đến người đứng đầu hoặc cấp phó, hay ban lãnh đạo của tổ chức.

Có mối liên hệ trực tiếp nào giữa đơn vị đánh giá và ban quản lý hoặc ban lãnh đạo của tổ chức không

Về mặt tổ chức, đơn vị đánh giá không nằm trong đội ngũ nhân viên hay bộ phận quản lý chương trình, hoạt động, hoặc đơn vị được đánh giá.

Mối quan hệ của đơn vị đánh giá với chương trình, hoạt động hoặc đơn vị được đánh giá

Đơn vị đánh giá báo cáo thường xuyên cho ban kiểm toán trên quyền trong tổ chức hoặc bộ phận giám sát khác.

Cơ chế báo cáo và tần suất báo cáo với đơn vị giám sát

Đơn vị giám sát không phải chịu những áp lực về chính trị và quyền lực, để có thể báo cáo kết quả thu được mà không phải e ngại đến hậu quả.

Mức độ đơn vị đánh giá và các cán bộ đánh giá không phải chịu trách nhiệm trước chính quyền và được tách khỏi các hoạt động chính trị

Cán bộ trong đơn vị đánh giá được bảo hộ bởi chính sách nhân lực gồm có bồi thường, tập huấn, thời hạn và mức đề bạt xứng đáng.

Mức độ của cơ chế bồi thường, tập huấn, thời hạn và thăng tiến tương xứng

Đơn vị đánh giá có quyền tiếp cận đến mọi thông tin và nguồn thông tin họ cần.

Mức độ đơn vị đánh giá có khả năng tiếp cận không hạn chế đến đội ngũ cán bộ của tổ chức, các văn bản, đơn vị đồng tài trợ và các đối tác khác, khách hàng, cán bộ của chương trình, các thông tin về hoạt động hoặc về đơn vị nhận tài trợ hoặc kinh phí hoạt động

Đơn vị đánh giá có khả năng và sẵn sàng đưa ra các báo cáo mạnh mẽ và kiên quyết.

Mức độ đơn vị đánh giá công khai các báo cáo về bài học thu được từ chương trình và hoạt động của tổ chức có thể thu hút được sự quan tâm của cộng đồng (dưới sự bảo hộ phù hợp để bảo đảm tính bảo mật hoặc quyền sở hữu thông tin và giảm thiểu rủi ro về tổ chức), đề xuất các tiêu chuẩn thực thi tiến bộ hơn quy trình đang được thực hiện trong tổ chức; và nhận xét kết quả của các chương trình, hoạt động, chức năng của tổ chức

tổ chức

Tính độc lập trong phân tích

(còn nữa)

Giới thiệu về Đánh giá Phát triển

Bảng 1.4

(tiếp)

Tiêu chí

Không bị ảnh hưởng bởi các can thiệp bên ngoài

Nội dung

Chỉ báo

Đơn vị có khả năng đưa ra báo cáo thẳng thắn.

Mức độ đơn vị đánh giá được giao thẩm quyền báo cáo đến người quản lý/ban lãnh đạo sau khi xem xét và nhận xét thông qua các đơn vị hợp tác có liên quan mà không bị ban quản lý áp chế về phạm vi và mức độ phê bình

Báo cáo kết quả đánh giá phải đảm bảo tính minh bạch

Mức độ công khai thông tin theo quy định của tổ chức đối với việc báo cáo các phát hiện đánh giá nổi bật đến các bên có liên quan, cả trong nội bộ tổ chức hay các cơ quan bên ngoài (trong giới hạn an toàn thích hợp để bảo đảm tôn trọng tính bảo mật và quyền sở hữu thông tin, đồng thời giảm thiểu rủi ro cho tổ chức)

Đánh giá được thiết kế và thực hiện trôi chảy

Mức độ độc lập của người quản lý một đơn vị đánh giá đối với các can thiệp để có thể quyết định phương án, phạm vi, thời gian và cách thức tiến hành đánh giá

Đánh giá được cấp kinh phí đầy đủ.

Mức độ đơn vị đánh giá không gặp trở ngại vì những ảnh hưởng bất lợi cho quá trình thực thi nhiệm vụ từ sự hạn chế của nguồn kinh phí hoặc các nguồn lực khác

Các nhận xét do chuyên gia đánh giá đưa ra trong báo cáo không bị bỏ qua

Mức độ các nhận xét xác đáng nêu ra trong nội dung báo cáo của chuyên gia đánh giá không bị từ chối hoặc ảnh hưởng từ các nhà chức trách

Các thủ tục tự chủ về nhân lực được soạn riêng cho đơn vị đánh giá.

Các văn bản chỉ đạo hoặc tài liệu thích hợp nêu cụ thể thủ tục tuyển dụng, sa thải, thời hạn hợp đồng, phỏng vấn trực tiếp, và chế độ bồi thường cho các đơn vị đánh giá để bảo đảm tính độc lập đối với ban điều hành

Đơn vị đánh giá có quyền kiểm soát việc tuyển dụng, đề bạt, và/ hoặc sa thải nhân viên.

Mức độ đơn vị đánh giá có thể kiểm soát hoạt động tuyển dụng, đề bạt thăng chức, tăng lương, và sa thải nhân viên theo một cơ chế thích hợp.

Sự duy trì công việc của các Việc tiếp tục được tuyển dụng của chuyên gia đánh chuyên gia đánh giá không phụ giá chỉ phụ thuộc vào quá trình công tác, năng lực, thuộc vào kết quả đánh giá và nhu cầu của hoạt động đánh giá Đứng ngoài các xung đột lợi ích

Cán bộ đánh giá không bị ràng buộc bởi các mối quan hệ chính thức, quan hệ nghề nghiệp, quan hệ riêng, hoặc quan hệ tài chính có thể dẫn đến sự giới hạn trong thanh kiểm tra, công khai thông tin, hoặc bị buộc phải giảm nhẹ hoặc xuyên tạc các phát hiện bắt nguồn từ.

Mức độ các chính sách và thủ tục được đưa vào để xác định các mối quan hệ của cán bộ đánh giá có thể ảnh hưởng đến tính độc lập của đánh giá, mức độ các chính sách và cơ chế được tuyên truyền cho cán bộ thông qua tập huấn và các hình thức khác, và mức độ có hiệu lực cưỡng chế của chúng

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tiêu chí

Nội dung

Chỉ báo

Cán bộ đánh giá không có tư tưởng phân biệt, định kiến, kỳ thị xã hội hay tư tưởng chính trị có thể ảnh hưởng đến phát hiện đánh giá.

Mức độ hiệu lực của các chính sách và cơ chế hiện hành đối với yêu cầu cán bộ đánh giá xem xét hoặc báo cáo về các thành kiến cá nhân có thể hạn chế tính khách quan của đánh giá, các bên liên quan sẽ xem xét đến các thông tin này trong quy trình đánh giá để loại bỏ các thành kiến từ cán bộ đánh giá

Cán bộ đánh giá chưa từng và hiện cũng không tham gia vào chương trình, hoạt động, hoặc đơn vị được đánh giá ở cấp có thẩm quyền ra quyết định hoặc ở cấp quản lý tài chính, và không tìm kiếm cơ hội việc làm cho chương trình, hoạt động, hoặc đơn vị đó vào thời điểm tiến hành đánh giá.

Mức độ có hiệu lực của các quy định và cơ chế tuyển dụng hiện có để sàng lọc các cán bộ đang hoặc đã từng giữ vai trò ra quyết định hoặc nằm trong ban quản lý tài chính, hay những người đang tìm việc làm trong chương trình, hoạt động hoặc đơn vị đánh giá.

Các cán bộ đánh giá không có lợi ích tài chính trong chương trình, hoạt động hoặc đơn vị được đánh giá

Mức độ có hiệu lực của các quy định và cơ chế tuyển dụng hiện có để sàng lọc các cán bộ đánh giá có lợi ích tài chính từ các chương trình, hoạt động hoặc đơn vị được đánh giá

Người thân hoặc gia đình của cán bộ dự án không được tham gia hoặc không nắm giữ vị trí có ảnh hưởng trực tiếp hoặc đáng kế đối với chương trình, hoạt động hoặc đơn vị được đánh giá.

Mức độ có hiệu lực của các quy định và cơ chế hiện có để tác sàng lọc những cán bộ có người thân có tham gia vào các chương trình, hoạt động hoặc đơn vị đang được đánh giá

Nguồn: Bộ Ngoại giao Đan Mạch 1999; OECD 1991b; CIDA 2000; Viện Kiểm toán nội bộ 2000; Liên đoàn Kiểm toán Châu Âu 2001; INTOSAI 2001; U.S. GAO 2002.

Giới thiệu về Đánh giá Phát triển

Ví dụ về Đánh giá phát triển Hộp 1.4-1.8 được trích từ các báo cáo phát triển (ALNAP 2006). Mỗi hộp minh họa cho một tiêu chí đã được trình bày ở trên: mức độ phù hợp, tính hiệu quả, tính hiệu suất, tác động và tính bền vững

Hộp 1.4 Mức độ phù hợp: Đánh giá Chương trình Lương thực thế giới trong hoạt động trợ cấp và khôi phục kinh tế ở Somalia

Đánh giá do hai chuyên gia từ các nước phát triển thực hiện trong ba tuần giữa tháng Bảy năm 2001. Đánh giá thẩm định chương trình sau ba năm trợ cấp với 63.000 triệu tấn lương thực hàng hóa cho 1,3 triệu dân, tương đương 55 triệu US. Trong đó, dự kiến 51 phần trăm dành cho tái định cư và phục hồi sau chiến tranh, 30 phần trăm dành cho viện trợ khẩn cấp, và 19 phần trăm cho các tổ chức xã hội. Mục tiêu ban đầu của viện trợ dài hạn và hoạt động phục hồi là “đóng góp vào mở rộng mô hình chương trình cho các chương trình lồng ghép tái định cư ở Somalia, đồng thời vẫn duy trì tính năng động đối với củng cố quyền lực và đối phó với tình trạng khẩn cấp” (WFP 2002, tr.4). Do đó đánh giá cần phải thẩm định tính phù hợp của việc kết hợp các dòng ngân sách được phân bổ cũng như sự tương thích của từng hình thức can thiệp. Mức độ phù hợp toàn diện của can thiệp được xem xét đến trong bối cảnh kinh tế chính trị cần hỗ trợ ở Somalia. Đánh giá xem xét đến tính hợp lý về hoạt động cung cấp lương thực viện trợ ở Somalia. Các ý kiến phản đối viện trợ lương thực chỉ ra thực tế là Somalia thường xuyên bị thâm hụt lương thực, người dân ở nhiều khu vực vùng sâu vùng xa bị biệt lập với chợ, và nhiều người Somalia mất việc và cả tài sản. Các ý kiến phản đối viện trợ lương thực đề nghị hỗ trợ kinh phí cho đối tượng thụ hưởng để mua lương thực địa phương sẵn có, hoặc dưới hình thức trao đổi tiền–hàng hoặc trao đổi hàng-hàng thì sẽ phát huy hiệu quả hơn. Tuy nhiên, các cam kết hướng tới các dự án dài hạn này lại không có chiến lược duy trì rõ ràng. Sự thẩm định trong đánh giá này ở cả các vấn đề tổng quát và cụ thể tương ứng các phân tích toàn diện của nó về mức độ phù hợp.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 1.5 Tính hiệu quả: Đánh giá của DfID về Các nỗ lực Hỗ trợ Chương trình Lương thực thế giới ở Băng-la-đét

Tháng Chín năm 2000, lũ lụt ở sáu huyện tây nam Băng-la-đét đã ảnh hưởng nghiêm trọng đến 2,7 triệu dân. DfID đã hỗ trợ Chương trình Lương thực Thế giới thông qua hoạt động phân phát thức ăn cho ba huyện, gồm có toàn bộ khẩu phần ăn gồm gạo, đỗ, và dầu ăn. Trong lần phân phối đầu tiên, 260.000 đối tượng thụ hưởng được nhận viện trợ lương thực; trong lần phân phối lần thứ hai và thứ ba, 420.000 người hưởng lợi được nhận lương thực trợ cấp. Đánh giá của DfID (DfID 2001) đưa ra phân tích toàn diện về mức độ đạt được mục tiêu của chương trình, về khẩu phần ăn, hàng hóa, và lịch phân phát. Đánh giá sử dụng cả phương pháp định lượng và định tính. Các dữ liệu định lượng được thu thập từ 2.644 hộ gia đình được chọn ngẫu nhiên ở các làng xã thuộc vùng thực hiện dự án. Dữ liệu định tính được thu thập trong quá trình đánh giá sinh kế ở sáu làng đại diện thuộc vùng bị ảnh hưởng bởi lũ lụt, xét về hệ thống, tình trạng, và triển vọng sinh kế. Một nhóm đánh giá thứ hai nhỏ hơn được triển khai trong vòng 5 tuần sau khi kết thúc đánh giá định tính đầu tiên để tìm hiểu nhận thức và hành vi của cộng đồng về khẩu phần lương thực, gồm có các vấn đề như thời điểm phân phát, nhu cầu về hàng hóa viện trợ, và hướng dẫn sử dụng. Các nhà đánh giá đã kết hợp các bộ dữ liệu định tính và định lượng khi phân tích. Báo cáo gồm có các nội dung chính đánh giá tính hiệu quả, bao gồm • đánh giá sự triển khai các mục tiêu can thiệp, trong đó có phân tích khung lý thuyết • đánh giá các tiêu chí được sử dụng để lựa chọn đối tượng hưởng thụ, có xét đến quan điểm của các bên liên quan về các tiêu chí này • phân tích cơ chế hoạt động ở nhiều cấp độ tham gia của cộng đồng • ước lượng độ chính xác khi xác định mục tiêu, phân bổ theo các nhóm khác nhau về giới tính và điều kiện kinh tế-xã hội • đánh giá các nguồn lực (dành cho khẩu phần ăn và hàng hóa), có tính đến các lý do cung cấp lương thực và hàng hóa với khẩu phần đó (phần này có thể được xếp vào tiêu chí về mức độ phù hợp) • kiểm tra mức độ thích hợp và đầy đủ của lịch phân phối • phân tích quan điểm của đối tượng thụ hưởng về can thiệp này.

Giới thiệu về Đánh giá Phát triển

Hộp 1.6 Hiệu suất: Đánh giá Quỹ cứu trợ lũ lụt ở Mô-dăm-bích của Ủy ban Cứu trợ Khẩn cấp

Sau các trận lũ lụt xảy ra năm 2000 ở Mô-dăm-bích, Đánh giá của Ủy ban Cứu trợ khẩn cấp (DEC) xem xét kỹ đến hoạt động nhân đạo do các cơ quan của DEC thực hiện (DEC 2001). Mục tiêu đánh giá là báo cáo cho công chúng Anh biết về cách thức và địa điểm sử dụng nguồn kinh phí của họ và để xác định các hành vi thực hành tốt cho các hoạt động khẩn cấp sắp tới. Phương pháp đánh giá gồm có phỏng vấn mở rộng, nghiên cứu bối cảnh, thực địa, và khảo sát chi tiết về đối tượng thụ hưởng. Phần này trình bày về tính hiệu suất, gồm có nhiều thành tố cơ bản cần thiết trong đánh giá, gồm có sự phân tích về • xem xét sự sử dụng tài sản quân đội của các cơ quan thuộc DEC do thiếu phối hợp khi sử dụng trực thăng để tiến hành khảo sát nhu cầu; chi phí cao khi sử dụng lực lượng quân đội phía Tây thay vì các lực lượng thương mại trong cứu trợ nhân đạo; và so sánh các chi phí giữa Royal Air Force, quân đội Hoa Kỳ, và Các lực lượng Quân đội Quốc Gia Nam Phi (báo cáo lưu ý tới các hoạt động quân sự đắt đỏ chiếm một phần ngân sách đáng kể, làm hạn chế nguồn tài trợ sau đó của các dự án phi chính phủ) • thị trường dịch vụ thầu khoán phát triển chưa đầy đủ (chẳng hạn, dù việc sử dụng những đơn vị cung cấp lương thực cấp quốc gia tạo điều kiện cho các đơn vị tiến hành các công việc cần đến trang thiết bị nặng, nhưng những nhà cung cấp ký hợp đồng các văn phòng thuộc DEC vẫn không thể hoàn thành nhiệm vụ đúng thời hạn) • hiệu suất lựa chọn phương án đối phó (can thiệp trực tiếp thông qua các chương trình hoạt động, hoạt động thông qua đối tác tại địa phương, hoặc thông qua thành viên của mạng lưới quốc tế); đánh giá phát hiện ra rằng cách sắp xếp đội ngũ cán bộ là nhân tố quan trọng hơn so với sự lựa chọn phương án đối phó có tính chất quyết định đến tính hiệu suất (yếu tố này cũng có thể được xem xét dưới tiêu chí về mức độ phù hợp) • nếu các văn phòng DEC lên phương án đối phó dựa trên năng lực sẵn có của cán bộ trong nước hoặc chuyên gia nước ngoài thì có nâng cao tính hiệu quả hơn không • các văn phòng đã có đối tác thì có hoạt động hiệu quả hơn những cơ quan chưa có đối tác thực hiện không • các khoản đầu tư được chuẩn bị trước mang lại kết quả hiệu quả như thế nào • hiệu suất của hệ thống kế toán. Đã có nỗ lực đánh giá để so sánh chi phí đầu vào giữa các văn phòng, nhưng không thành công bởi các khoản mục chi phí khác nhau và các kênh sử dụng cũng khác nhau. Thay vào đó, đánh giá dựa vào các chỉ báo về chi phí chung của các hoạt động tiếp theo, ví dụ như chi phí nhà kho và vận chuyển. Đánh giá cũng phân tích các khoản chi tiêu ngân sách cho hàng hóa và nguyên vật liệu, các khoản ngân sách cho nhân sự và phi nhân sự, và chi phí quản lý văn phòng của các ngành và từng văn phòng DEC.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 1.7 Tác động: Đánh giá chung về Hoạt động Hỗ trợ Khẩn cấp cho Ru-an-đa

Đánh giá chung về Hoạt động hỗ trợ khẩn cấp cho Ru-an-đa (JEEAR 1996) là đánh giá lớn nhất và toàn diện nhất về hoạt động nhân đạo trong số các đánh giá đã từng được tiến hành. Đánh giá gồm có 52 tư vấn và nhà nghiên cứu. Báo cáo đưa ra bộ tiêu chuẩn cho hoạt động đánh giá phối hợp về tác động của các hoạt động chính trị (và sự thiếu hụt các hoạt động chính trị) trong các tình huống khẩn cấp phức tạp. JEEAR đánh giá tác động chủ yếu có liên quan đến sự thiếu vắng các hoạt động can thiệp của cộng đồng quốc tế tại Ru-an-đa mặc dù đã có những dấu hiệu rõ rệt về việc các lực lượng ở Ru-an-đa đang chuẩn bị điều kiện và kế hoạch cho mưu đồ diệt chủng và ám sát chính trị. Đánh giá này sử dụng định nghĩa về hoạt động nhân đạo bao gồm cả chức năng chính trị và chức năng kinh tế-xã hội. Định nghĩa này dẫn tới một phân tích về cơ cấu chính trị quyết định đáng kể đến sự hưởng ứng và tác động nhân đạo. Việc thiếu các hoạt động can thiệp được xem xét theo hai nội dung: phân tích các yếu tố lịch sử giải thích cho nạn diệt chủng và mô tả chi tiết các sự kiện đang diễn ra dẫn tới nạn diệt chủng. Giá trị của đánh giá kết hợp này nằm ở chỗ đánh giá không chỉ kiểm tra các can thiệp theo từng ngành mà còn phân tích đến kinh tế chính trị. Cách tiếp cận về kinh tế chính trị sau đó được kết hợp với đánh giá về hiệu quả của mức độ hưởng ứng hoạt động nhân đạo. Cách tiếp cận này có thể đối lập với phương pháp được dùng trong các đánh giá khủng hoảng khác, ví dụ như xung đột và hậu quả ở Kô-xô-vô, hậu quả của cơn bão Hurricane Mitch, và các can thiệp ở Áp-ga-ni-xtan. Trong mỗi trường hợp, các đánh giá về việc ra quyết định được tiến hành theo từng cơ quan, ban ngành, việc đánh giá như thế đã không bao quát được bản chất chính trị của sự kiện và mức độ hưởng ứng đối với sự kiện đó. Trong trường hợp của Kô-xô-vô và Áp-gani-xtan, cách tiếp cận trong đánh giá này làm cho các nhà đánh giá thiếu quan tâm đến các vấn đề bảo vệ và nhân quyền (ALNAP 2001, 2004). Trong trường hợp của cơn bão Mitch, cách tiếp cận trong đánh giá thiếu quan tâm đến mức độ hỗ trợ chương trình cải cách của các hoạt động nhân đạo được nêu trong tuyên bố Xtốc-khôm (ALNAP 2002). JEEAR có đánh giá tác động xuất sắc bởi vì JEEAR đặt trọng tâm vào nguyên nhân vì sao hoạt động can thiệp ở Ru-an-đa ít được quan tâm (về nguyên tắc là do thiếu các ý nghĩa quan trọng về địa chính trị) hơn là liệt kê các sự kiện và hậu quả của chúng. Một trong những bài học rút ra cho chuyên gia đánh giá là đánh giá tác động không chỉ cần chú ý vào hoạt động can thiệp nào được thực hiện mà còn chú ý vào điều gì có thể đã xảy ra trong những trường hợp giả định khác và dưới dạng các hình thức can thiệp khác.

Giới thiệu về Đánh giá Phát triển

Hộp 1.8 Tính bền vững: Đánh giá của JICA về Chương trình Đào tạo Công nghệ Thông tin và Truyền thông cho các nước Thế giới thứ Ba

Tổ chức Hợp tác Quốc tế Nhật Bản (JICA) tiến hành đánh giá dự án thực hiện ở Phi-líp-pin. Dự án này nhằm mục tiêu cung cấp cơ hội cho những thành viên từ Cambodia, Cộng hòa Nhân dân Lào, My-an-ma, và Việt Nam nâng cao kiến thức và kỹ thuật trong lĩnh vực công nghệ thông tin và truyền thông trong quản lý doanh nghiệp Đánh giá (JICA 2005b) kết luận dự án có tính bền vững cao, dẫn đến cam kết thực hiện các chương trình đào tạo tiếp theo của Quỹ Phát triển Công nghệ Thông tin và Giáo dục (FIT-ED) để đạt được các mục tiêu của dự án. FIT-ED đã thiết lập một nhóm hoạt động điện tử (e-group) để tạo mạng lưới giữa các thành viên tham gia và tạo điều kiện cho FIT-ED chia sẻ kiến thức và nâng cao năng lực. Khi một tổ chức cam kết giúp nâng cao nhận thức về công nghệ thông tin trong khu vực nhà nước và khu vực kinh doanh ở Hiệp hội các Quốc gia Đông Nam Á (ASIAN), FIT-ED sẽ tiếp tục chỉ đạo các hoạt động liên quan đến công nghệ thông tin và truyền thông ở ASEAN. Sự phân bổ nguồn lực thích hợp và đúng hạn của FIT-ED cho ba khóa đào tạo dẫn tới cam kết duy trì chương trình đào tạo. Thành viên tham gia cũng bày tỏ cam kết ủng hộ sáng kiến này. Họ ý thức được tầm quan trọng của công nghệ thông tin và truyền thông trong công việc kinh doanh của mình, 84 phần trăm những người trả lời phỏng vấn đã áp dụng kiến thức và kỹ năng đạt được trong chương trình đào tạo vào công việc (trong các ngành phát triển trang Web, truyền thông, dệt may và thêu, xuất nhập khẩu hàng thủ công, xây dựng, chế biến cà phê, quản lý nhà nước, và các lĩnh vực khác). Người trả lời cho biết đã thu được nhiều lợi ích từ khóa học mà họ cho là bước khởi đầu của chương trình đào tạo. Bên cạnh việc sử dụng kế hoạch về chiến lược kinh doanh điện tử được xây dựng trong suốt chương trình đào tạo để tham khảo, thành viên tham gia cũng tận dụng Internet để áp dụng kiến thức đạt được từ khóa học để thúc đẩy các ngành đã liệt kê trên đây.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tóm tắt Đánh giá đã được thực hiện từ nhiều thế kỷ. Tuy nhiên, chỉ cho đến gần đây, đánh giá mới xem xét đến tác động của các hoạt động can thiệp đối với phát triển. Đánh giá có ba hình thức (đánh giá hình thành, đánh giá tổng kết, và đánh giá triển vọng) và phục vụ bốn mục tiêu (đạo đức, quản lý, ra quyết định, và giáo dục-khuyến khích). Đánh giá có thể cung cấp thông tin về tính chiến lược (những việc cần làm có được thực hiện không?), hoạt động (những việc cần làm có được thực hiện đúng không?), và học hỏi (còn có cách nào tốt hơn không?). Đánh giá có thể được tiến hành nội bộ, được thực hiện độc lập hoặc đánh giá có sự tham gia. Đánh giá phát triển có nguồn gốc từ nghiên cứu khoa học xã hội, phương pháp khoa học và kiểm toán. Vai trò của chuyên gia đánh giá đã thay đổi theo thời gian, chuyển trọng tâm từ vai trò của kiểm toán viên, kế toán viên hoặc người cấp phép đến vai trò của người nghiên cứu và người thực hiện các đánh giá có sự tham gia. Đánh giá phát triển dựa trên các tiêu chí của OECD/DAC về mức độ phù hợp, tính hiệu quả, hiệu suất, tác động và tính bền vững. OECD/DAC cũng đã phát triển bộ nguyên tắc dành riêng cho hoạt động đánh giá các hỗ trợ phát triển và các tiêu chuẩn về chất lượng đánh giá. Một đặc tính quan trọng của độ tin cậy là tính độc lập. Những người đứng đầu các ngân hàng phát triển đa quốc gia đã xác định bốn thành tố hay tiêu chí về tính độc lập trong đánh giá: độc lập về mặt tổ chức, độc lập về hành động, nằm ngoài các xung đột lợi ích, và tránh được các can thiệp từ bên ngoài.

Thực hành Chương 1 Bài tập ứng dụng 1.1 1. Giải thích vì sao đánh giá phát triển phải được đầu tư cho một chương trình quốc gia mới. Đó là chương trình được thiết kế để cải thiện giáo dục về các hành vi bảo vệ sức khỏe hiệu quả trong gia đình. Anh/chị sẽ trình bày ý kiến ủng hộ giáo dục phát triển như thế nào? 2. Phỏng vấn một chuyên gia đánh giá trong lĩnh vực của anh/chị để đánh giá mức độ thực thi các tiêu chuẩn và nguyên tắc trong các đánh giá mà nhà đánh giá này đã gặp. (Nếu không thể tiếp cận một chuyên gia đánh giá, hãy nghiên cứu các báo cáo đánh giá gần đây thuộc lĩnh vực của anh/chị.) Đâu là điểm mạnh? Đâu là điểm yếu? Chia sẻ các phát hiện của anh/chị với các đồng nghiệp đánh giá và lắng nghe những nhận xét và kinh nghiệm của họ. Anh/chị có thấy có mô hình nào cho hoạt động đánh giá không? Giới thiệu về Đánh giá Phát triển

Chú giải 1. Văn phòng Kiểm kê chính phủ Hoa Kỳ đổi tên thành Văn phòng Kiểm toán của Chính phủ Hoa Kỳ vào tháng bảy năm 2004. Cho đến nay tên viết tắt của cơ quan này vẫn là GAO.

Tài liệu tham khảo Adamo, Abra. 2003. Mainstreaming Gender in IDRC’s MINGA Program Initiative: A Formative Evaluation. https://idl-bnc.idrc.ca/dspace/bitstream/123456789/30972/1/121759.pdf. ADB (Asian Development Bank). 2007. Mongolia: Second Financial Sector Program. http://www.oecd.org/dataoecd/59/35/39926954.pdf. ALNAP (Active Learning Network for Accountability and Performance in Humanitarian Action). 2001. Humanitarian Action: Learning from Evaluation. ALNAP Annual Review 2001. ALNAP/Overseas Development Institute, London. ———. 2002. Humanitarian Action: Improved Performance through Improved Learning. ALNAP Annual Review 2002. ALNAP/Overseas Development Institute, London. ———. 2006. Evaluating Humanitarian Action Using the OECD/DAC Criteria. Overseas Development Institute, London. http://www.odi.org.uk/alnap/publications/eha_dac/pdfs/eha_2006.pdf. Bhy, Y. Tan Sri Data’ Setia Ambrin bin Huang. 2006. The Role of the National Audit Department of Malaysia in Promoting Government Accountability. Paper presented at the Third Symposium of the Asian Organisation of Supreme Audit Institutions (ASOSAI), Shanghai, September 13. http://apps.emoe.gov.my/bad/NADRole.htm. Brooks, R. A. 1996. “Blending Two Cultures: State Legislative Auditing and Evaluation.” In Evaluation and Auditing: Prospects for Convergence, ed. Carl Wisler, 15–28. New Directions for Evaluation 71 (Fall). San Francisco: Jossey-Bass. Burkhead, J. 1956. Government Budgeting. New York: John Wiley & Sons. Callow-Heusser, Catherine. 2002. Digital Resources for Evaluators. http://www.resources4evaluators.info/CommunitiesOfEvaluators.html. Chelimsky, Eleanor. 1995. “Preamble: New Dimensions in Evaluation.” In Evaluating Country Development Policies and Programs, ed. Robert Picciotto and Ray C. Rist, 3-8. New Approaches for a New Agenda 67 (Fall). Publication of the American Evaluation Association. San Francisco: Jossey-Bass Publishers. ———. 1997. “The Coming Transformations in Evaluation.” In Evaluation for the 21st Century: A Handbook, eds. E. Chelimsky and W. R. Shadish, pp. 1–26. Thousand Oaks, CA: Sage Publications. Chelimsky, Eleanor, and William R. Shadish. 1997. Evaluation for the 21st Century: A Handbook. Thousand Oaks, CA: Sage Publications CIDA (Canadian International Development Agency). 2000. CIDA Evaluation Guide. Ottawa. Danida, Ministry of Foreign Affairs. 1998, 1999. Guidelines for an Output and Outcome Indicator System. Copenhagen: Danida. 42

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

DEC (Disasters Emergency Committee). 2001. Independent Evaluation of DEC Mozambique Floods Appeal Funds: March 2000–December 2000. London. Derlien, Hans-Ulrich. 1999. “Program Evaluation in the Federal Republic of Germany.” In Program Evaluation and the Management of Government: Patterns and Prospects across Eight Nations, ed. Ray C. Rist, 37–52. New Brunswick, NJ: Transaction Publishers. DfID (Department for International Development). Sector Wide Approaches (SWAps). London. http://www.dfid.gov.uk/mdg/aid-effectiveness/swaps.asp. ———. 2001. Emergency Food Aid to Flood-Affected People in South-Western Bangladesh: Evaluation report. London. European Federation of Accountants. 2001. The Conceptual Approach to Protecting Auditor Independence. Bruxelles. Evaluation Cooperation Group of the Multilateral Development Banks. n.d. Good Practice Standards for Evaluation of MDB–Supported Public Sector Operations. Working Group on Evaluation Criteria and Ratings for Public Sector Evaluation. https:// wpqp1.adb.org/QuickPlace/ecg/Main.nsf/h_B084A3976FF5F808482571D90027AD 16/1E8F8A367033183248257463002F0726/ Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James, R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. 3rd ed. New York: Pearson Education, Inc. Fontaine, C., and E. Monnier. 2002. “Evaluation in France.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 63–76. New Brunswick, NJ: Transaction Publishers. Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evaluation. New Brunswick, NJ: Transaction Publishers. Furubo, Jan-Eric, and R. Sandahl. 2002. “Coordinated Pluralism.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 115–28. New Brunswick, NJ: Transaction Publishers. Government of Malawi. 2007. “National Indicators for Routine Monitoring of Quality of Health Services at Central Hospital.” http://www.malawi.gov.mw/MoHP/Information/Central%20Hospital%20Indicators.htm. Human Rights Education Associated. 1997. Evaluation in the Human Rights Education Field: Getting Started. Netherlands Helsinki Committee. http://www.hrea.org/pubs/EvaluationGuide/. Insideout. 2005. “M&E In’s and Out’s.” Insideout 3 (October/November) p. 1. http://www.insideoutresearch.co.za/news_l/Newsletter_issue%203.pdf. Institute of Internal Auditors. 2000. Professional Practices Framework. Altamonte Springs, Florida. Inter-American Development Bank. 2004. Proposal for Sector-wide Approaches. http:// idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=509733. INTOSAI (International Organization of Supreme Audit Institutions). n.d. Draft Strategic Plan 2004 to 2009. Vienna, Austria. http://www.gao.gov/cghome/parwi/img4.html. ———. 2001. Code of Ethics and Auditing Standards. Xtốc-khôm. Giới thiệu về Đánh giá Phát triển

JEEAR (Joint Evaluation of Emergency Assistance to Ru-an-đa). 1996. The International Response to Conflict and Genocide: Lessons from the Ru-an-đa Experience, 5 volumes. JEEAR Steering Committee, Copenhagen. JICA (Japan International Cooperation Agency). 2005a. JICA Evaluation: Information and Communication. Tokyo. http://www.jica.go.jp/english/operations/evaluation/. ———. 2005b. Results of Evaluation, Achievement of the Project Joint Evaluation of Emergency Assistance to Ru-an-đa. Tokyo. KRA Corporation. 1997. A Guide to Evaluating Crime Control of Programs in Public Housing. Report prepared for the U.S. Department of Housing and Urban Development. http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/guide_to_ evaluating_crime.html. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.” Evaluation Review 13 (3): 243–56. MEASURE Evaluation. n.d. Monitoring and Evaluation of Population and Health Programs. University of North Carolina, Chapel Hill. http://www.cpc.unc.edu/measure. Mikesell, J. L. 1995. Fiscal Administration: Analysis and Applications for the Public Sector, 4th ed. Belmont, CA: Wadsworth Publishing Company. Molund, Stefan, and Göran Schill 2004. Looking Back, Moving Forward: SIDA Evaluation Manual. Swedish International Development Agency, Xtốc-khôm. OECD (Organisation for Economic Co-operation and Development). 1991a. DAC Criteria for Evaluating Development Assistance. Development Assistance Committee. http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1, 00.html. ———. 1991b. Principles for Evaluation of Development Assistance. Development Assistance Committee. http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/DACPrinciples1991.pdf. ———. 1998. Review of the DAC Principles for Evaluation of Development Assistance. Development Assistance Committee. http://www.oecd.org/dataoecd/31/12/2755284.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Management. Development Assistance Committee, Paris. ———. 2006. Evaluation Quality Standards for Test Phase Application. Development Assistance Committee. http://www.oecd.org/dataoecd/30/62/36596604.pdf. ———. 2007a. General information. http://www.oecd.org/document/48/0,3343,en_2649_201185_1876912_1_1_1_1, 00.html. ———. 2007b. Development Co-operation Directorate DCD-DAC. http://www.oecd.org/department/0,2688,en_2649_33721_1_1_1_1_1,00.html. 44

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Office of the Secretary of Defense Comptroller Center. 2007. The Historical Context. http://www.defenselink.mil/comptroller/icenter/budget/histcontext.htm. Picciotto, Robert. 2002. “Development Evaluation as a Discipline.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. ———. 2005. “The Value of Evaluation Standards: A Comparative Assessment.” Journal of Multidisciplinary Evaluation 3: 30–59. http://evaluation.wmich.edu/jmde/content/JMDE003content/PDFspercent 20JMDE percent20003/4_percent20The_Value_of_Evaluation_Standards_A_Comparative_Assessment.pdf. Quesnel, Jean Serge. 2006. “The Importance of Evaluation Associations and Networks.” In New Trends in Development Evaluation 5, UNICEF Regional Office for Central and Eastern Europe, Commonwealth of Independent States, and International Program Evaluation Network. http://www.unicef.org/ceecis/New_trends_Dev_EValuation.pdf. Quinn, Michael 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. Rossi, Peter, and Howard Freeman. 1993. Evaluation: A Systematic Approach. Thousand Oaks, CA: Sage Publications. Scientific and National Councils for Evaluation. 1999. A Practical Guide to Program and Policy Evaluation. Paris: National Council of Evaluation. Sonnichsen, R. C. 2000. High-Impact Internal Evaluation. Thousand Oaks, CA: Sage Publications. Treasury Board of Canada Secretariat. 1993. “Linkages between Audit and Evaluation in Canadian Federal Developments.” http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/evaluation03_e.asp. Tyler, C., and J. Willand. 1997. “Public Budgeting in America: A Twentieth Century Retrospective.” Journal of Public Budgeting, Accounting and Financial Management 9 (2): 189–219. http://www.ipspr.sc.edu/publication/Budgeting_in_America.htm. U.S. Department of Housing and Urban Development. 1997. “A Guide to Evaluating Crime Control of Programs in Public Housing.” Paper prepared by the KRA Corporation, Washington, DC. http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/benefits_of_ evaluation.htm. U.S. GAO (General Accounting Office). 1986. Teenage Pregnancy: 500,000 Births a Year but Few Tested Programs. Washington, DC: U.S. GAO. ———. 2002. “Government Auditing Standards, Amendment 3,” GAO, Washington, DC. Weiss, Carol. 2004. “Identifying the Intended Use(s) of an Evaluation.” Evaluation Guideline 6. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC p 1. WFP (World Food Programme). 2002. Full Report of the Evaluation of PRRO Somalia 6073.00, Food Aid for Relief and Recovery in Somalia. Rome. Wisler, Carl, ed. 1996. “Evaluation and Auditing: Prospects for Convergences.” In New Directions for Evaluation 71 (Fall), 1–71. San Francisco: Jossey-Bass. World Bank. 1996. World Bank Participation Sourcebook. http://www.worldbank.org/wbi/sourcebook/sbhome.htm.

Giới thiệu về Đánh giá Phát triển

Trang Web Các Tổ chức Đánh giá African Evaluation Association. http://www.afrea.org/. American Evaluation Association. http://www.eval.org. Australasian Evaluation Society. http://www.aes.asn.au. Brazilian Evaluation Association. http://www.avaliabrasil.org.br. Canadian Evaluation Society. http://www.evaluationcanada.ca. Danish Evaluation Society. http://www.danskevalueringsselskab.dk. Dutch Evaluation Society. http://www.videnet.nl/. European Evaluation Society. http://www.europeanevaluation.org. Finnish Evaluation Society. http://www.finnishevaluationsociety.net/. French Evaluation Society. http://www.sfe.asso.fr/. German Society for Evaluation Standards. http://www.degeval.de/. Institute of Internal Auditors. http://www.theiia.org. International Development Evaluation Association (IDEAS). http://www.ideas-int .org/. (IDEAS Web page with links to many organizations: http://www.ideas-int .org/Links.aspx.) International Organisation for Cooperation in Evaluation. http://ioce.net/ overview/general.shtml. International Organization of Supreme Audit Institutions (INTOSAI). http://www .intosai.org/. International Program Evaluation Network (Russia and Newly Independent States). http://www.eval-net.org/. Israeli Association for Program Evaluation. http://www.iape.org.il. Italian Evaluation Association. http://www.valutazioneitaliana.it/ Japan Evaluation Society. http://ioce.net/members/eval_associations.shtml Latin American and Caribbean Programme for Strengthening the Regional Capacity for Evaluation of Rural Poverty Alleviation Projects (PREVAL). http://www .preval.org/. Malaysian Evaluation Society. http://www.mes.org.my. Nigerian Network of Monitoring and Evaluation. http://www.pnud.ne/rense/. Polish Evaluation Society. http://www.pte.org.pl/x.php/1,71/Strona-glowna.html. Quebecois Society for Program Evaluation. http://www.sqep.ca. Red de Evaluacion de America Latina y el Caribe. http://www.relacweb.org. South African Evaluation Network. http://www.afrea.org/webs/southafrica/. South African Monitoring and Evaluation Association. http://www.samea.org.za. Spanish Evaluation Society. http://www.sociedadevaluacion.org. Sri Lankan Evaluation Association. http://www.nsf.ac.lk/sleva/. Swedish Evaluation Society. http://www.svuf.nu. Swiss Evaluation Society. http://www.seval.ch/de/index.cfm.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ugandan Evaluation Association. http://www.ueas.org. United Kingdom Evaluation Society. http://www.evaluation.org.uk. Wallonian Society for Evaluation. http://www.prospeval.org.

Các Bộ tiêu chuẩn Đánh giá African Evaluation Association. Evaluation Standards and Guidelines. http://www .afrea.org/. American Evaluation Association. Guiding Principles. http://www.eval.org/ Publications/GuidingPrinciples.asp. Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes .asn.au/content/ethics_guidelines.pdf. ECGnet [The Evaluation Cooperation Group] https://wpqp1.adb.org/QuickPlace/ecg/ Main.nsf/h_B084A3976FF5F808482571D90027AD16/1E8F8A36703318324825746 3002F0726/. German Society for Evaluation. Standards. http://www.degeval.de/standards/ standards.htm. Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto. htm#Linee. OECD (Organisation for Economic Co-operation and Development). Evaluation Quality Standards (for test phase application). Development Assistance Committee. http:// www.oecd.org/dataoecd/30/62/36596604.pdf. ———. Evaluating Development Co-Operation: Summary of Key Norms and Standards. Development Assistance Committee, Network on Development Evaluation. http:// www.oecd.org/dac/evaluationnetwork. Program Evaluation Standards (updated 1998). http://www.eval.org/Evaluation Documents/progeval.html. Swiss Evaluation Society. Standards. seval.ch/. UNEG (United Nations Evaluation Group). Norms for Evaluation in the UN System. http:// www.uneval.org/docs/ACFFC9F.pdf. ———. Standards for Evaluation in the UN System. http://www.uneval.org/docs/ ACFFCA1.pdf. UNFPA (United Nations Population Fund). n.d. List of Evaluation Reports and Findings. http://www.unfpa.org/publications/index.cfm. UNICEF Regional Office for Central and Eastern Europe, Commonwealth of Independent States, and International Program Evaluation Network. 2006. New Trends in Development Evaluation 5. http://www.unicef.org/ceecis/New_ trends_Dev_EValuation.pdf. United Nations Development Project Evaluation Office. http://www.undp.org/eo/.

Giới thiệu về Đánh giá Phát triển

CHƯƠNG 2

Hiểu các Vấn đề Chi phối Đánh giá Phát triển Đánh giá phát triển là một lĩnh vực tương đối mới với nhiều thay đổi diễn ra để đáp ứng các vấn đề phát sinh ở các quốc gia phát triển và đang phát triển. Chương này xem xét đến các vấn đề hiện đang ảnh hưởng đến cả các quốc gia phát triển và các quốc gia đang phát triển. Chương này có hai phần chính: • Tổng quan về Hoạt động đánh giá ở các quốc gia phát triển và các quốc gia đang phát triển • Mối quan hệ mật thiết giữa Các vấn đề phát triển đang phát sinh

Tổng quan về Đánh giá ở các quốc gia phát triển và các quốc gia đang phát triển Đánh giá có thể giúp các quốc gia biết được cách thức và mức độ đạt được các mục tiêu phát triển của quốc gia, trong đó có Các Mục tiêu phát triển Thiên niên kỷ (MDGs). Các nhà hoạch định chính sách và những người khác có thể sử dụng các phát hiện và đề xuất quan trọng từ các kết quả đánh giá để khởi xướng những thay đổi cần thiết. Đánh giá giúp các quốc gia dùng kinh nghiệm để nâng cao hoạt động lên kế hoạch và phân bổ các dự án, chương trình và chính sách đang thực hiện; thay đổi hướng đi trong tương lai; hoặc cả hai. Nhiều quốc gia phát triển và đang phát triển đã đưa hệ thống Giám sát và Đánh giá (M&E) vào hỗ trợ phát triển. Những hệ thống này có thể được thiết kế theo nhiều cơ chế khác nhau, phụ thuộc vào nhu cầu và nguồn lực sẵn có.

Đánh giá ở các quốc gia Phát triển Gần 30 quốc gia thuộc Tổ chức Hợp tác và Phát triển Kinh tế (OECD) đã phát triển hệ thống M&E. Lồng ghép các hệ thống này không phải là một quá trình dễ dàng và bằng phẳng. Các quốc gia này thường có sự khác nhau về đường lối, phương pháp, quy cách và mức độ phát triển. Furubo, Rist, và Sandahl (2002) đã sắp xếp hoạt động đánh giá ở các nước OECD để giải thích các mô hình được quan sát. Các tác giả đã đo lường 9 biến số ở 23 quốc gia, giả định điểm dành cho mỗi quốc gia dao động từ 0 (thấp) đến 2 (cao) cho mỗi biến sau: 1. Đánh giá thực hiện ở nhiều khu vực chính sách. 2. Có nguồn nhân lực đánh giá chuyên về các hình thức đánh giá khác nhau, nắm vững nhiều phương pháp đánh giá khác nhau và có khả năng tiến hành đánh giá. 3. Có đối thoại quốc gia về đánh giá, trong đó có nhiều thảo luận chung hơn được điều chỉnh để phù hợp với từng môi trường đặc thù của quốc gia. 4. Đánh giá được coi là một nghề với các cộng đồng nghề nghiệp riêng, hoặc thường xuyên tham dự các hội nghị quốc tế và tối thiểu là có trao đổi về tiêu chuẩn và đạo đức nghề nghiệp. 5. Chính phủ có các cơ chế về mặt tổ chức để tiến hành đánh giá và công bố kết quả cho các nhà hoạch định chính sách. 6. Các cơ chế tổ chức được trình bày trong Luật Quốc hội hoặc các văn bản pháp quy khác, và được công bố cho các nhà hoạch định chính sách. 7. Yếu tố hiện hữu của thuyết đa nguyên – có nghĩa là, trong mỗi khu vực chính sách có nhiều người và đơn vị khác nhau đề xướng hoặc thực hiện đánh giá.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

8. Các hoạt động đánh giá cũng được thực hiện trong khuôn khổ của tổ chức kiểm toán tối cao. 9. Đánh giá không chỉ tập trung vào các yếu tố kỹ thuật hoặc mối quan hệ giữa các yếu tố đầu vào và sản phẩm đầu ra. Các đánh giá ngành công phải đạt được kết quả chương trình hoặc chính sách theo đúng mục tiêu đề ra (Furubo, Rist, và Sandahl 2002). Theo các tiêu chí trên, Ốtx-trây-lia, Ca-na-đa, Hà Lan, Thụy Điển, và Hoa Kỳ đứng đầu “bảng xếp hạng hoạt động đánh giá” trong khối các nước OECD năm 2002. Các nước OECD đã phát triển văn hóa đánh giá và hệ thống M&E để đáp lại sức ép nội bộ và áp lực từ bên ngoài ở nhiều cấp độ khác nhau. Ví dụ như Pháp, Đức, và Hà Lan đã phát triển văn hóa đánh giá để đáp lại các sức ép mạnh mẽ từ bên trong và bên ngoài quốc gia. Ngược lại, các quốc gia như Ốtx-trây-lia, Ca-na-đa, Cộng hòa dân chủ nhân dân Triều Tiên, và Hoa Kỳ bị thúc đẩy phần lớn bởi các áp lực mạnh mẽ trong nội bộ quốc gia (Furubo, Rist, và Sandahl 2002). Làn sóng phong trào đầu tiên ở các nước OECD chấp nhận rộng rãi văn hóa đánh giá có động cơ từ các sức ép mạnh mẽ từ trong nước, như các yêu cầu lên kế hoạch, lên chương trình, và dự trù ngân sách quốc gia cho các chương trình kinh tế-xã hội mới, cũng như áp lực từ sự giám sát về mặt pháp lý. Nhiều yếu tố góp phần vào việc ứng dụng văn hóa đánh giá ở các quốc gia tiên phong. Nhiều quốc gia trước đây bị cưỡng chế phải chấp nhận văn hóa đánh giá do họ có hệ thống chính trị dân chủ, truyền thống kinh nghiệm chủ nghĩa vững chắc, các công chức nhà nước được đào tạo về khoa học xã hội (ngược lại với đào tạo pháp luật khắt khe), và hệ thống và tổ chức hành chính hoàn thiện. Các quốc gia có mức chi phí dành cho giáo dục, y tế và phúc lợi xã hội cao đã áp dụng các cơ chế đánh giá trong các lĩnh vực trên, cơ chế này sau đó phát triển rộng ra các khu vực khác của chính sách công. Các quốc gia OECD đã áp dụng văn hóa đánh giá từ trước cũng là công cụ để phát triển văn hóa đánh giá sang các nước khác, thông qua việc phổ biến các ý tưởng và thông tin đánh giá và thông qua sự phát động các tổ chức, viện đào tạo, mạng lưới và các doanh nghiệp tư vấn đánh giá. Ngược lại, nhiều nước gia nhập OECD sau (Ai-len, Ý, và Tây Ban Nha) có xu hướng hưởng ứng hoạt động đánh giá chủ yếu do các áp lực mạnh mẽ từ bên ngoài, đầu tiên là tiêu chuẩn thành viên của Cộng đồng Châu Âu (EU), trong đó có khả năng tiếp cận các quỹ phát triển xây dựng của EU. Những quốc gia gia nhập sau bị ảnh hưởng nặng nề bởi văn hóa đánh giá của các

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

quốc gia tiên phong, cũng như bởi văn hóa đánh giá xuất phát từ các tổ chức quốc tế mà họ có qua lại. Viện Tavistock (2003) mô tả một mô hình, hoặc sơ đồ của con đường hướng đến năng lực đánh giá đang phát triển, gồm có bốn bước và bốn chặng đích trung gian: • • • •

Giai đoạn 1: Cấp phép cho đánh giá Giai đoạn 2: Điều phối hoạt động đánh giá Giai đoạn 3: Thể chế hóa đánh giá Giai đoạn 4: Xây dựng hệ thống đánh giá.

Giai đoạn 1 thường bắt đầu từ sức ép bên ngoài, yêu cầu hoạt động đánh giá đối với các tiêu chuẩn, quy định, hoặc mục tiêu chính sách. Ngay cả khi sức ép xuất phát từ trong nước, vẫn có thể có sự giám sát ở mức độ nhất định từ bên ngoài. Giai đoạn 2 gồm có hai hình thức hoạt động tương ứng với chính sách đánh giá chính quy và chính sách đánh giá dựa trên quy luật ở giai đoạn đầu tiên. Hình thức hoạt động đầu tiên đưa ra hướng dẫn và các công cụ cơ bản; hình thức thứ hai nhấn mạnh đến việc chuyên nghiệp hóa đội ngũ cán bộ để nâng cao chất lượng hoạt động. Giai đoạn 3 thường bắt đầu sau khi một đơn vị trung tâm ra đời hoặc đi vào hoạt động. Giai đoạn này gồm hai bước: thành lập các đơn vị dưới quyền và nâng cao chuyên môn đánh giá. Giai đoạn 4 là xây dựng hệ thống vận hành đánh giá hoàn chỉnh, trong đó hoạt động đánh giá kết hợp chặt chẽ với hoạt động ra quyết định, quản lý chương trình và quản trị. Giai đoạn này là bước thiết lập các mối liên hệ nội bộ khăng khít hơn giữa các hệ thống đánh giá và mở rộng mạng lưới với các bên tham gia bên ngoài. Các hệ thống giám sát và đánh giá ở các quốc gia tiên phong và các quốc gia gia nhập OECD sau có sự khác nhau. Các hệ thống này tiếp cận một trong ba phạm vi tiếp cận sau: • mô hình cấp nhà nước • mô hình trung gian • mô hình hỗn hợp. ■■ Đánh giá cấp

nhà nước:

Thiết lập hệ thống giám sát và đánh giá rộng rãi và toàn diện ở mọi khu vực nhà nước

Mô hình đánh giá nhà nước Đánh giá cấp nhà nước được vận dụng ở những quốc gia có hệ thống M&E sớm như Ốtx-trây-lia. Đánh giá cấp nhà nước thiết lập hệ thống giám sát và đánh giá rộng rãi và toàn diện ở mọi khu vực nhà nước. Mô hình đánh giá cấp nhà nước không thể được triển khai một sớm một chiều; cần ít nhất một thập kỷ để áp dụng mô hình này một cách bền vững (Ngân hàng Thế giới 1999). Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Để đạt được kết quả trong mô hình đánh giá này, cần phải đạt được và duy trì được sự ủng hộ của chính phủ, nâng cao các kỹ năng cần thiết, thiết lập cơ cấu và hệ thống công chức để có thể tận dụng triệt để các phát hiện M&E. Các quốc gia đang phát triển cũng cần phải bảo đảm sự hỗ trợ ổn định từ các cơ quan hỗ trợ phát triển. Đối với Mục tiêu Phát triển Thiên niên kỷ, nhiều nước đang phát triển đang xem xét việc thiết kế và triển khai các hệ thống đánh giá nhà nước toàn diện. Khi viện trợ quốc tế ngày càng chú trọng hơn đến kết quả đạt được, có thêm nhiều nhà tài trợ, chính phủ, và các tổ chức khác sẵn sàng hỗ trợ các quốc gia phát triển xây dựng năng lực và hệ thống đánh giá. Mô hình đánh giá của Ốtx-trây-lia. Ốtx-trây-lia là quốc gia đi đầu phát triển hệ thống giám sát và đánh giá từ năm 1987. Các thuận lợi cơ bản tạo điều kiện cho việc xây dựng văn hóa và cơ cấu đánh giá lành mạnh bao gồm: • nguồn nhân lực có năng lực vững mạnh, năng lực tổ chức và quản lý vững mạnh trong khu vực nhà nước • hệ thống dịch vụ công liêm chính, trung thực và chuyên nghiệp • hệ thống tài chính, ngân sách và kiểm kê phát triển • có truyền thống giải trình và công minh • các nhà lãnh đạo đáng tin cậy và trong sạch về luật pháp. Có hai yếu tố cơ bản đóng góp vào hệ thống đánh giá thành công ở Ốtxtrây-lia. Thứ nhất, sự chặt chẽ về ngân sách buộc chính phủ phải xem xét đến các phương pháp đạt được các giá trị tài chính lớn hơn. Thứ hai, Ốtx-trây-lia cũng có hai tổ chức quan trọng đứng đầu thế giới trong hoạt động đánh giá – Bộ Tài chính và Văn phòng Kiểm toán Quốc gia Ốtx-trây-lia. Chính phủ cũng nhận được sự ủng hộ từ các thành viên trong nội các và các Bộ trưởng Chủ chốt, những người đề cao tầm quan trọng của các phát hiện đánh giá để nâng cao hoạt động ra quyết định (Mackay 2002). Giai đoạn đầu của hoạt động đánh giá (1987-97) bắt đầu trong thời kỳ ngân sách ngặt nghèo. Nhiều cải cách ngành công mang lại sự tự chủ cho các bộ ngành và cơ quan, nhưng lại không thể tiến hành giám sát và theo dõi. Vì lí do này, chính phủ buộc các bộ ngành và cơ quan phải thực hiện đánh giá. Mục tiêu trong giai đoạn đầu của các hệ thống M&E này là phục vụ cho hoạt động ra quyết định về ngân sách, củng cố trách nhiệm giải trình trong chính phủ, và hỗ trợ các nhà quản lý cấp bộ và cấp ban ngành. Hệ thống M&E giai đoạn thứ nhất do Bộ Tài chính xây dựng và quản lý. Hoạt động đánh giá là bắt buộc, phải được thực hiện từ ba đến năm năm một lần cho mỗi chương trình. Các bộ ngành phải chuẩn bị các kế hoạch kéo dài ba năm cho các đánh giá quan trọng.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Nhiều hình thức đánh giá được sử dụng. Vào giữa những năm 1990, 160 đánh giá đang cùng được thực hiện ở một thời điểm. Không có nhiều yêu cầu chính thức đối với việc thu thập và báo cáo về các chỉ số thực thi. Tất cả các phát hiện đánh giá đều được chia sẻ trong nội các, và được xem xét một cách nghiêm túc. Trong thực tế, gần 80 phần trăm các đề xuất chính sách mới và hai phần ba các phương án tiết kiệm có ảnh hưởng đến các quyết định ngân sách của chính phủ. Các điểm mạnh khác của hệ thống này là các bộ và ban ngành sử dụng triệt để các phát hiện đánh giá và đánh giá đã trở thành một nỗ lực tập thể. Hệ thống M&E giai đoạn thứ nhất cũng có những yếu điểm. Chất lượng của các đánh giá không đồng đều. Hoạt động đào tạo đánh giá nâng cao không được trung ương hỗ trợ đầy đủ, và thiếu các yêu cầu chính thức đối với hoạt động thu thập và báo cáo về các chỉ số thực thi. Các bộ ngành cho rằng hệ thống đã đặt gánh nặng lên bộ máy hành chính. Giai đoạn thứ hai của hoạt động đánh giá ở Ốtx-trây-lia ra đời cùng với chính phủ bảo thủ mới đắc cử. Các thay đổi gồm có cắt giảm đáng kể đội ngũ công chức, hủy bỏ hệ thống tư vấn chính sách trong quy trình giải ngân, và cắt giảm giám sát trung ương và các quy tắc “quan liêu”, cùng với việc thu hẹp một phần Bộ Tài chính, làm giảm vai trò tư vấn của Bộ trong quá trình giải ngân. Để thích ứng với các thay đổi này của nội các, hệ thống M&E cần phải thay đổi theo. Chiến lược đánh giá cũ bị hủy bỏ, và bãi bỏ các quy định bắt buộc về đánh giá – đánh giá được khuyến khích chứ không phải yêu cầu. Trọng tâm đánh giá được hướng vào việc giám sát thực hiện đối với các sản phẩm đầu ra và kết quả để báo cáo cho Nghị viện trước hoặc sau khi thực hiện. Văn phòng Kiểm toán Quốc gia Ốtx-trây-lia cho biết hệ thống đánh giá giai đoạn thứ hai hoạt động cực kỳ thiếu hiệu quả. Việc thu thập dữ liệu nghèo nàn do các tiêu chuẩn yếu kém. Có ít đánh giá được thực hiện từ mục tiêu hoặc tiêu chuẩn. Nhiều thông tin thu thập về sản phẩm đầu ra của các hoạt động của chính phủ nhưng có ít thông tin về kết quả. Thiếu các phân tích thực tế về các tình hình thực thi. Những yếu điểm này làm cho Quốc hội không hài lòng với thông tin họ nhận được. Tuy nhiên, một số bộ ngành (gia đình và phát triển cộng đồng, giáo dục, và y tế) vẫn có thể học hỏi từ các đánh giá về các hành vi hoạt động hiệu quả. Giai đoạn thứ ba (từ năm 2006) được ra đời từ những quan ngại hiện có về các khó khăn trong việc triển khai các chương trình phức tạp của chính phủ và sự “phối hợp” (giữa các bộ và ban ngành, trên toàn liên bang và ở từng bang). Một bộ phận trong Bộ Quốc phòng muốn gây dựng lại vai trò của mình trong hoạt động tư vấn ngân sách và chính sách (Mackay 2007). Hai hình thức kiểm duyệt được thiết lập để bảo đảm ngân sách được chi tiêu thích hợp, hiệu quả, và phù hợp với các ưu tiên của chính phủ. Kiểm duyệt

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

chiến lược (bảy năm một lần) tập trung vào mục tiêu, thiết kế, quản lý, kết quả, và các thay đổi tích cực trong tương lai cần thiết của chính sách quan trọng và các khu vực đầu tư. Kiểm duyệt chương trình (cũng được thực hiện bảy năm một lần) tập trung vào từng chương trình và sự phù hợp của chúng với các mục tiêu của chính phủ, tính hiệu quả, nhân rộng, trùng lặp và tính tiết kiệm. Bộ Quốc phòng có nhiệm vụ kiểm duyệt, và ra quyết định để liên kết hệ thống. Chính phủ cam kết dành 17 triệu đô la Mỹ cho hoạt động kiểm duyệt theo chu kỳ bốn năm. Các công chức về hưu được tuyển dụng để thực hiện hai chương trình thử nghiệm. Họ cũng giữ các tiêu chuẩn mô hình giám sát thực thi của giai đoạn hai. Những bài học rút ra từ quá trình phát triển chương trình đánh giá ở Ốtx-trây-lia? • Điều phối, triển khai, thực hiện (và kết quả thực hiện) chương trình là những thách thức lâu dài của mọi chính phủ. • Tính chất hoạt động ra quyết định của chính phủ quyết định mức độ nhu cầu đối với thông tin M&E (và thông tin kiểm duyệt). • Cần có nhiều thời gian để xây dựng hệ thống kiểm duyệt M&E. • Việc cân bằng các nhu cầu thông tin từ trên xuống/tập trung với yêu cầu thông tin từ dưới lên/phi tập trung là rất khó khăn. • Hầu hết các bộ ngành đều không thực sự sẵn sàng thực hiện đánh giá vì họ cho đó là hoạt động tốn kém và nguy hiểm. Đạo luật Kết quả và Hiệu quả Hoạt động Chính phủ Mỹ năm 1993. Bước tiến then chốt trong hoạt động đánh giá chính phủ ở Hoa Kỳ trong vòng 20 năm qua là sự thông qua Đạo luật Kết quả và Hiệu quả Hoạt động Chính phủ (GPRA) năm 1993, luật này đưa ra đánh giá dựa trên kết quả ở mọi cơ quan chính phủ của Hoa Kỳ. Luật này trực tiếp ảnh hưởng đến cách thức tiến hành đánh giá trong toàn chính phủ. GPRA là một mô hình đánh giá toàn bộ hệ thống chính phủ đã được thử nghiệm từ trước khi thực hiện thay đổi. Đánh giá hoạt động ở Hoa Kỳ bắt đầu từ chính quyền cấp địa phương vào những năm 1970. Sau đó lan rộng đến chính quyền bang và cuối cùng lên đến cấp liên bang, với sự ra đời của GPRA năm 1993. Chính phủ Liên bang Hoa Kỳ áp dụng hoạt động đánh giá thực thi muộn hơn các cấp chính quyền địa phương. Mục đích của GPRA là 1. củng cố niềm tin của dân chúng Mỹ vào năng lực của chính phủ liên bang thông qua việc gắn trách nhiệm đạt được các kết quả chương trình cho hệ thống các cơ quan thuộc liên bang

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

2. đề xướng cải cách thực thi chương trình bằng các dự án thử nghiệm để đặt ra mục đích của chương trình, đánh giá hoạt động thực thi chương trình dựa trên các mục đích này, và báo cáo công khai về các tiến độ hoạt động 3. nâng cao tính hiệu quả của các chương trình liên bang và trách nhiệm giải trình công thông qua việc đề cao các trọng tâm mới vào kết quả, chất lượng dịch vụ và sự hài lòng của khách hàng 4. giúp các nhà quản lý cấp liên bang cải thiện dịch vụ cung cấp, bằng cách yêu cầu họ lên kế hoạch để đạt được các mục tiêu và cung cấp thông tin về kết quả và chất lượng dịch vụ của chương trình 5. nâng cao chất lượng của hoạt động ra quyết định trong quốc hội thông qua việc cung cấp thông tin khách quan về các nỗ lực đạt đến các mục tiêu theo quy định, và các thông tin về tính hiệu quả và hiệu suất tương ứng của các chương trình thuộc liên bang 6. nâng cao công tác quản lý nội bộ của chính phủ liên bang. GPRA bắt buộc các cơ quan liên bang phải chú trọng vào nhiệm vụ và mục tiêu, và cách thức cải thiện tổ chức, cơ cấu cũng như quy trình làm việc của họ. Theo đạo luật này, các cơ quan ban ngành buộc phải nộp kế hoạch của các chương trình kéo dài năm năm và phải cập nhật chương trình ba năm một lần. Các cơ quan ban ngành cũng phải xác định bất kỳ “nhân tố bên ngoài quan trọng nào” có ảnh hưởng lớn đến khả năng đạt được mục tiêu và mục đích mà họ đề ra. Hàng năm, các cơ quan này phải đưa ra các báo cáo thực thi chương trình. (Bộ Lao động Hoa Kỳ, 1993, đoạn 1) Các cơ quan phải đánh giá tình hình thực thi của mình để bảo đảm rằng họ có thể đạt được mục tiêu và đưa ra được quyết định. Đánh giá thực thi cần phải dựa trên các đặc thù của chương trình, và phải có tính toàn diện, chính xác và phù hợp. Dữ liệu thu thập được phải được sử dụng để nâng cao các quy trình tổ chức, xác định các thiếu sót, và đặt ra mục tiêu thực hiện (U.S GAO 2003). Một khảo sát thực hiện năm 2003 về 16 chương trình ở 12 cơ quan thuộc Liên bang Hoa Kỳ đã phát hiện ra rằng nhiều chương trình Liên bang đã sử dụng các dữ liệu về kết quả thu thập được để phục vụ cho việc cải thiện chương trình của họ. Ví dụ, các dữ liệu về kết quả được sử dụng để bắt đầu các hoạt động sửa đổi, để nhận biết và khuyến khích “những thực thi hiệu quả nhất”, để đề bạt và đánh giá cán bộ, và để lên kế hoạch và dự trù ngân sách. Cũng vào thời điểm đó, khảo sát phát hiện ra các trở ngại đang diễn ra đối với việc sử dụng các dữ liệu kết quả, bao gồm • thiếu thẩm quyền và quan tâm để điều chỉnh • sự hạn chế trong việc hiểu và sử dụng dữ liệu về kết quả

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• các vấn đề về dữ liệu kết quả (dữ liệu cũ, dữ liệu không được phân tích, dữ liệu không cụ thể, không có dữ liệu trung gian, vv…) • nỗi sợ “gây xáo trộn” (Hatry và cộng sự 2003). GPRA được mở rộng vào năm 2003 để kết hợp tình hình thực thi và quy trình giải ngân. Các nỗ lực để chiến lược, kế hoạch và báo cáo hàng năm của chính phủ đáp ứng được GPRA đã được thực hiện. ChannahSorah tóm tắt GPRA như sau Các yêu cầu của của nó đã cung cấp công cụ của các phương pháp cực kỳ cơ bản để các cơ quan chính phủ thực hiện công việc một cách hợp lý: đặt ra mục tiêu thực hiện và đánh giá các kết quả dài hạn và ngắn hạn. Bất kỳ một tổ chức nào hoạt động để nâng cao chất lượng cuộc sống, chất lượng dịch vụ, và củng cố chất lượng dịch vụ khách hàng đều phải có tầm nhìn và sứ mệnh, đặt ra mục tiêu và mục đích, và phải đo lường được các kết quả đạt được. (2003, tr.5-6)

Trong một nghiên cứu thực hiện năm 2003, FAO phát hiện ra nhiều cơ quan của Mỹ phải đối với mặt với các trở ngại lớn trong việc thiết lập định hướng kết quả trong toàn cơ quan. Các nhà quản lý liên bang được thăm dò cho biết các lãnh đạo cơ quan không đưa ra các cam kết chắc chắn và phù hợp để đạt được kết quả. Hơn nữa, theo các nhà lãnh đạo này, các cơ quan không thường xuyên chủ động đánh giá nhân viên để hỗ trợ cơ quan hoàn thành mục tiêu chiến lược của mình. Tuy nhiên, dù nhiều lãnh đạo liên bang trong khảo sát cho biết họ có trách nhiệm thực hiện để đạt được các kết quả của chương trình, chỉ có vài người trong số họ có thẩm quyền ra quyết định để giúp cơ quan thực hiện được mục tiêu đặt ra. Cuối cùng, GAO phát hiện ra rằng dù các nhà lãnh đạo báo cáo ngày càng nhiều về các đánh giá thực hiện dựa trên kết quả của chương trình, mức độ sử dụng thông tin về tình hình thực thi phục vụ cho các hoạt động quản lý đã giảm đi so với các nghiên cứu ban đầu. Nghiên cứu của GAO nhấn mạnh đến nhu cầu thay đổi văn hóa tổ chức để hướng đến kết quả nhiều hơn, tập trung vào khách hàng hơn, và cộng tác chặt chẽ hơn. Các cơ quan nhà nước đứng đầu Hoa Kỳ và các nước khác đã nhận ra rằng chiến lược quản lý vốn con người tập trung vào mọi thay đổi đáng kể về quản lý và các nỗ lực thay đổi cơ cấu của cơ quan chính phủ. Hệ thống quản lý thực thi được lồng ghép với chiến lược quản lý vốn con người. Hệ thống này có thể là công cụ chủ yếu để tối ưu hóa tình hình thực thi thông qua việc điều chỉnh các đánh giá thực thi của tổ chức với tình hình thực thi của cá nhân và tạo ra “chuỗi quan sát” của các mục tiêu cá nhân và mục tiêu của tổ chức. Các cơ quan đứng đầu sử dụng hệ thống quản lý tình hình thực thi như một công cụ chủ đạo để điều chỉnh tình hình thực thi của tổ chức, đơn vị và của cán bộ; để đạt được mục tiêu; thúc đẩy thay đổi; quản lý tổ chức hàng ngày; và tổ chức tuyên

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

truyền hàng năm để trao đổi về tình hình thực thi của cá nhân và tổ chức đang được thực hiện.

■■ Mô hình

đánh giá cấp ngành: Thành lập hệ thống giám sát và đánh giá ở một bộ phận hoặc một ngành trong chính phủ, chẳng hạn như một bộ.

■■ Mô hình

đánh giá hỗn hợp:

Thành lập hệ thống giám sát và đánh giá hoàn thiện ở một vài bộ phận thuộc chính phủ, trong khi đó ít chú ý đến các bộ phận khác trong chính phủ.

Mô hình đánh giá cấp ngành Khả năng thiết lập hệ thống đánh giá ở từng ngành thường khác nhau. Do đó, mô hình đánh giá chính phủ toàn diện không thể cùng lúc vận hành tất cả các bộ ngành; vì vậy phải xếp hạng theo thứ tự các bộ ngành khi phát triển những hệ thống này. Sự đổi mới ở một cấp thường kéo theo sự thay đổi ở các cấp khác trong chính phủ, cả theo chiều ngang và chiều dọc. Mô hình đánh giá cấp ngành tập trung vào một bộ phận hoặc một ngành trong chính phủ, ví dụ như một bộ. Ví dụ, Mê-hi-cô tập trung vào phát triển xã hội, Jordan tập trung vào lên kế hoạch, và Cộng hòa Kyrgyz tập trung vào y tế. Làm việc cùng với một bộ vững mạnh có thể là tiến trình hoạt động tốt nhất ở các quốc gia không có khả năng tiến hành mô hình đánh giá cấp nhà nước. Mô hình đánh giá hỗn hợp Các quốc gia như Ai-len đã áp dụng mô hình đánh giá hỗn hợp. Trong khi một vài lĩnh vực (ví dụ như các dự án do EU tài trợ) được đánh giá toàn diện, thì các lĩnh vực khác lại ít được quan tâm đến. Chính phủ Ai-len bắt đầu cho ra đời hệ thống đánh giá với mô hình hỗn hợp, nhưng hướng đến một mô hình toàn diện hơn đối với các chương trình chi tiêu của chính phủ (Lee 1999). Mô hình đánh giá hỗn hợp cũng có thể là một lựa chọn chắc chắn cho một số nước đang phát triển. Năng lực đánh giá ở Ai-len ngày càng phát triển. Cũng như nhiều quốc gia khác, vào cuối những năm 1960, Ai-len quan tâm đến các phân tích có độ tin cậy cao và áp dụng chúng trong hoạt động lên kế hoạch và dự trù ngân sách. Những nhà hoạch định chính sách đã xác định nhu cầu đối với các nghiên cứu mục tiêu về các chương trình xã hội và xác định sự phát triển cũng như nhu cầu về các kỹ năng cần thiết để thực hiện các nghiên cứu này đối với những người tham gia. Tuy nhiên, cho đến cuối những năm 1980, phạm vi của những đánh giá này còn hạn chế, và ít có ảnh hưởng đến hoạt động ra quyết định. Sự ảnh hưởng hạn chế của đánh giá đối với hoạt động ra quyết định có nguyên nhân một phần từ sự thiếu hụt nguồn gốc đánh giá chính sách và đánh giá chương trình vững chắc ở Ai-len, và phần nào do thực tế là các hoạt động đánh giá được thực hiện trong thời kỳ khủng hoảng kinh tế, khi đánh giá với vai trò là công cụ quản lý nhà nước hiệu quả lại không được coi trọng như một yếu tố chi phối hoạt động chi tiêu công.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Chi tiêu của EU ở Ai-len là trường hợp ngoại lệ về sức ảnh hưởng yếu kém của đánh giá ở Ai-len. Các quỹ tài trợ của EU được đầu tư vào nhiều chương trình hoạt động được thực hiện trong khuôn khổ Khung Hỗ trợ Cộng Đồng Ai-len-Châu Âu (CSF). Liên minh Châu Âu – đơn vị tài trợ chính của quỹ hỗ trợ - yêu cầu các hoạt động đánh giá phù hợp và có hệ thống. Các đánh giá về chương trình do EU tài trợ đã ảnh hưởng đáng kể đến hai khu vực chính sách quan trọng: (a) kế hoạch đào tạo công nghiệp và tạo việc làm và (b) các chương trình xóa nghèo và các chương trình phát triển cộng đồng khác. Lĩnh vực thị trường lao động có xu hướng tập trung vào các kết quả đánh giá định lượng, trong khi các chương trình phát triển cộng đồng tập trung vào các phương pháp định tính liên quan đến mô tả hơn là đo lường kết quả (Boyle 2005). Từ năm 1989 đến 1993, hai đơn vị đánh giá độc lập ra đời, một đơn vị do Quỹ Xã hội Châu Âu thành lập, và một đơn vị do một đơn vị đánh giá công nghiệp thành lập. Từ năm 1989, đánh giá các Quỹ Hỗ trợ Cơ sở của EU là một yêu cầu chính thức đối với những quốc gia được hỗ trợ, nhằm phát triển hơn nữa hoạt động phát triển. Từ năm 1994 đến 1999, một đơn vị đánh giá trung ương ra đời để thực hiện các đánh giá trong lĩnh vực nông nghiệp và phát triển nông thôn, và các chuyên gia đánh giá độc lập được bổ nhiệm để thực hiện đánh giá chi phí của chương trình hoạt động và kế hoạch CSF. Từ năm 1999 đến 2006, các đánh giá quốc gia về chi tiêu công ở Ai-len được quan tâm trở lại. Năng lực của đơn vị đánh giá trung ương được nâng cao để đảm nhận thêm nhiệm vụ, và các đơn vị đánh giá độc lập bị giải thể. Các chuyên gia đánh giá độc lập được tuyển dụng để tiến hành đánh giá giữa kỳ về các chương trình hoạt động và kế hoạch phát triển quốc gia (Boyle 2005). Áp dụng mô hình đánh giá mới ở Pháp. Đến năm 2001, Pháp là một trong những quốc gia thuộc khối OECD tiến triển chậm nhất về hệ thống đánh giá. Trong thực tế, trong lĩnh vực này, Pháp tụt hậu hơn so với nhiều quốc gia trong thời kỳ kinh tế quá độ và các quốc gia đang phát triển. Nhiều nỗ lực cải cách đã được thực hiện trong những năm 1980 và 1990. Cho đến năm 2001, chính phủ chấp nhận thay đổi hiến pháp, thay thế Luật tài chính năm 1959, xóa bỏ điều khoản về dự trù ngân sách, và thiết lập mô hình chương trình mới. Hiến pháp mới có hiệu lực trong năm năm (2001-2006) có hai mục tiêu cơ bản (a) cải cách mô hình quản lý nhà nước để hướng đến kết quả và tiến trình thực thi và (b) củng cố hoạt động giám sát lập pháp. Khi đó – Thủ tướng Lionel Josin đã nhấn mạnh, “Sự giải trình ngân sách theo chương trình tập hợp các chi phí dành cho chính sách công có thể mang đến cho các Nghị sĩ Quốc hội và dân chúng một bức tranh rõ ràng về các ưu tiên của chính phủ và các chi phí và kết quả của hoạt động” (Cộng hòa Pháp 2001). Gần 100

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

chương trình được xác định, và các nguồn tài chính được dự trù giải ngân cho các hoạt động đó. Mỗi dự trù ngân sách chương trình nộp cho quốc hội đều cần có bản tường trình mục tiêu cụ thể và các chỉ số thực hiện. Các nhà quản lý nhà nước có quyền tự do và thẩm quyền để phân phối các nguồn lực, ngược lại họ phải chịu trách nhiệm nặng nề hơn để đạt được kết quả. Do đó quy trình giải ngân mới cũng dựa trên kết quả đạt được. Các yêu cầu ngân sách bổ sung phải bao gồm các kế hoạch thực hiện hàng năm, miêu tả chi tiết các kết quả đạt được so với các kết quả mong đợi trong từng chương trình. Các báo cáo thực thi hàng năm cũng được đính kèm trong biên bản kiểm duyệt ngân sách. Những bước này nhằm cải thiện khả năng của những nhà lập pháp trong việc đánh giá tình hình thực thi của các chương trình thuộc chính phủ. Các đề xuất cải cách đã thay đổi một số quan hệ chính trị và thiết chế trong nội bộ chính phủ Pháp, tăng thẩm quyền ngân sách của cơ quan lập pháp. “Điều 40 của Hiến pháp trước đây cấm các thành viên [của Quốc hội] thực hiện các sửa đổi có thể làm tăng chi phí và giảm doanh thu. Họ có thể thay đổi sự phân phối nguồn lực giữa các chương trình tùy theo nhiệm vụ nhất định.” Quốc hội có thể tham gia đánh giá doanh thu, phân phối nguồn lực cho từng nhiệm vụ, hạn chế số lượng công việc nhà nước, và hạn chế các tài khoản đặc biệt và các ngân sách đặc biệt. Thêm vào đó, ủy ban lập pháp tài chính có trách nhiệm giám sát và theo dõi ngân sách. Các quan chức nhà nước ngay lập tức phản ứng lại với các điều chỉnh này. Có thêm một bộ máy kiểm soát mới, kế toán mới, thêm kiểm toán, thêm bảng hỏi về các văn phòng và thanh tra kiểm toán, thêm yêu cầu báo cáo, vv… Các nhà lãnh đạo gặp khó khăn trong việc áp dụng các yêu cầu đạt được các kết quả đầu ra (về số lượng) trong khi không quan tâm đến chất lượng của dịch vụ nằm ngoài các mục tiêu đặt ra. Đối với chất lượng dịch vụ, “không có cơ chế cạnh tranh hoặc sức ép mạnh mẽ từ phía khách hàng để bảo đảm cho nó” (Trosa 2007, tr.8). Xã hội rất phức tạp. Có người cần được hỗ trợ tài chính, người khác cần sự tin tưởng và muốn gánh vác trách nhiệm; lại có người vẫn đang sống yên ổn. Câu hỏi đặt ra là làm thế nào để có một công thức bao hàm tất cả các thành phần đó (Trosa 2008). Kết hợp các mô hình đánh giá trước đó với mô hình mới không mang lại sự tự chủ trong quản lý, sáng tạo và thực hiện. Trosa chỉ ra rằng cần phải có một mô hình thay thế. Một bài học khác được rút ra từ kinh nghiệm của Pháp là “củng cố quản lý nội bộ không thể được thực hiện khi thiếu liên kết với quản lý nội bộ của các ngành công” (Trosa 2008, tr.2). Theo Trosa, không cần hủy bỏ hệ thống mới nhưng phải mở rộng thông qua việc thảo luận các mục tiêu cần có để khuyến khích các hoạt động logic chứ không đơn thuần là sử dụng công cụ.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá ở các nước đang phát triển Các nước đang phát triển phải đối mặt với những thách thức tương tự và cả những thách thức khác so với các nước phát triển để hướng tới xây dựng hệ thống đánh giá riêng. Để một hệ thống đánh giá được thành lập ở mỗi quốc gia, cần phải có sự quan tâm và cam kết về tính minh bạch và quản lý hiệu quả của các bên tham gia. Nhu cầu và quyền sở hữu hệ thống đánh giá có thể khó khăn ở các quốc gia đang phát triển. Ý chí chính trị mềm yếu và năng lực thể chế non kém có thể làm chậm tiến trình. Các khó khăn trong việc phối hợp và hợp tác liên ngành có thể cản trở tiến trình lên kế hoạch chiến lược. Trong thực tế, thiếu sự phối hợp và hợp tác trong chính phủ có thể là một tác nhân ở cả các quốc gia phát triển và các quốc gia đang phát triển. Để được thành lập và phát triển, hệ thống đánh giá cần đến tư tưởng chính trị của chính phủ và những người đứng đầu có vị trí cao và sẵn sàng đánh đổi rủi ro về chính trị để vận động cho hoạt động đánh giá. Sự đóng góp của người đứng đầu quốc gia hoặc những người đứng đầu nhà nước có thể là một bước tiến dài giúp phát triển và duy trì hệ thống đánh giá quốc gia. Ngược lại, chúng ta không thấy có trường hợp cá biệt nào của hệ thống M&E được ra đời trong khu vực nhà nước ở một quốc gia phát triển mà không có người lãnh đạo khởi xướng. Nhiều quốc gia đang phát triển vẫn cố gắng kết hợp các thể chế mạnh mẽ và hiệu quả lại với nhau. Một số nước có thể cần đến cải cách công hoặc thay đổi luật pháp và khung quy định. Cộng đồng phát triển quốc tế đang cố gắng cải thiện các rào cản cơ bản để hỗ trợ các nước này. Thách thức ở đây là phải xây dựng thể chế, thực hiện cải cách hành chính và cải cách công chức, và/hoặc sửa đổi các bộ luật và quy định đồng thời xây dựng hệ thống đánh giá. Xây dựng các hệ thống đánh giá có thể phục vụ thông tin và hướng dẫn chính phủ thực hiện các cải cách cần thiết trong những lĩnh vực này. Các quốc gia đang phát triển trước tiên phải có hoặc phải xây dựng nền tảng cho đánh giá. Nhiều quốc gia đang thực hiện theo hướng này. Xây dựng nền tảng có nghĩa là có các hệ thống thống kê và dữ liệu cơ bản cũng như các hệ thống ngân sách chủ chốt. Dữ liệu và thông tin phải là phù hợp về định tính và định lượng. Cũng như các nước phát triển, các nước đang phát triển cần phải biết điều kiện xuất phát điểm của mình – họ đang đứng ở đâu trong một chương trình hoặc chính sách. Năng lực của lực lượng lao động cũng cần thiết để phát triển, hỗ trợ và duy trì các hệ thống này. Các quan chức cần được đào tạo về thu thập dữ liệu hiện đại, các phương pháp giám sát, và phân tích – những thách thức có thể là khó khăn ở các quốc gia đang phát triển (Schacter 2002).

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Để đối phó với những thách thức này, nhiều tổ chức cứu trợ đã nỗ lực để xây dựng năng lực tổ chức. Các phương pháp sử dụng gồm có hỗ trợ kỹ thuật và tài chính để xây dựng hệ thống thống kê, đào tạo về giám sát và đánh giá, phân tích đánh giá và kết quả, và hệ thống ngân sách dựa trên quá trình thực thi. Xu hướng của các Chiến lược Hỗ trợ Quốc gia dựa trên kết quả có thể mang lại các mô hình hoạt động. Hỗ trợ các quốc gia đang phát triển xây dựng các chiến lược giảm nghèo có thể giúp xây dựng năng lực. Là một phần trong các nỗ lực hỗ trợ xây dựng năng lực ở các quốc gia đang phát triển, các tổ chức phát triển cũng vận động để thiết lập mạng lưới phát triển, như mạng lưới máy tính trực tuyến và các cộng đồng cùng tham gia để chia sẻ kinh nghiệm chuyên môn và thông tin. Các ví dụ có thể kể ra đây là Cổng Thông tin Phát triển và Khối hành động Cộng đồng châu Á. Có ý kiến cho rằng mỗi quốc gia có hoàn cảnh đặc thù riêng và kinh nghiệm của quốc gia này không cần thiết phải được học hỏi ở một quốc gia khác. Nhưng khi đã thừa nhận rằng kiến thức phát triển chung – nguồn lực phi vật chất - không có nhiều – thì mọi kiến thức phải được tập hợp và phân tích, chỉnh sửa, phân tách, và tổng hợp lại để đáp ứng nhu cầu tại địa phương. Phương châm mới là “Tầm nhìn toàn cầu; ứng dụng theo địa phương” (Fukuda-Parr, Lopes, và Malik, 2002, tr.18). Chương trình Đào tạo Đánh giá Phát triển Quốc tế Năm 1999, Nhóm công tác Đánh giá Độc lập của Ngân hàng Thế giới tiến hành một khảo sát về công tác đào tạo cho hoạt động đánh giá phát triển. Khảo sát cho thấy có ít hoạt động đào tạo được tổ chức, ngoại trừ một số chương trình riêng lẻ của các tổ chức phát triển. Các phát hiện này dẫn đến sự ra đời của Chương trình Đào tạo Đánh giá Phát triển Quốc tế (IPDET) năm 2001, như một phần trong nỗ lực chính để xây dựng năng lực đánh giá ở các quốc gia đang phát triển và các tổ chức chuyên về các vấn đề phát triển. IPDET đào tạo về thiết kế và tiến hành đánh giá trong bối cảnh phát triển cho các chuyên gia đang, hoặc bắt đầu hoạt động trong lĩnh vực này. Được thực hiện hàng năm ở Ottawa, Ca-na-đa, tại trại hè trường Đại học Carleton cùng với sự hỗ trợ của các tổ chức khác, chương trình đào tạo kéo dài bốn tuần là chương trình hợp tác giữa Nhóm công tác Đánh giá Độc lập của Ngân hàng Thế giới, Khoa Quan hệ công chúng của trường Đại học Carleton, và các tổ chức khác, trong đó có Cơ quan phát triển quốc tế Ca-na-đa (CIDA), Bộ Phát triển Quốc tế Vương quốc Anh (DfID), Văn phòng Phát triển và Hợp tác Thụy Sỹ (SDC), Cơ quan Hợp tác Phát triển Na Uy (NORAD), Trung Tâm Nghiên cứu Phát triển Quốc tế Ca-na-đa (IDRC), Trung tâm Quốc tế hoạt động bom mìn Nhân đạo Geneva (GICHD), Cơ quan Hợp tác Phát triển Quốc tế Thụy Điển (SIDA), Văn

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

phòng Khối Thịnh vượng chung, Bộ Ngoại giao Hà Lan, Ngân hàng Phát triển Châu Phi (AfDB), và Cơ quan Phát triển Quốc tế Đan Mạch (DANIDA). giám sát và đánh giá tình hình thực thi của các chiến lược giảm nghèo và chú trọng vào M&E dựa trên kết quả và sự tham gia của các bên liên quan. Chương trình hạt nhân gồm có 80 giờ giảng, hoàn thiện bộ công cụ, nghiên cứu trường hợp, thảo luận nhóm, và đọc hiểu. Gần một phần ba thời gian giảng dạy là các nội dung hoạt động nhóm, tạo cơ hội cho các học viên có cùng mối quan tâm làm việc cùng nhau về các vấn đề đánh giá phát triển thực tế và đưa ra một thiết kế đánh giá sơ bộ về một chương trình mà một thành viên trong nhóm phải đánh giá khi họ quay về làm việc ở cơ quan. Tiếp theo chương trình hạt nhân kéo dài hai tuần là khóa tập huấn được điều chỉnh phù hợp kéo dài hai tuần với 30 hội thảo do nhiều giảng viên nổi tiếng và có uy tín thực hiện. Ví dụ về các hội thảo gồm có: • thiết kế đánh giá tác động dưới các điều kiện nhất định • thiết kế và xây dựng hệ thống M&E dựa trên kết quả • tìm hiểu về các quốc gia thuộc Ngân hàng Thế giới, các ngành, và các hình thức đánh giá dự án • sử dụng các phương pháp phức hợp trong đánh giá phát triển • sử dụng giám sát và đánh giá có sự tham gia • đánh giá các tình huống hậu xung đột và tiến hành đánh giá hợp tác quốc tế • đánh giá các chương trình HIV/AIDS • đánh giá dân số ẩn và nhóm dân số bên lề xã hội. IPDET là một trong số ít các chương trình đánh giá phát triển được thực hiện hàng năm. Chương trình đã đào tạo hơn 2.000 chuyên gia từ các ban ngành chính phủ, các tổ chức cứu trợ song phương và đa quốc gia, các tổ chức phi chính phủ (NGO), và các cơ quan phát triển khác. Chương trình hạt nhân của IPDET được thực hiện ở khu vực và trên toàn quốc. Các mô hình được điều chỉnh của IPDET đã được cung cấp, ví dụ như ở Ốtx-trây-lia (đào tạo cho cộng đồng các tổ chức phi chính phủ Ốtx-trây-lia), Bốt-xoa-na, Ca-na-đa, Trung Quốc, Ấn Độ, Nam Phi, Tuy-ni-di, Thái Lan, Tri-niđát và Tô-ba-cô, và U-gan-đa. Những chương trình khu vực ngắn hạn hơn này – được biết đến như là “chương trình IPDET thu nhỏ”- có tính tương tác cao, sử dụng nhiều hình thức thuyết trình, thảo luận nhóm, bài tập nhóm, và nghiên cứu trường hợp. Chương trình được thiết kế để tối đa hóa các cơ hội học tập đồng đẳng, tập trung vào thảo luận về các vấn đề đang diễn ra trên thế giới và rút ra các bài học thực tiễn. Trên cơ sở thành công vang dội của IPDET được thể hiện ở các đánh giá hàng năm và đánh giá tác động, Nhóm công tác Đánh giá Độc lập hiện đang

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

liên kết với Bộ Tài Chính Trung Quốc (Phòng Quốc tế), Bộ Tài chính Châu Á-Thái Bình Dương, và Ngân hàng Phát triển Châu Á để thiết chế hóa các tổ chức đầu tiên trong khu vực. Chương trình được gọi là IPDET Thượng Hải (SHIDET), được thực hiện hai lần một năm, một ở cấp quốc gia và một ở cấp khu vực. Sự ra đời của chương trình là minh chứng cho các nỗ lực hỗ trợ phát triển năng lực đánh giá ở các quốc gia và các khu vực đang phát triển. Các hệ thống đánh giá mới Các nỗ lực phát triển hệ thống đánh giá và hỗ trợ phân phối nguồn lực và đạt đến các kết quả thực tế có thể gặp phải sự kháng cự, thái độ thù địch và sự chống đối về chính trị. Tùy theo tính chất của chính quyền ở nhiều quốc gia đang phát triển, xây dựng hệ thống đánh giá có thể dẫn tới việc thay đổi các mối quan hệ chính trị. Thiết lập hệ thống đánh giá hoàn thiện cần đến sự tương hỗ, điều chỉnh, và hợp tác ở cấp chính quyền. Đạt được mục tiêu đó thực sự là một thách thức. Ở nhiều quốc gia đang phát triển, các chính phủ liên kết lỏng lẻo và vẫn chỉ đang chú tâm xây dựng cơ chế hành chính vững mạnh và hệ thống tài chính minh bạch. Do đó, nhiều chính phủ có thể chỉ có những thông tin mơ hồ về số lượng và sự phân bổ các nguồn lực sẵn có. Các chính phủ này có thể cần nhiều thông tin hơn để xem liệu các nguồn lực này có được sử dụng theo các mục tiêu đã dự kiến hay không. Đánh giá tình hình thực thi của chính phủ trong điều kiện như vậy là một bài tập thực hành về độ lệch chuẩn. Nhiều quốc gia phát triển và đang phát triển vẫn hoạt động để liên kết thực thi với cơ chế hoặc chiến lược chi tiêu công. Nếu các liên kết này không được lập ra, thì không thể xác định liệu phân bổ ngân sách hỗ trợ cho chương trình cuối cùng có đang mang lại hiệu quả hay không. Nhiều quốc gia đang phát triển bắt đầu triển khai hoạt động này. Ví dụ, vào những năm 1990, Indonesia bắt đầu lồng ghép đánh giá vào các quy trình phân bổ ngân sách hàng năm. “Đánh giá được xem là một công cụ điều chỉnh chính sách và các chương trình chi tiêu công thông qua các liên kết trực tiếp hơn đối với Kế hoạch Phát triển Quốc gia và quy trình phân bổ ngân sách” (Guerrero 1999, tr.5). Các quốc gia có mức thu nhập trung bình – Bra-xin, Chi-lê, và Thổ Nhĩ Kỳ - đã có tiến bộ trong việc liên kết các chi phí với các sản phẩm đầu ra và kết quả mục tiêu. Chỉnh phủ Bra-xin đã công bố các báo cáo chính phủ riêng rẽ về các kết quả mục tiêu (OECD và PUMA 2002). Nhiều quốc gia đang phát triển vẫn tiến hành hai hệ thống giải ngân, một dành cho chi phí hiện dùng và một là chi phí đầu tư. Cho đến nay, Bộ Tài chính Ai Cập vẫn theo dõi vốn ngân sách. Liên kết các ngân sách này trong một ngành làm cho chính phủ dễ dàng xem xét đến hệ thống đánh giá mở rộng để đảm bảo thực hiện được các mục tiêu và mục đích của quốc gia. Với các khó khăn cụ thể trong việc thiết lập hệ thống đánh giá ở các quốc gia đang phát triển, việc áp dụng mô hình cấp ngành, hoặc một phần mô hình 64

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

cấp ngành (trong đó một số ngành hoặc ban bộ thử nghiệm hệ thống đánh giá) có thể được ưa chuộng hơn mô hình đánh giá cấp nhà nước. Cố gắng thiết lập mô hình đánh giá chính phủ toàn diện là quá tham vọng. Ví dụ, đánh giá thiện ý được Ngân hàng Thế giới thực hiện năm 2002 ở Cộng hòa Kyrgyz đã đưa ra đề xuất là Bộ Y tế (Bộ có năng lực về đánh giá) nên được hỗ trợ như một mô hình tiềm năng để triển khai hệ thống đánh giá cấp nhà nước. Trung Quốc, Ma-lai-xi-a, và U-gan-đa cũng đang theo đuổi mô hình đánh giá cấp ngành. Các nỗ lực này được mô tả sau đây. Đánh giá động cơ phát triển ở Trung Quốc. Đánh giá là một hoạt động tương đối mới ở Trung Quốc. Trong thực tế, trước những năm đầu 1980, không ai biết đến hoạt động này. Sự xa lạ với hoạt động đánh giá thể hiện ở khuynh hướng của các ngành khoa học xã hội vào thời điểm đó, không có một ấn phẩm nào về đánh giá được xuất bản ở Trung Quốc, và không có liên hệ hệ thống giữa người Trung Quốc với những người tiến hành đánh giá ở những nơi khác trên thế giới. Người Trung Quốc đã tiến hành một vài hoạt động liên quan đến đánh giá, như phân tích chính sách, nghiên cứu kinh tế và nghiên cứu quản lý, nghiên cứu khảo sát, kiểm định dự án hoàn thành, và tổng kết kinh nghiệm. Chỉ có một vài viện nghiên cứu chính sách kinh tế mới có năng lực tổ chức và năng lực phân tích hay chuyên môn về khoa học xã hội. Tuy nhiên, trước năm 1992, các cơ quan trung ương chủ chốt như Cục Kiểm toán Nhà nước, Bộ Tài chính, và Ủy ban Kế hoạch Nhà nước, đã bắt đầu phát triển và đưa vào bốn đề xuất xây dựng năng lực thực hiện M&E trong Ủy ban Nhà nước. Trung tâm Quốc gia về Đánh giá Khoa học và Công nghệ và Bộ Đánh giá Chính sách và Hoạt động Hà Lan đã tiến hành đánh giá phối hợp lần đầu tiên về các chương trình khoa học và công nghệ (NCSTE và IOB 2004). Với nguồn vốn và các hỗ trợ phát triển dành cho Trung Quốc trong 20 năm qua, quốc gia này đã phát triển về năng lực và hiểu biết trong phân tích công nghệ và kỹ thuật, phân tích tài chính, phân tích kinh tế, phân tích tác động xã hội, phân tích tác động môi trường, phân tích tính bền vững, và các nghiên cứu thực hiện. Đây là bước tiến nhanh chóng về phát triển năng lực ở Trung Quốc. Các yếu tố chi phối hoạt động đánh giá ở Trung Quốc là sự phát triển quốc gia và tăng trưởng kinh tế to lớn và ổn định ở Trung Quốc. Sản phẩm quốc nội hàng năm (GDP) tăng 7,8 phần trăm một năm trong vòng chín năm tính đến năm 2007. Mối quan tâm về các vấn đề đánh giá bắt nguồn từ mối quan tâm của Trung Quốc về vấn đề phát triển. Một số cơ quan trung ương, trong đó có Công ty Tư vấn Kỹ thuật Quốc tế, công ty tư vấn thuộc chính phủ; Bộ trưởng Bộ Xây dựng; và Ngân hàng Phát triển Nhà nước đã phát triển năng lực đánh giá ở cấp cao nhất trong tổ chức.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Dù hầu hết các đánh giá được thực hiện sau khi dự án hoàn thành, ngày càng có nhiều lưu ý về việc các vấn đề đánh giá cũng nên được thực hiện ở mọi giai đoạn trong chu trình dự án phát triển. Sự ý thức về chức năng của đánh giá nên được áp dụng ở mọi giai đoạn trong chu trình dự án đang tăng lên ở Trung Quốc. Sự lồng ghép đánh giá và việc xây dựng và thực hiện dự án đang được quan tâm. Một vài đánh giá này đã được triển khai, mặc dù đánh giá toàn diện không được duy trì đều đặn. Một ví dụ là đánh giá được thực hiện năm 2006, khi Trung Quốc lồng ghép các nội dung của hệ thống M&E vào kế hoạch năm năm lần thứ nhất. Hệ thống này gồm có Kế hoạch Năm năm lần thứ 11 gồm có 10 giai đoạn (Kusek, Rist và White 2004). Tháng Tư năm 2006 Trung Quốc triển khai chương trình SHIPDET hai lần một năm để đào tạo chuyên gia đánh giá quốc gia và trong khu vực. Các đối tác của chương trình đào tạo này là Bộ Tài Chính, Ngân hàng Thế giới, Ngân hàng Phát triển Á Châu, và Bộ Tài Chính và Phát triển Châu Á-Thái Bình Dương. Trung Quốc cũng đang xây dựng cơ sở cho hoạt động đánh giá, mặc dù chưa có kết cấu tổng thể. Trong bộ máy hành chính và chính quyền Trung Quốc, có nhiều nhiệm vụ quan trọng cần hoàn thành nếu hoạt động đánh giá tiếp tục được phát triển. Bao gồm: • thiết lập tổ chức trung ương vững mạnh để quản lý và điều phối toàn bộ hệ thống đánh giá • thiết lập các đơn vị đánh giá chính thức, các chính sách và văn bản hưởng dẫn ở các cấp ngành có liên quan • xác định thời điểm thích hợp để các chính quyền tỉnh thành và địa phương bắt đầu hoạt động đánh giá • thiết lập chức năng đánh giá trong quy trình kiểm toán của Cục Kiểm toán Nhà nước, từ đó giám sát và kiểm toán các đánh giá thực hiện ở cấp bộ ngành và các chính sách và văn bản chỉ đạo đánh giá từ các cơ quan đánh giá trung ương, các bộ ngành liên quan, các tỉnh thành và các ngân hàng. • phát triển các phương pháp đánh giá nâng cao ở các đơn vị và tổ chức đánh giá • củng cố chức năng giám sát và theo dõi ở các cơ quan đầu tư • phát triển nguồn nhân lực đánh giá được đào tạo bài bản cho các bộ ngành, các tỉnh và các ngành trong lĩnh vực đánh giá (Houqi và Rist 2002). Trung Quốc đã nhận ra tầm quan trọng của nhu cầu về kết quả đánh giá. Đây là một vấn đề then chốt gây trở ngại cho nhiều quốc gia không có truyền thống chính quyền công khai.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Dự trù ngân sách dựa trên kết quả, xây dựng quốc gia, và cạnh tranh toàn cầu ở Ma-lai-xi-a. Trong số các quốc gia đang phát triển, Ma-lai-xi-a là nước tiên phong trong cải cách hành chính công, đặc biệt trong lĩnh vực ngân sách và tài chính. Những cải cách này được bắt đầu từ những năm 1960 như một nỗ lực của chính phủ trong chiến lược phát triển đất nước. Do khu vực nhà nước được xem là công cụ phát triển chính, yêu cầu củng cố hoạt động nhà nước thông qua cải cách hành chính được nhấn mạnh. Năm 1969, Ma-lai-xi-a áp dụng Hệ thống Hoạt động Ngân quỹ (PPBS) và tiếp tục sử dụng nó cho đến những năm 1990. Hệ thống đã thay thế quy trình giải ngân theo hạng mục bằng hệ thống giải ngân dựa trên kết quả. Trong khi các cơ quan ban ngành sử dụng cấu trúc chương trình dựa trên hoạt động, trong thực tế quy trình thực hiện vẫn tương tự như phương pháp giải ngân theo hạng mục và doanh thu. Cải cách ngân sách tập trung vào trách nhiệm giải trình và các quy định tài chính giữa các cơ quan chính phủ được giao nhiệm vụ tiến hành các kế hoạch phát triển kinh tế xã hội ở Ma-lai-xi-a. Chính phủ cũng thực hiện một số cải cách bổ sung, gồm có các nỗ lực cải thiện tuân thủ tài chính, quản lý chất lượng, năng suất, hiệu suất trong quản lý nhà nước, và quản lý các chương trình phát triển quốc gia. Các nỗ lực cải cách ngân sách ở Ma-lai-xi-a đã được liên kết chặt chẽ với các nỗ lực xây dựng đất nước và cạnh tranh quốc tế. Một trong những nhân tố chi phối đến các nỗ lực cải cách này là lồng ghép cải cách vào chương trình Tầm nhìn 2020, chương trình nhằm đưa Ma-lai-xi-a trở thành một quốc gia phát triển vào năm 2020. Năm 1990, chính phủ thay thế PPBS bằng Hệ thống Ngân khố sửa đổi (MBS). Trong hệ thống PPBS, có rất ít sự liên kết giữa các sản phẩm đầu ra và chi phí đầu vào; các chính sách tiếp tục được tài trợ ngay cả khi không có kết quả nào được đánh giá một cách hệ thống. Trong hệ thống MBS, trọng tâm được đặt vào sản phẩm đầu ra và tác động của chương trình và hoạt động trong chính phủ. Cuối những năm 1990, Ma-lai-xi-a phát triển hệ thống quản trị dựa trên kết quả tích hợp (IRBM). Các thành phần trong hệ thống là một hệ thống giải ngân dựa trên kết quả và hệ thống thực hiện quản lý nhân lực dựa trên kết quả. Ma-lai-xi-a cũng phát triển hai hệ thống dựa trên kết quả khác – một hệ thống quản lý thông tin dựa trên kết quả (MIS) và một mô hình M&E dựa trên kết quảđể bổ sung cho hệ thống quản lý (Thomas 2007). Hệ thống IRBM cung cấp mô hình để lên kế hoạch, triển khai, theo dõi, và báo báo về tình hình thực thi hoạt động. Nó cũng có thể liên kết hoạt động của tổ chức với hoạt động của cán bộ. Một số quốc gia (Afghanistan, Bốt-xoa-na, Ấn Độ, Mauritius, và Nam-mi-bi-a) từng bước tham gia vào hệ thống IRBM,

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

trước tiên là hệ thống giải ngân dựa theo kết quả và hệ thống M&E dựa trên kết quả. Tại Ma-lai-xi-a hệ thống giải ngân là nhân tố chủ chốt của hệ thống IRBM (Thomas 2007). Hệ thống MIS và M&E cung cấp các đánh giá thực thi định lượng cho các mô hình kế hoạch chiến lược làm cho hệ thống IRB năng động hơn. MIS và M&E được liên kết chặt chẽ để bảo đảm hệ thống cung cấp thông tin chính xác cho những người thích hợp vào thời điểm hợp lý. Các chỉ số phải dựa trên cả hoạt động và kết quả. Phiên bản điện tử của mô hình quản lý thực thi tích hợp được phát triển và sử dụng tại Ma-lai-xi-a (Thomas 2007). Chính phủ Ma-lai-xi-a rút ra một số bài học kinh nghiệm từ kinh nghiệm của chính nước mình: • Một chương trình xây dựng năng lực cho các cấp chính yếu của chính phủ cần được duy trì. • Giám sát và báo cáo theo thời gian. • Quy trình lên kế hoạch thực hiện cần được nâng cao để toàn diện hơn. • Việc khen thưởng và trao thưởng không đồng nhất ở mọi cấp. • Thiếu sự lồng ghép với các chương trình khác (Rasappan 2007). Nó cũng đưa ra một số đề xuất: • Hoạt động hướng đến toàn bộ các liên kết theo chiều dọc và theo chiều ngang. • Tránh làm tan vỡ hy vọng ở cả cấp chính sách và điều hành. • Xem xét và củng cố các chính sách và cơ chế hỗ trợ. • Hoạt động hướng đến hệ thống quản lý tích hợp dựa trên kết quả tập trung vào tình hình thực thi của toàn chính phủ (Rasappan 2007). Mặc dù Ma-lai-xi-a đã đi đầu trong quản lý hành chính và cải cách ngân sách, những cải cách này không được trôi chảy và không thích hợp trong nhiều năm. Tuy nhiên, MBS là một sáng kiến quan trọng đối với chính phủ, thể hiện tầm nhìn, sáng kiến, tính năng động, và cam kết để bảo đảm giá trị tài chính trong các chương trình và chính sách được thực hiện (Ngân hàng Thế giới 2001). Công tác xóa đói giảm nghèo với vai trò là động cơ thúc đẩy hoạt động đánh giá ở U-gan-đa. Chính phủ U-gan-đa đã tự cam kết với hoạt động cung cấp dịch vụ công hiệu quả trong việc hỗ trợ các ưu tiên giảm nghèo. Sự ý thức về tính bắt buộc đạt được hiệu quả của các dịch vụ cung cấp để quản lý hoạt động phát triển quốc gia là một bằng chứng mạnh mẽ của cam kết của nước này về các kết quả hoạt động. Cam kết này cũng minh chứng cho các ưu tiên và hoạt động quản lý công. Trong thập kỷ vừa qua, U-gan-đa đã trải qua các cải cách kinh tế toàn diện và đạt đến nền kinh tế vĩ mô ổn định. Để phù hợp với Mô hình Phát triển Toàn 68

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

diện, nước này phát triển Chương trình Hành động Xóa nghèo (PEAP) để đưa vào cùng với Chiến lược Giảm nghèo. PEAP và các Mục tiêu Phát triển Thiên niên kỷ phần lớn có chung trọng tâm và mục tiêu đối với hoạt động quản lý chính quyền và phát triển đối tác chịu trách nhiệm về tiến trình phát triển. U-gan-đa đã trở thành quốc gia đầu tiên được chọn và được hưởng lợi từ Chương trình Hỗ trợ các quốc gia nghèo và nặng nợ (HIPC). Năm 2000, nước này đủ tiêu chuẩn để được hưởng quyền lợi của HIPC, với ý thức về tính hiệu quả của chiến lược giảm nghèo, về quy trình liên kết xã hội dân sự, và về các cam kết tiếp theo để duy trì sự ổn định của nền kinh tế vĩ mô. U-gan-đa đã giới thiệu các phương pháp mới để quy trình giải ngân công khai và minh bạch hơn với các bên liên quan trong nước và quốc tế. Chính phủ đang hiện đại hóa hệ thống tài chính và bắt tay vào thực hiện các chương trình ở các cấp địa phương về lên kế hoạch, quản lý nguồn lực, và cung cấp dịch vụ. Bộ Tài Chính, Kế hoạch và Phát triển Kinh tế (MFPED) cũng đang đưa ra quy trình giải ngân dựa trên sản phẩm đầu ra. Thêm vào đó, các tổ chức chính phủ cũng được củng cố và nâng cao trách nhiệm giải trình với dân chúng. Quốc gia này vẫn gặp phải những khó khăn trong việc liên kết và phối hợp hài hòa với PEAP trong hoạt động đánh giá. “Đặc điểm nổi bật nhất của cơ chế M&E PEAP là sự tách bạch giám sát nghèo và giám sát nguồn lực, dù cả hai hoạt động đều do MFPED điều phối. Hai bộ phận M&E này cũng độc lập về người đánh giá, báo cáo các tiêu chí sử dụng để đánh giá. Giám sát nguồn lực tài chính được gắn liền với các yếu tố đầu vào, các hoạt động, và đang ngày càng gắn với sản phẩm đầu ra, trong khi giám sát nghèo lại dựa trên phân tích toàn bộ kết quả giảm nghèo” (Hauge 2001). Các vấn đề khác trong điều phối đánh giá liên quan đến hoạt động cho ra đời một Cơ quan Kế hoạch Quốc gia mới và các nhóm hoạt động theo ngành. Cuối năm 2007, Văn phòng Thủ Tướng (OPM) đưa ra công hàm về công tác M&E kế hoạch phát triển quốc gia. Hai mục tiêu của văn bản này là rà soát lại điểm mạnh và điểm yếu của PEAP và đề xuất phương hướng tiếp theo để giám sát và đánh giá chương trình quốc gia mới (U-gan-đa OPM 2007a). Công hàm báo cáo về các vấn đề khó khăn của hệ thống: • “Các kết quả và sản phẩm đầu ra của cấp ngành, các chỉ số có thể đo lường kỳ gốc và mục tiêu, hệ thống giám sát hiệu quả, và sự sử dụng một cách chiến lược hoạt động đánh giá để có thông tin về tình hình thực thi và nguyên nhân” (U-gan-đa OPM 2007b, tr.4) không rõ ràng. • Các giải trình đưa ra dựa vào chi phí hơn là các đánh giá thực thi hiện có. • Lượng dữ liệu thu thập được không tương ứng với nhu cầu về dữ liệu và khả năng khai thác dữ liệu. • Sự trùng lặp và thiếu phối kết hợp trong hoạt động giám sát đã tạo ra gánh nặng phức tạp và nặng nề trong công tác thanh tra, thu thập dữ liệu, và Hiểu các Vấn đề Chi phối Đánh giá Phát triển

hình thức báo cáo. Kết quả là một khối lượng lớn dữ liệu về tính thực thi quy định nguyên tắc không cung cấp được nền tảng rõ ràng để đánh giá giá trị tài chính và chi phí hiệu quả của dịch vụ trong ngành công. Một nghiên cứu do Văn phòng Thủ tưởng U-gan-đa (OPM) thực hiện (2007a, tr.6) cho biết “nguyên nhân của sự phối hợp lỏng lẻo và trùng lặp trong hoạt động có thể liên quan nhiều hơn đến cơ cấu thúc đẩy dịch vụ dân chính, các hoạt động giám sát được thực hiện một phần do mong muốn có thêm ngày lương như một khoản lương bổ sung quan trọng.” • Thiếu động cơ và các vấn đề trùng lặp trong yêu cầu lên kế hoạch và các nội dung M&E liên quan đã gây khó khăn trong việc tập hợp nhóm công tác quốc gia về M&E để xác định các thách thức đối với công tác M&E. • Mặc dù nhiều đánh giá đã được thực hiện, nhưng chúng vẫn là những đánh giá được tiến hành đặc thù trong phạm vi bộ ngành chứ không sử dụng các tiêu chuẩn chung. • Ở cấp địa phương, người dân vẫn không thấy cần thiết phải tham gia vào quá trình ra quyết định. Công hàm cũng đưa ra một khuyến nghị: • Gắn sự phân bổ ngân sách với các kệt quả cần đạt được . • Cân nhắc các cam kết về dịch vụ công và các hợp đồng thực thi • Cung cấp thông tin về kết quả đúng hạn và hữu dụng cho các nhà hoạch định chính sách. • Bảo đảm dữ liệu cung cấp đáp ứng được nhu cầu thông tin và nhu cầu về dữ liệu. • Thiết lập các cơ chế kiểm soát và bảo đảm chất lượng. • Bảo đảm các phân tích có ích cho các nhà hoạch định chính sách. • Phân tách các chức năng của hoạt động giám sát và hoạt động theo dõi. • Làm rõ vai trò và trách nhiệm của chính phủ đối với công tác lên kế hoạch, giám sát, đánh giá, và các hoạt động bảo đảm chất lượng khác. Về các đánh giá thực hiện sắp tới, U-gan-đa gặp phải các khó khăn trong việc theo dõi đối chiếu các thông tin về tiến độ trong công cuộc giảm nghèo thông qua PEAP và Chiến lược Giảm nghèo Quốc gia. Đánh giá không thể tách ra khỏi các hoạt động và động cơ ra quyết định đang giữ vai trò trụ cột mang tính hệ thống trong tiến trình phát triển quốc gia (Hauge 2001).

Chỉ báo về các Vấn đề Phát triển Mới phát sinh Các vấn đề phát triển mới phát sinh khiến cho hoạt động đánh giá phức tạp hơn. Phần này tóm tắt ngắn gọn về những vấn đề này, nêu bật các chỉ báo cho hoạt động đánh giá. 70

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Patton (2006) bắt đầu bàn về các xu hướng đánh giá gần đây thông việc xác định đánh giá như một dịch vụ công toàn cầu. Ông trình bày sự tăng lên về số lượng các tổ chức nghề nghiệp, các hiệp hội và cộng đồng đánh giá trên khắp thế giới và thêm nhiều các tiêu chuẩn và hướng dẫn đánh giá do các tổ chức này cho ra đời. Ông cũng chỉ ra sự phát triển của hơn 100 mô hình đánh giá như một xu hướng nổi bật. Patton sử dụng phương pháp so sánh để minh họa tính phức tạp mới phát sinh của đánh giá. Trước đây, chuyên gia đánh giá thường đi theo một lối mòn khuôn mẫu khi tiến hành đánh giá. Patton mô tả các giá trị của các khuôn mẫu đó như sau: • Các khuôn mẫu được kiểm định, bảo đảm tính ứng dụng. • Nếu không cần đến một chuyên môn đặc biệt nào, thì vẫn biết cách đạt được hiệu quả. • Các khuôn mẫu đưa ra các sản phẩm đạt chuẩn. Các khuôn mẫu đạt được hiệu quả thực hiện; tuy nhiên không đưa ra được các kết quả phát triển mà một mô hình đánh giá cần để các nhà đánh giá trả lời các vấn đề phức tạp. Phép tham chiếu của Patton so sánh xu hướng mới phát sinh của đánh giá phát triển với việc nuôi dạy một đứa trẻ. Một khuôn mẫu là quy trình đi theo từng bước. Ngược lại, nuôi dạy một đứa trẻ là một quá trình phức tạp hơn nhiều, người chăm sóc phải sử dụng kiến thức để ra quyết định và đối phó với các tình huống mới. Patton trình bày một xu hướng khác trong đánh giá phát triển: hướng nhiều hơn đến mô hình đánh giá hình thành. Các mô hình đánh giá xây dựng được ông bàn đến là những đánh giá trong đó • các kết quả dự kiến và các kết quả mong đợi được nêu cụ thể, nhưng các phương pháp đánh giá thì được đưa ra để thử nghiệm • mô hình hoạt động để đạt được kết quả được giả định, kiểm định và điều chỉnh • triển khai các can thiệp không được chuẩn hóa nhưng được nghiên cứu và cải thiện khi đã phát hiện ra các vấn đề khó khăn khi thực hiện can thiệp (một hình thức của phương pháp tương tác) • thẩm quyền được gắn với khả năng kiểm định nguyên nhân gây ra khó khăn. Một xu hướng gần đây khác là xu hướng liên kết chuỗi đánh giá chứ không phải đánh giá đơn lẻ (Rist và Stame 2006). Rist và Stame lý giải nguyên nhân mà cộng đồng đánh giá tín nhiệm hệ thống kiến thức đánh giá hơn các chuyên gia đánh giá hoặc các hoạt động đánh giá đơn lẻ khi đưa ra các tri thức về đánh giá. Cơ sở của tác phẩm chỉ là sự tích lũy đơn thuần ngày càng nhiều các báo cáo

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

đánh giá thì mang lại ít hoặc thậm chí không có thông tin về tác động so với các báo cáo về kết quả có được từ việc tổng hợp các nghiên cứu giống nhau. Những biến động về phát triển ảnh hưởng đến hoạt động đánh giá. Chiến lược phát triển sẽ tiếp tục được thay đổi để đáp ứng với các vấn đề hiện tại và các vấn đề đang phát sinh, trong đó có toàn cầu hóa, các xung đột ngày càng tăng trên khắp thế giới, khủng bố và rửa tiền, khoảng cách ngày càng nới rộng ra giữa người giàu và người nghèo, số lượng đơn vị tham gia vào hoạt động phát triển ngày càng tăng, các yếu tố chi phối giảm nợ quốc gia, và trọng tâm mới trong nâng cao quản lý nhà nước. Các vấn đề này đặt ra các yêu cầu mới cho các chuyên gia đánh giá. Xu thế toàn cầu về phát triển toàn diện, hợp tác và có sự tham gia cùng với sự chứng minh các kết quả có thể nhận thấy được cũng đặt ra các thách thức mới cho những người hoạt động đánh giá phát triển. Có sự chuyển đổi đáng kể từ phát triển bộ phận đến phát triển toàn diện, từ tiếp cận đơn lẻ đến tiếp cận phối hợp (hợp tác), từ khuyến khích tăng trưởng đến giảm nghèo, và từ trọng tâm vào tình hình thực thi đến trọng tâm về kết quả. Ví dụ, trong phát triển toàn diện, các nhà tài trợ song phương và đa quốc gia “phải đặt mỗi dự án vào bối cảnh rộng hơn và kiểm chứng tính bền vững và các hiệu ứng tiềm ẩn đối với xã hội, chính trị và nền kinh tế nói chung” (Takamasa và Masanori 2003, tr.6). Họ viết: Những nhà lý thuyết phát triển đã đi đến một niềm tin rằng nhân tố quan trọng nhất để phát triển kinh tế không phải là vốn mà là chính sách và thể chế đúng đắn. Sự thay đổi này xuất phát từ tác động to lớn mà các nhà kinh tế như North . . . , Stiglitz . . . và Sen . . . đã nêu trong các lý thuyết kinh tế, trong đó có kinh tế học phát triển. Những phát triển này là nguyên nhân của xu thế hiện nay, tức là trung tâm của các hoạt động hỗ trợ phát triển quốc tế là giảm nghèo theo nghĩa rộng, gồm có mở rộng thước đo giá trị con người và tự do về kinh tế-chính trị cho nhân dân ở những nước đang phát triển.

Các Mục tiêu Phát triển Thiên niên kỷ là minh chứng cụ thể cho tư duy mới về phát triển. Báo cáo Phát triển Thế giới năm 2005 (Ngân hàng Thế giới 2005) tập trung vào những hoạt động trong khả năng của chính phủ để tạo môi trường đầu tư tốt hơn cho xã hội của họ, đánh giá tiến độ thông qua các bộ chỉ báo được thiết kế để thúc đẩy các thành phần của môi trường kinh doanh. Báo cáo đề xuất những cải thiện về thiết chế và hoạt động: thay đổi quy định và có chế độ thuế tốt hơn, dỡ bỏ các rào cản cạnh tranh, nâng cao hoạt động kinh doanh, đấu tranh với tham nhũng, củng cố niềm tin và tính hợp pháp trong dân chúng, và bảo đảm sự tuân thủ nghiêm túc luật và quy định. Nhiều vấn đề mới trong hoạt động hỗ trợ phát triển đã thu hút các đối tác đa phương và song phương, và cả những gánh nặng tiềm ẩn vào các đánh giá khác nhau ở các quốc gia đang phát triển. Sự tham gia của họ làm

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

nổi bật tính hợp lý để thực hiện các đánh giá hợp tác quốc tế . Những đánh giá này có thể được tiến hành ở cấp dự án, cấp quốc gia, cấp ngành hoặc theo khu vực hoạt động. Các đánh giá có thể đưa ra tính hiệu suất về chi phí và mục tiêu của các tổ chức phát triển, cũng như kết hợp các phương pháp đánh giá để so sánh các kết quả đạt được. Phần tiếp theo bàn ngắn gọn về một số yếu tố chi phối chính đối với chương trình phát triển quốc tế và các đề xuất cho hoạt động đánh giá. Các yếu tố chi phối bao gồm: • Các Mục tiêu Phát triển Thiên Niên kỷ • Hiệp ước Monterrey • Tuyên bố Paris về Hiệu quả Cứu trợ • Sáng kiến hỗ trợ các Quốc gia nghèo và nặng nợ (HIPC). • Vai trò của các quỹ hỗ trợ • Ngăn chặn xung đột và tái thiết hậu xung đột • Quản lý nhà nước • Chống rửa tiền và lũng đoạn tài chính • Kiều hối • Vấn đề về giới • Phát triển khu vực tư nhân và môi trường đầu tư • Tính bền vững về môi trường và xã hội • Dịch vụ công toàn cầu. Các tác giả nhấn mạnh rằng danh sách các yếu tố chi phối luôn luôn thay đổi. Vào thời điểm cuốn sách này được xuất bản, một yếu tố chi phối chủ chốt đứng đầu danh sách các yếu tố chi phối đánh giá là hiệu ứng của khủng hoảng tài chính toàn cầu đối với hoạt động phát triển thế giới.

Mục tiêu Phát triển Thiên niên Kỷ Tháng Chín năm 2000, 189 quốc gia thành viên Liên Hiệp Quốc và một số tổ chức quốc tế đã áp dụng Tuyên ngôn Thiên Niên Kỷ của Liên Hiệp Quốc, các nội dung trong MDGs một phần được rút ra từ Tuyên ngôn này. Các Mục tiêu Thiên niên kỷ là một bộ các mục tiêu phát triển mà cộng đồng quốc tế phải đạt được vào năm 2015 nhờ sự tham gia tích cực của các quốc gia phát triển và đang phát triển (bảng 1.2). Những mục tiêu đầy tham vọng này hướng đến giảm nghèo, phát triển nhân lực, và phát triển các quan hệ hợp tác toàn cầu để đạt được hai mục tiêu trên. Các mục tiêu này thể hiện bước chuyển đổi từ các trọng tâm ban đầu trong cộng đồng phát triển, từ sự tăng trưởng kinh tế mà các nhà hoạch định chính sách đã hy vọng có thể giúp con người thoát khỏi đói nghèo. Các Mục tiêu Phát triển Thiên niên kỷ đặc biệt hướng tới một loạt các phương pháp nhằm giảm nghèo và nâng cao điều kiện sống cho các nước nghèo. Hiểu các Vấn đề Chi phối Đánh giá Phát triển

■■ MDGs: Bộ các mục tiêu phát triển mà cộng đồng quốc tế phải đạt được vào năm 2015

Hộp 2.1 Mục tiêu Phát triển Thiên niên kỷ

1. Xóa bỏ tình trạng nghèo cùng cực và thiếu đói. 2. Đạt phổ cập giáo dục tiểu học. 3. Tăng cường bình đẳng nam nữ và nâng cao vị thế cho phụ nữ. 4. Giảm tỷ lệ tử vong trẻ em. 5. Tăng cường sức khỏe bà mẹ. 6. Phòng chống HIV/AIDS, sốt rét và các bệnh khác. 7. Đảm bảo sự bền vững về môi trường. 8. Tăng cường các quan hệ đối tác toàn cầu vì mục tiêu phát triển. Nguồn: http://www.unorg/millenniumgoals.

Tám Mục tiêu Phát triển Thiên niên kỷ này gồm có 18 mục tiêu cụ thể và 48 chỉ tiêu để đánh giá tiến độ. (Các quốc gia đang phát triển kết hợp các chỉ tiêu và xác định thời gian để đạt mục tiêu khác nhau, phụ thuộc vào bối cảnh hiện tại của từng nước.) Mục tiêu Phát triển Thiên niên kỷ là các mục tiêu dựa trên kết quả có thể đo lường, giám sát và đánh giá được. Các mục tiêu này đặt ra các thách thức to lớn cho các hệ thống đánh giá ở mọi quốc gia. Nhiều quốc gia đang phát triển chưa đủ năng lực để thực hiện Giám sát và Đánh giá. Để hỗ trợ, các tổ chức phát triển giúp xây dựng năng lực giám sát và đánh giá, hỗ trợ kỹ thuật, và tài trợ cho các quốc gia này. Mục tiêu Phát triển Thiên niên kỷ đang hướng các quốc gia đang phát triển xây dựng năng lực và hệ thống Giám sát và Đánh giá. Các tổ chức phát triển được vận động để hỗ trợ kỹ thuật và tài chính cho các nỗ lực này. Nhiều quốc gia đang phát triển vẫn đang trong giai đoạn bắt đầu xây dựng hệ thống Giám sát và Đánh giá và vẫn chậm chạp tiến tới xây dựng hệ thống đánh giá dựa trên kết quả để xác định mức độ có thể đạt được các Mục tiêu Phát triển Thiên niên kỷ. Để phấn đấu đạt được các Mục tiêu Phát triển Thiên niên kỷ, cần phải phát triển và sử dụng hiệu quả hệ thống đánh giá. Hệ thống đánh giá, đổi lại, cần phải được lồng ghép vào phạm vi chính sách trong các Mục tiêu Phát triển Thiên niên kỷ để “mọi người hiểu rõ ràng lý do vì sao việc thu thập dữ liệu lại quan trọng và giải thích về cách sử dụng thông tin trong báo cáo về các nỗ lực mà chính phủ và xã hội dân sự đang thực hiện để phấn đấu đạt được các Mục tiêu Phát triển Thiên niên kỷ” (Kusek, Rist, và White 2004, tr.17-18). Hàng năm Ngân hàng Thế giới và Quỹ Tiền tệ Quốc tế (IMF) xuất bản Báo cáo Giám sát Toàn cầu về các Mục tiêu Phát triển Thiên niên kỷ. Báo cáo đưa ra mô hình giải trình về chính sách phát triển toàn cầu.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Báo cáo Giám sát Toàn cầu năm 2004 tập trung vào cách thế giới đang triển khai các chính sách và hoạt động cần thiết để đạt được các Mục tiêu Phát triển Thiên niên kỷ và các kết quả phát triển liên quan. Báo cáo nêu bật các ưu tiên để tăng cường hoạt động giám sát. Bao gồm • tăng cường thống kê phát triển tiềm ẩn, thông qua hoạt động triển khai đúng hạn các kế hoạch hoạt động đã được các cơ quan thống kê quốc tế phê chuẩn • tiến hành nghiên cứu về các chỉ tiêu được lượng hóa của các Mục tiêu Phát triển Thiên niên kỷ, nghiên cứu về các vấn đề như tính hiệu quả của hoạt động hỗ trợ, về sự phát triển các ma trận trực tiếp trong các khu vực chính sách chủ chốt, như quản lý nhà nước và tác động của nhiều chính sách ở những nước đang phát triển. • thắt chặt hợp tác với các đối tác trong hoạt động giám sát và theo dõi, dựa trên ưu thế cạnh tranh, và bảo đảm phương pháp giám sát và theo dõi đồng bộ ở các cơ quan ban ngành (Ngân hàng Thế giới 2004b). Báo cáo Giám sát toàn cầu năm 2005 chỉ ra cơ hội từ các điều chỉnh kinh tế gần đây ở nhiều nước đang phát triển. Báo cáo vạch ra chương trình gồm năm điểm được thiết kế để tăng tốc cho quá trình thực hiện: • Bảo đảm các nỗ lực phát triển thuộc quyền sở hữu quốc gia. Mở rộng phạm vi tác động phát triển thông qua các chiến lược giảm nghèo của nhà nước và do nhà nước thực hiện. • Cải thiện môi trường để tăng trưởng kinh tế khu vực tư nhân. Tăng cường quản lý tài chính và quản lý nhà nước, giảm gánh nặng cho môi trường kinh doanh, và đầu tư vào cơ sở hạ tầng. • Mở rộng các hoạt động cơ bản phục vụ con người. Nhanh chóng tăng cường cung cấp nhân viên và giáo viên chăm sóc y tế, cung cấp tài chính rộng và linh hoạt hơn cho cho các hoạt động cần tập trung chi phí, và tăng cường năng lực tổ chức. • Dỡ bỏ các rào cản thương mại. Sử dụng Doha Round trong đó có cải cách quan trọng về chính sách thương mại nông nghiệp để dỡ bỏ các rào cản thương mại, tăng “nguồn lực thương mại.” • Tăng cường hỗ trợ phát triển trong vòng năm năm tới. Thêm vào đó, cải thiện chất lượng hỗ trợ, thúc đẩy quá trình hợp tác và liên kết hỗ trợ (Ngân hàng Thế giới 2005a). Báo cáo Giám sát Toàn cầu năm 2006 nêu bật sự tăng trưởng kinh tế, hỗ trợ tốt hơn, cải cách thương mại, và quản lý nhà nước, coi đó là những thành tố cơ bản giúp đạt được các Mục tiêu phát triển Thiên niên kỷ (Ngân hàng Thế giới 2006a). Báo cáo năm 2007 nhấn mạnh hai khu vực quan trọng: bình đẳng giới

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

và nâng cao vị thế cho phụ nữ (Mục tiêu Thiên niên kỷ thứ Ba) và các chương trình đặc biệt ở những khu vực dễ tổn thương, ngày càng tập trung vào tình trạng đói nghèo cùng cực (Ngân hàng Thế giới 2007f).

Hiệp ước Monterrey Tháng Ba năm 2002, đại diện nhà nước từ hơn 170 quốc gia, trong đó có hơn 50 lãnh tụ quốc gia, đã họp để bàn và dự thảo Hiệp ước Monterrey về Tài chính Phát triển. Dự thảo thể hiện nỗ lực đầu tư lớn hơn cho những người nghèo nhất thế giới, những người sống với mức dưới 1 đô la Mỹ một ngày. Là nội dung đáng kể nhất trong hoạt động đánh giá phát triển, Hiệp ước Monterrey nhấn mạnh đến trách nhiệm có liên quan chặt chẽ để phấn đấu đạt được Mục tiêu Phát triển Thiên niên kỷ. Nó kêu gọi các nước đang phát triển cải thiện chính sách và quản lý nhà nước, và vận động các nước phát triển đẩy nhanh hoạt động hỗ trợ, đặc biệt là mở rộng khả năng tiếp cận đến thị trường của họ và cung cấp thêm nhiều hỗ trợ tốt hơn. Tài liệu này nhận ra nhu cầu hỗ trợ tài chính lớn hơn để nâng cao mức sống của các nước nghèo nhất, nhưng nó không đặt ra các mục tiêu cụ thể đối với việc tăng viện trợ, giảm gánh nặng nợ nần, hay dỡ bỏ rào cản thương mại (Qureshi 2004). Vào giữa thời kỳ tính từ năm bắt đầu thực hiện Mục tiêu Phát triển Thiên niên kỷ đến năm 2015, năm đạt được mục tiêu, Ủy ban Kinh tế Châu Phi cho ra đời báo cáo đánh giá tiến trình phấn đấu đạt được Mục tiêu Phát triển Thiên niên kỷ ở Châu Phi đến Hiệp ước Monterrey. Báo cáo kết luận rằng các tiến bộ trọng yếu đã được thực hiện ở các khu vực hạt nhân khác của Hiệp ước. Về mối quan tâm đối với các chuyên gia đánh giá, báo cáo nhấn mạnh: Hoạt động giám sát các cam kết giữa Các nước Châu Phi và cả các đối tác phát triển của họ được thừa nhận là cần thiết để nhận biết các mục tiêu của Hiệp ước Monterrey. Các nhà lãnh đạo Châu Phi đã nhận thức được điều này và đưa vào cơ chế giám sát khi triển khai các cam kết của họ cũng như của các đối tác phát triển. Thể chế hóa gần đây nhất của một Hội nghị các Bộ trưởng Châu Phi về Tài chính Phát triển là một bước tiến can đảm của các lãnh đạo Châu Phi trong lĩnh vực này. Cộng đồng quốc tế cũng đưa ra cơ chế giám sát hoạt động tài trợ. Ví dụ, thành lập Diễn đàn Hợp tác Châu Phi và Hội thảo Tiến trình Châu Phi, cả hai đều sẽ giám sát tiến độ thực hiện các cam kết chủ chốt trong lĩnh vực tài chính phát triển. Cuối cùng, tính hiệu quả của các cơ chế giám sát này sẽ được đánh giá theo tiêu chí, làm thế nào để hiện thức hóa những cam kết của các đối tác phát triển. Bởi vì các nước châu Phi và cộng đồng quốc tế chỉ có thể giảm nghèo trong khu vực và đặt nền móng cho một tương lai sáng sủa hơn cho người dân bằng việc thực hiện các cam kết đó. (Katjomulse và đồng nghiệp, tr.vi)

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hiệp ước Paris về Hiệu quả Hỗ trợ Tuyên bố Paris về Hiệu quả hỗ trợ là Hiệp ước quốc tế nhằm tiếp tục nâng cao các nỗ lực quản lý tài trợ cho các quốc gia đang phát triển. Hơn 100 bộ trưởng, người đứng đầu các tổ chức, và các quan chức cấp cao khác đã thông qua Hiệp ước ngày 02 tháng Ba năm 2005. Một đặc điểm có tính chất quan trọng đối với đánh giá trong Hiệp ước là việc xem các hoạt động và các chỉ tiêu giám sát là một phần hoạt động của Hiệp ước. Mười hai chỉ tiêu được đưa ra để theo dõi và hỗ trợ tiến trình nỗ lực đạt được các hỗ trợ hiệu quả. Các mục tiêu cụ thể được đặt ra cho 11 trong 12 chỉ tiêu này cho năm 2010 (OECD 2005b). Các chỉ tiêu và mục tiêu cụ thể đã thông qua được tổ chức theo năm nguyên tắc chính: • Quyền sở hữu. Các quốc gia đối tác thực hiện quản lý hiệu quả các chính sách và chiến lược phát triển, đồng thời điều phối các hoạt động phát triển. • Tính hỗ trợ. Các tổ chức phát triển hỗ trợ cho các quốc gia đối tác về chiến lược, tổ chức và quy trình phát triển quốc gia. • Tính đoàn kết. Hoạt động của các tổ chức phát triển phải hợp tác, minh bạch, phối hợp tập thể hiệu quả hơn. • Quản lý hướng đến kết quả. Chính phủ các nước vận động theo hướng chú trọng vào quản lý nguồn lực và nâng cao hoạt động ra quyết định để đạt được kết quả. • Trách nhiệm song phương. Các tổ chức phát triển và đối tác cùng chịu trách nhiệm về các kết quả phát triển (Tiến trình Kết hợp hướng đến Nâng cao Hỗ trợ Hiệu quả 2005). Năm 2007, OECD cho ra đời báo cáo bản lề tổng kết các kết quả có được từ điều tra kỳ gốc về bối cảnh các nước năm 2005. Báo cáo (OECD 2007b) đánh giá tính hiệu quả của hoạt động đánh giá toàn cầu và của cả các tổ chức phát triển. OECD tiến hành một khảo sát giám sát tiến độ của hoạt động nâng cao hiệu quả hỗ trợ đã được nhấn mạnh trong Hiệp ước Monterry và cụ thể hóa trong Hiệp ước Paris. Khảo sát này rút ra các kết luận sau: • Hiệp ước Paris đã nâng cao nhận thức và thúc đẩy đối thoại cấp quốc gia về nhu cầu nâng cao hoạt động nhận và quản lý tài trợ. • Tốc độ tiến triển trong việc thay đổi thái độ và hành vi của nhà tài trợ trong hoạt động quản lý tài trợ chậm chạp, và chi phí giao dịch cho hoạt động nhận và quản lý tài trợ vẫn duy trì ở mức rất cao. • Xuất hiện nhu cầu củng cố các chiến lược quốc gia, cải thiện trật tự hỗ trợ từ nhà tài trợ theo thứ tự ưu tiên trong nước, tăng độ tin cậy về ngân sách

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

như là công cụ để quản lý và phân bổ nguồn lực, và tăng độ chính xác khi dự kiến ngân sách cho các dòng tài trợ. • Sự thay đổi cách thức nhận và quản lý tài trợ sẽ kéo theo các chi phí mới mà nhà tài trợ và các quốc gia đối tác phải tính đến. • Các quốc gia và các nhà tài trợ phải sử dụng các mô hình đánh giá thực thi và cơ chế báo cáo hướng đến kết quả dựa trên chi phí hiệu quả nhiều hơn. Nhà tài trợ cần đóng góp vào hoạt động xây dựng năng lực và sử dụng triệt để hơn các hệ thống báo cáo quốc gia. • Các hệ thống giám sát có độ tin cậy hơn cần phải phát triển để bảo đảm trách nhiệm song phương (Katjomulse và đồng nghiệp 2007).

Sáng kiến Hỗ trợ các Quốc gia nghèo và nặng nợ Năm 1996 Ngân hàng Thế giới và IMF đề xuất sáng kiến HIPC, phương pháp toàn diện đầu tiên nhằm giảm món nợ quốc tế cho các nước nghèo nhất thế giới và các quốc gia nợ đọng nặng nề nhất. Một trăm linh tám quốc gia đã thông qua sáng kiến này. HIPC được thiết kế để giảm mức nợ đến một mức ổn định cho các quốc gia nghèo đang thực hiện cải cách kinh tế và xã hội – chính trị. HIPC cũng được sử dụng khi các cơ chế miễn nợ truyền thống không đủ để giúp các nước bước vào giai đoạn tái thiết. Sáng kiến gồm có cả miễn nợ song phương và đa phương. Nợ quốc tế ở các nước HIPC được kỳ vọng sẽ giảm đi 50 tỷ đô la Mỹ. Tháng Một năm 2009, các gói hỗ trợ giảm nợ được thông qua cho 34 quốc gia, 28 nước trong số đó là các nước châu Phi; thêm 7 quốc gia khác được xem xét đủ điều kiện để hỗ trợ (IMF 2009). HIPC được kết nối chặt chẽ với các chiến lược giảm nghèo quốc gia. Năm 1999 cộng đồng phát triển quốc tế thống nhất rằng Tài liệu về các Chiến lược Giảm nghèo (PRSPs) quốc gia nên được xem là nền tảng của hoạt động chuyển nhượng và miễn giảm nợ. Những chiến lược này gồm có các mục tiêu phát triển đã được thống nhất trong ba năm, gồm có ma trận chính sách, bộ các chỉ tiêu được lượng hóa kèm theo, và hệ thống M&E để đánh giá tiến độ. Nếu một quốc gia đạt được mục tiêu của mình, họ sẽ được giảm nợ, để có động lực tăng tốc cải cách và tăng quyền sở hữu quốc gia. Như một điều kiện để được miễn nợ, các chính phủ được nhận hỗ trợ phải có khả năng giám sát, đánh giá, và báo cáo về các hoạt động và tiến triển cải cách để giảm nghèo. Điều kiện này đặt ra yêu cầu xây dựng năng lực và hỗ trợ M&E. Một số nước đang phát triển như U-gan-đa đã có tiến bộ trong hoạt động đánh giá và đạt tiêu chuẩn để được miễn nợ theo Sáng kiến HIPC. Thiếu năng lực đánh giá đã là một trở ngại cho các quốc gia muốn tham gia vào sáng kiến

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

HIPC như An-ba-ni, Ma-đa-gát-xca, và Tan-da-ni-a. Những quốc gia này cần được hỗ trợ thêm để phát triển năng lực đánh giá. Khi cho các quốc gia có nợ quốc gia ở mức rất cao vay hoặc nhận trợ cấp để giảm thiểu tác hại của khủng hoảng nợ nần trong tương lai, HIPC đưa ra một vấn đề đánh giá mới: Làm thế nào để đánh giá tính hiệu quả của các trợ cấp, chứ không phải khoản cho vay, và đánh giá theo những tiêu chí nào? Câu hỏi này đặt ra các thách thức mới cho các chuyên gia đánh giá phát triển. Tháng Chín năm 2006 đánh dấu mốc 10 năm kể từ khi có Sáng kiến HIPC. Từ năm 1999, các chi phí giảm nghèo ở các quốc gia HIPC đã tăng lên trong khi khoản tiền nợ thì giảm đi (Ngân hàng Thế giới 2007e). Phát hiện này chứng tỏ rằng HIPC đang trên đà tiến đến kết quả mong đợi.

Vai trò của các Quỹ tài trợ Một nghiên cứu của OECD đã ước tính các khoản tài trợ từ các quỹ nhân đạo cho các quốc gia đang phát triển. Nghiên cứu này cố gắng ước tính khoản tài trợ và tổng tài trợ quốc tế trong năm 2002 của 15 tổ chức trong số các tổ chức nhân đạo lớn nhất. Tổng tài trợ vào khoảng 4 tỷ đô la Mỹ và tổng tài trợ quốc tế khoảng 2 tỷ đô la Mỹ, chiếm khoảng 4 phần trăm trong tổng tài trợ phát triển và khoảng một phần hai vốn đóng góp của Ủy ban Hỗ trợ Phát triển chính thức cho … các NGO (một nhóm các quỹ tài trợ.) (Oxford Analytica 2004a).

Ủy ban Hoa Kỳ về các Quỹ Hỗ trợ tính được 56.000 quỹ tư nhân và quỹ cộng đồng ở Hoa Kỳ, hàng năm phân bổ 27,5 tỷ đô la Mỹ. Quỹ Châu Âu tính được khoảng 25.000 quỹ hỗ trợ ở chính nước EU với mức chi phí hàng năm hơn 50 tỷ đô la Mỹ. Nhiều quỹ hỗ trợ lớn chi phối bối cảnh toàn cầu, gồm có Quỹ Bill & Melinda Gates, Quỹ Ford, Quỹ Susan Thompson Buffet, và Quỹ Soros/Xã hội Mở. Quỹ Soros/mạng lưới Viện Xã hội Mở là một thành viên có sức ảnh hưởng trong bối cảnh phát triển quốc tế, với các chương trình có ở hơn 50 quốc gia. Các chương trình hỗ trợ giáo dục, truyền thông, y tế công cộng, phụ nữ, nhân quyền, văn hóa nghệ thuật, và các cải cách xã hội, kinh tế, luật pháp (Mạng lưới Quỹ SOROS 2007).

Ngăn chặn xung đột và Tái thiết Hậu xung đột Sau thời kỳ Chiến tranh lạnh từ 1989-2001, có 56 xung đột vũ trang lớn ở 44 nơi khác nhau. Năm 2003, ước tính các xung đột ảnh hưởng đến hơn 1 tỷ người. Đa số các xung đột trong giai đoạn này kéo dài bảy năm hoặc lâu hơn. Chi phí toàn

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

cầu dành cho các cuộc nội chiến nói riêng là khổng lồ. “Thông qua việc tạo ra các hoạt động khủng bố nằm ngoài kiểm soát của bất kỳ một chính quyền nào, các xung đột vũ trang đã thúc đẩy hoạt động buôn bán ma túy, khủng bố và lây lan dịch bệnh” (Collier và đồng nghiệp 2003). Đói nghèo vừa là nguyên nhân vừa là hậu quả của xung đột. Mười sáu trong số 20 quốc gia nghèo nhất thế giới đều đã trải qua một cuộc nội chiến lớn. Trung bình, các quốc gia thành lập sau chiến tranh chỉ có 44 phần trăm cơ hội để phục hồi đất nước trong vòng mười năm sau khi lập lại hòa bình. Để tái thiết hậu xung đột cần đến sự phối hợp của rất nhiều các tổ chức phát triển song phương và đa quốc gia. Ví dụ, 60 tổ chức phát triển được khởi động ở Bosnia-Herzegovina, 50 tổ chức ở Bờ Tây và dải Gaza, và 82 tổ chức ở Afghanistan. Tái thiết sau xung đột gây sức ép cho cơ chế điều phối hỗ trợ trong việc bảo đảm đáp ứng được nhu cầu, tránh bỏ sót và trùng lặp trong hoạt động tài trợ. Tái thiết hậu xung đột không đơn thuần chỉ là tái xây dựng cơ sở hạ tầng. Tái thiết thường liên quan đến việc hỗ trợ để xây dựng tổ chức, dân chủ và bầu cử, các tổ chức phi chính phủ và xã hội dân sự, các hỗ trợ cân bằng nợ, các vấn đề về giới, gỡ bom mìn, tái định cư dân tỵ nạn và dân chúng trong nước, giải ngũ và tái hòa nhập những người trong quân đội. Do mối quan ngại về tham nhũng và nhu cầu về đòn bẩy hỗ trợ tài chính để phát triển, tái thiết hậu xung đột đã thường đòi hỏi việc tạo ra các công cụ và cơ chế cho vay mới. Ví dụ, ở miền Tây và dải Gaza, một tổ chức tín dụng phát triển đa quốc gia đã hỗ trợ các chi phí bắt đầu và dải ngân cho chính quyền Palestin mới. Những công cụ và cơ chế này đã quen thuộc ở các khu vực tái thiết ở nhiều nơi trên thế giới. Các chương trình tái thiết hậu xung đột-các chương trình liên ngành tốn đến hàng tỷ đô la-đã mang lại cho hoạt động đánh giá khó khăn ở mức độ cao hơn và quy mô lớn hơn (Kreimer và đồng nghiệp 1998). Chuyên gia đánh giá phải kiểm chứng tác động mà các hỗ trợ phát triển có mức đầu tư ban đầu lớn có được trong quá trình tái thiết và ổn định. Đánh giá quá trình điều phối nhóm lớn và đa dạng các nhà tài trợ đa quốc gia, song phương là một thách thức mới Các chuyên gia đánh giá phải kiểm chứng các chương trình và dự án mới nằm trong các khu vực không quen thuộc với hỗ trợ phát triển, như giải ngũ và tái hòa nhập những người trong quân đội và phân chia đất đai. Họ cũng phải đánh giá các hình thức mới của cơ chế tổ chức phát triển và các công cụ cho vay mới, như các quỹ tín dụng phát triển đa quốc gia. Các tổ chức phát triển song phương và đa phương ngày càng tìm kiếm các nguyên nhân và hậu quả kinh tế của xung đột và tìm kiếm phương pháp để ngăn chặn xung đột. Các cộng đồng và các mối quan hệ xã hội, dân tộc, và tôn

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

giáo; các tổ chức nhà nước và chính trị; nhân quyền; bảo an; cấu trúc kinh tế và hoạt động kinh tế; môi trường và các nguồn tài nguyên thiên nhiên; và các nhân tố khác đang ngày càng được nhấn mạnh. Điều này có nghĩa là chuyên gia đánh giá cũng phải nghiên cứu những gì đã xảy ra và có thể xảy ra trong bối cảnh phát triển để ngăn chặn xung đột ngay từ khi nhem nhóm.

Quản lý nhà nước Thường không được công khai, nên chỉ từ giữa những năm 1990 vấn đề quản lý nhà nước và tham nhũng mới trở thành vấn đề hàng đầu của phát triển. Kể từ đó các can thiệp quốc tế đã được cam kết để giải quyết các vấn đề tham nhũng trên khắp thế giới. Liên Hiệp quốc và OECD đã áp dụng các can thiệp tham nhũng như các hoạt động ngăn chặn và quy tham nhũng vào hành vi tội phạm, hợp tác quốc tế về thu hồi tài sản, và chống hối lộ. Các ngân hàng phát triển đa quốc gia cũng đã lập các chương trình chống tham nhũng. Cho vay trực tiếp được thực hiện nhằm hỗ trợ các quốc gia xây dựng bộ máy tổ chức nhà nước hiệu quả và có trách nhiệm. Các biện pháp quản lý nhà nước và chống tham nhũng được đặt ra trong các chiến lược hỗ trợ quốc gia. Các chương trình quản lý nhà nước nỗ lực để thúc đẩy • chống tham nhũng • quản lý chi phí công • cải cách hoạt động nhà nước • sửa đổi luật • quản lý hành chính, phi tập trung hóa, chính quyền điện tử, và dịch vụ công. Tổ chức Minh bạch Quốc tế (TI), một tổ chức phi chính phủ hoạt động với mục tiêu “đưa tham nhũng vào chương trình nghị sự toàn cầu” đã ra đời và đi vào hoạt động từ đầu những năm 1990. Hiện tổ chức này có mặt ở 88 quốc gia trên thế giới. Tổ chức hoạt động cùng với các đối tác địa phương, trong nước, cấp khu vực và quốc tế (cả các tổ chức nhà nước và tổ chức phi chính phủ) để đấu tranh với tham nhũng (http://www.transparency.org/). Chỉ số Tham nhũng hàng năm của TI xếp hạng 140 quốc gia dựa trên nhận thức của công chức nhà nước về tham nhũng. Chỉ số Hối lộ xếp hạng các quốc gia dựa trên tỷ lệ hành vi hối lộ. Các con số ước tính cho thấy hơn một nghìn tỷ đô la Mỹ đã thất thoát hàng năm do tham nhũng. Đánh giá tham nhũng và chi phí thất thoát do tham nhũng là một thách thức đối với cộng đồng quốc tế, nhưng khả năng khảo sát và thăm dò ý kiến đang được nâng cao của nhiều tổ chức, các dữ liệu về các mặt khác nhau trong quản lý nhà nước, đã cho phép xây dựng

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

một ngân hàng dữ liệu về quản lý nhà nước trên toàn thế giới. Tận dụng sự khác biệt của các nguồn và các thay đổi, cũng như các phương pháp thu thập tài liệu khác nhau, ngân hàng dữ liệu hiện đã có thông tin của 200 quốc gia trên thế giới và lưu trữ những chỉ số mấu chốt trong các lĩnh vực như luật và quy định, chất lượng hành pháp, tính hiệu quả của hoạt động chính phủ, tiếng nói và trách nhiệm, và sự bất ổn về chính trị (Ngân hàng Thế giới 2007c, tr.1).

Các tổ chức phát triển và chuyên gia đánh giá có thể sử dụng những dữ liệu này như một phương pháp hỗ trợ hiệu quả. Các phát hiện cho thấy ở những nước tham nhũng càng cao, thì khả năng lãng phí hỗ trợ càng lớn. Quản lý dựa trên kết quả được sử dụng để xác định và giám sát các thành tố và các tổ chức dễ tổn thương nhất trong cấu trúc quản lý nhà nước. Dữ liệu giúp làm sáng tỏ và nghiên cứu khách quan hơn về các vấn đề vốn không rõ ràng của quản lý nhà nước. Dữ liệu được công bố cũng hỗ trợ các chuyên gia đánh giá trong việc tổng hợp được nhiều hơn các phát hiện đánh giá định lượng để rút ra bài học kinh nghiệm. Cùng lúc đó, đánh giá môi trường đầu tư và môi trường kinh doanh cũng kéo theo các khái niệm khó khăn và hóc búa (xem phần dưới đây về phát triển khu vực tư nhân và môi trường đầu tư). Lĩnh vực non trẻ này đang phát triển nhanh chóng. Nó sẽ yêu cầu chuyên gia đánh giá phải có những phát triển mới và dữ liệu mới đúng thời điểm.

Chống rửa tiền và Lũng đoạn Tài chính Rửa tiền và lũng đoạn tài chính là một phần trong bối cảnh đấu tranh chống tham nhũng mở rộng. ■■ Rửa tiền: Hành vi giao dịch tài chính để che giấu bản chất, nguồn gốc, và điểm đến của tiền

Rửa tiền là hoạt động giao dịch tài chính để che giấu nhận dạng, nguồn gốc và điểm đến của khoản tiền. Trước đây, thuật ngữ “rửa tiền” chỉ được dùng cho các giao dịch tài chính liên quan đến hoạt động phạm tội khác. Hiện nay định nghĩa của nó thường được các nhà lập pháp như Ủy ban Chứng khoán (SEC) mở rộng ra, bao quát tất cả các hình thức giao dịch tài chính không minh bạch về luật pháp. Do đó, tính chất phạm pháp của hoạt động rửa tiền thường do các cá nhân, các công ty lớn nhỏ, các quan chức tham nhũng, và thành viên các tổ chức tội phạm như trùm buôn bán ma túy hoặc Mafia thực hiện (Investor Dictionary.com 2006).

Theo IMF, với khoảng 1 nghìn tỷ đô (2-5 phần trăm tổng sản phẩm ròng thế giới) được rửa hàng năm, rửa tiền là một vấn nạn quốc tế nghiêm trọng và ngày càng gia tăng, ảnh hưởng đến cả các quốc gia phát triển và đang phát triển. (Camdessus 1998, tr.1). Toàn cầu hóa và việc mở rộng hoặc xóa bỏ các đường biên giới tạo điều kiện trao đổi các hành vi phạm tội và các lưu thông tài chính bất hợp pháp kèm theo. Sáng kiến chống rửa tiền toàn cầu đã đặt ra tầm quan trọng mới đối với nạn khủng bố đang lan tràn. Rửa tiền có thể ảnh hưởng nặng nề đến các nước đang phát triển.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Các thị trường tài chính mới nổi và các quốc gia đang phát triển …. là các mục tiêu quan trọng và là nạn nhân dễ dàng của những đối tượng rửa tiền, những kẻ không ngừng tìm kiếm các địa điểm và cách thức mới để tránh con mắt theo dõi của pháp luật. Hậu quả của hoạt động rửa tiền có thể hủy hoại các nền kinh tế đang phát triển. Khi không bị kiểm soát, các đối tượng rửa tiền có thể lôi kéo các hệ thống tài chính để vận hành và mở rộng các hành vi trái phép… và có thể nhanh chóng bào mòn tính ổn định và sự phát triển của cơ chế tổ chức đã thiết lập. (IFAC 2004, tr.5).

Lực lượng đặc nhiệm Tài chính Chống rửa tiền của OECD (FATF) ra đời năm 1989 do các nước thuộc nhóm G-7 thành lập. Hiện nay nó có 31 quốc gia và lãnh thổ thành viên và 2 tổ chức khu vực. Cơ quan hoạch định chính sách liên chính phủ này hướng tới phát triển và thúc đẩy các chính sách quốc gia và quốc tế để đấu tranh chống rửa tiền và lũng đoạn tài chính. Giám sát và theo dõi thực thi là một phần trong nhiệm vụ của FATF. Nó được tiến hành đa diện, kiểm chứng đồng đẳng, và đánh giá chéo. Quá trình M&E đòi hỏi: Mỗi nước thành viên phải được FATF lần lượt kiểm tra, theo các cuộc khảo sát thực địa của nhóm ba hoặc bốn chuyên gia trong các lĩnh vực luật pháp, tài chính và thực thi luật pháp được chọn từ các nước thành viên khác. Mục đích của chuyến viếng thăm là đưa ra báo cáo đánh giá về mức độ các quốc gia được đánh giá đã vận động để thực thi hiệu quả hệ thống chống rửa tiền và để nêu ra các lĩnh vực tiếp tục cần phải đạt được những tiến triển hơn nữa. (FATF 2007, tr.1)

FATF đã lập ra một loạt các biện pháp đối phó với các trường hợp không tuân thủ yêu cầu trên.

Kiều hối chuyển về nước của người lao động Khoản kiều hối hàng năm do những lao động ở nước ngoài chuyển về nước họ đã vượt quá hỗ trợ phát triển chính thức hàng năm. Khoản kiều hối hàng năm có giá trị từ khoảng 60 tỷ đô năm 1998 đã tăng lên 80 tỷ đô năm 2002 và khoảng 100 tỷ đô năm 2003. Những con số này được so sánh với khoảng 50-60 tỷ đô một năm của hỗ trợ phát triển chính thức và 143 tỷ đô các dòng vốn tư nhân năm 2002. Lượng kiều hối chuyển về nước có xu hướng ổn định hơn các dòng vốn tư nhân (Ngân hàng Thế giới 2003; Oxford Analytica 2004b). Lượng kiều hối trên toàn thế giới có ảnh hưởng mạnh mẽ đến công cuộc giảm nghèo. “Bình quân, đóng góp của lao động quốc tế cứ tăng lên 10 phần trăm thì sẽ giảm được 1,9 phần trăm số lượng người sống trong đói nghèo (1 đô/người/ngày)” (Adam và Page 2003, tr.1). Kiều hối giúp tài trợ cho chi phí nhà ở, chi phí nông nghiệp, công nghiệp và thành lập các doanh nghiệp vừa và nhỏ ở các nước nhận tài trợ.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Các nước phát triển và đang phát triển và các tổ chức nhận thức được những xu hướng này và đang tìm cách tư bản hóa các dòng vốn này cho các mục đích đầu tư. Một Kế hoạch Thượng đỉnh của G-8 gần đầy đã kêu gọi các thành viên và chính phủ các nước đang phát triển điều phối dòng vốn kiều hối từ cộng đồng quốc tế để hỗ trợ các gia đình và các doanh nghiệp nhỏ, thông qua việc khuyến khích giảm chi phí chuyển tiền, và tạo các quỹ phát triển địa phương để đầu tư hiệu quả; nâng cao khả năng tiếp cận các dịch vụ tài chính của những người nhận tiền gửi; và tăng cường hợp tác. (G-8 2004a, tr.7)

Việc chuyển kiều hối thông qua hệ thống ngân hàng có chiều hướng tăng lên, do các rào cản đối với hoạt động chuyển tiền không chính thức tăng lên vì giám sát được điều chỉnh cẩn trọng hơn để ngăn chặn việc lưu chuyển tài chính cho các tổ chức khủng bố thông qua các cơ chế không chính thức (xem dưới đây) và giảm chi phí ngân hàng để tăng cạnh tranh trong ngành đối với thị trường chuyển tiền quốc tế. Các tác động của kiều hối đối với các quốc gia đang phát triển vẫn chưa được tổng hợp và kiểm định đầy đủ. Theo dõi kiều hối trên toàn thế giới và chuyển chúng thành các hình thức đầu tư và tài trợ mới sẽ mang đến các thách thức mới cho chuyên gia đánh giá. Khi các nhà hoạt động phát triển vẫn chưa tìm ra cách thức để kiểm soát và phân bổ kiều hối cho công tác giảm nghèo, chuyên gia đánh giá sẽ rất quan tâm theo dõi hoạt động trong lĩnh vực này.

Giới: Từ Vấn đề Phụ nữ trong Phát triển đến Giới và Phát triển đến Lồng ghép Giới ■■ Phân tích

giới:

Điều tra khả năng tiếp cận và kiểm soát các nguồn lực của nam giới và phụ nữ

Giới đề cập đến sự phân công xã hội về vai trò cho nam giới và nữ giới. Phân tích giới kiểm chứng khả năng tiếp cận và kiểm soát các nguồn lực giữa nam giới và phụ nữ. Nó cũng thể hiện phương pháp hệ thống xác định các nhu cầu, các ưu tiên phát triển khác nhau giữa nam và nữ giới và các tác động phát triển khác nhau ảnh hưởng đến nam và nữ giới. Phân tích giới tính hướng đến cả sự tương tác giữa các yếu tố giai cấp, chủng tộc, dân tộc và các nhân tố khác với yếu tố giới dẫn đến hậu quả phân biệt. Phân tích giới cũng hướng đến phụ nữ do khoảng cách giữa nam giới và phụ nữ về quyền lợi giáo dục, việc làm, dịch vụ, vv… Phụ nữ chiếm hơn một nửa dân số thế giới và đóng vai trò quan trọng trong phát triển kinh tế. Nhưng tất cả các tiềm năng đóng góp cho kinh tế xã hội của họ vẫn chưa được nhận ra. Trong thực tế, phụ nữ và trẻ em vẫn là những người chiếm đa số dân số nghèo trên thế giới.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phụ nữ sản xuất ra một nửa lượng lương thực ở một vài khu vực trong các nước đang phát triển, chịu phần lớn trách nhiệm đảm bảo lương thực cho gia đình, và đóng góp một phần tư lực lượng lao động trong ngành công nghiệp và một phần ba trong lĩnh vực dịch vụ… Tuy nhiên do có nhiều hạn chế hơn trong khả năng tiếp cận giáo dục và các cơ hội khác, năng suất lao động của nữ giới so với nam giới vẫn duy trì ở mức thấp. Nâng cao năng suất lao động của phụ nữ có thể góp phần vào tăng trưởng kinh tế, hiệu suất giảm nghèo – các mục tiêu phát triển quan trọng ở mọi nơi trên thế giới. (Ngân hàng Thế giới 1994, tr.9)

Các xu hướng về vai trò của phụ nữ trong phát triển gần đây đã bước từ cách tiếp cận “phụ nữ trong phát triển” (WID) truyền thống đến “giới và phát triển” (GAD), và phát triển đến cách tiếp cận “lồng ghép giới” toàn diện hơn. Chiến lược WID tập trung vào phụ nữ như một đối tượng đặc biệt hoặc một nhóm đối tượng hưởng thụ trong các dự án, chương trình và chính sách. “WID nhận ra phụ nữ thường ít được công nhận trong việc tham gia tích cực vào tiến trình phát triển, dù họ đóng góp một phần quan trọng cho tăng trưởng kinh tế… như một nguồn lực chưa được khai thác; phụ nữ cần phải được đưa vào tiến trình phát triển” (Moser 1995, tr.107). GAD chú trọng đến các yếu tố xã hội, kinh tế, chính trị và văn hóa quyết định mức độ tham gia, được hưởng lợi, và kiểm soát các nguồn lực và hoạt động dự án của nam giới và phụ nữ. Nó nêu bật các nhu cầu và ưu tiên khác nhau thường có của nam giới và phụ nữ. Cách tiếp cận này chuyển trọng tâm từ việc coi phụ nữ là một nhóm đến các mối quan hệ xã hội quyết định vai trò giữa nam giới và nữ giới. Bình đẳng giới và nâng cao vị thế của nữ giới là một trong các Mục tiêu Phát triển Thiên niên kỷ, trong đó có các mục tiêu và các chỉ tiêu để đánh giá và giám sát. Ủy ban Hỗ trợ Phát triển của OECD (DAC) cũng đã đưa ra bộ câu hỏi chỉ dẫn để hỗ trợ các nhà quản lý đánh giá các hoạt động phát triển. Các câu hỏi này bao gồm: • Dự án có thành công trong việc thúc đẩy cơ hội và quyền lợi bình đẳng cho phụ nữ và nam giới không? • Phụ nữ và nam giới gặp khó khăn hay thuận lợi từ dự án? • Dự án có đạt hiệu quả trong việc lồng ghép giới vào các hoạt động phát triển không? (Woroniuk và Schalkwyk 1998) Lên ngân sách cho các hoạt động về giới là một cách để thực hiện và đánh giá mức độ ngân sách quốc gia mang lại lợi ích cho phụ nữ và nam giới. Một cách khác để đo lường và đánh giá hỗ trợ là kiểm tra mức độ các hỗ trợ phát triển mang lại lợi ích cho các ngành “có sự tham gia của phụ nữ, hỗ trợ phụ nữ, trao quyền cho phụ nữ, và mang lại kết quả vì quyền lợi phụ nữ” (Jalan 2000,

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

tr.75). Với trọng tâm hiện tại hướng vào cách tiếp cận và hợp tác toàn diện, đánh giá về các chính sách lồng ghép giới cũng phải được tiến hành và lồng ghép cũng như liên kết trong và giữa các đối tác phát triển là các quốc gia, các tổ chức và cơ quan. Trong mỗi đánh giá, điều quan trọng là phải xem xét đến các mức độ ảnh hưởng khác nhau của dự án, chương trình, hoặc chính sách đến phụ nữ và nam giới.

Phát triển khu vực tư và Môi trường Đầu tư Có rất nhiều vấn đề nằm trong các hạng mục phát triển của khu vực tư và môi trường đầu tư. Những vấn đề này là vai trò của khu vực tư và các đầu tư nước ngoài trực tiếp trong hoạt động giảm nghèo; tư nhân hóa; sự tham gia của khối tư nhân vào các hoạt động cơ sở hạ tầng và quan hệ khu vực nhà nước-khu vực tư nhân; và sự ra đời và hỗ trợ các doanh nghiệp vi mô, nhỏ và vừa thông qua tài chính trung gian. Đầu tư khư vực tư nhân Đầu tư khu vực tư nhân đang ngày được coi trọng trong công tác giảm nghèo ở những nước đang phát triển. Năm 1990, đầu tư khu vực tư nhân ở các quốc gia đang phát triển là khoảng 30 tỷ đô một năm, trong khi hỗ trợ phát triển lên đến khoảng 60 tỷ đô. Năm 1997, đầu tư khu vực tư nhân ở các nước đang phát triển lên đến 300 tỷ đô, còn hỗ trợ phát triển rơi xuống còn 50 tỷ đô. Sự phát triển khu vực tư nhân do đó đã tăng từ mức tỷ lệ bằng một nửa hỗ trợ phát triển đến gấp sáu lần trong khoảng thời gian chưa đến 10 năm.

■■ Hỗ trợ phát

triển chính thức:

Các dòng tài chính chính thức phân bổ ở mức phù hợp để thúc đẩy tăng trưởng kinh tế và sự thịnh vượng của các quốc gia đang phát triển

Hỗ trợ phát triển chính thức Một tiêu chuẩn đánh giá của môi trường đầu tư là hỗ trợ phát triển chính thức (ODA), được Từ điển Chú giải Thuật ngữ Thống kê của OECD (2002a) định nghĩa là: Các dòng tài chính chính thức được phân bổ với mục tiêu chính là thúc đẩy tăng trưởng kinh tế và tài sản xã hội ở các nước đang phát triển, và các dòng tài chính chính thức được chuyển nhượng tương đương với 25 phần trăm trợ cấp (sử dụng 10 phần trăm mức khấu hao). Theo thỏa thuận, dòng vốn ODA gồm có sự đóng góp của các cơ quan tài trợ phát triển ở mọi cấp cho các quốc gia đang phát triển (“ODA song phương”) và cho các tổ chức đa quốc gia. Chi phí ODA là khoản tiêu hao của các nhà tài trợ song phương và các tổ chức đa quốc gia. [Từ trang Web chính thức của Hỗ trợ Phát triển chính thức.]

Tổng ODA từ các thành viên DAC tăng 7 phần trăm năm 2001 và 5 phần trăm năm 2003. Năm 2005 hỗ trợ phát triển chính thức từ các thành viên DAC tăng 32 phần trăm, chủ yếu do mức tăng viện trợ tiếp tục cho nạn sóng thần

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

năm 2004 và miễn nợ cho Iraq và Negeria (OECD 2005a). Năm 2006, ODA giảm 4,6 phần trăm, do miễn nợ cao đột ngột và các hoạt động cứu trợ nhân đạo năm 2004 (OECD 2006). ODA đã tăng đều đặn trong thập kỷ vừa qua, và có thể sẽ tiếp tục tăng lên, do nhà tài trợ đã cam kết mở rộng quy mô hỗ trợ để đạt được các Mục tiêu Phát triển Thiên niên kỷ. Để sử dụng hiệu quả các hỗ trợ quy mô này ở cấp quốc gia, đơn vị tài trợ và quốc gia nhận tài trợ cần phải xác định được các thách thức trong hoạt động thực thi, đặc biệt là • bổ sung các ưu tiên và chương trình phát triển ở các quốc gia, khu vực và toàn cầu • nâng cao năng lực của các quốc gia nhận tài trợ trong việc sử dụng nguồn ODA có tiềm năng mở rộng, phân bổ nhanh, như hỗ trợ ngân sách (Ngân hàng Thế giới 2007a). Đầu tư trực tiếp nước ngoài Một tiêu chuẩn khác của môi trường đầu tư là đầu tư trực tiếp nước ngoài (FDI), nguồn đầu tư đóng vai trò đặc biệt và đang ngày càng tăng đối với thương mại toàn cầu. FDI là đầu tư quốc tế của một nhà đầu tư nước ngoài với mức tối thiểu 10% vốn cầm cố của doanh nghiệp nhằm tạo ra nguồn lợi nhuận tài chính lâu dài ở doanh nghiệp, và có được một phần ảnh hưởng đối với hoạt động của doanh nghiệp đó. FDI thường được xem là yếu tố chi phối dẫn đầu đối với tăng trưởng kinh tế và được cho là có thể mang lại lợi ích cho nền kinh tế quốc dân (InvestorDictionary.com 2006). Mức tăng FDI cao nhất từ những năm 1970 cho đến năm 1999 là ở các quốc gia đang phát triển, dòng vốn hàng năm tăng trung bình từ dưới 10 tỷ đô những năm 1970 và dưới 20 tỷ vào những năm 1980 đến 179 tỷ đô vào năm 1998 và 208 tỷ năm 1999. Các dòng vốn này chiếm một tỷ lệ lớn FDI trên toàn thế giới (Graham và Spaulding 2005). Hội nghị về Thương mại và Phát triển của Liên hiệp quốc (UNCTAD) (2008) báo cáo về mức tăng trưởng FDI năm 2007. Báo cáo cho biết mức tăng FDI ở cả ba nhóm kinh tế: các nước phát triển, các nước đang phát triển, và Đông Nam Âu và Cộng đồng các Quốc gia Độc lập (CIS). Kết quả này cho thấy thiên hướng tăng trưởng cao của hợp tác đa quốc gia và thực thi kinh tế vững mạnh ở nhiều nơi trên thế giới, cũng như lợi nhuận hợp tác tăng lên và tiền mặt lưu thông dồi dào thúc đẩy giá trị mua bán và sáp nhập liên quốc gia. Các giao dịch này tạo ra một tỷ lệ lớn dòng vốn FDI năm 2007, dù cho giá trị từ mua bán và sáp nhập giảm một nửa cũng trong năm này.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

■■ Đầu tư trực

tiếp nước ngoài:

Tài trợ quốc tế chiếm tối thiểu 10 phần trăm vốn của một doanh nghiệp, do nhà đầu tư nước ngoài đầu tư để nhằm thu lợi nhuận tài chính dài hạn và chiếm một phần ảnh hưởng trong hoạt động của doanh nghiệp

Các dòng vốn FDI cho các nước phát triển tăng liên tiếp bốn lần trong năm 2007, lên đến hàng nghìn tỷ đô. Các dòng vốn FDI đổ vào các nước đang phát triển và vào các nền kinh tế quá độ ở Đông Nam Âu và các nước CIS đạt mức tăng kỷ lục tương ứng là 16 phần trăm và 41 phần trăm. Tư nhân hóa Tư nhân hóa các doanh nghiệp do nhà nước sở hữu là một xu hướng đặc biệt quan trọng trong những năm 1990, do nhiều nước cố gắng chuyển đổi từ nền kinh tế xã hội chủ nghĩa sang nền kinh tế thị trường. Nhà nước vẫn là tác nhân quan trọng ở nhiều quốc gia mà nhà nước vẫn tiếp tục sở hữu và điều hành nhiều nguồn lực kinh tế. “Hơn 100 quốc gia ở mỗi châu lục đã tư nhân hóa một phần hoặc hầu hết các công ty sở hữu nhà nước trong mọi ngành thuộc cơ sở hạ tầng, sản xuất, và dịch vụ … Ước tính 75.000 doanh nghiệp vừa và nhỏ trên khắp thế giới đã bị xóa sổ, cùng với hàng trăm trong số hàng nghìn các đơn vị kinh doanh nhỏ…” Tổng chi phí ước tính khoảng 735 tỷ đô (Nellis 1999). Tư nhân hóa vẫn còn đang gây tranh cãi; vấn đề tranh cãi ở đây là, liệu có thể, khi nào và làm thế nào để tiếp tục tư nhân hóa. Tư nhân hóa không phải là liều thuốc chữa bách bệnh cho các nền kinh tế, nhưng nó đã chứng tỏ là một công cụ hữu ích để thúc đẩy tăng trưởng và cải thiện dịch dụ cho nền kinh tế và xã hội. Chỉ số đánh giá Cộng đồng đánh giá phát triển đã hưởng ứng các sáng kiến mới này như thế nào? Công ty Tài chính Quốc tế (IFC) đánh giá tác động can thiệp ở cấp dự án, sử dụng các hình chụp nhanh của Môi trường Kinh doanh (BE) để “đưa ra các chỉ số đo lường về một loạt các vấn đề môi trường kinh doanh” (IFC 2007). Công cụ mới này tập hợp các dữ liệu, chỉ số và các thông tin dự án phân tán về môi trường kinh doanh ở một quốc gia và tạo điều kiện tiếp cận đến bộ dữ liệu tương ứng. Những nhà hoạt động trong lĩnh vực phát triển và các nhà hoạch định chính sách có thể sử dụng các hình chụp nhanh BE để có được bức tranh toàn diện về môi trường kinh doanh ở từng nước cụ thể. Các hình chụp nhanh BE cũng có thể được sử dụng như một công cụ giám sát hoặc công cụ lên kế hoạch. Làm thế nào để đánh giá những hình thức hoạt động này? Theo mức chung, một người có thể nghiên cứu bốn chỉ tiêu: • • • •

Hoạt động kinh doanh Sự ổn định kinh tế Tác động đến môi trường Phát triển khu vực tư nhân.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Báo cáo Phát triển Thế giới năm 2005 nêu ra các khảo sát về môi trường đầu tư và môi trường kinh doanh, và tình hình thực thi của doanh nghiệp, để xác định làm thế nào chính phủ có thể cải thiện môi trường đầu tư cho mọi loại hình doanh nghiệp. Khảo sát được thực hiện với 26.000 doanh nghiệp ở 53 nước đang phát triển và 3.000 doanh nghiệp vi mô và phi chính thức ở 11 quốc gia. Các khảo sát này cho phép so sánh các điều kiện hiện có với các điều kiện tiêu chuẩn để giám sát sự biến chuyển theo thời gian. Bộ công cụ khảo sát là bộ các câu hỏi và một số phương pháp được sử dụng để tìm hiểu sâu hơn các khía cạnh cụ thể trong môi trường đầu tư và mối quan hệ của nó với năng suất ở cấp doanh nghiệp. Các câu hỏi có thể được phân loại theo ba nhóm: • các câu hỏi đưa ra các thông tin để thành lập doanh nghiệp • các câu hỏi được sử dụng để định hình môi trường đầu tư mà các hoạt động kinh doanh diễn ra • các câu hỏi đưa ra các chỉ số về tình hình thực thi của doanh nghiệp Các chỉ số được sử dụng là • Sự không chắc chắn về chính sách (hạn chế chủ yếu: gây ra những suy diễn không lường trước được của các quy định) • Tham nhũng (hạn chế chủ yếu: nạn hối lộ) • Luật (hạn chế chủ yếu: thiếu niềm tin ở các tòa án phân xử về quyền sở hữu) • Tội phạm (hạn chế chủ yếu: thất thoát do các hành vi phạm tội). Các nguồn chỉ số môi trường đầu tư khác là dịch vụ hạn chế rủi ro trong kinh doanh, bảng xếp hạng tín dụng quốc gia (theo tạp chí Euromoney Instititional Investor), các chỉ số rủi ro quốc gia (Trung tâm Nghiên cứu Thị trường Thế giới), dịch vụ rủi ro quốc gia (Đơn vị Tình báo Kinh tế), và Báo cáo Cạnh tranh Toàn cầu (Diễn đàn Kinh tế Thế giới). Các ngân hàng phát triển đa quốc gia, các tổ chức tài chính quốc tế, các tổ chức phát triển, và khu vực tư nhân đều tham gia vào các khảo sát này để cung cấp các thông tin và tư vấn có giá trị. Các đánh giá đang thực hiện và các đánh giá định kỳ về các môi trường đầu tư cũng được thực hiện ở mọi nước trên thế giới. Một ví dụ đáng chú ý là bộ dữ liệu Hoạt động Kinh doanh, đưa ra các đánh giá khách quan về quy định kinh doanh và tính hiệu quả của chúng. Các chỉ số so sánh 145 nền kinh tế cho thấy chi phí điều hành trong kinh doanh. Những chỉ số này có thể sử dụng để phân tích các quy định cụ thể nhằm tăng cường hoặc hạn chế đầu tư, năng suất, và tăng trưởng (Ngân hàng Thế giới 2007d). Tuy nhiên, một báo cáo của Nhóm Đánh giá Độc lập của Ngân hàng Thế giới đã chỉ ra các cải thiện cần thiết trong các chỉ số Hoạt động Kinh doanh (IEG 2008).

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Môi trường và xã hội bền vững ■■ Trách nhiệm

xã hội doanh nghiệp:

Sự chấp thuận của các công ty tư nhân về sự quan tâm cần thiết đến các tác động kinh tế, xã hội và môi trường và các hậu quả từ hoạt động kinh doanh của họ

■■ Bộ Nguyên

tắc Equator: Tiếp cận công nghiệp đối với việc xác định, đánh giá, và kiểm soát các rủi ro về môi trường và xã hội trong việc huy động vốn dự án trong khu vực tư nhân

Trách nhiệm xã hội doanh nghiệp (CSR) tính đến các tác động kinh tế, môi trường, xã hội và các hậu quả của hoạt động kinh doanh. Các công ty tư nhân, các tổ chức và chính phủ đang tìm kiếm những con đường mới để bảo đảm các hoạt động và dịch vụ kinh doanh không làm tổn hại nền kinh tế, xã hội, hoặc môi trường ở các quốc gia và khu vực hoạt động. Ví dụ, chính phủ Anh, đã áp dụng nhiều chính sách và quy định để khuyến khích thực hiện CSR nói chung và tính bền vững về môi trường và xã hội nói riêng. Chính phủ xem CSR là sự đóng góp của hoạt động kinh doanh vào các mục tiêu phát triển bền vững. Quan trọng là làm thế nào để hoạt động kinh doanh có tính đến các tác động kinh tế, xã hội và môi trường trong cách thức hoạt động – tối đa hóa các lợi ích và giảm thiểu hóa các tác hại… Phương pháp của chính phủ là khuyến khích và thúc đẩy việc áp dụng và báo cáo về tình hình thực hiện CSR thông qua các hướng dẫn thực thi tốt nhất, và, áp dụng các quy định tình báo và khích lệ tài chính khi phù hợp (BEER 2004, đoạn 1).

Một ví dụ về các nỗ lực bảo đảm tính bền vững về môi trường và xã hội quốc tế là Nguyên tắc Equator do 10 tổ chức tài chính thông qua năm 2003. Nguyên tắc Equator do các ngân hàng tư nhân phát triển. Các nguyên tắc này thuộc lĩnh vực công nghiệp, xác định, đánh giá và kiểm soát các rủi ro về môi trường và xã hội trong phân bổ tài chính của các dự án tư. Năm 2006, bộ Nguyên tắc Equator sửa đổi được thông qua. Bộ Nguyên tắc mới gồm những sửa đổi của IFC về Các tiêu chuẩn thực thi để đảm bảo Môi trường và xã hội bền vững. Bộ nguyên tắc năm 2006 áp dụng với mọi quốc gia và mọi ngành và với mọi nguồn vốn huy động dự án vượt quá 10 triệu đô. IFC và 61 ngân hàng thương mại hàng đầu (ở Nam Mỹ, Châu Âu, Nhật Bản, và Ốtx-trây-lia) đã tự nguyện áp dụng Bộ Nguyên tắc Equator vào hoạt động huy động vốn cho các dự án trên toàn thế giới. Những tổ chức này đang phấn đấu để bảo đảm rằng các dự án họ cấp vốn được triển khai một cách có trách nhiệm đối với xã hội và thể hiện được các hành vi quản lý môi trường sáng suốt. Bộ Nguyên tắc Equator được sử dụng như một kỳ gốc và mô hình chung cho hoạt động triển khai các thủ tục và tiêu chuẩn xã hội và môi trường nội bộ của các hoạt động huy động vốn dự án ở mọi ngành công nghiệp trên toàn cầu. Áp dụng các nguyên tắc này, các tổ chức này thực hiện xem xét cẩn trọng toàn bộ các đề xuất mà khách hàng gửi đến để yêu cầu huy động vốn dự án. Họ cam kết không cho các dự án vay trực tiếp nếu người vay sẽ không hoặc không thể tuân thủ các chính sách và thủ tục về xã hội và môi trường. Các tiêu chuẩn bao gồm các vấn đề môi trường, an toàn sức khỏe, người dân bản xứ, người cư trú tự nhiên, và tái định cư (Nguyên tắc Equator 2007).

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Cam kết công khai thực hiện các nguyên tắc trên là một chuyện, nhưng áp dụng chúng một cách trung thực lại là chuyện hoàn toàn khác. BankTrack, một mạng lưới gồm 18 tổ chức phi chính phủ quốc tế chuyên về lĩnh vực tài chính đã đóng một vai trò quan trọng trong việc hỗ trợ giám sát việc thực thi Nguyên tắc Equator. (BankTrack 2008)

Hàng hóa công toàn cầu Các nhà kinh tế học định nghĩa hàng hóa tư nhân là những hàng hóa mà một người khi tiêu dùng nó làm giảm số lượng sẵn có của hàng hóa đối với những người tiêu dùng khác, ít nhất cho đến khi có thêm nhiều hàng hóa được sản xuất ra (Dự án Thông tin Linux 2006). Hàng hóa tư nhân là những hàng hóa hữu hình. Hầu hết các sản phẩm sản xuất ra đều là hàng hóa tư nhân. Các nhà kinh tế học định nghĩa hàng hóa công cộng là những sản phẩm mà các cá nhân có thể tiêu thụ bao nhiêu họ muốn mà không làm giảm lượng hàng hóa sẵn có cho những người tiêu dùng khác. (Dự án Thông tin Linux 2006). Ví dụ, không khí sạch, là một hàng hóa công cộng, vì hít thở không khí sạch không làm giảm lượng không khí cho những người khác. Hàng hóa công cộng là những hàng hóa vô hình; nhiều hàng hóa thuộc vào lĩnh vực thông tin hoặc tri thức. Hàng hóa công toàn cầu là những hàng hóa chung có ảnh hưởng đến toàn bộ thế giới. Các ví dụ về hàng hóa công toàn cầu là quyền sở hữu trí tuệ, an toàn, ổn định tài chính, và môi trường trong lành. Trong thực tế, đánh giá phát triển có thể được xem như một hàng hóa công vì nó vươn ra ngoài biên giới của bất kỳ một tổ chức nào. Một nghiên cứu đánh giá tốt có thể có những ảnh hưởng tích cực rộng rãi đối với cộng đồng phát triển (Picciotto và Rist 1995, tr.23). Hàng hóa công toàn cầu quan trọng vì với thực tế biên giới quốc gia đang ngày càng mở rộng, lãnh thổ chung của các quốc gia đã xen kẽ nhau. Một hàng hóa công của một quốc gia này thường phụ thuộc vào chính sách nội địa và các sự kiện cũng như lựa chọn chính sách của các quốc gia khác hoặc của cộng đồng quốc tế (gpdNet 2008). Mọi người đều phụ thuộc vào hàng hóa công; kể cả thị trường hay các cá nhân giàu có nhất cũng không thể thiếu chúng. Đánh giá phần lớn bị quên lãng ở cấp độ toàn cầu:

■■ Hàng hóa

tư nhân:

Loại hàng hóa mà khi một cá nhân tiêu thụ nó làm ảnh hưởng đến sự sẵn có của hàng hóa đó đối với những người tiêu dùng khác ■■ Hàng hóa

công cộng:

Loại hàng hóa mà sự tiêu thụ nó của một cá nhân không làm giảm số lượng hàng hóa sẵn có cho những người tiêu dùng khác ■■ Hàng hóa

công toàn cầu:

Các hàng hóa công không cạnh tranh và không thể loại trừ trên khắp thế giới chứ không bó hẹp trong phạm vi biên giới quốc gia

Các chương trình hợp tác được thiết kế để cung cấp hàng hóa công toàn cầu không phụ thuộc vào đánh giá độc lập, và, do đó, thường thiếu các mục tiêu cụ thể và các chỉ báo thực hiện có thể xác minh được. Thêm vào đó, tác động từ chính sách của các quốc gia phát triển đối với các nước nghèo không được đánh giá một cách hệ thống cho dù các tài trợ, nợ, đầu tư nước ngoài, ô nhiễm, luật di cư, và quyền sở hữu trí tuệ đã được các chính quyền các quốc gia phát triển sắp đặt. (Picciotto 2002b, tr.520) Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Sự kiểm soát sự lây lan và hướng đến xóa bỏ HIV/AIDS là một ví dụ khác của hàng hóa công toàn cầu có vị trí hàng đầu trong nhiều chương trình nghị sự quốc tế. Tác động của toàn cầu hóa đối với những người nghèo vẫn chưa được đánh giá. Đánh giá phát triển cần trở có tính bản xứ hơn, toàn cầu hơn, và liên quốc gia hơn (Chelimsky và Shadish 1997). Năm 2004 Nhóm Đánh giá Độc lập của Ngân hàng Thế giới đã cho ra đời báo cáo đánh giá về sự tham gia của Ngân hàng Thế giới vào các chương trình toàn cầu. Báo cáo Đánh giá Vai trò của Ngân hàng Thế giới trong các Chương trình Toàn cầu: điểm mặt các thách thức của Toàn cầu hóa, điều tra ở 26 Ngân hàng hỗ trợ các chương trình toàn cầu, rút ra các bài học trong thiết kế, triển khai và đánh giá các chương trình toàn cầu (Ngân hàng Thế giới 2004a). Báo cáo nhấn mạnh 5 trong 18 phát hiện: • Chiến lược của Ngân hàng đối với các chương trình toàn cầu không được xác định đầy đủ. • Các chương trình toàn cầu đã tăng không đáng kể tổng tài trợ. • Các quốc gia đang phát triển không có tiếng nói thích đáng. • Các chương trình toàn cầu thể hiện các khoảng trống trong đầu tư và trong chính sách công toàn cầu. • Cần thiết phải giám sát các chương trình toàn cầu độc lập. Báo cáo cũng đưa ra các khuyến nghị sau: • Thiết lập mô hình chiến lược cho hoạt động đầu tư của Ngân hàng Thế giới trong các chương trình toàn cầu. • Liên kết huy động vốn với các vấn đề ưu tiên. • Nâng cao tính chọn lọc và giám sát các hạng mục chương trình toàn cầu. • Nâng cao quản lý nhà nước và quản lý từng chương trình. • Tiến hành các đánh giá bổ sung.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tóm tắt Các quốc gia áp dụng nhiều cách khác nhau để xây dựng hệ thống đánh giá. Phương pháp đánh giá cấp nhà nước cần đến sự xây dựng hệ thống trên quy mô lớn, toàn diện trong cả bộ máy chính quyền. Đánh giá phạm vi bộ phận tập trung vào một bộ phận hoặc một ngành trong bộ máy chính quyền. Trong cách tiếp cận phức hợp, một vài bộ phận hoặc một số ngành của chính phủ được đánh giá toàn diện trong khi một số ngành khác thì được đánh giá ít thường xuyên hơn. Tạo ra hệ thống đánh giá còn khó khăn hơn ở các quốc gia đang phát triển, những quốc gia thường thiếu hệ thống chính trị dân chủ, thiếu truyền thống kinh nghiệm chủ nghĩa vững chắc, thiếu các quan chức nhà nước được đào tạo về khoa học xã hội, và không có hệ thống và tổ chức hành chính đầy đủ. Các tổ chức phát triển đang chú trọng vào hỗ trợ các quốc gia đang phát triển xây dựng năng lực để xây dựng và duy trì hệ thống đánh giá. Nhiều vấn đề phức tạp trong phát triển ảnh hưởng đến hoạt động đánh giá. Một số các yếu tố chi phối chủ yếu đến chương trình phát triển bao gồm: • các Mục tiêu Phát triển Thiên niên kỷ • hiệp ước Monterrey • hiệp ước Paris về Hỗ trợ hiệu quả • sáng kiến HIPC • vai trò của các quỹ tài trợ • ngăn chặn xung đột và tái thiết hậu xung đột • quản lý nhà nước • chống rửa tiền và lũng đoạn tài chính • kiều hối • giới • phát triển khu vực tư và môi trường đầu tư • môi trường và xã hội bền vững • hàng hóa công toàn cầu. Danh sách này không giữ nguyên mà luôn thay đổi theo diễn biến toàn cầu.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

Tài liệu tham khảo Adams, Richard H. Jr., and John Page. 2003. “International Migration, Remittances and Poverty in Developing Countries.” World Bank Policy Research Working Paper 3179, Washington, DC. BankTrack. 2008. The Equator Principles. http://www.banktrack.org/. Barslund, Mikkel, and Finn Tarp. 2007. “Formal and Informal Rural Credit in Four Provinces of Vietnam.” Discussion Paper 07-07, Department of Economics, University of Copenhagen. BEER (U.K. Department for Business Enterprise & Regulatory Reform). 2004. “What Is CSR?” London. http://www.csr.gov.uk/whatiscsr.shtml. Boyle, Richard. 2002. “A Two-Tiered Approach: Evaluation Practice in the Republic of Ireland.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 261–72. New Brunswick, NJ: Transaction Publishers. ———. 2005. Evaluation Capacity Development in the Republic of Ireland. ECD Working Paper Series 14, World Bank, Evaluation Capacity Development, Washington, DC. Camdessus, Michael. 1998. “Money Laundering: The Importance of International Countermeasures.” Address by Managing Director of the International Monetary Fund, Washington, DC. CGAP (Consultative Group to Assist the Poor). 2003. CGAP Publications on Assessment and Evaluation. http://www.cgap.org/portal/site/CGAP/menuitem.9fab704d4469eb016780801059 1010a0/. ChannahSorah, Vijaya Vinita. 2003. “Moving from Measuring Processes to Outcomes: Lessons Learned from GPRA in the United States.” Paper presented at the joint World Bank and Korea Development Institute conference on “Performance Evaluation System and Guidelines with Application to Large-Scale Construction, R&D, and Job Training Investments,” Seoul, July 24–25. Chelimsky, Eleanor, and William R. Shadish, eds. 1997. Evaluation for the 21st Century: A Handbook. Thousand Oaks, CA: Sage Publications. Chemin, Matthieu. 2008. “Special Section on Microfinance. The Benefits and Costs of Microfinance: Evidence from Bangladesh.” Journal of Development Studies 44 (4): 463–84. Collier, Paul, V., L. Elliott, Håvard Hegre, Anke Hoeffler, Marta Reynal-Querol, and Nicholas Sambanis. 2003. Breaking the Conflict Trap: Civil War and Development Policy. Washington, DC: Oxford University Press for the World Bank. Economic Commission for Europe. 1998. Public–Private Partnerships: A New Concept for Infrastructure Development. BOT Expert Group, United Nations, New York. http://rru.worldbank.org/Documents/Toolkits/Highways/pdf/42.pdf. Equator Principles. 2004. http://www.fatf-gafi.org/dataoecd/14/53/38336949.pdf. ———. 2007. “A Milestone or Just Good PR?” http://www.equator-principles.com/principles.shtml.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

FATF (Financial Action Task Force on Money Laundering). 2007. Monitoring the Implementation of the Forty Recommendations. http://www.fatf-gafi.org/document/60/0,3343 ,en_32250379_32236920_34039228_1_1_1_1,00.html. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson Education, Inc. Friis, H. 1965. Development of Social Research in Ireland. Institute of Public Administration, Dublin. Fukuda-Parr, Sakiko, Carlos Lopes, and Khalid Malik, eds. 2002. Capacity for Development: New Solutions to Old Problems. London: Earthscan Publications. Furubo, Jan-Eric, and Rolf Sandahl. 2002. “Coordinated Pluralism.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 115–28. New Brunswick, NJ: Transaction Publishers. Furubo, Jan-Eric, Ray Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evaluation. New Brunswick, NJ: Transaction Publishers. G-8. 2004a. G-8 Action Plan: Applying the Power of Entrepreneurship to the Eradication of Poverty. Sea Island Summit, June. ———. 2004b. G-8 Plan of Support for Reform. Sea Island Summit, June. Gerrard, Christopher. 2006. “Global Partnership Programs: Addressing the Challenge of Evaluation.” PowerPoint presentation. http://www.oecd.org/secure/pptDocument/0,2835,en_21571361_34047972_ 36368404_1_1_1_1,00.ppt. gpgNet. 2008. The Global Network on Global Public Goods. http://www.sdnp.undp.org/gpgn/#. Graham, Jeffrey P., and R. Barry Spaulding. 2005. Going Global: Understanding Foreign Direct Investment. JPG Consulting. http://www.going-global.com/articles/understanding_foreign_direct_ investment.htm. Guerrero, R. Pablo 1999. “Evaluation Capacity Development: Comparative Insights from Colombia, China, and Indonesia.” In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 177–94. New Brunswick, NJ: Transaction Publishers. Hatry, Harry P., Elaine Morely, Shelli B. Rossman, and Joseph P. Wholey. 2003. How Federal Programs Use Outcome Information: Opportunities for Federal Managers. IBM Endowment for the Business of Government, Washington, DC. Hauge, Arild. 2001. “Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results-Based Perspective.” ECD Working Paper 8, World Bank, Operations Evaluation Department, Evaluation Capacity Development, Washington, DC. Hougi, Hong, and Ray C. Rist. 2002. “Evaluation Capacity Building in the People’s Republic of China.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 249–60. New Brunswick, NJ: Transaction Publishers.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

IDA (International Development Association), and IMF (International Monetary Fund). 2007. Heavily Indebted Poor Countries HIPC Initiative and Multilateral Debt Relief Initiative MDRI: Status of Implementation. http://siteresources.worldbank.org/DEVCOMMINT/Documentation/ 21510683/DC2007-0021 E HIPC.pdf. IDS (Institute of Development Studies). 2008. “Impact Evaluation: The Experience of Official Agencies.” IDS Bulletin 39 (1). http://www.ntd.co.uk/idsbookshop/details.asp?id=1030. IEG (Independent Evaluation Group). 2008. “Doing Business: An Independent Evaluation. Taking the Measure of the World Bank–IFC Doing Business Indicators.” IFAC (International Federation of Accountants). 2004. Anti–Money Laundering, 2nd ed. New York. IFC (International Finance Corporation). 2004. Strengthening the Foundations for Growth and Private Sector Development: Investment Climate and Infrastructure Development. Development Committee, Washington, DC. http://siteresources.worldbank.org/IDA/Resources/PSDWBGEXT.pdf. ———. 2007. Business Environment Snapshots. Washington, DC. http://rru.worldbank.org/documents/BES_Methodology_Note_External.pdf. IMF (International Monetary Fund). 2009. “A Fact Sheet: Debt Relief under the Heavily Indebted Poor Countries (HIPC) Initiative.” http://www.info.org/external/np/exr/facts/hipc.htm. Investor Dictionary.com. 2006. “Money Laundering.” http://www.investordictionary.com/definition/money+laundering.aspx. Jalan, Bimal. 2000. “Reflections on Gender Policy.” In Evaluating Gender Impact of Bank Assistance, 75–76. World Bank, Operations Evaluation Department, Washington, DC. Joint Progress toward Enhanced Aid Effectiveness, High-Level Forum. 2005. Paris Declaration on Aid Effectiveness: Ownership, Harmonization, Alignment, Results, and Mutual Accountability. http://www1.worldbank.org/harmonization/Paris/FINALPARIS DECLARATION.pdf/. Katjomulse, Kavazeua, Patrick N. Osakwe, Abebe Shimeles, and Sher Verick. 2007. The Monterrey Consensus and Development in Africa: Progress, Challenges, and Way Forward. United Nations Economic Commission for Africa (UNECA), Addis Ababa. Kreimer, Alcira, John Eriksson, Robert Muscat, Margaret Arnold, and Colin Scott. 1998. The World Bank’s Experience with Post-Conflict Reconstruction. World Bank, Operations Evaluation Department, Washington, DC. http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256 ad400736404/f753e43e728a27b38525681700503796/$FILE/PostCon.pdf. Kusek, Jody Zall, Ray C. Rist, and Elizabeth M. White. 2004. “How Will We Know Millennium Development Results When We See Them? Building a Results-Based Monitoring and Evaluation System to Give Us the Answer.” World Bank Africa Region Working Paper 66, Washington, DC. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.” Evaluation Review 13 (3): 243–56.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Lee, Yoon-Shik. 1999. “Evaluation Coverage.” In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 75–91. New Brunswick, NJ: Transaction Publications. Linux Information Project. 2006. “Public Goods: A Brief Introduction.” http://www.linfo.org/public_good.html. Mackay, Keith. 2002. “The Australian Government: Success with a Central, Directive Approach.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 157–74. New Brunswick, NJ: Transaction Publishers. ———. 2007. “Three Generations of National M&E Systems in Australia.” PowerPoint presentation to the Third Latin America and Caribbean Regional Conference on Monitoring and Evaluation, Lima, July 23–24. ———. 2008. M&E Systems to Improve Government Performance: Lessons from Australia, Chile and Columbia. PowerPoint presentation to the High-Level Delegation from the People’s Republic of China, Washington, DC, March 6. Moser, Caroline O. N. 1995. “Evaluating Gender Impacts.” New Directions for Evaluation 67 (Fall): 105–17. NCSTE (China National Center for Evaluation of Science & Technology), and IOB (Netherland’s Policy and Operations Evaluation Department). 2004. A Country-Led Joint Evaluation of the ORET/MILIEV Programme in China. http://www.euforic.org/iob/docs/200610201336433964.pdf. Nellis, John. 1999. “Time to Rethink Privatization in Transition Economies?” IFC Discussion Paper 38, International Finance Corporation, Washington, DC. OECD (Organisation for Economic Co-operation and Development). 2002a. OECD Glossary of Statistical Terms. http://stats.oecd.org/glossary/index.htm. ———. 2002b. “Public Management and Governance: Overview of Results-Focused Management and Budgeting in OECD Member Countries.” Paper presented at the 23rd annual meeting of OECD senior budget officials, Washington, DC, June 3–4. ———. 2003. Joint OECD DAC/Development Centre Experts’ Seminar on Aid Effectiveness and Selectivity: Integrating Multiple Objectives into Aid Allocations. Development Assistance Committee. http://www.oecd.org/document/51/0,2340 ,en_2649_34435_2501555_119808_1_1_1,00.html. ———. 2004a. Final ODA Data for 2003. http://www.oecd.org/dataoecd/19/52/34352584.pdf. ———. 2004b. The Istanbul Ministerial Declaration on Fostering Growth of Innovative and Internationally Competitive SMEs. http://www.oecd.org/document/16/0,3343 ,en_2649_201185_32020176_1_1_1_1,00.html. ———. 2005a. “Aid Rising Sharply, According to Latest OECD Figures.” http://www.oecd.org/dataoecd/0/41/35842562.pdf.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

———. 2005b. The Paris Declaration. Development Co-operation Directorate. http://www.oecd.org/document/18/0,2340 ,en_2649_3236398_35401554_1_1_1_1,00.html. ———. 2006. Final ODA Data for 2005. http://www.oecd.org/dataoecd/52/18/37790990.pdf. ———. 2007a. “Development Aid from OECD Countries Fell 5.1 Percent in 2006.” http:// www.oecd.org/document/17/0,3343,en_2649_33721_38341265_1_1_1_1,00 .html. ———. 2007b. Final ODA Flows in 2006. http://www.oecd.org/dataoecd/7/20/39768315.pdf. ———. 2007c. “Monitoring the Paris Declaration.” http://www.oecd.org/department/0,3355,en_2649_15577209_1_1_1_1_1,00.html. OECD, and PUMA (Public Management Committee). 2002. “Overview of ResultsFocused Management and Budgeting in OECD Member Countries.” Twenty-third annual meeting of OECD Senior Budget Officials, Washington, DC, June 3–4. Oxford Analytica. 2004a. “Foundations Muscle into Aid Arena.” August 10, Oxford. ———. 2004b. “Remittances Fund Investment Growth.” September 7, Oxford. Patton, M. Q. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2006. “Recent Trends in Evaluation.” Paper presented to the International Finance Corporation, Washington, DC, May 8. Picciotto, Robert. 2002a. “Development Cooperation and Performance Evaluation: The Monterrey Challenge.” World Bank, Operations Development Department, Washington, DC. ———. 2002b. “Development Evaluation as a Discipline.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June. ———. 2003. “International Trends and Development Evaluation: The Need for Ideas.” American Journal of Evaluation 24: 227–34. Picciotto, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies and Programs: New Approaches and a New Agenda. San-Francisco: Jossey-Bass Publishers. Pollin, Robert. 2007. Microcredit: False Hopes and Real Possibilities. Foreign Policy in Focus. http://www.fpif.org/fpiftxt/4323. Public Services Organisation Review Group. 1969. Report of the Public Services Organization Review Group. Dublin: Stationary Office. Qureshi, Zia. 2004. Millennium Development Goals and Monterrey Consensus: From Vision to Action. World Bank, Washington, DC. http://wbln0018.worldbank.org/eurvp/web.nsf/Pages/Paper+by+Qureshi/US$File/ MOHAMMED+QURESHI.PDF. Rasappan, Arunaselam. 2007. “Implementation Strategies and Lessons Learnt with Results-Based Budgeting Malaysia.” Training course on program and performance budgeting, ITP Pune, India, October 1–5. http:// blog-pfm.imf.org/pfmblog/files/rasappan_implementation_strategies_lessons_malaysia.pdf.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Republic of France. 2001. Ministry of the Economy, Finance, and Industry. “Towards New Public Management.” Newsletter on the Public Finance Reform 1 (September), Paris. Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evaluative Systems. New Brunswick, NJ: Transaction Books. Schacter, Mark. 2000. “Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.” ECD Working Paper 7, World Bank, Evaluation Capacity Department, Washington, DC. Soros Foundations Network. 2007. “About OSI and the Soros Foundation Network.” http://www.soros.org/about/overview. Takamasa, Akiyama, and Kondo Masanori, eds. 2003. “Global ODA since the Monterrey Conference.” Foundation for Advanced Studies on International Development (FASID), International Development Research Institute, Tokyo. http://www.fasid.or.jp/english/publication/research/pdf/global.pdf. Tavistock Institute, in association with GHK and IRS. 2003. The Evaluation of Socio-Economic Development: The GUIDE. http://coursenligne.sciences-po.fr/2004_2005/g_martin/guide2.pdf. Thomas, Koshy. 2007. “Integrated Results-Based Management in Malaysia.” In Results Matter: Ideas and Experiences on Managing for Development Results. Asian Development Bank. http://www.adb.org/Documents/Periodicals/MfDR/dec-2007.pdf. Trosa, Sylvie. 2008. “Towards a Postbureaucratic Management in France.” Politique et management public (2). Uganda Office of the Prime Minister (OPM). 2007a. National Integrated Monitoring and Evaluation Strategy (NIMES) : 2006–2007 Bi-Annual Implementation Progress Report. Kampala. ———. 2007b. “Working Note: Monitoring and Evaluation of the National Development Plan.” October, Kampala. UNCTAD (United Nations Conference on Trade and Development). 2008. “Foreign Direct Investment Reached New Record in 2007.” Press Release. http://www.unctad.org/Templates/Webflyer.asp?docID=9439&intItemID= 2068&lang=1. UNECA (United Nations Economic Commission for Africa). 2007. “Financing Development Section, Trade, Finance, and Economic Commission for Africa, Addis Ababa.” http://www.uneca.org/eca_programmes/trade_and_regional_integration/ documents/MonterreyConsensusMainReport.pdf. United Nations Office on Drugs and Crime. 2006. The United Nations Convention against Transnational Organized Crime and Its Protocols. http://www.unodc.org/unodc/en/treaties/CTOC/index.html. U.S. Department of Labor. 1993. Government Performance and Results Act. Employment & Training Administration, Washington, DC. http://www.doleta.gov/performance/goals/gpra.cfm. U.S. GAO (Government Accountability Office). 2003. Executive Guide: Effectively Implementing the Government Performance and Results Act. http://www.gao.gov/special.pubs/gpra.htm.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

World Bank. n.d. “About Private Participation in Infrastructure.” http://www.worldbank.org/infrastructure/ppi/. ———. 1994. Enhancing Women’s Participation in Economic Development. Washington, DC: World Bank. http://books.google.ca/books?id=CJBmEClPci8C&dq=World+Bank.+1994.+ Enhancing+Women%E2%80%99s+Participation+in+Economic+Development.+Wa shington,+DC:+World+Bank.&printsec=frontcover&source=bn&hl=en&ei= IPy2SdntFYueMoTU_NcK&sa=X&oi=book_result&resnum=4&ct=result# PPA5,M1. ———. 1996b. World Bank Participation Sourcebook. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. ———. 1999. “Monitoring and Evaluation Capacity Development in Africa.” Précis Spring (183). http://wbln0018.worldbank.org/oed/oeddoclib.nsf/7f2a291f9f1204c685256808006 a0025/34b9bade34aca617852567fc00576017/US$FILE/183precis.pdf. ———. 2001. Strategic Directions for FY02–FY04. Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808 006a0046/762997a38851fa0685256f8200777e15/US$FILE/gppp_main_report_ phase_2.pdf#page=21. ———. 2003. Global Development Finance 2003. Washington, DC: World Bank. http://siteresources.worldbank.org/INTRGDF/Resources/GDF0slide0show103010DC0press0launch.pdf. ———. 2004a. “Evaluating the World Bank’s Approach to Global Programs: Addressing the Challenges of Globalization.” Independent Evaluation Group, Washington, DC. http://www.worldbank.org/oed/gppp/. ———. 2004b. Global Monitoring Report 2004: Policies and Actions for Achieving the Millennium Development Goals. Washington, DC: World Bank. ———. 2005a. Global Monitoring Report 2005: Education for All. Washington, DC: World Bank. ———. 2005b. World Development Report 2005: A Better Investment Climate for Everyone. Washington, DC: World Bank. ———. 2006a. Global Monitoring Report 2006: Equity and Development. Washington, DC: World Bank. ———. 2007a. Aid Architecture: An Overview of the Main Trends in Official Development Assistance Flows, Executive Summary. http://siteresources.worldbank.org/IDA/Resources/Aidarchitecture-exec summary.pdf. ———. 2007b. Conflict Prevention and Reconstruction. http://lnweb18.worldbank.org/ESSD/sdvext.nsf/67ByDocName/Conflict PreventionandReconstruction. ———. 2007c. The Data Revolution: Measuring Governance and Corruption. http://web.worldbank.org/WBSITE/EXTERNAL/NEWS/0,,contentMDK: 20190210~menuPK:34457~pagePK:34370~piPK:34424~theSitePK:4607,00.html. ———. 2007d. Doing Business: Economy Profile Reports. Washington, DC: World Bank. http://rru.worldbank.org/DoingBusiness/.

100

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

———. 2007e. The Enhanced HIPC Initiative: Overview. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTDEBTDEPT/ 0,,contentMDK:21254881~menuPK:64166739~pagePK:64166689~piPK:64166646~ theSitePK:469043,00.html. ———. 2007f. Global Monitoring Report 2007: Development and the Next Generation. Washington, DC: World Bank. ———. 2008. Online Atlas of the Millennium Development Goals: Building a Better World. http://devdata.worldbank.org/atlas-mdg/. Woroniuk, B., and J. Schalwyk. 1998. “Donor Practices: Evaluation and Preparation Tipsheet.” OECD, Paris.

Trang Web Tài chính CGAP (Consultative Group to Assist the Poor). http://www.cgap.org/. ———. Assessment and Evaluation. http://www.cgap.org/publications/assessment_ evaluation.html. The Equator Principles. http://www.equator-principles.com/index.shtml. Tedeschi, Gwendolyn Alexander. 2008. Overcoming Selection Bias in Microcredit Impact Assessments: A Case Study in Peru. http://www.informaworld.com/smpp/content~co ntent=a792696580~db=all~order=page. World Bank. Doing Business: Economy Profile Reports. http://rru.worldbank.org/ DoingBusiness/.

Giới OECD (Organisation for Economic Co-operation and Development). “Gender Tipsheet, Evaluation.” Development Assistance Committee. http://www.oecd.org/dataoecd/2/13/1896352.pdf.

Quản lý nhà nước Transparency International. http://www.transparency.org/. World Bank. 2007a. Governance Matters. http://info.worldbank.org/governance/ wgi2007/ and http://info.worldbank.org/governance/wgi2007/pdf/booklet_ decade_of_measuring_governance.pdf. ———. 2007b. Untitled Video. http://web.worldbank.org/WBSITE/EXTERNAL/ NEWS/0,,contentMDK:21400275~menuPK:51416191~pagePK:64257043~piPK: 437376~theSitePK:4607,00.html.

Hiểu các Vấn đề Chi phối Đánh giá Phát triển

101

Mục tiêu Phát triển Thiên niên kỷ United Nations. Millennium Development Goals. http://www.un.org/millennium goals/.

Nghèo Poverty-Environment Web site. http://www.povertyenvironment.net. World Bank. AdePT software to make poverty analysis easier and faster. econ.worldbank.org/programs/poverty/adept. ———. PovertyNet newsletter. http://www.worldbank.org/poverty.

102

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHUẨN BỊ VÀ THỰC HIỆN CÁC ĐÁNH GIÁ PHÁT TRIỂN HIỆU QUẢ “Các kế hoạch của chúng tôi thất bại vì chúng tôi không có mục tiêu. Khi một người không biết bến cảng anh ta xây dựng nên để làm gì, sẽ không có ngọn gió nào là ngọn gió phù hợp cả.” —SENECA

Chương 3: Xây dựng hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động

• Vai trò quan trọng của Giám sát và Đánh giá dựa trên kết quả hoạt động • Giám sát và Đánh giá dựa trên kết quả hoạt động là gì? • So sánh giữa Giám sát và Đánh giá truyền thống và Giám sát và Đánh giá dựa trên kết quả hoạt động • Mười bước để xây dựng hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động.

Chương 4: Hiểu bối cánh đánh giá và Nguyên lý về sự thay đổi

• • • • •

Phân tích bề nổi Xác định khách hàng chính và các bên liên quan chủ chốt Hiểu bối cảnh Đánh giá kiến thức hiện có Xây dựng, sử dụng và đánh giá nguyên lý thay đổi

Chương 5: Cân nhắc phương pháp đánh giá

• Các phương pháp đánh giá chung • Thách thức phía trước

CHƯƠNG 3

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động Hầu hết ở mọi quốc gia trên thế giới, các chính phủ thường nỗ lực giải quyết các nhu cầu và sức ép về nâng cao chất lượng cuộc sống cho công dân của nước mình. Các sức ép và nhu cầu cả bên trong lẫn bên ngoài đặt lên vai chính phủ và các tổ chức phát triển buộc họ phải tìm ra các con đường mới để cải thiện khả năng quản lý công. Việc cải thiện môi trường quản lý công có thể bao gồm nâng cáo tính minh bạch, trách nhiệm, và tính hiệu quả trong việc thực thi các can thiệp phát triển. Giám sát và Đánh giá dựa trên kết quả thực hiện là một công cụ quản lý giúp theo dõi tiến độ và làm rõ tác động của các dự án, chương trình và chính sách phát triển.1 Chương này có bốn phần chính: • Vai trò quan trọng của Giám sát và Đánh giá dựa trên kết quả hoạt động • Giám sát và Đánh giá dựa trên kết quả hoạt động là gì? • So sánh giữa Giám sát và Đánh giá truyền thống và Giám sát và Đánh giá dựa trên kết quả hoạt động • Mười bước để xây dựng hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động. 105

Vai trò quan trọng của Giám sát và Đánh giá dựa trên kết quả hoạt động

■■ Kết quả: Lợi ích thu được từ một dự án, chương trình hoặc chính sách (một kết quả dẫn đến một sự thay đổi về hành vi hoặc tổ chức và không thể mua được)

106

Ở các nước đang phát triển, sức ép nâng cao hiệu quả hoạt động ở khu vực công ngày càng gia tăng. Phản hồi lại những sức ép này sẽ giúp các quốc gia phát triển các hệ thống quản trị hoạt động công. Những hệ thống mới này tham gia vào việc cải tổ công tác tài chính, nguồn nhân lực và văn hoá của tổ chức. Để đánh giá những nỗ lực ở khu vực công có thực sự hiệu quả cần thiết phải có các thang đo hiệu quả hoạt động. Các hệ thống M&E theo dõi các kết quả được sinh ra (hoặc không) bởi chính phủ và các tổ chức khác. Có rất nhiều sáng kiến đang thúc ép các chính phủ ứng dụng các hệ thống quản lý công nêu bật kết quả hoạt động. Sáng kiến Mục tiêu Thiên niên kỷ (MDGs) và Sáng kiến giảm nợ cho các nước nghèo là 2 ví dụ cho các loại sáng kiến này. Nội dung của chương này được xây dựng dựa trên các kinh nghiệm ở các nước phát triển, đặc biệt là các nước thuộc Tổ chức Hợp tác và Phát triển Kinh tế (OECD), nhưng nó cũng phản ánh những thách thức và khó khăn mà các nước đang phát triển phải đối mặt khi các nước này triển khai các hệ thống giám sát kết quả hoạt động. Các thách thức mà các nước đang phát triển phải đối diện phân tán từ việc thiếu kỹ năng, cấu trúc quản trị yếu kém cho đến việc thiếu minh bạch trong các hệ thống hoạt động. Mặc dù chương này tập trung chủ yếu vào việc nâng cao tính hiệu quả và trách nhiệm của hoạt động chính phủ nhờ vào một hệ thống M&E mạnh mẽ, các nguyên tắc và chiến lược tốt được áp dụng triệt để ở các tổ chức, chính sách, chương trình và dự án. Một hệ thống M&E dựa trên kết quả hoạt động cung cấp các thông tin quan trọng về hiệu quả hoạt động của khu vực công và các tổ chức. Hệ thống có thể hỗ trợ các nhà hoạch định chính sách, những người ra quyết định và các bên tham gia trả lời các câu hỏi quan trọng về việc các lời hứa có được thực thi và kết quả cần thiết có đạt được hay không. M&E là công cụ qua đó những tiến triển – hoặc thiếu tiến triển – có thể được thể hiện (hộp 3.1) Bằng cách báo cáo các kết quả của các hoạt động can thiệp chính phủ và các tổ chức khác có thể gia tăng mức độ tin cậy và lòng tin ở công chúng đối với hoạt động của họ. Cung cấp thông tin cho công chúng cũng hỗ trợ cho lộ trình phát triển hướng đến mức độ trách nhiệm lớn hơn cho vấn đề cho vay hỗ trợ phát triển. Một hệ thống M&E dựa trên kết quả hoạt động tốt có thể là một công cụ quản lý và thúc đẩy vô cũng hữu dụng. Nó giúp tập trung sự chú ý vào việc đạt được kết quả, là điều quan trọng đối với tổ chức hoạt các bên liên quan. Nó cũng thúc đẩy việc thiết lập đích đến và các mục tiêu chủ yếu để dạt được các kết quả. Nó cũng cũng cấp cho các nhà quản lý thông tin quan trọng để xem xét liệu rằng chiến lược chi phối chương trình can thiệp là đúng đắn và đẩy đủ để mang lại những sự thay đổi cần thiết nhờ vào sự can thiệp đó.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 3.1 Sức mạnh của việc xác định kết quả

Xác định kết quả là tối quan trọng vì những lý do sau • Nếu chúng ta không đo được kết quả, chúng ta không thể nói đâu là thành công đâu là thất bại • Nếu chúng ta không thấy được thành công chúng ta không thể tôn vinh nó. • Nếu chúng ta không thể tôn tin thành công chúng ta lại có thể đang tôn tinh thất bại. • Nếu chúng ta không thể nhìn thấy được thành công chúng ta không thể học hỏi được từ nó. • Nếu chúng ta không nhận thấy được thất bại chúng ta không thể sửa chữ sai lầm. • Nếu chúng ta không thể chỉ rõ kết quả chúng ta không nhận được sự hỗ trợ từ công chúng. Nguồn: Osborn và Gaebler 1992.

Một hệ thống M&E tốt cũng là nguồn cung cấp thông tin quan trọng cho công tác tổ chức và cải tiến các hoạt động can thiệp để mở rộng tối đa khả năng thành công. Nó giúp xác định các hoạt động can thiệp đầy hứa hẹn đủ sớm để có thể đưa vào thực hiện ở một nơi nào đó. Tiếp cận được dữ liệu về mức hiệu quả mà một dự án, một sự thử nghiệm, một chương trình hay một chính sách nhất định mang lại cung cấp cho chúng ta thông tin hữu ích để định hình và lý giải các yêu cầu về ngân sách. Nó cũng giúp thực hiện phân bổ các nguồn lực khan hiếm cho các hoạt động can thiệp một cách sáng suốt nhằm mang lại lợi ích tối đa. Một khi các kết quả đã được xác định, các chỉ tiêu đã được lựa chọn, và các mục tiêu đã được thiết lập, tổ chức có thể phấn đấu để đạt chúng. Một hệ thống M&E có thể cung cấp thông tin một cách kịp thời cho đội ngũ thực hiện về tiến trình và giúp xác định kịp thời các điểm yếu cần phải được sửa chữa. Dữ liệu giám sát cũng cung cấp thông tin về các trường hợp ngoại lại (khu vực đang được tiến hành với kết quả đặc biệt tốt hoặc quá tệ). Sau đó, các đánh giá có thể được thực hiện để tìm ra các lí giải cho những trường hợp ngoại lệ đó.

Giám sát và Đánh giá dựa trên kết quả thực hiện là gì? Thông tin dựa trên kết quả thực hiện có thể đến từ hai nguồn mang tính bổ sung cho nhau: một hệ thống giám sát và một hệ thống đánh giá (hộp 3.2). Cả hai hệ thống này là thực sự quan trọng cho việc lượng hoá hiệu quả hoạt động.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

107

■■ Giám sát dựa

trênkết quả hoạt động:

Hộp 3.2 Sự khác biệt giữa Giám sát dựa trên kết quả hoạt động và Đánh giá dựa trên kết quả hoạt động

Tiến trình liên tiếp thu thập và phân tích thông tin về các chỉ tiêu chủ chốt đế tiến hành ước lượng tiến trình đạt đến mục tiêu

Giám sát dựa trên kết quả hoạt động là một tiến trình liên tục thu thập và phân tích thông tin về các chỉ tiêu chủ chốt và so sánh kết quả đạt được thực tế với kết quả kỳ vọng đạt được để biết được mức độ hiệu quả một dự án, chương trình hoặc chính sách được thực hiện. Đây là một tiến trình liên tục theo đó bằng chứng về tiến trình đi đến mục tiêu ngắn hạn, trung hạn và dài hạn được thu thập thông qua việc sử dụng các chỉ tiêu. Giám sát dựa trên kết quả hoạt động có thể cung cấp phản hồi về tiến trình (hoặc mức thụt lùi) cho đội ngũ nhân viên thực hiện hoặc những người ra quyết định – là những người có thể sử dụng thông tin theo nhiều cách thức khác nhau nhằm nâng cao hiệu quả hoạt động. Đánh giá dựa trên kết quả hoạt động là sự đánh giá một hoạt động can thiệp theo kế hoạch, đang được tiến hành hoặc đã hoàn thành để xác định tính phù hợp, mức độ hiệu tác động, và tính bền vững. Mục đích của nó là cung cấp thông tin đáng tin cậy và hữu ích, giúp rút ra các bài học kinh nghiệm để đưa vào các quá trình ra quyết định của những bên thụ hưởng hoạt động can thiệp. Đánh giá xem xét hoạt động can thiệp trên phạm vi rộng hơn, nhằm xem xét liệu rằng tiến trình đạt được mục tiêu xác định có phải nhờ vào hoạt động can thiệp hay sự thay đổi là do các cách giải thích khác được chỉ ra bởi hệ thống giám sát. Các các hỏi đánh giá có thể bao gồm các câu hỏi sau:

trên kết quả hoạt động:

• Mục tiêu và kết quả hướng đến có phù hợp hay không? • Các mục tiêu và kết quả này đang được thực hiện hữu hiệu và hiệu quả như thế nào? • Các tác động nào chưa được lường trước bởi hoạt động can thiệp? • Có thể đảm bảo rằng chiến lược thực hiện chương trình can thiệp là tối ưu về mặt chi phí và có khả năng duy trì bền vững để giải quyết các vấn đề thiết yếu nhất định hay không?

■■ Mục tiêu: Một sự thay đổi có thể được lượng hoá để đạt được mục tiêu trong một quãng thời gian nhất định đối với một chỉ tiêu cụ thể ■■ Chi tiêu: Thước đo được theo dõi một cách có hệ thống trong một quãng thời gian để chỉ ra tiến độ (hoặc mục tiêu ■■ Đánh giá dựa Đánh giá một sự can thiệp được lên kế hoạch, đang thực hiện hoặc đã hoàn thành để xác định tính phù hợp, hiệu tác động và tính bền vững

■■ Tác động: Lợi ích lâu dài (kết quả) đạt được khi một chuỗi các kết quả được mang lại (các Mục tiêu Thiên niên kỷ là những sự thông báo về tác động.) are impact statements.)

Giám sát và Đánh giá truyền thống và Giám sát và Đánh giá dựa trên kết quả hoạt động Các chính phủ từ lẫu vẫn dựa trên M&E truyền thống—hệ thống theo dõi các khoản chi tiêu, các khoả thu, cấp bậc cán bộ, nguồn lực, các hoạt động chương trình và dự án, số lượng thành viên tham gia, hàng hoá và dịch vụ được sản xuất ra là các ví dụ điển hình. Tuy nhiên, điều cần thiết là phải phân biệt giữa M&E truyền thống và M&E dựa trên kết quả hoạt động: • M&E Truyền thống: tập trung vào giám sát và đánh giá đầu vào, hoạt động và đầu ra (nghĩa là việc thực hiện dự án hoặc chương trình). • M&E dựa trên kết quả hoạt động kết hợp cách tiếp cận truyền thống về giám sát quá trình thực hiện với sự đánh giá các đầu ra và tác động, hoặc các kết quả nói chung.

108

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Sự liên kết giữa quá trình thực hiện với tiện độ đạt được mục tiêu đề ra hoặc kết quả của các chính sách và chương trình của chính phủ tạo nên sự hữu dụng của hệ thống M&E dựa trên kết quả hoạt động với tư cách là một công cụ quản lý công. Thực hiện hệ thống M&E này cho phép tổ chức sửa đổi và điều chỉnh đối với các nguyên lý thay đổi và các quá trình thực hiện để có thể hỗ trợ trực tiếp hơn cho việc đạt được các mục tiêu và kết quả mong muốn.

■■ Giám sát và

Đánh giá truyền thống: Giám sát và đánh giá truyền thống tập trung vào việc thực hiện một dự án hoặc chương trình

■■ Giám sát và

Nguyên lý thay đổi Một cách để xem xét sự khác biệt giữa M&E truyền thống và M&E dựa trên kết quả hoạt động là xem xét nguyên lý thay đổi. Theo Kusek và Rist (2004), nguyên lý thay đổi là sự đại diện cho cách thức hoạt động can thiệp được kỳ vọng dẫn đến các kết quả mong muốn. (Thông tin thêm về nguyên lý thay đổi và các định nghĩa được cung cấp ở chương 4.) Các mô hình nguyên lý thay đổi thường có 5 thành phần chính: đầu vào, hoạt động, đầu ra, kết quả và tác động (bảng 3.1). Một số mô hình nguyên lý thay đổi cũng bao gồm các đặc trưng khác, gồm các nhóm mục tiêu, các nhân tố nội tại và bên ngoài. Một nguyên lý thay đổi có thể được mô tả qua đồ thị (hình 3.1). Mô hình này có thể được sử dụng để xây dựng khung tiếp cận dựa trên kết quả hoạt động đối với một vấn đề cụ thể ví dụ như giảm sự hoành hành của bận tật ở trẻ em thông qua liệu pháp bổ sung muối và đường qua đường uống (hình 3.2).

đánh giá dựa trên kết quả hoạt động:

Giám sát và đánh giá kết hợp cách tiếp cận giám sát truyền thống với sự đánh giá các kết quả

■■ Nguyên lý

thay đổi:

Nguyên lý về cách thức một sáng kiến dẫn đến các kết quả mong muốn

Bảng 3.1 Các thành phần chính của một nguyên lý thay đổi Thành phần

Mô tả

Đầu vào

Các nguồn lực tham gia vào một dự án, chương trình hoặc chính sách (nguồn ngân sách, độ ngũ nhân viên, thiết bị, nguyên liệu, ….).

Hoạt động

Các hành động mà chúng ta thực hiện. Các hoạt động có được đề cập tới với 1 động từ (“tạo thị trường,” “cung cấp, “ “tạo điều kiện,” “chuyển giao”).

Đầu ra

Thứ chúng ta sản xuất ra. Đầu ra là các sản phẩm hữu hình hoặc các dịch vụ được sản xuất dựa trên các hoạt động. Chúng thường được diễn tả bởi các danh từ. Thường chúng không cần thêm các từ bổ nghĩa. Chúng là các thứ hữu hình và có thể đếm được

Kết quả

Tại sao chúng ta lại thực hiện nó. Các kết quả là những sự thay đổi hành vi nhờ vào các đầu ra của dự án (bỏ thuốc lá, đun sôi nước, dùng màn). Kết quả có thể được gia tăng, giảm đi, tăng cường, nâng cao hoặc duy trì.

Impacts

Sự thay đổi mang tính dài hạn gây nên bởi sự tích luỹ các kết quả. Chúng tương đồng với các mục tiêu chiến lược.

Nguồn: Kusek và Rist 2004.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

109

Hình 3.1 Chương trình Nguyên lý Thay đổi (Mô hình logic) để đạt được kết quả và tác động

• Sự cải thiện mang tính lâu dài và trên diện rộng của xã hội

Kết quả

• Những sự thay đổi về hành vi, cả chủ ý lẫn vô ý, tích cực và tiêu cực

Đầu ra

• Sản phẩm và dịch vụ được sản xuất, chuyển giao

Hoạt động

• Các nhiệm vụ được thực hiện để chuyển đổi từ đầu vào thành đầu ra

Đầu vào

• Các nguồn lực tài chính, con người và nguyên vật liệu

Thực hiện

Kết quả

Tác động

Nguồn: Binnendijk 2000.

Các chỉ tiêu hoạt động Giám sát liên quan đến việc đo tiến độ đạt được một kết quả hoặc tác động. Tuy nhiên, kết quả không thể được đo một cách trực tiếp; kết quả trước hết phải được chuyển đổi thành một tập hợp các chỉ tiêu mà một khi được đo sẽ cung cấp thông tin về tình trạng kết quả hoặc tác động đó có đạt được hay không. Một chỉ tiêu hoạt động là “một biến số cho phép nhận biết những sự thay đổi ở can thiệp phát triển hoặc chỉ ra kết quả trong mối tương quan với mục tiêu đã được xác định” (OECD 2002, trang. 29). Ví dụ, nếu một quốc gia chọn mục tiêu là nâng cao sức khoẻ trẻ em với một mức 30% bằng việc giảm bệnh tật từ các bệnh truyền nhiễm trong vòng năm năm tới, quốc gia đó trước hết phải xác định bộ chỉ tiêu giúp chuyển đổi những sự thay đổi về phạm vi ảnh hưởng của bệnh tật ở trẻ nhỏ từ các bệnh truyền nhiễm thành các đơn vị đo lường cụ thể. Các chỉ tiêu có thể giúp đánh giá những sự thay đổi tình trạng bệnh tật ở trẻ nhỏ bao gồm:

110

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 3.2 Mẫu chương trình nguyên lý thay đổi (mô hình logic) để giảm bệnh tật ở trẻ em thông qua liệu pháp truyền muối và đường qua đường miệng

• Bệnh tật ở trẻ được giảm

Kết quả

• Nâng cao việc sử dụng liệu pháp truyền muối và đường trong quản lý bệnh ỉa chảy ở trẻ nhỏ (sự thay đổi hành vi)

Đầu ra

• Nâng cao sự hiểu biết và khả năng tiếp cận liệu pháp truyền muối và đườngcủa bậc phụ huynh

Thực hiện

Kết quả

Tác động

Hoạt động

• Các chiến dịch truyền thông để giáo dục các bà mẹ, đội ngũ cán bộ y tế được đào tạo về liệu pháp truyền muối và đường qua đường miệng, …

Đầu vào

• Nguồn quỹ, trang thiết bị, giáo viên, ..

Nguồn: Dựa theo Binnendijk 2000

• phạm vi ảnh hưởng và mức phổ biến của các bệnh truyền, ví dụ bệnh viêm gan (nhân tố tác động trực tiếp) • tình trạng sức khoẻ của bố mẹ (nhân tố tác động gián tiếp) • mức độ tiếp cận nước sạch của trẻ em. Đây là bằng chứng tích luỹ của một cụm các chỉ tiêu mà các nhà quản lý sử dụng để xem xét liệu rằng chương trình của họ có đang tiến triển hay không. Không có một kết quả hoặc tác động nào chỉ nên được đo bởi một chỉ tiêu duy nhất. Đo lường các chỉ tiêu tổng hợp cấp thấp (một tập hợp chỉ tiêu được chia thành các hợp phần) cung cấp thông tin quan trọng về khả năng các chương trình và chính sách của chính phủ đang được vận hành để đạt được các mục tiêu hoặc tác động đã được xác định. Chúng cũng được dùng để xác định các khu vực đang được triển khai tốt hơn hoặc xấu hơn mức trung bình (các khu vực ngoại lai của chương trình) và các chính sách đang được hoặc không được thực hiện tốt. Ví dụ, nếu tập hợp các chỉ tiêu chỉ ra rằng, theo thời gian, càng

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

111

ngày càng có ít hơn trẻ em có thể tiếp cận nước sạch, thì chính phủ cần sử dụng thông tin này để cải tổ các chương trình nhằm nâng cao khả năng cung ứng nước sạch, hoặc tăng cường các chương trình để cung cấp thông tin cho các bậc phụ huynh về nhu cầu làm sạch nước trước khi cho con em họ sử dụng. Thông tin thu được từ hệ thống giám sát chỉ tiết lộ hiệu quả hoạt động của những gì đang được xét đến (mặc dù nó có thể được so sánh với cả các mức đã đạt được ở quá khứ và một số mức dự kiến ở hiện tại và tương lai [các mục tiêu]). Các dữ liệu giám sát không tiết lộ tại sao mức hiệu quả đó lại xảy ra hoặc cung cấp các lí giải mang tính nguyên nhân – kết quả về những thay đổi ở hiệu quả hoạt động từ một giai đoạn báo cáo này đến một giai đoạn báo cáo khác hoặc từ một khu vực thực hiện này đến một khu vực thực hiện khác. Những thông tin này đến từ hệ thống đánh giá. Một hệ thống đánh giá phục vụ chức năng mang tính bổ sung nhưng khác biệt trong một khuôn khổ quản lý dựa trên kết quả hoạt động. Một hệ thống đánh giá cho phép: • • • •

nghiên cứu sâu về các kết quả và tác động dựa trên kết quả hoạt động sử dụng các nguồn dữ liệu khác ngoài các chỉ tiêu đang được theo dõi xem xét các nhân tố khó hoặc đắt đỏ trong việc giám sát một cách liên tục xem xét lí do tại sao và cách thức như thế nào mà các xu hướng đang được theo dõi vận động theo xu hướng đang diễn ra với dữ liệu giám sát.

Dữ liệu về tác động và quan hệ nhân quả sẽ không thể thu thập một cách dễ dàng. Chúng lại đóng vai trò quan trọng trong việc phân bổ các nguồn lực chiến lược.

Mười bước để xây dựng một hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động Xây dựng một hệ thống Giám sát và Đánh gia tuân thủ 10 bước sau (hình 3.3): 1. thực hiện một đánh giá mức độ sẵn sàng 2. thống nhất về các kết quả hoạt động để giám sát và đánh giá 3. lựa chọn các chỉ tiêu chủ chốt để giám sát kết quả 4. thu thập dữ liệu kỳ gốc về các chỉ tiêu 5. lập kế hoạch cho việc triến triển: thiết lập các mục tiêu lý tưởng 6. giám sát kết quả thực hiện 7. sử dụng thông tin đánh giá 8. báo cáo các phát hiện 9. sử dụng các phát hiện 10. duy trì bền vững hệ thống M&E trong tổ chức.

112

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 3.3 Mười bước để Thiết kế, Xây dựng và Duy trì bền vững một Hệ thống Giám sát và Đánh giá dựa trên kết quả hoạt động

lựa chọn các chỉ tiêu chủ chốt để giám sát kết quả

thực hiện một đánh giá mức độ sẵn sàng

lập kế hoạch cho việc tiến triển: thiết lập các chỉ tiêu lý tưởng

thống nhất về các kết quả để giám sát và đánh giá

thu thập dữ liệu kỳ gốc về các chỉ tiêu

sử dụng thông tin đánh giá

sử dụng các phát hiện

giám sát kết quả thực hiện

báo cáo các phát hiện

10 duy trì bền vững hệ thống M&E trong tổ chức

Source: Kusek and Rist 2004.

Bước 1: Thực hiện một đánh giá mức độ sẵn sàng thực hiện một đánh giá mức độ sẵn sàng

Đánh giá mức độ sẵn sàng là cách xác định năng lực và mức độ sẵn sàng mà một chính phủ và các đối tác phát triển xây dựng một hệ thống M&E dựa trên kết quả hoạt động. Đánh giá này giải quyết các vấn đề như là sự hiện hữu hoặc vắng mặt của các nhà quán quân hoặc các yếu tố khích lệ, vai trò và trách nhiệm, năng lực tổ chức và các trở ngại để thực sự bắt đầu tiến trình xây dựng. Các yếu tố khích lệ Phần đầu của đánh giá mức độ sẵn sàng liên quan đến việc hiểu các yếu tố khích lệ tồn tại để hướng đến việc xây dựng một hệ thống M&E (và đâu là yêu tố gây trở ngại đến tiến trình này. Các câu hỏi cần được xem xét đến bao gồm:

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

113

• Điều gì chi phối nhu cầu xây dựng hệ thống M&E? • Ai là những nhà quán quân cho việc xây dựng và sử dụng hệ thống M&E? • Điều gì thúc đẩy họ trở thành các nhà quán quân trong việc xây dựng hệ thống M&E? • Ai sẽ được hưởng lợi từ hệ thống đó? • Ai sẽ không được hưởng lợi? Vai trò và trách nhiệm Tiếp theo, xác định ai đang phải chịu trách nhiệm đối với việc tạo ra dữ liệu trong tổ chức và các tổ chức liên quan phù hợp khác và ai là người sử dụng dữ liệu chủ yếu là rất quan trọng. Các câu hỏi cần cân nhắc bao gồm: • Vai trò của các bộ trung ương và ngành dọc trong việc đánh giá hiệu quả hoạt động là gì? • Đâu là vai trò của hệ thống pháp lý? • Đâu là vai trò của cơ quan kiểm toán tối cao? • Các bộ và các cơ quan có chia sẻ thông tin với nhau hay không? • Có lộ trình chính trị nào hiện diện đăng sau dữ liệu được tạo ra hay không? • Trong phạm vi quốc gia, ai là người tạo ra dữ liệu? • Ở các cấp khác nhau trong chính phủ, nơi nào sử dụng dữ liệu? Năng lực tổ chức Nhân tố quan trọng chi phí sự sẵn sàng của tổ chức để tiến hành xây dựng một hệ thống M&E dựa trên kết quả hoạt động liên quan đến kỹ năng, nguồn lực và kinh nghiệm mà tổ chức đó có sẵn. Các câu hỏi cần được cân nhắc bao gồm: • Ai trong tổ chức có đủ năng lực kỹ thuật để thiết kế và thực hiện một hệ thống M&E? • Ai có đủ kỹ năng để quản lý hệ thống? • Các hệ thống dữ liệu nào đang tồn tại trong tổ chức và chất lượng của nó ra sao? • Đâu là công nghệ sẵn có để hỗ trợ cho các hệ thống dữ liệu cần thiết? Năng lực cơ sở dữ liệu, mức sẵn có của dữ liệu phân tích, phần mềm báo cáo,.. là các cấu phần của bản đánh giá. • Đâu là các nguồn lực tài chính có sẵn cho việc thiết kế và thực hiện hệ thống M&E? • Tổ chức có kinh nghiệm gì đối với các hệ thống báo cáo hiệu quả hoạt động?

114

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Các trở ngại Cũng như với bất kỳ sự thay đổi thuộc về tổ chức nào, điều quan trọng là cần phải xem xét điều gì có thể chen ngang quá trình thực hiện hiệu quả. Các câu hỏi cần cân nhắc bao gồm: • Có hay không sự thiếu thốn các nguồn lực tài chính, quyết tâm chính trị, một nhà quán quân cho hệ thống, một chiến lược gắn với kết quả hoặc kinh nghiệm? • Nếu có, các trở ngại này sẽ được vượt qua như thế nào? Các trường hợp thành công trong thực tế cho thấy sự thành công trong việc thiết lập một hệ thống M&E có hiệu quả phụ thuộc vào nhiều yếu tố, ba gồm: • một chỉ thị rõ ràng về M&E ở cấp trung ương • các tài liệu về giảm nghèo, luật, và quy định • sự lãnh đạo và hỗ trợ mạnh mẽ ở các cấp cao trong chính phủ • thông tin đáng tin cậy có thể được sử dụng trong quá trình ra quyết định chính sách hoặc quản lý • một xã hội dân sự với tư cách là một đối tác của chính phủ trong việc xây dựng và thu thập thông tin hoạt động • các ổ sáng tạo có thể phục vụ như các nhà tiên phong hoặc các chương trình thử nghiệm. Tại cuối bản đánh giá mức độ sẵn sàng các quan chức cấp cao của chính phủ phải đối mắt với câu hỏi về việc tiến tới xây dựng một hệ thống M&E dựa trên kết quả hoạt động. Điểm mấu chốt, câu hỏi là “đi tiếp hay không nào?” (hoặc, sớm hay để sau).

Bước 2: Thống nhất các chỉ tiêu hoạt động sẽ được giám sát và đánh giá

Thống nhất các chỉ tiêu hoạt động được giám sát và đánh giá

Điều quan trọng là phải tạo ra được tự quan tâm thích đến đến việc đánh giá các kết quả và tác động mà tổ chức hoặc chính phủ đang cố gắng đạt được hơn

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

115

là chỉ tập trung vào các vấn đề thực hiện (đầu vào, hoạt động và đầu ra). Cuối cùng, các kết quả - ví dụ như nâng cao phạm vi của các chương trình nhà trẻ - là sự thừa nhận hay không các lợi ích được nhận biết. Các kết quả và tác động chiến lược cần tập trung và chi phối sự phân bổ nguồn lực và các hoạt động của chính phủ và các đối tác phát triển. Những tác động này cần được xuất phát từ những ưu tiên chiến lược của quốc gia. Các vấn đề cần cân nhắc khi đưa ra danh sách các kết quả bao gồm: • Đã có các mục tiêu quốc gia/ngành rõ ràng chưa (ví dụ, Tầm nhìn 2016)? • Đã có các lời hứa chính trị nào về việc nâng cao hiệu quả hoạt động ở một khu vực nhất định nào được đưa ra hay chưa? • Các dữ liệu bỏ phiếu của cử tri (ví dụ như phiếu đánh giá của cử tri) có ngụ ý các vấn đề cần quan ngại hay không? • Các khoản cho vay của nhà tài trợ có kết nối với các mục tiêu cụ thể hay không? • Pháp luật chi phối có đang hiện hữu? • Chính phủ có nghiêm túc cam kết đạt được các Mục tiêu Thiên niên kỷ (MDGs) hay không? Thống nhất về các kết quả là một quá trình chính trị đòi hỏi sự hỗ trợ và đồng thuận từ các đối tác chủ chốt. Các buổi thảo luận góp ý, phỏng vấn, thảo luận nhóm và các cuộc khảo sát được sử dụng để tìm hiểu các quan ngại của họ. Các kết quả làm rõ mục tiêu hướng đến của một hành động (“cần phải biết bạn cần đến đâu trước khi khởi hành”). Chúng đại diện cho kết cục mà khách hàng hi vọng đạt được. Trước khi đạt được các kết quả này chúng cần phải chuyển đổi thành một tập hợp các chỉ tiêu chủ chốt. Các kết quả được xác định rõ – và các định các chỉ tiêu dựa trên đó – là mấu chốt để thiết kế và xây dựng các hệ thống M&E dựa trên kết quả hoạt động.

Bước 3: Lựa chọn các chỉ tiêu chủ chốt để giám sát kết quả

lựa chọn các chỉ tiêu chủ chốt để giám sát kết quả

116

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Những gì có thể đo lường được thì có thể hoàn thành. Chỉ ra rõ ràng điều gì cần được đo lường để đánh giá mức độ hoàn thành các kết quả không chỉ giúp theo dõi tiến trình, mà nó còn là động lực thúc đẩy mạnh mẽ để tập trung nỗ lực và tạo sự cân xứng với tổ chức nếu nó được thực hiện đủ rõ ràng trong tiến trình. Một chỉ tiêu là một thang đo mà một khi được theo dõi có hệ thống theo thời gian sẽ chỉ ra tiến trình (hoặc không theo kịp tiến độ) đạt được mục tiêu. Nó giúp trả lời câu hỏi “Chúng ta sẽ biết được thành công như thế nào khi nhìn thấy nó?”. Trong các hệ thống M&E mới tất cả các chỉ tiêu nên là chỉ tiêu định lượng, các chỉ tiêu định tính có thể được đưa ra sau đó khi mà hệ thống M&E đã chín muồi. Phát triển các chỉ tiêu là hoạt động mấu chốt trong quá trình xây dựng hệ thống M&E. Nó chi phối tất cả các bước tiếp theo gồm thu thập dữ liệu, phân tích và báo cáo. Các vấn đề về chính trị và phương pháp luận có thể phát sinh trong khi xây dựng các chỉ tiêu phù hợp và đáng tin cậy cần phải được đánh giá đúng mực. Schiavo-Campo (1999) lưu ý rằng các chỉ tiêu nên là “CREAM,” nghĩa là: • clear – rõ ràng (ngắn gọn và không gây tranh cãi) • phù hợp (phù hợp với chủ đề) • tiết kiệm (có thể thực hiện với một mức chi phí hợp lý) • đầy đủ (có thể cung cấp đầy đủ nền tảng để đánh giá hiệu quả) • có thể giám sát được (có thể hỗ trợ đánh giá độc lập). Đôi khi chi phí có thể được cắt giảm bằng việc sử dụng các chỉ tiêu đã có sẵn (mặc dù người đánh giá cần nhận thức được các rủi ro khi sử dụng các chỉ tiêu đó). Tuy nhiên, trước khi quyết định thực hiện điều quan trọng là phải xem xét mức độ phù hợp của các chỉ tiêu này. Một vài chỉ tiêu có thể cần phải chỉnh sửa hoặc bổ sung với các chỉ tiêu khác để phù hợp hơn với dự án, chương trình hoặc chính sách cần được đánh giá. Số chỉ tiêu phụ thuộc vào số lượng cần có để trả lời câu hỏi “Kết quả có đạt được hay không?” Số lượng các chỉ tiêu nên rơi vào khoảng từ hai đến bảy. Một khi đã lựa chọn, các chỉ tiêu này không phải là cố định. Các chỉ tiêu mới có thể được thêm vào và chỉ tiêu cũ có thể bị bỏ đi bởi vì hệ thống giám sát được điều chỉnh và cái tiến theo thời gian. Các chỉ tiêu hoạt động được lựa chọn và các chiến lược thu thập dữ liệu dùng để thu thập thông tin về các chỉ tiêu này cần được xác lập căn cứ trong thực tế (Kusek và Rist 2004). Các yếu tố cần chú ý bao gồm: • hệ thống dữ liệu này đã sẵn có • dữ liệu nào hiện nay đã được thu thập • năng lực nào cần có để mở rộng phạm vi và độ sâu của công tác thu thập và phân tích dữ liệu. Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

117

Hoàn thành mỗi ô trong ma trận ở bảng 3.2 cho chúng ta nhận biết về tính khả thi khi thực sự triển khai mỗi chỉ tiêu. Các ví dụ về các chỉ tiêu được đưa ra trong bảng 3.3. • Các chuyên gia đánh giá cẩn phải phát triển các chỉ tiêu để đáp ứng nhu cầu về đánh giá mà họ sẽ thực hiện. • Phát triển các chỉ tiêu tốt thường phải phải nỗ lực nhiều hơn một lần. Đạt được bộ chỉ tiêu cuối cung sẽ mất nhiều thời gian. • Tất cả các chỉ tiêu phải được nêu ra một cách trung tính, không được “tăng lên về” hay “giảm đi ở.” • Các chuyển gia đánh giá phải thử nghiệm, thử nghiệm, thử nghiệm!

Bảng 3.2 Ma trận lựa chọn các chỉ tiêu Chỉ tiêu

Nguồn Dữ liệu

thu thập dữ liệu

Ai sẽ thu thập dữ liệu?

Tần suất thu thập dữ liệu

Chi phí để thu thập

Khó khăn khi thu thập

Ai sẽ phân tích và báo cáo dữ liệu

Ai sẽ sử dụng dữ liệu

1. 2. 3. Nguồn: Kusek và Rist 2004.

Bảng 3.3 Sample Performance Framework: Outcomes and Indicators Kết quả

Các chỉ tiêu

Kỳ gốc

Mở rộng phạm vi chương trình nhà trẻ, mẫu giáo

Tỷ lệ trẻ em thành thị đủ điều kiện để tham gia nhà trẻ, mẫu giáo

Mục tiêu

Tỷ lệ trẻ em nông thôn đủ điều kiện tham gia nhà trẻ, mẫu giáo Nâng cao kết quả giáo dục tiểu học

Tỷ lệ học sinh lớp 6 đạt điểm 70% hoặc cao hơn trong các bài kiểm tra toán và khoa học quy chuẩn Tỷ lệ học sinh lớp 6 đạt điểm cao hơn trong các bài thi toán và khoa học quy chuẩn so với kết quả kỳ gốc

Nguồn: Kusek and Rist 2004.

118

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bước 4: Thu thập dữ liệu kỳ gốc về các chỉ tiêu

Thu thập dữ liệu kỳ gốc về các chỉ tiêu

Đo lường tiến độ (hoặc chậm tiến độ) thực hiện các kết quả mong muốn bắt đầu với việc mô tả và đánh giá điều kiện khởi đầu. Thu thập dữ liệu kỳ gốc có ý là thu thập các số liệu về các chỉ tiêu để trả lời câu hỏi “Chúng ta đang ở tại cấp độ nào?” Một khảo sát kỳ gốc cung cấp thông tin (định tính hoặc định lượng) về hiệu quả hoạt động trên một chỉ tiêu tại thời điểm bắt đầu (hoặc ngay trước lúc bắt đầu) của hoạt động can thiệp. Thực tế, một sự cân nhắc khi lựa chọn các chỉ tiêu là sự sẵn có của dữ liệu kỳ gốc, nhân tố cho phép theo dõi hiệu quả hoạt động so với một mốc so sánh. Nguồn của dữ liệu kỳ gốc có thể là dữ liệu sơ cấp (thu thập chủ yêu cho hệ thống đo lường này) hoặc thứ cấp (thu thập cho một mục đích khác). Dữ liệu thứ cấp có thể đến từ chính nội bộ tổ chức, từ chính phủ hoặc các nguồn dữ liệu quốc tế. Sử dụng dữ liệu có sẵn có thể giúp tiết kiệm chi phí, miễn là chúng cung cấp đầy đủ thông tin cần thiết. Rất khó để quay trở lại và thu thập dữ liệu sơ cấp kỳ gốc nếu như sau khi triển khai chúng ta mới nhận thấy rằng dữ liệu thứ cấp là không đáp ứng đủ cho nhu cầu đánh giá. Nguồn dữ liệu kỳ gốc có thể bao gồm các nguồn sau: • các ghi chép (giấy hoặc điện tử) • các cá nhân tham gia vào dự án, chương trình hoặc chính sách • công chúng • người quan sát được đào tạo • đo lường nhờ máy móc và các bài kiểm tra • các hệ thống thông tin địa lý Một khi các nguồn dữ liệu kỳ gốc cho các chỉ tiêu được lựa chọn, các chuyên gia đánh giá quyết định ai sẽ đi thu thập dữ liệu và thu thập như thế nào. Họ sẽ xác định và phát triển các công cụ thu thập dữ liệu, ví dụ như các bảng mẫu thu thập thông tin qua các tệp hoặc bản ghi, quy trình phỏng vấn, khảo sát và các

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

119

công cụ quan sát. Khi phát triển các công cụ thu thập dữ liệu, các nhà đánh giá sẽ luôn tính đến các vấn đề sau: • Dữ liệu phù hợp có sẵn có hay không (hoặc có thể tiếp cận được)? • Có thể thu được dữ liệu trên cơ sở thường xuyên và cập nhật để giúp theo dõi tiến trình? • Quy trình thu thập dữ liệu sơ cấp có khả thi và hiệu quả về mặt chi phí hay không? Có rất nhiều cách để thu thập dữ liệu (như được thảo luận ở chương 9). Chúng có thể được xếp hạng từ ít chính xác nhất, ít quy chuẩn nhất và ít tốn kém nhất đến chính xác nhất, quy chuẩn nhất và tốn kém nhất (hình 3.4). Bảng 3.4 chỉ ra bước thứ 3 trong quá trình phát triển các kết quả cho chính sách giáo dục: thiết lập các số đo kỳ gốc.

Hình 3.4 Tổng thể các phương pháp thu thập dữ liệu

phỏng vấn những người nắm thông tin chủ chốt thảo luận với các cá nhân có liên quan

khảo sát lặp (panel)

phỏng vấn nhóm quan sát người tham gia

xem xét các ghi chép chính thức (hệ thống thông phỏng vấn tin quản lý cộng đồng và dữ liệu field quản lý hành visits chính)

không quy chuẩn/thiếu cấu trúc

khảo sát một lần tổng điều tra Quan sát trực tiếp

khảo sát

thực nghiệm

quy chuẩn/có cấu trúc hơn

Nguồn: Kusek và Rist 2004..

120

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 3.4 Mẫu khung hiệu quả hoạt động: Kết quả, chỉ tiêu và kỳ gốc Kết quả

Chỉ tiêu

Kỳ gốc

Mở rộng phạm vi chương trình nhà trẻ, mẫu giáo

Tỷ lệ trẻ em thành thị đủ điều kiện tham gia nhà trẻ, mẫu giáo

75 phần trăm khu vực thành thị trong năm 1999

Tỷ lệ trẻ em nông thôn đủ điều kiện tham gia nhà

Mục tiêu

40 phần trăm khu vực nông thôn trong năm 2000

trẻ, mẫu giáo Nâng cao kết quả giáo dục Tỷ lệ học sinh lớp 6 đạt tiểu học điểm 70% hoặc cao hơn trong các bài kiểm tra toán và khoa học quy chuẩn Tỷ lệ học sinh lớp 6 đạt điểm cao hơn trong các bài thi toán và khoa học quy chuẩn so với kết quả kỳ gốc

Trong năm 2000, 47 phần trăm học sinh đạt điểm 70 phần trăm hoặc tốt hơn ở môn toán, và 50 phần trăm đạt điểm 70 phần trăm hoặc tốt hơn ở môn khoa học. Trong năm 2002, điểm trung bình của học sinh lớp 6 là 68% cho môn toán và 53% cho môn khoa học.

Nguồn: Kusek và Rist, 2004.

Bước 5: Lập kế hoạc cho việc tiến triển: thiết lập các chỉ tiêu lý tưởng lập kế hoạch cho việc tiến triển: thiết lập các chỉ tiêu lý tưởng

Bước tiếp theo – thiết lập mục tiêu – là bước cuối cùng trong quy trình xây dựng quy trình hoạt động. Theo Kusek và Rist (2004, trang. 91), “Điều quan trọng là các mục tiêu là các cấp có thể đo lường được của các chỉ tiêu mà một quốc gia, một xã hội hay một tổ chức muốn đạt được tại một mốc thời gian.” Hầu hết các kết quả và gần như tất cả tác động trong sự phát triển quốc tế đều phức tạp và chỉ diễn ra trong dài hạn. Do đó, có nhu cầu thiết lập các mục tiêu quá độ để chỉ ra tiến độ đạt được mục tiêu cuối cùng, theo khung thời gian nào và với mức độ phân bổ nguồn lực nào. Đo lường hiệu quả hoạt động bám theo các chỉ tiêu này liên quan đến các chỉ tiêu trực tiếp và gián tiếp, cũng như liên quan đến việc sử dụng cả dữ liệu định lượng lẫn định tính.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

121

Chúng ta có thể nghĩ đến tác động của nguyên lý thay đổi như là các mục tiêu dài hạn mà cuối cùng thì hoạt động can thiệp sẽ đạt đến. Các kết quả là tập hợp các mục tiêu xâu chuỗi và khả thi (tương đối theo mức so sánh kỳ gốc) đối với các chỉ tiêu mà chúng ta hi vọng đạt được theo suốt tiến trình, trong khuôn khổ một khung thời gian (chính trị và ngân sách) cụ thể và hiện thực. Nói một cách khác, nếu một tổ chức đạt được các mục tiêu mà nó đề ra theo thời gian nó sẽ đạt được kết quả cuối cùng (miễn là nó có một nguyên lý thay đổi đúng đắn và thành công trong việc thực hiện nó). Khi xây dựng mục tiêu cho các chỉ số điều quan trọng là phải hiểu rõ các vấn đề sau: • mức khởi điểm kỳ gốc (ví dụ, mức trung bình trong vòng ba năm qua, năm vừa qua và xu hướng trung bình) • nguyên lý thay đổi và cách gộp nó thành một tập hợp các kết quả đạt được trong các giới hạn thời gian • các mức cấp vốn và nguồn nhân lực theo suốt khung thời gian để đạt mục tiêu • nguồn lực bên ngoài cần thiết để bổ sung cho nguồn lực hiện tại mà chương trình có được • các quan ngại chính trị phù hợp • kinh nghiệm tổ chức (đặc biệt là quản lý) trong việc hoàn thành dự án và chương trình ở các khu vực quan trọng. Hình 3.5 chỉ ra cách thức xác định các mục tiêu cần đạt được với tư cách là một mắt xích, theo thời gian, sẽ dẫn đến sự hoàn thành các kết quả dự kiến. Chỉ nên xây dựng một mục tiêu cho mỗi chỉ tiêu. Nếu chỉ chiêu chưa bao giờ được dùng trước đó thì cán bộ đánh giá phải thực sự cẩn trọng khi xây dựng mục tiêu, hãy đưa ra một quãng giá trị thay vì một mức cụ thể. Mục tiêu luôn được thiết lập cho các giai đoạn trung hạn (không dài quá 3 năm) và bao gồm các khung thời gian hợp lý để đạt được kết quả. Hầu hết các mục tiêu được xây

Hình 3.5 Xác định mức cái tiến mong muốn đỏi hỏi lựa chọn các mục tiêu hoạt động

Mức chỉ tiêu kỳ gốc

Mức cải tiến mong muốn

giả định một mức hữu hạn và được kỳ vọng của đầu vào, hoạt động và đầu ra

Mục tiêu hướng đến

mức hiệu quả mong muốn cần đạt được trong một khoảng thời nhất định

Source: Kusek and Rist 2004.

122

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

dựng hàng năm, nhưng một số có thể được xây dựng theo quý hoặc các giai đoạn dài hơn. Bảng 3.5 chỉ ra bước cuối cùng của quá trình phát triển kết quả của chính sách giáo dục: xây dựng các chỉ tiêu hoạt động. Ma trận phức tạp này trở thành khung thực hiện chính sách. Nó xác định các kết quả và cung cấp một kế hoạch xác định liệu chương trình có thành công trong việc đạt được các kết quả hay không. Khung hành động này xác định thiết kế của một hệ thống M&E dựa trên kết quả hoạt động, hệ thống sẽ bắt đầu cung cấp thông tin về tình hình đạt được các mục tiêu quá độ trong tiến trình đạt được các kết quả dài hạn. Khung hành động giúp cán bộ đánh giá thiết kế bản đánh giá. Nó cũng giúp các nhà quản lý hoạch định ngân sách, phân bổ nguồn lực, xác định nhân lực và các chức năng khác. Các nhà quản lý nên thường xuyên tra cứu khung hành động để đảm bảo rằng dự án, chương trình và chính sách đang đi đúng lộ trình đạt được kết quả. Mục tiêu hoạt động là tối quan trọng để đạt được các kết quả của chính sách. Sử dụng một tiến trình có sự tham gia và phối hợp sử dụng các chỉ tiêu kỳ gốc và các mức cải tiến mong muốn theo thời gian là mấu chốt đối với hệ thống M&E dựa trên kết quả hoạt động.

Bảng 3.5 Mẫu Khung Hiệu quả hoạt động: Kết quả, các chỉ số, số liệu kỳ gốc, và mục tiêu Outcomes

Indicators

Baselines

Targets

Mở rộng phạm vi chương trình nhà trẻ, mẫu giá

Tỷ lệ trẻ em thành

75 phần trăm khu vực thành thị trong năm 1999

85 phần trăm khu vực thành thị trước năm 2006

40 phần trăm khu vực nông thôn trong năm 2000

60 phần trăm khu vực nông thôn trước năm 2006

Tỷ lệ học sinh lớp 6 đạt điểm 70% hoặc cao hơn trong các bài kiểm tra toán và khoa học quy chuẩn

Trong năm 2002, 47 phần trăm học sinh đạt điểm 70 phần trăm hoặc tốt hơn ở môn toán, và 50 phần trăm đạt điểm 70% hoặc tốt hơn ở môn khoa học.

Trước 2006, 80% học sinh sẽ đạt điểm 70% hoặc cao hơn ở môn toán và 67% sẽ đạt điểm 70% hoặc cao hơn ở môn khoa học.

Tỷ lệ học sinh lớp 6 đạt điểm cao hơn trong các bài thi toán và khoa học quy chuẩn so với kết quả kỳ gốc

Trong năm 2002, điểm trung Bình của học sinh lớp 6 là 68% cho môn toán và 53% cho môn khoa học.

Trong năm 2006, điểm kiểm tra trung bình là 78% cho toán và 65% cho môn khoa học.

thị đủ điều kiện tham gia nhà trẻ, mẫu giáo Tỷ lệ trẻ em nông thôn đủ điều kiện tham gia nhà trẻ, mẫu giáo

Nâng cao kết quả giáo dục tiểu học

Nguồn: Kusek và Rist 2004.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

123

Bước 6: Giám sát kết quả

giám sát kết quả

Một hệ thống giám sát dựa trên kết quả hoạt động theo dõi cả quá trình thực hiện (đầu vào, hoạt động, đầu ra) và kết quả cuối cùng (kết quả và tác động). Hình 3.6 chỉ ra cách thức mỗi loại giám sát phù hợp với mô hình. Mỗi kết quả có nhiều chỉ tiêu và mỗi chỉ tiêu có một mục tiêu. Một loạt các hoạt động và chiến lược cần phải được điều phối và quản lý để đạt được các mục tiêu đó (hình 3.7). Liên kết giám sát hoạt động với giám sát kết quả là mấu chốt. Hình 3.8 cung cấp một ví dụ về giảm bật tật ở trẻ em. Hình 3.6 Các loại giám sát chủ chốt

Tác động Kết quả cuối

Giám sát kết quả Kết quả

Đầu ra

Thực hiện

Hoạt động

Giám sát hoạt động (phương tiện và chiến lược)

Đầu vào

Nguồn: dựa trên Binnendijk 2000.

124

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 3.7 Liên kết giữa Giám sát hoạt động và Giám sát kết quả

Kết quả

Kết quả giám sát. Mục tiêu 1

Mục tiêu 2

Mục tiêu 3

phương tiện và chiến lược

(kế hoạch công việc nhiều năm và hàng năm)

Thực hiện giám sát.

Nguồn: Kusek và Rist 2004.

Hình 3.8 Ví dụ về Liên kết giữa Giám sát hoạt động và Giám sát Kết quả

Tác động

Giảm tỷ lệ chết non.

Kết quả

Giảm bệnh tật ở trẻ em.

Mục tiêu

Giảm phạm vi ảnh hưởng của các bệnh đường ruột ở trẻ em xuống 20 phần trăm so với kỳ gốc trong vòng 3 năm.

Phương tiện và chiến lược

• Nâng cao các chương trình ngăn ngừa bệnh tả. • Cung cấp bổ sung vitamin A. • Dùng liệu pháp bổ sung muối và đường theo đường uống.

Nguồn: Kusek và Rist 2004.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

125

Phối hợp hoạt động với các đối tác là chuẩn mực đang ngày càng gia tăng trong các chương trình phát triển. Rất nhiều đối tác ở cấp thấp của hệ thống thực hiện có khả năng cung cấp các đầu vào, thực hiện các hoạt động và tạo đầu ra với tư cách là một bộ phận của chiến lược để đạt được các mục tiêu (Hình 3.9). Hình 3.9 Đạt được kết quả thông qua hợp tác

Tác động

Kết quả

Mục tiêu 1

Mục tiêu 2

Phương tiện và chiến lược

Đối tác 1

Đối tác 2

Đối tác 3

Nguồn: Kusek và Rist 2004.

126

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một hệ thống M&E vững mạnh phải được hỗ trợ bởi ngân sách, các kế hoạch nhân sự và hoạt động. Xây dựng một hệ thống M&E hiệu quả liên quan đến các nhiệm vụ hành chính và thể chế, ba gồm: • thực hiện thu thập dữ liệu, phân tích và báo cáo hướng dẫn • chỉ định ai sẽ phụ trách hoạt động nào • thiết lập các công cụ quản lý chất lượng • xây dựng khung thời gian và chi phí • hoạt động thông qua vai trò và trách nhiệm của chính phủ và xác đối tác phát triển khác và cả xã hội dân sự • xây dựng các hướng dẫn về sự minh bạch và phổ biến thông tin và kết quả phân tích. Để thành công, mọi hệ thống M&E cần có các nhân tố sau: • quyền sở hữu • quản lý • bảo trì • độ tin cậy.

Bước 7: Sử dụng thông tin đánh giá sử dụng thông tin đánh giá

Đánh giá đóng vai trò quan trọng vào việc cung cấp thông tin cần thiết cho tiến trình giám sát tiến độ đạt được kết quả và tác động. Trong khi giám sát cho biết chúng ta đang làm gì trong mối tương quan với các chỉ tiêu, mục tiêu và kết quả, đánh giá lại cho biết liệu: • những gì chúng ta thực hiện là đúng đắn (chiến lược) • chúng ta đang thực hiện đúng các nhiệm vụ (thực hiện) • có nhiều cách thức để làm tốt hơn (học hỏi). Đánh giá có thể xử lý được các vấn đề quan trọng vượt quá khuôn khổ của một hệ thống giám sát đơn giản. Ví dụ, thiết kế của nhiều hoạt động can thiệp được dựa trên các giả định nhân quả về vấn đề đang được giải quyết. Đánh giá có thể xác nhận hoặc thách thức các giả định nhân quả đó sử dụng

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

127

đánh giá dựa trên lý thuyết và các mô hình logic (được thảo luận ở chương 4). Đánh giá cũng có thể đào sâu hơn vào các kết quả thú vị hoặc khúc mắc, hoặc xu huống phát sinh từ hệ thống giám sát (ví dụ tìm ra lý giải tại sao các bé gái thì bỏ học khỏi các trước trường làng sớm hơn nhiều năm so với các bé trai). Một đánh giá có thể được sử dụng cùng với hệ thống giám sát • bất cứ khi nao có kết quả không mong đợi hoặc có các hiệu quả ngoại lại cần phải được tìm hiểu thêm • khi phân bổ nguồn lực hoặc ngân sách được thực hiện chéo giữa các dự án, chương trình hoặc chính sách • khi một quyết định được đưa ra liên quan đến việc có mở rộng sự thử nghiệm hay không • khi có một giai đoạn dài không thấy sự tiến triển mà không được giải thích một cách rõ ràng • khi một chương trình hoặc chính sách tương tự báo cáo các kết quả lệch xa hoặc khi các chỉ tiêu cho cùng một kết quả chỉ ra xu hướng xa dần • khi cố gắng hiểu các hiệu ứng bên của các hoạt động can thiệp • khi học hỏi về công trạng, giá trị và ý nghĩa của những gì được thực hiện • khi xem xét cẩn thận chi phí trong mối tương quan với lợi ích. Nếu chính phủ và các tổ chức phụ thuộc vào thông tin thu thập từ một hệ thống M&E họ phải phụ thuộc vào chất lượng và mức độ tin cậy của thông tin mà nó thu thập. Thông tin chất lượng kém, không đầy đủ và bị sai lệch là không có ý nghĩa sử dụng đối với bất kỳ ai.

Bước 8: Báo cáo các phát hiện

báo cáo các phát hiện

Xác định các phát hiện nào sẽ được báo cáo cho ai, theo kiểu gì và theo quãng thời gian như thê nào là điều quan trọng đối với hệ thống. Phân tích và báo cáo dữ liệu: • cung cấp thông tin về hiện trạng của dự án, chương trình và chính sách • thu được bằng chứng về các vấn đề gặp phải • tạo ra cơ hội để xem xét khả năng cải tiến khi thực hiện các chiến lược 128

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• cung cấp các thông tin quan trọng theo thời gian về xu hướng và hướng đi • giúp xác nhận hoặc đặt ra thách thức về nguyên lý thay đổi đằng sau dự án, chương trình hoặc chính sách. (Phân tích dữ liệu và báo cáo được bàn kỹ trong các chương sau.) Cán bộ đánh giá phải đảm bảo tìm ra các điểm ra quyết định ở các cấp của dự án, dự án và chính sách và do đó làm rõ khi nào thì các phát hiện M&E sẽ có ích nhất cho các nhà ra quyết định. Nếu dữ liệu và phân tích đến quá muộn chúng có thể không còn khả năng ảnh hưởng đến quyết định. Tất cả các kết quả quan trọng cần được báo cáo, dù theo chiều hướng tốt hay xấu (bảng 3.6). Một hệ thống M&E tốt nên cung cấp một hệ thống cảnh báo sớm để nhận ra các vấn đề hoặc các mâu thuẫn cũng như mô tả giá trị của hoạt động can thiệp. Các báo cáo hiệu quả hoạt động nên bao gồm các lý giải về các kết quả yếu kém hoặc gây thất vọng, và chúng nên chỉ rõ các bước đã thực hiện để giải quyết các vấn đề yếu kém đó. Khi phân tích và trình bày dữ liệu, cán bộ đánh giá nên: • so sánh dữ liệu chỉ tiêu với kỳ gốc và mục tiêu và cung cấp thông tin này thông qua một hình dễ hiểu (xem chương 13) • so sánh thông tin hiện tại với dữ liệu quá khứ và tìm kiếm các mô hình hoặc xu hướng • cẩn trọng khi đưa ra các kết luận gạt bỏ dựa trên thông tin không đầy (Thông tin thu thập càng nhiều thì khả năng cán bộ đánh giá đưa ra các các xu hướng đúng hiện thực càng cao.) • bảo vệ người loan tin: người thông báo tin xấu không nên chịu xử phạt (Các phát hiện không dễ chịu có thể ngụ ý các xu hướng mới hoặc thông báo sớm cho các nhà quản lý các vấn đề gặp phải, cho phép họ có đủ thời gian để giải quyết các vấn đề đó.)

Bảng 3.6 Mẫu Bảng báo cáo kết quả Chỉ tiêu kết quả

Kỳ gốc

Hiện tại

Mục tiêu

Khác biệt (Mục tiêu – Hiện tại)

Tỷ lệ viêm gan (N = 6,000)

–5

Tỷ lệ trẻ em được cải thiện tình hình sức khoẻ chung (N = 9,000)

–4

Tỷ lệ trẻ em cho thấy 4 trong 5 kết quả dương tính trong các xét nghiệm (N = 3,500)

Tỷ lệ trẻ em được cái thiện điều kiện dinh dưỡng (N =14,000)

Nguồn: Kusek và Rist 2004.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

129

Bước 9: Sử dụng nguồn ngân sách sử dụng nguồn ngân sách

Vấn đề nan giải của một hệ thống M&E không phải ở chỗ đơn giản tạo nên thông tin dựa trên kết quả hoạt động mà là ở chỗ mang thông đó đến với người dùng phù hợp đúng thời điểm để họ có thể sử dụng nó (hoặc chọn không dùng nó) trong công tác quản lý dựa án, chương trình hoặc chính sách. Các đối tác phát triển và xã hội dân sự đóng vai trò quan trọng trong sử dụng thông tin để nâng cao mức độ tin cậy, minh bạch và các quy trình phân bổ nguồn lực. Các chiến lược chia sẻ thông tin có thể được thực hiện tại bất cứ cấp nào của chính phủ, bao gồm: • Trao quyền cho giới báo chí. Giới báo chí có thể giúp phổ biến các phát hiện được tạo ra bởi các hệ thống M&E dựa trên kết quả hoạt động. Họ cũng có thể rất hữu dụng trong việc đối mặt với nạn tham nhũng và phục vụ tốt hơn cho công tác điều hành chính phủ. • Cho phép sự tự do trong pháp luật về thông tin. Tự do thông tin là công cụ mạnh mẽ có thể được sử dụng để chia sẻ thông tin với các đối tác liên quan. • Xây dựng chính phủ điện tử. Chính phủ điện tử tham gia vào việc sử dụng công nghệ thông tin để cung cấp các dịch vụ với khả năng tiếp cận, khả năng ngoại tuyến và thông tin tốt hơn. Chính phủ điện tử cho phép các đối tác phối hợp trực tiếp với chính phủ để thu thập thông tin và thậm chí giao dịch kinh doanh trực tuyến. • Bổ sung thông tin về các tệp Internet nội bộ và bên ngoài. Thông tin có thể được chia sẻ thông qua việc tải lên, cũng như công bố các phát hiện về hiệu quả hoạt động trên các trang web nội bộ (chính phủ và các cơ quan) và mở cho công chúng. Nhiều cơ quan cũng phát triển các cơ sở dữ liệu có thể tìm kiếm cho các phát hiện M&E. • Công bố các báo cáo ngân sách hàng năm. Cách tốt nhất để truyền đạt cách thức mà tiền của những người đóng thuế được chi tiêu là thông qua việc công bố ngân sách. Làm được điều này cho phép công dân quan sát chất lượng và cấp độ các dịch vụ đang được cung cấp bởi chính phủ và những ưu tiên mà chính phủ trao cho các dịch vụ hoặc chương trình đặc biệt. • Kết nối xã hội dân sự và các nhóm công dân. Kết nối xã hội dân sự và các nhóm công dân khuyến khích các nhóm hướng về hành động nhiều hơn, đáng tin cậy hơn và dễ đồng thuận hơn về thông tin mà họ cần. 130

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Tăng cường giám sát về pháp luật. Các nhà lập pháp trong nhiều nước, cả nước phát triển lẫn nước đang phát triển, đang đòi hỏi thông tin về hiệu quả hoạt động như là một phần chức năng giá sát của họ. Họ giám sát để xem liệu rằng ngân sách có được thực hiện một cách hiệu quả. • Tăng cường vai trò văn phòng tổng kiểm toán. Văn phòng tổng kiểm soát là đối tác chủ chốt trong việc xác định chính phủ vận hành hiệu quả như thế nào. Khi các cơ quan kiểm toán đòi hỏi nhiều thông tin hơn về mức độ hiệu quả hoạt động của các cơ quan của chính phủ, mức hiệu quả thực hiện các dự án, chương trình và các chính sách. • Chia sẻ và so sánh các phát hiện với các đối tác phát triển. Nhờ vào sự triển khai các chiến lược giảm nghèo quốc gia và các chiến lược, chính sách tương tự, các đối tác phát triển (đặc biệt là các tổ chức hỗ trợ song phương và đa phương) đang chia sẻ và so sánh các kết quả và phát hiện. Hiểu lợi ích của thông tin về hiệu quả hoạt động đối với nhiều đối tượng người dùng là lý do chủ chốt để xây dựng một hệ thống M&E đầu tay. Các đối tượng người dùng trong nhiều nhóm xã hội như các nhóm công dân, NGOs, khu vực tư nhân thương bỏ ra người dòng thông tin. Dữ liệu M&E được sử dụng cả nội bộ (thuộc chính phủ) lẫn bên ngoài (nhóm xã hội) cần phải được công nhận và hợp thức hoá (hộp 3.3).

Hộp 3.3 Mười ứng dụng của các kết quả phát hiện

Kết quả phát hiện có thể được dùng để: 1. phản hồi lại nhu cầu về trách nhiệm được trao cho các quan chức và công chúng 2. giúp xây dựng và lý giải các yêu cầu về ngân sách 3. giúp ra quyết định về phân bổ nguồn lực hoạt động 4. thực hiện các kiểm tra sâu để biết đâu là các vấn đề trong thực hiện (với các nguyên lý thay đổi và công tác thực hiện) đang tồn tại và các sửa đổi cần thiết 5. giúp khuyến khích cán bộ cải tiến chương trình 6. giám sát hoạt động của các nhà thầu và những người hưởng trợ cấp (dĩ nhiên đối với họ, bao giờ họ cũng than bận rộn) 7. cung cấp dữ liệu cho các đánh giá chương trình đặc biệt, đánh giá sâu 8. giúp theo dõi tiến độ cung cấp dịch vụ theo lộ trình đề ra (chúng ta có đang thực hiện điều đúng đắn hay không?) 9. hỗ trợ các nỗ lực lập kế hoạch chiến lược dài hạn (chúng ta có đang thực hiện điều đúng đắn hay không?) 10. chia sẻ với công chúng để đạt được lòng tin ở nơi họ. Nguồn: Hatry 1999.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

131

Bước 10: Duy trì bền vững hệ thống M&E trong tổ chức

10 duy trì bền vững hệ thống M&E trong tổ chức

Đảm bảo sự lâu dài và lợi ích của hệ thống M&E dựa trên kết quả hoạt động là một thách thức. Sáu nhân tố dưới đây rất quan trọng cho sự bền vững: • • • • • •

nhu cầu vai trò và trách nhiệm rõ ràng thông tin đáng tin cậy trách nhiệm giải trình năng lực các nhân tố khuyến khích.

Mỗi nhân tố này yêu cầu sự chú ý liên tục theo thời gian để đảm bảo khả năng đứng vững của hệ thống. Nhu cầu Nhu cầu cho M&E có thể được xây dựng và duy trì theo nhiều cách: • Xây dựng nên một cấu trúc quy chuẩn đòi hỏi các kết quả hoạt động được báo cáo thường xuyên (ví dụ, yêu cầu báo cáo thường niên cho các đơn vị thuộc tổ chức). • Công bố khả năng hiện có của các thông tin này thông qua giới báo chí, qua đó tạo nên nhu cầu từ các cơ quan thuộc chính phủ, các nhóm công dân, nhà tài trợ và công chúng nói chung. • Thực hành việc chuyển đổi chiến lược thành các mục tiêu và mục đích cụ thể nhờ đó những ai quan tâm đến định hướng chiến lược của tổ chức sẽ có thể theo dõi tiến trình đạt đến những mục tiêu này. Vai trò và trách nhiệm rõ ràng Một trong các hoạt động can thiệp cấu trúc quan trọng nhất đối với việc thể chế hoá hệ thống M&E là tạo ra các dòng quyền hạn và trách nhiệm rõ ràng và quy 132

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

chuẩn đảm nhiệm công tác thu thập, phân tích và báo cáo thông tin kết quả hoạt động. Làm được vây đòi hỏi: • đưa ra bản hướng dẫn rõ ràng để biết ai sẽ chịu trách nhiệm cấu phần nào của hệ thống M&E và thiết lập trách nhiệm trong các báo cáo tổng kết cá nhân • xây dựng một hệ thống kết nối việc lập kế hoạch trung tâm và các chức năng tài chính với cách chức năng tuyến/ngành để khuyến khích sự kết nối giữa chu trình phân bổ ngân sách và sự cung ứng thông tin M&E, đặc biệt là hệ thống vận hành ngân sách • xây dựng một hệ thống trong đó có nhu cầu về thông tin ở mọi cấp của hệ thống (nghĩa là, không có một bộ phận nào của hệ thống mà thông tin chuyển qua lại không thể được sử dụng). Thông tin đáng tin cậy Hệ thống thông tin hiệu quả hoạt động phải có khả năng cung cấp cả thông tin tốt lẫn thông tin xấu. Theo đó, những người cung cấp thông tin cần được bảo vệ khỏi những sự trả đũa chính trị. Thông tin cung cấp bởi hệ thống cần phải minh bạch và có thể được xác minh độc lập (ví dụ, một sự đánh đánh giá của văn phòng kiểm toán quốc gia của chính phủ hoặc đánh giá bởi một nhóm độc lập các giáo sư ở trường đại học). Trách nhiệm giải trình Cần phát hiện các cách thức để chia sẻ thông tin minh bạch với các đối tác bên ngoài quan tâm đến hiệu quả hoạt động. Các nhóm đối tác chủ chốt cần cân nhắc bao gồm các tổ chức xã hội dân sự, giới báo chí, khu vực tư nhân và chính phủ. Năng lực Thực hiện báo cáo đánh giá mức độ sẵn sàng và tập trung vào năng lực tổ chức là một trong những vấn đề cần tính đến trước tiên trong khi xây dựng một hệ thống M&E. Các nhân tố chủ chốt cần xây dựng bao gồm kỹ năng kỹ thuật về thu thập và phân tích dữ liệu, kỹ năng quản lý trong việc xây dựng các mục tiêu chiến lược và phát triển tổ chức, các hệ thống thu thập và phục hồi dữ liệu, kinh nghiệm thể chế về giám sát và đánh giá. Các nhân tố khuyến khích Các nhân tố khuyến khích cần được đưa ra để khuyến khích việc sử dụng thông tin hiệu quả hoạt động. Sự thành công cần được ghi nhận và thưởng công, và các vấn đề nảy sinh cần được giải quyết. Những người cung cấp tin cần phải được bảo vệ, sự học hỏi của tổ chức cần phải được đánh giá đúng và sự tiết Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

133

kiệm ngân Sách cần được chia sẻ. Không thể dựa trên các hệ thống mục nát hoặc không hiệu quả để thu thập thông tin có chất lượng và thực hiện phân tích.

Nhận xét kết luận Không có yêu cầu nào nói rằng việc xây dựng một hệ thống M&E phải được thực hiện tuân thủ 10 bước – các chiến lược với nhiều hoặc hơn hoặc ít hơn 10 bước vẫn có thể được phát triển. Sự thách thức là ở chỗ đảm được răng các chức năng và hoạt động chủ yếu phải được thừa nhận, sắp xếp theo một trình tự logic và được thực hiện theo một trình tự phù hợp. Các hệ thống M&E dựa trên kết quả hoạt động là các công cụ quản trị mạnh mẽ. Chúng có thể giúp xây dựng và khuyến khích hình thành một nền tảng kiến thức về những gì có hiệu quả và những gì thì không. Một hệ thống M&E dựa trên kết quả hoạt động cần phải mang tính tương tác. Nó phải nhận được sự chú ý, nguồn lực sự cam kết chính trị liên lục. Mất nhiều thời gian để xây dựng nên sự dịch chuyển văn hoá định hướng kết quả, nhưng thời gian, nỗ lực và phần thưởng là xứng đáng để theo đuổi. Nhu cầu về xây dựng năng lực không bao giờ ngừng; cách duy nhất mà một tổ chức có thể lao xuống là trượt dốc. Một vài bước có thể giúp đảm bảo một hệ thống M&E được thiết lập và bền vững: • Giữ các nhà quán quân về phía bạn và giúp đỡ họ. • Thuyết phục bộ tài chính và cơ quan lập pháp rằng cũng như một hệ thống ngân sách, một hệ thống M&E cần có nguồn lực bền vững (khối lượng nguồn lực phân bổ cho hệ thống M&E cần tương đồng với nguồn lực phân bổ cho hệ thống ngân sách). • Tìm kiếm mọi cơ hội để kết nối thông tin về kết quả hoạt động với các quyết định phân bổ ngân sách và nguồn lực. • Bắt đầu với những nỗ lực thử nghiệm để minh chứng một hệ thống M&E dựa trên hiệu quả hoạt động hiệu quả. • Bắt đầu với một chiến lược đơn ngành (ví dụ, xây dựng xung quanh các khu vực sáng tạo) thay vì tiếp cận theo hướng toàn bộ chính phủ. • Giám sát cả tiến trình thực hiện lẫn các kết quả đạt được. • Bổ khuyết giám sát hiệu quả hoạt động với đánh giá để đảm bảo sự hiểu biết tốt hơn về các kết quả của khu vực công. Một khi khung hành động đã được xây dựng cho một đánh giá (Bước 7), khung hành động có thể được sử dụng để xây dựng nguyên lý thay đổi, lựa chọn cách tiếp cận, bắt đầu viết các câu hỏi và lựa chọn thiết kết cho bản đánh giá. Các vấn đề này được thảo luận ở các chương 4–7.

134

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tóm tắt Một hệ thống M&E dựa trên kết quả hoạt động có thể là công cụ đáng giá để hỗ trợ các nhà hoạt định chính sách và các nhà ra quyết định trong việc theo dõi các kết quả và tác động của các dự án, chương trình và chính sách. Không giống như đánh giá truyền thống, M&E dựa trên kết quả hoạt động đi xa hơn việc nhấn mạnh vào đầu vào và đầu ra để chú trọng vào kết quả và tác động. Đây là kiến trúc chủ đạo cho bất cứ hệ thống quản trị hoạt động nào. Các hệ thống M&E dựa trên kết quả hoạt động: • sử dụng dữ liệu kỳ gốc để mô tả một vấn đề trước khi bắt đầu một sáng kiến • theo dõi các chỉ tiêu để biết các kết quả được hoàn thành • thu thập dữ liệu về đầu vào, hoạt động, đầu ra và đóng góp của chúng vào việc đạt được kết quả • đánh giá mức độ sẵn sàng và mức độ phù hợp của nguyên lý thay đổi được đưa ra • bao gồm hệ thống báo cáo cho các đối tác • được tiến hành cùng với các đối tác chiến lược • thu thập thông tin về thành công hay thất bại của chiến lược trong việc thực hiện các mục tiêu đã đề ra • luôn luôn phấn đấu để cung cấp các thông tin đáng tin cậy và hữu dụng với tư cách là một công cụ quản lý Mười bước được khuyến nghị trong quy trình thiết kế và xây dựng một hệ thống M&E dựa trên kết quả hoạt động như sau: 1. thực hiện một đánh giá mức độ sẵn sàng 2. thống nhất về các kết quả hoạt động để giám sát và đánh giá 3. lựa chọn các chỉ tiêu chủ chốt để giám sát kết quả 4. thu thập dữ liệu kỳ gốc về các chỉ tiêu 5. lập kế hoạch cho việc triến triển: thiết lập các mục tiêu lý tưởng 6. giám sát kết quả thực hiện 7. sử dụng thông tin đánh giá 8. báo cáo các phát hiện 9. sử dụng các phát hiện 10. duy trì bền vững hệ thống M&E trong tổ chức. Xây dựng và duy trì bền vững hệ thống M&E dựa trên kết quả hoạt động là không dễ dàng. Nó đòi hỏi sự cam kết liên tục, các nhà quán quân, thời gian, nỗ lực, và nguồn lực. Có thể có nhiều thách thức về mặt tổ chức, kỹ thuật và chính trị. Hệ thống gốc có thể cần một số sự chỉnh sửa để phù hợp với nhu cầu của tổ chức. Tuy nhiên, thực hiện điều đó là hoàn toàn đáng giá.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

135

Thực hành Chương 3 Bài tập ứng dụng 3.1: Lập khung logic đúng đắn Tổ chức của bạn sẵn sàng thiết kế và thực hiện một hệ thống M&E dựa trên kết quả hoạt động đến mức nào? Đánh giá tổ chức của bạn theo các tiêu chí sau và đưa ra nhận xét để giải thích đánh giá đó. Thảo luận với đồng nghiệp về những trở ngại đối với việc thực hiện và chúng có thể được giải quyết như thế nào. 1. Các yếu tố khuyến khích (khoanh tròn đánh giá phù hợp): Rất nhiều yếu tố khuyến khích

Có một số yếu tố khuyến khích

Có vài yếu tố khuyến khích ngược

Nhận xét: Các chiến lược cải tiến:

2. Vai trò và trách nhiệm (khoanh tròn đánh giá phù hợp): Rất rõ ràng

Khá rõ ràng

Khá không rõ ràng

Nhận xét: Các chiến lược cải tiến:

3. Năng lực tổ chức (khoanh tròn đánh giá phù hợp): Tuyệt vời

Vừa phải

Yếu

Nhận xét: Các chiến lược cải tiến:

4. Trở ngại (khoanh tròn đánh giá phù hợp): Không có trở ngại nghiêm trọng

Ít trở ngại nghiêm trọng

Nhiều trở ngại nghiêm trọng

Nhận xét: Các chiến lược cải tiến:

136

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bài tập ứng dụng 3.2: Xác định đầu vào, hoạt động, đầu ra, kết quả và các tác động Xác định liệu rằng mỗi nhận định dưới đây là nói về đầu vào, hoạt động, đầu ra, kết quả hay là tác động trong dài hạn. Nếu có thể, thảo luận với đồng nghiệp và giải thích cơ sở để bạn đưa ra sự phân loại này. 1. Các doanh nghiệp nhỏ được sở hữu bởi phụ nữ đóng góp hữu hiệu vào công tác giảm nghèo ở cộng đồng nơi họ hoạt động kinh doanh. 2. Chính phủ cấp vốn cho các khoản vay dành cho các doanh nghiệp nhỏ. 3. Chính phủ đã thông qua 61 đơn xin học sau đại học. 4. Bộ Giáo dục đã xác định các cán bộ đào tạo cho khóa học. 5. Bảy hai phụ nữ đã hoàn tất đào tạo. 6. Thu nhập của các học viên sau đại học tăng 25% trong năm đầu tiên sau khi hoàn tất chương trình học. 7. Một trăm phụ nữ đã tham gia đào tạo quản trị kinh doanh trong các doanh nghiệp nhỏ. 8. Thông tin về mức sẵn có của các khoản vay dành cho các doanh nghiệp nhỏ được cung cấp cho cộng đồng.

Bài tập ứng dụng 3.3: Phát triển các chỉ tiêu 1. Sử dụng một chương trình hoặc chính sách mà bạn đã biết. Đâu là tác động chủ chốt mà nó muốn hướng đến? Đâu là hai kết quả mà bạn kỳ vọng sẽ nhìn thấy nếu hoạt động can thiệp này đảm bảo được tiến độ đạt được các mục tiêu? Tác động: _ Kết quả 1: _ ___________________________________________________ _ Kết quả 2: _ ____________________________________________________ 2. Bắt đầu với các kết quả, xác định hai hoặc ba chỉ tiêu mà bạn muốn sử dụng để theo dõi tiến trình đạt được mỗi chỉ tiêu. Kết quả 1: _____________________________________________________ Chỉ tiêu a:_________________________________________________ Chỉ tiêu b:_________________________________________________ Chỉ tiêu c:_________________________________________________

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

137

Kết quả 2: _ ____________________________________________________ Chỉ tiêu a: _________________________________________________ Chỉ tiêu b: _ _______________________________________________ Chỉ tiêu c: _________________________________________________ Tác động: ______________________________________________________ Chỉ tiêu a: _________________________________________________ Chỉ tiêu b: _ _______________________________________________ Chỉ tiêu c: _ _______________________________________________

138

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ghi chú 1. Chương này, vốn dĩ chủ yếu được dựa trên Kusek và Rist (2004), đề cập cụ thể đến vấn đề giám sát. Phần còn lại của cuốn sách này được dành cho vấn đề đánh giá.

Tài liệu tham khảo và đọc thêm Binnendijk, Annette. 2000. “Results-Based Management in the Development Cooperation Agencies: A Review of Experience.” Paper prepared for the OECD/DAC Working Party on Aid Evaluation, Paris, February 10–11 (revised October 2000). Boyle, R., and D. Lemaire, eds. 1999. Building Effective Evaluation Capacity. New Brunswick, NJ: Transaction Books. IFAD (International Fund for Agriculture Development). 2002. A Guide for Project M&E: Managing for Impact in Rural Development. Rome. www.ifad.org/evaluation/guide/. Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evaluation. New Brunswick, NJ: Transaction Books. Hatry, Harry P. 1999. Performance Measurement: Getting Results. Washington, DC: Urban Institute Press. Khan, M. Adil. 2001. A Guidebook on Results-Based Monitoring and Evaluation: Key Concepts, Issues and Applications. Government of Sri Lanka, Ministry of Plan Implementation, Monitoring and Progress Review Division, Colombo. Kusek, Jody Zall, and Ray C. Rist. 2001. “Building a Performance-Based Monitoring and Evaluation System: The Challenges Facing Developing Countries.” Evaluation Journal of Australasia 1 (2): 14–23. ———. 2003. “Readiness Assessment: Toward Performance Monitoring and Evaluation in the Kyrgyz Republic.” Japanese Journal of Evaluation Studies 31 (1): 17–31. ———. 2004. Ten Steps to Building a Results-Based Monitoring and Evaluation System. Washington, DC: World Bank. Malik, Khalid, and Christine Roth, eds. 1999. Evaluation Capacity Development in Asia. United Nations Development Programme Evaluation Office, New York. Osborn, David, and Ted Gaebler. 1992. Reinventing Government. Boston: Addison-Wesley Publishing. OECD (Organisation for Economic Co-operation and Development). 2002. Glossary of Key Terms in Evaluation and Results-Based Management. Development Co-operation Directorate and Development Assistance Committee. Paris. Schiavo-Campo, Salvatore. 1999. “‘Performance’ in the Public Sector.” Asian Journal of Political Science 7 (2): 75–87. UNPF (United Nations Population Fund). 2002. Monitoring and Evaluation Toolkit for Program Managers. Office of Oversight and Evaluation. www.unfpa.org/monitoring/toolkit.htm.

Xây dựng một Hệ thống Giám sát và Đánh giá dựa trên Kết quả hoạt động

139

Valadez, Joseph, and Michael Bamberger. 1994. Monitoring and Evaluation Social Programs in Developing Countries: A Handbook for Policymakers, Managers, and Researchers. Washington, DC: World Bank. Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice Hall. Wholey, Joseph S., Harry Hatry, and Kathryn Newcomer. 2001. “Managing for Results: Roles for Evaluators in a New Management Era.” American Journal of Evaluation 22 (3): 343–47. World Bank. 1997. World Development Report: The State in a Changing World. Washington, DC.

Trang Web IDRC (International Development Research Centre). 2004. Evaluation Planning in Program Initiatives. Ottawa. http://web.idrc.ca/uploads/user-S/108549984812 guideline-web.pdf. IFAD (International Fund for Agricultural Development). Practical Guide on Monitoring and Evaluation of Rural Development Projects. http://www.ifad.org/evaluation/oe/process/guide/index.htm. Kellogg Foundation. 1998. Evaluation Handbook. http://www.wkkf.org/Pubs/Tools/ Evaluation/Pub770.pdf. Specialist Monitoring and Evaluation Web Sites. http://www.mande.co.uk/ specialist.htm. Uganda Communications Commission. 2005. “Monitoring and Evaluation.” In Funding and Implementing Universal Access: Innovation and Experience from Uganda. International Development Research Centre, Ottawa. http://www.idrc .ca/en/ev-88227-201-1-DO_TOPIC.html. World Bank. Core Welfare Indicators Questionnaire. Washington, DC. http://www4 .worldbank.org/afr/stats/cwiq.cfm. ———.2001. Tools: Capturing Experience Monitoring and Evaluation. Upgrading Urban Communities Resource Framework, Washington, DC. http://web.mit .edu/urbanupgrading/upgrading/issues-tools/tools/monitoring-eval.html# Anchor-Monitoring-56567. ———. 2008. Online Atlas of the Millennium Development Goals: Building a Better World. Washington, DC. http://devdata.worldbank.org/atlas-mdg/.

140

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 4

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình Đây là chương thứ nhất trong hai chương khảo sát về lập kế hoạch đánh giá. Chương này giới thiệu giai đoạn nhận diện của một đánh giá – hay là bắt đầu như thế nào. Một đánh giá khởi đầu bằng việc thiết kế được lên kế hoạch tốt thì có khả năng được hoàn thành đúng thời điểm, theo đúng ngân sách và đáp ứng được các nhu cầu của khách hàng cũng như các bên có liên quan. Phân tích nhận diện tìm hiểu và xác định các bài học từ quá khứ, xác nhận hoặc đưa ra nghi ngờ về cơ sở lý thuyết của chương trình và xác định bối cảnh có ảnh hưởng đến chương trình. Chương này gồm 5 phần chính: • • • • •

Phân tích nhận diện Xác định Khách hàng chính và Các bên liên quan chủ yếu Hiểu bối cảnh Xác định các kiến thức hiện có Xây dựng, sử dụng và đánh giá Thuyết Thay đổi 141

Phân tích Nhận diện

■■ Phân tích

Nhận diện:

Tìm hiểu vấn đề để xác định chúng ta biết gì về vấn đề đó và làm cách nào để xây dựng cách tiếp cận đánh giá nó

Bắt đầu từ đâu? Nếu bạn muốn đến đúng đích, cách tốt nhất là bắt đầu bằng việc tìm hướng đi và người khác đã biết gì về con đường đến đích đó. Bạn cũng sẽ muốn thu thập thông tin cần thiết cho các quyết định về các khung thời gian, chi phí, các nguy cơ và quá trình. Một Phân tích Nhận diện là việc tìm hiểu một vấn đề để quyết định chúng ta biết gì về vấn đề đó và làm cách nào để xây dựng cách tiếp cận đánh giá nó. Đó là cách mà một người đánh giá làm để xác định các bước tiến hành: Trong một phân tích nhận diện, người đánh giá tìm hiểu những loại câu hỏi sau: • Ai là khách hàng chính của đánh giá? Ai là các bên có liên quan chủ yếu? Họ xác định các vấn đề gì cho đánh giá • Tính toán thời gian đánh giá liên hệ như thế nào đến dự án, chương trình, hoặc thực hiện chính sách ảnh hưởng thế nào đến đánh giá? • Cần bao nhiêu thời gian để hoàn tất đánh giá? • Bản chất nguồn lực sẵn có và mức độ? • Lý thuyết khoa học xã hội có liên quan đến đánh giá không? • Các đánh giá đối với các chương trình tương tự nhau đã phát hiện được điều gì? Đã đưa ra được những vấn đề gì? • Thuyết thay đổi áp dụng vào dự án, chương trình hoặc chính sách là gì? • Số liệu hiện có nào có thể sử dụng cho đánh giá này? Nhiều người đánh giá không kiên nhẫn chờ lập kế hoạch đánh giá xong mà lao ngay vào thu thập số liệu. Họ cố gắng đồng thời vừa khảo sát vừa thu thập số liệu. Tuy nhiên bắt buộc phải có phân tích nhận diện tốt để hiểu một can thiệp nào đó. Như vậy có thể tiết kiệm thời gian và chi phí cho việc đánh giá, bảo đảm đánh giá đáp ứng được nhu cầu của khách hàng và duy trì hoặc xây dựng được các mối liên hệ, không chỉ với khách hàng mà còn với các bên có liên quan chủ yếu. Quan trọng hơn, một phân tích nhận diện tốt có thể bảo đảm xác định đúng câu hỏi để thu thập thông tin cần hơn là những thông tin có thể chẳng bao giờ dùng tới. Khi bắt đầu việc đánh giá, nhiều người thường đưa ra các giả thiết, với một số giả thiết có thể không đúng. Ví dụ họ giả định là có rất nhiều số liệu khi thực tế lại có rất ít số liệu. Họ có thể giả định là các tư vấn có kinh nghiệm với hiểu biết rộng về các quốc gia sẽ hỗ trợ họ trong việc đánh giá, sau đó nhận ra rằng những người mà họ dự định trông cậy vào đang bận rộn với các dự án khác. Giai đoạn khảo sát là cần thiết để biết được số liệu và các nguồn lực khác có sẵn có hay không. Xác định liệu việc phối hợp đánh giá có hợp lý và khả thi không cũng cần được cân nhắc trong giai đoạn nhận diện này. Nếu có quan tâm và phối hợ là

142

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

hợp lý, các đối tác sẽ cần xác định vai trò của mỗi bên. Họ cũng sẽ cần thống nhất về các vấn đề như là khung thời gian của đánh giá

Cân đối giữa chi phí và lợi ích kỳ vọng của một đánh giá Chi phí và lợi ích kỳ vọng của đánh giá và làm thế nào để cân đối chúng cần được quan tâm trong suốt quá trình lập kế hoạch nhận diện. Lợi ích của một đánh giá có thể bao gồm: • ra quyết định dựa trên bằng chứng giúp các quyết định hợp lý về tăng qui mô hoặc lặp lại cái gì, cải thiện cái gì, hoặc giảm qui mô hoặc dừng đánh giá cái gì • đóng góp vào kho kiến thức về cái gì mang lại hiệu quả (và cần những điều kiện gì) và cái gì không mang lại hiệu quả • xây dựng năng lực địa phương. Chi phí đánh giá cũng quan trọng. Các chi phí này cần được cân nhắc ở các mặt: • chi phí cho chương trình (sẽ là không hợp lý khi chi 50.000 đô la Mỹ để đánh giá một chương trình trị giá 25.000 đô la Mỹ) • gánh nặng của việc đánh giá đối với người hưởng lợi và đối tượng khác của chương trình do phải mất thời gian để cung cấp thông tin hoặc nói cách khác để hỗ trợ người đánh giá • các chi phí danh tiếng cho người đánh giá và cộng đồng đánh giá nếu kết quả có thể gây tranh cãi do đánh giá chương trình có ảnh hưởng chính trị và gây nhiều tranh cãi, hoặc không đủ thời gian để đánh giá toàn diện.

Các cạm bẫy trong Quá trình Lập kế hoạch Nhận diện Niềm tin rằng có thể bao hàm tất cả mọi thứ – và rằng nếu lập kế hoạch nhận diện, việc đánh giá nhất thiết sẽ diễn ra suôn sẻ - là một cạm bẫy tiềm ẩn của quá trình lập kế hoạch nhận diện. Những cạm bẫy khác bao gồm: • lực cản đối với điều chỉnh kế hoạch ban đầu (Leeuw 2003) • sự McDonald hóa xã hội – “quá trình mà các nguyên lý của các quán ăn nhanh ngày càng chi phối nhiều hơn các khu vực trong xã hội Mỹ cũng như phần còn lại của thế giới” (Ritzer 1993, tr. 1) (cụm từ này đặc biệt được áp dụng khi danh sách rà soát, danh sách nhắc việc và các khung thay cho suy nghĩ thấu đáo) • niềm tin không thay đổi (“chân lý”) rằng mọi thứ tự bộc lộ khi thực hiện lập kế hoạch nhận diện (“thí nghiệm ngẫu nhiên? Vô lý: Quá phức tạp, quá tốn kém, và quá khó thực hiện trong bối cảnh phát triển)

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

143

• “suy nghĩ nhóm” (đi liền với vị thế của nhóm để vẫn thuộc nhóm cho dù có lo ngại về vị thế này) • đặt đối trọng không cân xứng về quyền lực (tự động đo giá trị của các đề nghị theo tình trạng của các nhân tố tạo ra chúng).

Nhận diện Khách hàng chính và Các bên có liên quan chủ yếu Một phần quan trọng trong phân tích nhận diện là xác định khách hàng chính và các bên có liên quan của dự án, chương trình hoặc chính sách. Xác định các bên có liên quan không phải lúc nào cũng có thể thực hiện dễ dàng.

Khách hàng chính Thông thường là bên/nhóm có liên quan chính tài trợ hoặc đòi hỏi việc đánh giá và là bên tiếp nhận kết quả chính. Các nhu cầu của khách hàng loại này sẽ ảnh hưởng lớn đến việc đánh giá. Khách hàng chính có thể: • • • •

ủy quyền và tài trợ cho chương trình ủy quyền và tài trợ cho việc đánh giá chịu trách nhiệm trước công chúng về sự can thiệp là bên mà người đánh giá phải chịu trách nhiệm giải trình.

Chỉ có một khách hàng chính. Quan trọng là phải đáp ứng được yêu cầu của khách hàng chính (hoặc các đại diện, ví dụ như ban giám đốc trong trường hợp có một nhóm khách hàng). Trong suốt cuộc gặp mặt, người đánh giá cần hỏi yêu cầu về thời gian và dự kiến mục đích sử dụng kết quả đánh giá của khách hàng. Người đánh giá là người đầu tiên lắng nghe và thăm dò khách hàng để xác định những vấn đề phía sau yêu cầu đánh giá, có thể gặp lại khách hàng sau đó để hoặc là trình bày với khách hàng các lựa chọn rõ ràng về cách tiếp cận đánh giá hoặc là để đề xuất một cách tiếp cận duy nhất để đánh giá.

Các bên có liên quan ■■ Bên có

liên quan:

Người hoặc tổ chức khác khách hàng đóng góp vào một can thiệp

Các bên có liên quan là những người và tổ chức không phải là khách hàng đã đóng góp vào một can thiệp. Thông thường, họ là những người bị ảnh hưởng bởi một can thiệp nào đó, hoặc là trong suốt cuộc đời hoặc là trong những năm sau đó. Điều quan trọng là phải tính đến các bên có liên quan mà sẽ không được mời tham gia vào việc đánh giá. Các bên có liên quan có thể bao gồm: • người tham gia

144

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• • • •

người hưởng lợi trực tiếp người hưởng lợi gián tiếp các tổ chức phát triển là nhà tài trợ các viên chức chính phủ, công chức được bầu cử, và người làm công cho chính phủ có quan tâm xác đáng như là người lập kế hoạch và hộ lý y tế công cộng • các giám đốc chương trình, nhân viên, ủy viên hội đồng quản trị, quản đốc và người tình nguyện • các nhà hoạch định chính sách • cộng đồng và các hội nhóm được quan tâm, bao gồm những hội nhóm có khả năng có kế hoạch làm việc khác với các nhân viên của chương trình. Các bên có liên quan thường tiếp cận một can thiệp theo cách khác nhau. Một nhà tài trợ có thể quan tâm xem tiền có được chi tiêu hợp lý không và sự can thiệp có hiệu quả không. Quản đốc chương trình có thể quan tâm can thiệp có được quản lý tốt và tạo ra bài học kinh nghiệm. Người tham gia chương trình có thể mong muốn nhận nhiều dịch vụ hơn hoặc dịch vụ tốt hơn. Nhà hoạch định chính sách có thể quan tâm nhất đến việc liệu can thiệp có mang đến những tác động như mong muốn không. Những người khác trong cộng đồng có thể muốn lặp lại hoặc mở rộng sự can thiệp hoặc giới hạn những gì họ nhận thức được là gây ra hậu quả tiêu cực từ can thiệp. Những mối quan tâm đa dạng này là tốt và có thể được đề cập trong những phần thảo luận đầu tiên. Vai trò của mỗi cá nhân hoặc nhóm có liên quan đến việc đánh giá và khả năng sử dụng đánh giá cần được xác định rõ (bảng 4.1). Nhận diện và lôi kéo sự tham gia của các bên có liên quan chủ yếu Những bên có liên quan chính có thể được xác định bằng cách xem các tài liệu về sự can thiệp và trò chuyện với khách hàng chính của đánh giá, nhà tài trợ chương trình, cán bộ chương trình, viên chức địa phương và người tham gia chương trình. Các bên có liên quan có thể được phỏng vấn vào giai đoạn đầu hoặc được tập hợp thành những nhóm nhỏ. Để liên hệ với các bên có liên quan về việc đánh giá, người lập kế hoạch đánh giá phải xác định rõ mục tiêu trong cuộc trò chuyện với mỗi bên có liên quan là gì (giúp họ nhận biết được việc đánh giá sắp diễn ra, yêu cầu họ xác định những vấn đề mà họ muốn đánh giá giải quyết). Tăng khả năng sử dụng một đánh giá là quá trình bắt đầu bằng việc gặp khách hàng chính và lôi kéo sự tham gia của các bên có liên quan từ lúc thiết kế đánh giá, chứ không phải khi báo cáo hoàn thành rồi mới tiến hành. Đối với một số đánh giá, việc gặp gỡ các bên có liên quan chủ yếu được thực hiện định kỳ, hoặc thậm chí theo một cơ chế chính thức hơn. Quản đốc đánh giá có thể lập một ủy ban chỉ đạo hoặc cố vấn.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

145

Bảng 4.1 Vai trò của Các bên liên quan trong một đánh giá Lập chính sách

Bên có liên quan

Ra quyết định vận hành

Cung cấp đầu vào đánh giá

Phản ứng

Có lợi ích

Những người phát triển chương trình Những người thành lập chương trình Viên chức, ban hoặc cơ quan có thẩm quyền Những người cung cấp các nguồn lực khác (cơ sở vật chất, đóng góp vật chất, tiền) Những người đứng đầu các cơ quan thực hiện và quản đốc cấp cao Các quản đốc chương trình chịu trách nhiệm thực hiện Cán bộ chương trình Cán bộ giám sát Người hưởng lợi trực tiếp của chương trình Người hưởng lợi gián tiếp của chương trình Những người thực hiện tiềm năng của chương trình Người không tính dến chương trình (ví dụ theo tiêu chí đầu vào) Người nhận thức được những tác động tiêu cực của chương trình hoặc đánh giá Người mất quyền lực do có chương trình Người mất cơ hội do có Chương trình Các thành viên trong cộng đồng hoặc công chúng Khác Nguồn: Các tác giả.

Lôi kéo sự tham gia các bên có liên quan chủ yếu sớm giúp người đánh giá hiểu rõ hơn sự can thiệp, như can thiệp nhằm mục đích gì, và các vấn đề cũng như thách thức phải đối mặt khi thực hiện can thiệp đó. Nhóm đánh giá sẽ được thông tin đầy đủ hơn về các vấn đề có thể phải giải quyết trong quá trình đánh giá cũng như về các thông tin cụ thể cần thiết, khi nào cần và ai có thể cung cấp thông tin. Gặp gỡ với các bên có liên quan chủ yếu giúp đảm bảo việc đánh giá không bỏ sót các vấn đề quan trọng then chốt, và cũng giúp nhận

146

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

được sự đồng tình ủng hộ cho việc đánh giá: để cho những bên có liên quan chủ yếu biết rằng các vấn đề và câu hỏi họ nêu ra sẽ được xem xét cẩn thận để tăng khả năng hỗ trợ và sự quan tâm của họ đối với việc đánh giá. Đây là cách mà một đánh giá được xây dựng. Mức độ chủ động tham gia vào quá trình thiết kế và thực hiện đánh giá của các bên có liên quan phụ thuộc vào nhiều yếu tố, bao gồm các nguồn lực và các mối quan hệ. Ví dụ như các bên có liên quan không thể rút bớt quĩ thời gian dành cho công việc thường nhật của họ cho việc đánh giá, hoặc có thể có những lý do chính trị để đánh giá cần đứng độc lập đến mức có thể. Tiến hành phân tích bên có liên quan Nhiều tài liệu hướng dẫn đã được xây dựng để hỗ trợ cho phân tích bên có liên quan. Trong trang web của mình về Hướng dẫn Quản lý Chất lượng, Khoa học Quản lý Y tế và Quĩ Nhi đồng Liên hiệp quốc (1998) trình bày một quá trình xác định và đánh giá tầm quan trọng của những người, nhóm người chủ chốt, hoặc các tổ chức có thể ảnh hưởng đáng kể đến sự thành công của một đánh giá. Họ cũng đề xuất nhiều nguyên nhân khác cho việc tiến hành phân tích bên có liên quan: • để xác định người, nhóm người hoặc tổ chức có ảnh hưởng (tích cực hoặc tiêu cực) đến đánh giá • để đoán trước loại ảnh hưởng của những nhóm này đến đánh giá là tích cực hay tiêu cực • để xây dựng chiến lược đạt được sự ủng hộ hiệu quả nhất bước đầu và để giảm những trở ngại cho thực hiện thành công đánh giá. Hộp 4.1 trình bày mẫu tiến hành phân tích bên có liên quan. Tương tự với bảng 4.1, nhưng hộp nhấn mạnh việc xây dựng sự ủng hộ cho đánh giá và việc giảm những phản đối đối với đánh giá. Bao hàm đầy đủ các yếu tố trong đánh giá là quan trọng, nhưng không quá ôm đồm cũng quan trọng không kém. Những nỗ lực thực hiện phân tích vượt ra ngoài phạm vi của phân tích chỉ có thể làm mất giá trị của phân tích. Đôi khi người đánh giá trực tiếp lôi kéo sự tham gia của một hoặc vài bên có liên quan vào việc lập kế hoạch và thực hiện đánh giá (Đánh giá có sự tham gia được thảo luận ở chương 5). Trong những trường hợp như vậy, người đánh giá tạo điều kiện thuận lợi cho sự tham gia bằng cách • • • •

xây dựng các điều khoản tham chiếu lựa chọn nhóm đánh giá phân tích số liệu xác định các kết quả và xây dựng các kết luận và khuyến nghị (Mikkelsen 2005).

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

147

Hộp 4.1 Tiến hành phân tích bên có liên quan như thế nào? 1. Động não với đồng nghiệp để xác định người, nhóm và cơ quan sẽ ảnh hưởng hoặc bị ảnh hưởng bởi can thiệp. Liệt kê các đối tượng này vào cột bên có liên quan của bảng. 2. Xác định các lợi ích cụ thể của mỗi bên có liên quan đến đánh giá. Xem xét các vấn đề như lợi ích tiềm tàng của đánh giá đối với bên có liên quan, những thay đổi mà đánh giá đòi hỏi bên có liên quan phải thực hiện, và các hoạt động của dự án có thể gây tổn hại hoặc là xung đột với bên có liên quan. Ghi lại những mối quan tâm này trong cột “các quan tâm của bên có liên quan đến dự án, chương trình, hoặc chính sách”. 3. Xác định lợi ích của mỗi bên có liên quan ảnh có vai trò như thế nào đến sự thành công của đánh giá. Xem xét cả (a) vai trò của bên liên quan chính để đánh giá thành công và khả năng bên liên quan này thực hiện vai trò đó và (b) khả năng và ảnh hưởng của phản ứng tiêu cực của bên liên quan đến đánh giá. Đối với mỗi bên liên quan, ghi lại đánh giá của bạn dưới cột “đánh giá tác động tiềm tàng” bằng chữ “A” cho mức độ quan trọng cao nhất, “B” cho quan trọng vừa và “C” cho không quan trọng một bên liên quan nào đó. 4. Xem xét các loại hoạt động mà bạn có thể tiến hành để có được sự ủng hộ của bên có liên quan và giảm sự phản đối. Xét xem bạn có thể tiếp cận với mỗi bên có liên quan như bằng cách nào. Loại vấn đề gì bên có liên quan muốn đánh giá phải giải quyết? Việc lôi kéo sự tham gia của bên có liên quan vào quá trình lập kế hoạch quna trọng như thế nào? Có những nhóm hoặc cá nhân khác có thể ảnh hưởng đến việc bên có liên quan ủng hộ đánh giá của bạn không? Ghi lại các chiến lược của bạn để đạt được sự ủng hộ và giảm những trở ngại cho đánh giá ở cột cuối cùng của bảng. Hộp bảng. Mẫu tiến hành phân tích bên có liên quan

Bên có liên quan

Quan tâm của bên có liên quan đến dự án, chương trình, chính sách

Đánh giá khả năng tác động của dự án đối với bên có liên quan và bên có liên quan đến dự án

Khả năng các chiến lược để có sự ửng hộ hoặc giảm trở ngại

Nguồn: Khoa học Quản Lý Y Tế và Quĩ Nhi đồng Liên hiệp quốc 1998.

148

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hiểu bối cảnh Một phân tích nhận diện cũng tìm hiểu mối quan hệ giữa các giai đoạn của chương trình và mục tiêu chung của đánh giá. Thời gian tồn tại của dự án, chương trình, hoặc chính sách có thể được hiểu là một tiến trình trong đó tại mỗi giai đoạn khác nhau có những câu hỏi đánh giá khác nhau cần được giải quyết. Ví dụ như sẽ là vô nghĩa khi đánh giá các mục tiêu của một chương trình có đạt được hay không tại thời điểm chỉ vài tháng sau khi có cam kết về ngân quỹ của chương trình. Một câu hỏi thích hợp hơn tại giai đoạn đầu này có thể là liệu chương trình có đạt được những đầu vào cần thiết cho việc thực hiện hay không. Pancer và Westhues (1989) đã trình bày hệ thống các loại hình cho tiến trình các giai đoạn của chương trình và các câu hỏi đánh giá (bảng 4.2). Các câu hỏi họ đề cập chỉ là ví dụ; có thể có nhiều câu hỏi khác tại mỗi giai đoạn. Bước khác trong một phân tích nhận diện là quyết định bối cảnh của chính sách. Việc đánh giá bắt đầu bằng việc thu thập các báo cáo đánh giá và tổng lược các vấn đề đã được giải quyết, loại phương pháp được chọn, công cụ sử dụng và các kết quả. Nếu đánh giá cho một can thiệp mới, đánh giá có thể cần được thiết kế mà không có gợi ý hướng dẫn từ những đánh giá trước đó. Tuy nhiên trường hợp này hiếm gặp.

Bảng 4.2 Các câu hỏi tại các giai đoạn khác nhau của một đánh giá Giai đoạn phát triển của chương trình

Câu hỏi đánh giá

1. Đánh giá vấn đề xã hội và

Các nhu cầu của cộng đồng được đáp ứng đến mức độ nào?

các nhu cầu 2. Xác định các mục tiêu

Cần phải làm gì để đáp ứng được các nhu cầu này?

3. Xây dựng các phương án thay thế

Dịch vụ nào có thể được sử dụng để có được những thay đổi theo mong muốn?

4. Chọn phương án thay thế

Khả năng tiếp cận chương trình nào là thiết thực nhất?

5. Thực hiện chương trình

Chương trình được đưa vào vận hành như thế nào?

6. Vận hành chương trình

Chương trình có vận hành theo kế hoạch?

7. Kết quả/tác động của chương trình

Chương trình có mang lại những tác đông như mong muốn?

8. Hiệu quả của chương trình

Các tác động của chương trình có đạt được với chi phí hợp lý?

Nguồn: Phỏng theo Pancer and Westhues 1989.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

149

Xác định các kiến thức hiện có ■■ Kho kiến

thức:

Tổng hợp các kiến thức lý thuyết và thực nghiệm về dự án, chương trình, hoặc chính sách

Một phân tích nhận diện tìm hiểu các kiến thức lý thuyết và thực nghiệm về dự án, chương trình hoặc chính sách. Đây được gọi là xác định kho kiến thức. Kiến thức từ các đánh giá và các nghiên cứu xã hội khác, bao gồm các nghiên cứu kinh tế tăng lên mỗi ngày. Các tạp chí có các bài báo tổng hợp những tích lũy kiến thức giải thích về một chủ đề cụ thể như qui mô lớp học về các chương trình dinh dưỡng dành cho các bà mẹ mang thai tác động thế nào để cân nặng của trẻ sinh ra. Nghiên cứu định hướng vấn đề về các tổ chức kết hợp các lý thuyết như thế nào và nghiên cứu từ những chủ đề khác nhau như xã hội học của tổ chức, tâm lý nhận thức, thuyết lựa chọn của công chúng, và luật và kinh tế học (Scott 2003; Swedberg 2003). Các tổ chức như Campbell Collaboration (http://www.campbellcol-laboration.org/) đang tổng lược chất lượng các đánh giá về một vấn đề cụ thể và tổng hợp những đánh giá đáp ứng được các tiêu chuẩn của họ. Thư viện các thí nghiệm ngẫu nhiên hóa trong lĩnh vực xét xử và ngăn ngừa tội phạm, những chương trình phúc lợi xã hội, y tế và giáo dục cho thấy hơn 10.000 “thí nghiệm” đã được tiến hành (Petrosino và các tác giả, 2003). Để tổ chức và lập kế hoạch cho một đánh giá, điều quan trọng là phải xác định và tổng lược kho kiến thức có liên quan (hộp 4.2).

Hộp 4.2 Xác định kho kiến thức về ngăn ngừa tội phạm Phân tích số liệu về ngăn ngừa tội phạm cho thấy 29 chương trình có kết quả, 25 không có kết quả và 28 hứa hẹn có kết quả (thông tin về 68 chương trình khác không rõ). Các phát hiện này dựa trên việc tổng hợp hơn 600 đánh giá, bao gồm đánh giá về ngăn ngừa tội phạm dựa vào gia đình và trường học, các chương trình giảm trộm cắp, bắt giữ ma túy, bố trí cảnh sát tại các điểm nóng, sáng kiến tuần tra kín, dân phòng vùng lân cận, các chương trình cố vấn, các loại chương trình và sắc lệnh tù giam (kiểm soát tức giận, chương trình cải tạo, chương trình nhận thức về giảm phạm tội, trại huấn luyện, …). Nguồn: Sherman và các tác giả 2002.

Xây dựng, Sử dụng và Đánh giá Thuyết thay đổi Phần cuối cùng của một phân tích nhận diện là xây dựng thuyết thay đổi và hiểu cách sử dụng và đánh giá nó. Cơ sở lý luận hoặc thuyết thay đổi là một chủ đề quan trọng của đánh giá, dù ở giai đoạn trước hoặc sau của nghiên cứu. 150

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phần này nhằm giải thích tại sao phải dùng thuyết thay đổi, xây dựng thuyết thay đổi như thế nào và đánh giá thuyết thay đổi ra sao. Dù các định nghĩa có thể khác nhau, bất cứ định nghĩa nào về thuyết thay đổi cũng cho rằng đó là “một công cụ mới để thiết kế và đánh giá các sáng kiến thay đổi mang tính xã hội,” một loại “thiết kế các khối hợp nhất” cần có để đạt được những mục tiêu dài hạn của một sáng kiến thay đổi có tính xã hội (ActKnowledge và Aspen Institute 2003). Thuyết thay đổi cũng có thể được xem như sự mô tả một tổ chức hoặc sáng kiến kỳ vọng đạt được kết quả như thế nào và việc xác định các giả thiết cơ bản được thực hiện như thế nào. Một thuyết thay đổi phải: • chỉ ra chuỗi các đầu vào mà dự án, chương trình hoặc chính sách sẽ sử dụng; các hoạt động mà đầu vào sẽ hỗ trợ; các đầu ra mà dự án, chương trình hoặc chính sách mà dự thảo ngân sách hướng đến (một hoạt động đơn lẻ hoặc phối hợp các hoạt động); kết quả và tác động kỳ vọng. • xác định các sự kiện hoặc điều kiện có thể ảnh hưởng việc đạt được kết quả • xác định các giả thiết chương trình đặt ra cho nguyên nhân và kết quả • xác định các giả thiết quan trọng là đánh giá cần được kiếm tra, dựa trên bối cảnh chính sách và môi trường và tổng lược tài liệu.

■■ Thuyết

thay đổi:

Thiết kế các khối hợp nhất cần có để đạt được các mục tiêu dài hạn của một sáng kiến thay đổi mang tính xã hội

Xác định các sự kiện hoặc điều kiện có thể ảnh hưởng đến việc can thiệp có đạt được kết quả mong muốn hay không là cần thiết, với sự tương quan lẫn nhau và tính phức tạp của các chương trình phát triển. Các tổ chức phát triển quốc tế đến nay đã cho sử dụng chương trình cho phép các nước đang phát triển tự do sáng tạo nhiều hơn là hạch toán dự án hơn. Như Pawson (2006) cho thấy: một thay đổi quan trọng của chính sách công những năm gần đây là sự tăng cường các chương trình phức tạp, đa mục đích, đa địa điểm, đa chủ thể, đa chủ đề,… Nguyên nhân vẫn chưa rõ. Nguồn gốc của các vấn đề xã hội đan xen lẫn nhau. Sự thiếu hụt sức khỏe có thể xuất phát từ bất lợi về giáo dục, bất bình đẳng trong thị trường lao động, khác biệt môi trường, không có nhà ở, các hình thức đối xử tàn nhẫn với tội phạm, … Theo đó người ra quyết định bắt đầu cân nhắc liệu một sự can thiệp như một giải pháp đơn lẻ hoặc giải quyết vấn đề đơn lẻ có thể được coi là các hiện tượng hay không.

Pawson tin rằng trong những trường hợp như vậy người đánh giá phải • hiểu được thuyết chương trình cơ bản • kiểm tra chứng cứ hiện có bằng cách tổng hợp các nghiên cứu • xem chương trình phức tạp như một chuỗi các can thiệp, với một tập hợp các bên có liên quan cung cấp nguồn lực (vật chất, xã hội, nhận thức, cảm xúc) cho một tập hợp các bên có liên quan khác, với kỳ vọng rằng thay đổi hành vi sẽ diễn ra sau đó.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

151

Khi một đánh giá được lên kế hoạch, cần phải chú ý đến vấn đề thuyết thay đổi căn bản của chương trình sẽ được xây dựng và kiểm chứng như thế nào. Cần sử dụng sơ đồ minh họa để có cái nhìn tổng quan về các thành phần chủ yếu và sự tác động qua lại của các dự án, chương trình hoặc chính sách – các mối liên hệ trong chuỗi lý do cái gì gây nên cái gì. Tác động hoặc mục tiêu mong muốn thường được thể hiện như là mối liên hệ cuối cùng của mô hình. Giá trị của thuyết thay đổi nằm ở chỗ nó truyền đạt bằng hình ảnh niềm tin vì lý do gì dự án, chương trình và chính sách có khả năng đạt được mục tiêu đề ra. Thuyết thay đổi cũng chỉ rõ các thành phần của một chương trình và mối quan hệ giữa chúng với nhau. Các nguồn lực để một tổ chức có thể tham gia vào các hoạt động để đạt được những mục tiêu cụ thể. Những nguồn lực, hoạt động, đầu ra, kết quả và tác động mong muốn này tác động lẫn nhau. Trong một số trường hợp, người đánh giá có thể tìm thấy một can thiệp đã có thuyết thay đổi. Nếu như vậy, họ cần cẩn thận xem xét lại thuyết thay đổi. Trong nhiều trường hợp, lọc hoặc nghiên cứu lại thuyết thay đổi và xác nhận thuyết với những người trực tiếp tham gia sẽ là cần thiết. Nếu không có sẵn thuyết thay đổi, người đánh giá phải tạo ra thuyết và chứng minh tính hiệu quả của thuyết này với quản đốc và cán bộ chương trình nếu có thể. Cũng cần xác định giả thiết cho thuyết thay đổi. Giả thiết quan trọng nhất mà đánh giá phải kiểm chứng (dựa trên môi trường chính sách và chính trị phổ biến) cũng cần được xác định. Các thuyết thay đổi mở “hộp đen” để cho thấy một can thiệp kỳ vọng chuyển các đầu vào, hoạt động và đầu ra thành kết quả như thế nào (hình 4.1). Xác định cái gì đang xảy ra trong bối cảnh chung – hay là môi trường mà chương trình vận hành trong đó là quan trọng. Môi trường này (chính trị, vĩ mô, chính sách,…) có ảnh hưởng đến tất cả các bộ phận của hệ thống (hình 4.2).

Hình 4.1 Quá trình từ đầu vào đến kết quả Kết quả Đầu vào

Hoạt động

Đầu ra

Hộp đen

Đầu ra

Tác động

Môi trường Nguồn: Các tác giả.

152

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 4.2 Những khả năng ảnh hưởng của môi trường đến các kết quả của chương trình Bối cảnh chính sách

Các đầu vào Bức tranh vĩ mô

Môi trường chính trị

Các hoạt động

Các đầu ra

Hộp đen

Các kết quả

Các bên hỗ trợ

Thái độ công chúng

Các tác động

Môi trường

Nguồn: Các tác giả.

Cần xác định một thuyết thay đổi đằng sau mỗi dự án, chương trình và chương trình. Thuyết thay đổi này có thể được miêu tả bằng hình ảnh theo nhiều cách khác nhau, bằng cách sử dụng các hình thức và mô hình khác nhau. Những mô tả này đôi khi được gọi là các mô hình lý thuyết, mô hình lôgic, khung thay đổi, khung lôgic, mô hình chuỗi kết quả và mô hình kết quả. Mỗi sự mô tả là một thay đổi chủ đề thể hiện thuyết thay đổi chủ đề. Thuyết thay đổi cần trình bày chuỗi kết quả, thể hiện các tác động và xác định những giả thiết chính.

Tại sao phải dùng thuyết thay đổi? Thuyết thay đổi có giá trị với cả những người đánh giá và các bên có liên quan vì qua đó họ có thể xây dựng “một tầm nhìn chung về làm cách nào đạt được mục tiêu dài hạn và dùng công cụ gì để đánh giá suốt quá trình tiến hành” (ActKnowledge và Viện Aspen 2003). Thuyết thay đổi cũng có thể được sử dụng để báo cáo kết quả của một đánh giá. Báo cáo của Kellogg Foundation (2004) bàn luận về tầm quan trọng của giao tiếp trong báo cáo thành công của một dự án và tính bền vững. Báo cáo xác định ba cách chính mà mô tả thuyết thay đổi có thể hỗ trợ cho các nỗ lực marketing chiến lược: Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

153

• mô tả các chương trình theo cách diễn đạt rõ ràng và cụ thể để có thể hiểu và đánh giá chương trình • tập trung chú ý và nguồn lực vào hoạt động chương trình ưu tiên và các kết quả chính để cải thiện chương trình và nghiên cứu • xây dựng các chiến lược marketing và giao tiếp mục tiêu. Tóm lại, xác định rõ thuyết thay đổi cho một dự án, chương trình hoặc chính sách đem lại nhiều lợi ích như: • giúp xác định các yếu tố cần thiết để đạt được kết quả. • giúp xây dựng hiểu biết chung về chương trình và những kỳ vọng của các bên có liên quan bằng trên ngôn ngữ chung • cung cấp nền tảng cho đánh giá • giúp nhận biết các biện pháp sử dụng để quyết định quá trình tiến hành các biến can thiệp có ảnh hưởng đến kết quả • giúp nhận biết các giải thiết đặt ra mà có thể trở thành một cơ sở xác định các câu hỏi đánh giá

Xây dựng Thuyết Thay đổi Các quản đốc thường xây dựng thuyết thay đổi khi dự án, chương trình hoặc chính sách đang được hình thành. Suốt quá trình này họ có thể lôi kéo sự tham gia của các bên có liên quan. Thuyết thay đổi đôi khi được đưa ra một cách rõ ràng, nhưng không luôn luôn hoặc nhất thiết phải nhất quán từ đầu đến cuối một can thiệp đã xác định. Đối với một số can thiệp khác, thuyết thay đổi có thể không tồn tại. Trong trường hợp như vậy, người đánh giá sẽ cần phải xây dựng thuyết thay đổi mới. Khảo sát thuyết thay đổi đòi hỏi thiết lập cơ sở của mỗi đánh giá. Trước khi bắt tay vào xem xét hoặc xây dựng thuyết thay đổi, những người đánh giá phải hiểu rõ ý định và mục tiêu của dự án, chương trình hoặc chính sách. Có 3 câu hỏi chính cần xem xét là: • Nghiên cứu và đánh giá có là cơ sở của dự án, chương trình và chính sách? • Tính lôgic hoặc chuỗi kết quả của dự án, chương trình/ chính sách là gì? • Những giả thiết chính đặt ra là gì? Quá trình xây dựng thuyết thay đổi bắt đầu bằng việc xem xét càng nhiều càng tốt các can thiệp và đánh giá có liên quan. Với những thông tin mới, quá trình phác thảo lôgic của chương trình và các giả thiết chính được thực hiện. Lôgic đã xác định được bổ sung vào chuỗi các sự kiện và được minh họa trong sơ đồ. Sau đó các giả thiết chính được đặt ra (hình 4.3).

154

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 4.3 Quá trình Xây dựng Thuyết Thay đổi

Lôgic

Giả thiết chính

Những phát hiện của các nghiên cứu và đánh giá trước Nguồn: Các tác giả.

Những phát hiện của các nghiên cứu và đánh giá làm cơ sở cho chương trình? Xây dựng thuyết thay đổi khởi đầu bằng việc xác định và tổng lược tài liệu nghiên cứu và đánh giá. Ví dụ như nghiên cứu trước đấy có thể chỉ ra lúc nào phải điều chỉnh các yếu tố khác mối liên hệ cùng chiều giữa kết quả học của sinh viên và sự tham gia của bố mẹ vào bài tập ở nhà của con. Hoặc đánh giá về chương trình giáo dục sớm ở khu vực thành thị của một nước đang phát triển được báo cáo là thành công đối với phần chương trình yêu cầu giáo viên đến thăm nhà học sinh. Một khi hoàn tất việc tìm kiếm tài liệu được hoàn tất và xác định được các phát hiện có liên quan, có thể xây dựng thuyết thay đổi để dự đoán điều gì sẽ xảy ra khi thực hiện một can thiệp tương tự. Cũng có thể là cần thiết phải xây dựng các thuyết thay đổi mà không cần tận dụng những phát hiện từ các nghiên cứu hoặc đánh giá trước. Trong trường hợp như vậy, các thuyết này nhất định sẽ yếu hơn. Việc tổng lược tài liệu cần bắt đầu bằng xác định rõ các nguồn thông tin nghiên cứu và đánh giá có thể có. Các nguồn này gồm có: • nghiên cứu đánh giá thực hiện bởi riêng một tổ chức • thư viện các ấn phẩm và tài liệu hoặc thông tin theo nước của Tổ chức Phát triển và Hợp tác Kinh tế/ Ủy ban hỗ trợ phát triển (OECD/DAC). • các nghiên cứu đánh giá thực hiện bởi các tổ chức phát triển, ngân hàng phát triển, tổ chức phi chính phủ (NGOs) và các tổ chức khác • những bài báo trong các tạp chí đánh giá • nghiên cứu ứng dụng trong các tạp chí về tâm lý học, xã hội học, giáo dục và các lĩnh vực về chủ đề cụ thể khác • nghiên cứu về các thuyết phát triển.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

155

Hộp 4.3 Tổng lược Tài liệu các Chương trình để tăng Kết Quả học của học sinh ở nước Nam Phi Những người đánh giá thuộc tổ chức phát triển được yêu cầu đánh giá một chương trình giáo dục ở Châu Phi có mục tiêu cải thiện kết quả học tập trong lớp của học sinh. Những người đánh giá được cho biết là các cuộc viếng thăm nhà học sinh của các giáo viên tiểu học ở nước lân cận thường dẫn đến kết quả học tập cao hơn. Đầu tiên người đánh giá khảo sát tài liệu nghiên cứu và đánh giá. Trước hết họ tìm nghiên cứu về giáo dục và kết quả học tiểu học để nắm được các phát hiện hiện có về những can thiệp tương tự. Họ tập trung vào Tạp chí International Journal of Educational Research (Nghiên cứu Giáo dục Quốc tế), American Education Research Journal (Nghiên cứu Giáo dục Mỹ), Early Childhood Research and Practice (Nghiên cứu và Thực tiễn Thời thơ ấu) và Journal of Educational Research (Nghiên cứu Giáo dục). Họ cũng kiểm tra các đánh giá của Development Gateway (Cổng Phát triển), DAC Evaluation Resource Centre (Trung tâm Nguồn lực Đánh giá DAC), Education Resources Information Center (Trung tâm Thông tin các Nguồn lực Giáo dục). Qua quá trình này, những người đánh giá đã tìm được những nghiên cứu có liên quan và nhiều dự án, chương trình tương tự. Nhóm đánh giá đọc tài liệu nghiên cứu và đánh giá để hiểu được càng nhiều càng tốt về các vấn đề và phát hiện từ những chương trình tương tự ở các nước khác. Nguồn: Các tác giả.

Các tóm tắt chi tiết và kết luận hoặc bài học kinh nghiệm là những căn cứ xác định mức độ liên quan của những báo cáo đánh giá. Đối với mỗi bài báo nghiên cứu, có thể đọc tóm tắt chung để tiết kiệm thời gian. Nếu thời gian hạn chế, người đánh giá cần đọc lướt để nắm những thông tin quan trọng. Một khi người đánh giá khoanh vùng được những phát hiện nghiên cứu và đánh giá, họ cần phải kiểm tra những phát hiện quan trọng (hình 4.3). Tính lôgic của chương trình là gì? Lôgic của chương trình, dự án hoặc chính sách xét ý định, mục đích của một can thiệp và khẳng định “Nếu X xảy ra, thì Y xảy ra”. Chi tiết về bản chất của thay đổi mong muốn – như phần dân số mục tiêu, mức độ thay đổi cần thiết để đạt được mục tiêu, khung thời gian kỳ vọng diễn ra thay đổi - cần được xác định rõ. Một chuỗi các mệnh đề “nếu-thì” – hay là thuyết thay đổi – được tạo ra sau đó. Có thể ghi các mệnh đề trong chuỗi hoạt động trong các mảnh giấy hoặc thẻ. Những mảnh giấy/thẻ này là thành phần của chuỗi nhưng có thể được chuyển dời sang vị trí khác, bổ sung thêm hoặc bỏ đi dễ dàng.

156

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Những người đánh giá thường thực hiện ngược lại từ mục tiêu dài hạn xác định chuỗi lôgic các sự kiện cho đến khi quay trở lại thời điểm hiện tại. Nếu một thuyết thay đổi đã được xây dựng, người đánh giá phải thực hiện các bước tương tự để xây dựng lại thuyết thay đổi. Xét ví dụ về một can thiệp huấn luyện kỹ năng đánh giá phát triển (hình 4.4). Các kết quả kỳ vọng của can thiệp này sẽ là việc tạo ra các đánh giá chất lượng cao và những quyết định dựa trên bằng chứng xác thực hơn của người ra quyết định. (Mục tiêu cuối cùng sẽ là những cải thiện trong phát triển, nhưng vì có nhiều yếu tố ảnh hưởng phát triển, nên những người đánh giá không cố gắng đạt bằng được kết quả cuối cùng này). Chuỗi đơn giản của can thiệp này có thể bao gồm: nếu những người đánh giá được huấn luyện tốt hơn, thì họ sẽ thực hiện các đánh giá tốt hơn để giúp ra các quyết định có cơ sở. Những thông tin hữu ích này sẽ giúp người ra quyết định có quyết định tốt hơn. Đến đây tất cả những gì được trình bày chỉ ở dạng một mô hình tuyến tính. Một thuyết thay đổi tốt không giả định quan hệ nguyên nhân – kết quả tuyến tính giản đơn; mà phải thể hiện được những quan hệ phức tạp bằng những hình hộp và mũi tên nối ngược lại – hoặc nối tới những yếu tố đằng sau – của thuyết thay đổi. Những quan hệ này cũng cụ thể hóa những giả thiết chính làm cơ sở cho mô hình, bao gồm bối cảnh chính hoặc các yếu tố môi trường hoặc sự kiện chính có khả năng ảnh hưởng đến can thiệp. Các giả thiết chính là gì? Các chuỗi lôgic ban đầu thường ở dạng tuyến tính. Khi những người đánh giá xem xét nhiều yếu tố có tương tác với các dự án, chương trình và chính sách, thuyết thay đổi trở nên phức tạp hơn. Khi xác định lôgic của một chương trình, họ cũng phải xác định những giả thiết chính đưa ra cho quá trình thay đổi. Các giả thiết là nguy cơ cao nhất ảnh hưởng đến thành công của can thiệp (các giả thiết chính) sau đó có thể được xem xét và kiểm chứng như một bước của đánh giá.

Hình 4.4 Thuyết Thay đổi giản đơn đê Cải thiện việc Ra Quyết định bằng cách Đào tạo Người đánh giá

Đào tạo

Đánh giá chất lượng cao

Thông tin hữu ich hơn

Quyết định tốt hơn

Nguồn: Các tác giả.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

157

Các giả thiết thường được chia thành 4 nhóm: • xác nhận về mối liên hệ giữa các kết quả dài hạn, trung gian và ban đầu trong sơ đồ • chứng minh cho nhận định rằng tất cả các điều kiện tiên quyết của thành công đã được xác định • chứng minh rằng các mối liên hệ giữa những hoạt động của chương trình với những kết quả kỳ vọng • nắm được các yếu tố môi trường đã nhìn thấy hoặc tiềm ẩn có khả năng hỗ trợ hoặc gây trở ngại cho việc đạt kết quả và mức độ mà kết quả đạt được. Những người đánh giá nghiên cứu lôgic chính và nghiên cứu các giả thiết của lôgic. Có thể đưa ra các câu hỏi sau: • Thuyết thay đổi này có hợp lý không? Chuỗi các sự kiện có khả năng dẫn đến mục tiêu dài hạn không? • Thuyết thay đổi này có khả thi không? Những khả năng và nguồn lực để thực hiện các chiến lược có thể dẫn đến các kết quả không? • Thuyết có thể kiểm chứng được không? Có xác định được các thước đo mức độ thành công không? (Anderson 2004) Cũng có thể hỏi như sau: • Yếu tố môi trường nào khác có thể giúp hoặc gây trở ngại cho can thiệp? Các giả thiết được viết ra và sau đó được đưa vào trong chuỗi các sự kiện. Có thể dùng những mảnh giấy nhỏ để tiện sắp xếp lại cho phù hợp với thuyết chính. Không phải tất cả các giả thiết cần được xác định – nếu chúng đã được xác đinh, danh sách các gỉa thiết sẽ rất dài. Tuy nhiên các giả thiết chính – là những giả thiết thể hiện nguy cơ lớn nhất cho sự thành công của chương trình nếu không được đáp ứng – cần phải được xác định. Trong ví dụ về chương trình đào tạo, những giả thiết chính có thể là những giả thiết sau: • Những người đánh giá không có sẵn các nguồn đào tạo đáp ứng nhu cầu họ cần • Những người đánh giá có thể có các nguồn lực tài chính để tham gia đào tạo. • Khóa đào tạo thích hợp với nhu cầu của những người đánh giá. • Những người đánh giá nhìn nhận đào tạo là có giá trị và có động cơ để học. • Những người đánh giá sẽ nhận được sự hỗ trợ và các nguồn lực khác mà họ cần để thực hành những gì được học trong khóa huấn luyện.

158

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Những người đánh giá sẽ có kỹ năng viết báo cáo cần để giao tiếp thông tin một cách hiệu quả với cơ quan của chính phủ. • Người ra quyết định của Chính phủ sẽ dùng các kết quả đánh giá để ra những quyết định dựa có sơ sở. Để chuỗi hiệu quả, các giả thiết cần được viết ra. Các giả thiết cần được liệt kê cùng với sơ đồ thuyết thay đổi hoặc đưa vào sơ đồ (hình 4.5). Mẫu Thuyết thay đổi The Kellogg Foundation (Quĩ Kellogg) (2004) cho rằng những người đánh giá dùng mẫu để giải thích thuyết thay đổi (hình 4.6). Để sử dụng mẫu thuyết thay đổi , Kellogg Foundation đề xuất người đánh giá nên bắt đầu từ giữa mô hình (phần Vấn đề). Đây là trung tâm của mẫu và phần lõi của thuyết thay đổi. Tại đó, người đánh giá viết rõ ra vấn đề mà can thiệp muốn hướng tới. Ở bước thứ hai, phần Nhu cầu/Tài sản Cộng đồng, người đánh giá phải xác định các nhu cầu và tài sản của cộng đồng hoặc tổ chức. Nếu đã thực đánh giá nhu cầu hoặc nếu muốn ưu tiên cho nhu cầu của cộng đồng hoặc tổ thì thông tin cần được đưa vào đây. Bước thứ ba, Kết quả mong muốn, Kellogg cho rằng người đánh giá xác định họ kỳ vọng can thiệp để đạt được mục tiêu trong tương lai gần hoặc dài hạn.

Hình 4.5 Thuyết thay đổi giản đơn với Các Giả thiết chính đã xác định

Nhu cầu người học được đáp ứng

Huấn luyện

Có đủ thời gian để học

Đánh giá chất lượng cao

Kỹ năng viết báo cáo đủ để giao tiếp với chính phủ

Thông tin bổ ich hơn

Quyết định tốt hơn

Các nguồn lực đã cho để theo đuổi cái đã học

Nguồn: Các tác giả.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

159

Hình 4.6 Mẫu Thuyết thay đổi Các chiến lược

Các giả thiết

Vấn đề

Các yếu tố ảnh hưởng

Các kết quả mong muốn (các đầu ra, kết quả và tác động)

Nhu cầu/tài sản cộng đồng

Nguồn: Kellogg Foundation 2004.

Đây có thể gần như là tầm nhìn tương lai. Những phần ghi chép trong hộp này sẽ là các đầu ra, kết quả và tác động Bước thứ tư, Các yếu tố ảnh hưởng, Kellogg yêu cầu người đánh giá liệt kê những rào chắn tiềm ẩn và những hỗ trợ có thể ảnh hưởng đến sự thay đổi như mong muốn. Những yếu tố này có thể là rủi ro, môi trường chính sách hiện tại và những yếu tố khác. (Những yếu tố này rút ra từ việc tổng lược tài liệu nghiên cứu và đánh giá hoặc các nguồn khác). Ở bước thứ 5, Các chiến lược, người đánh giá phải liệt kê những chiến lược thành công nói chung đã xác định bởi nghiên cứu để giúp các cộng đồng hoặc tổ chức tương tự đạt các kết quả mà dự án, chương trình và chính sách đang cố hướng đến (“thực hành tốt nhất”). Bước cuối cùng, Các giả thuyết, Kellogg yêu cầu người đánh giá đưa ra các giả thiết về làm thế nào và tại sao những chiến lược thay đổi đã xác định sẽ phát huy tác dụng trong cộng đồng hoặc tổ chức. Những giả thiết này có thể là các nguyên lý, niềm tin hoặc ý tưởng. Mẫu thuyết thay đổi sau đó có thể được dùng để vẽ ra hình minh họa cho thuyết thay đổi. 160

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Nếu nhiều người tham gia vào xây dựng thuyết thay đổi, mỗi người (hoặc nhóm) có thể được cấp một mẫu để trống để điền thông tin. Khi tất cả các mẫu được điền đủ, nhóm có thể thảo luận về các giả thiết và đi đến thống nhất với nhau. Đây là một ví dụ về mẫu thuyết thay đổi. Mẫu này có thể được xem xét và chỉnh sửa lại để đáp ứng được nhu cầu của tổ chức thực hiện hoặc thực tiễn. Ví dụ như một người đánh giá có thể muốn chỉ ra không chỉ những chiến lược thành công mà cả những chiến lược không thành công (để tránh). Ví dụ về xây dựng thuyết thay đổi Có hai ví dụ minh họa một người đánh giá xây dựng thuyết thay đổi như thế nào. Ví dụ thứ nhất mô tả một chương trình nhằm cải thiện kết quả học tập bằng cách bố trí cho giáo viên đến thăm nhà học sinh. Ví dụ thứ hai mô tả một chương trình sử dụng các hội thảo có sự tham gia của người dân để giảm sự tham nhũng của chính phủ. Cải thiện kết quả học tập của học sinh thông qua việc giáo viên đến thăm nhà học sinh. Xét trường hợp sau. Một chương trình có thể thích hợp để đánh giá, nhưng lại không có thuyết thay đổi. Người đánh giá cần bắt đầu xây dựng thuyết thay đổi bằng việc tổng lược tài liệu đánh giá và nghiên cứu (như mô tả trong hộp 4.3). Mục tiêu mong muốn của chương trình là để cải thiện kết quả học của học sinh. Can thiệp là việc giáo viên đến thăm nhà học sinh. Lôgic của trường hợp này như sau: nếu giáo viên (đầu vào) đến thăm (hoạt động) nhà học sinh (đầu vào) và trò chuyện với phụ huynh học sinh (đầu ra), họ sẽ đồng cảm hơn với trẻ (kết quả). Phụ huynh sẽ hiểu hơn yêu cầu của nhà trường đối với việc hoàn thành bài tập về nhà đúng hạn và đối với việc đi học mỗi ngày của trẻ (đầu ra); do đó, phụ huynh sẽ bảo đảm các thực hiện cả hai yêu cầu này (các kết quả). Vì trẻ làm bài về nhà, đi học đều đặn và có một giáo viên biết thông cảm, kết quả học tập của trẻ sẽ tăng lên (tác động). Trong trường hợp như vậy, đầu tiên người đánh giá tạo ra thuyết thay đổi với kết quả mong muốn – kết quả môn tập đọc cao hơn - và đặt phía dưới sơ đồ (hình 4.7). Sau đó, người đánh giá xác định can thiệp bằng cách viết “giáo viên thăm nhà học sinh” ở phía trên sơ đồ. Từ đó, người đánh giá xác định ba kết quả có thể có từ việc thăm nhà học sinh của giáo viên: • Giáo viên hiểu được văn hóa gia đình của học sinh. • Phụ huynh có thông tin về kỳ vọng của nhà của trường đối với học sinh. • Cả giáo viên và phụ huynh có thể giải quyết các vấn đề giúp cho học sinh học tốt ở trường. Từ mỗi một kết quả trong 3 kết quả này, người đánh giá xác định những kết quả khác, tạo nên những chuỗi các kết quả và kết quả tương tác với nhau. Ví Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

161

Hình 4.7 Thuyết Thay đổi của Chương trình Cải thiện Kết quả môn Tập đọc của học sinh bằng Các cuộc thăm nhà học sinh của Giáo viên

Giáo viên thăm nhà học sinh

Trao đổi ý kiến giữa phụ huynh và giáo viên

Giáo viên hiểu được văn hóa gia đình

Hiểu biết của phụ huynh về kỳ vọng của nhà trường đối với sinh viên

Xác định các vấn đề đặc biệt có liên quan đến kết quả học tập của học sinh (sức khỏe, cảm xúc, khác)

Giáo viên đồng cảm với trẻ và cách nhìn nhận thế giới của chúng

Phụ huynh hỗ trợ và khuyến khích trẻ làm bài tập về nhà và bài tập ở trường

Phụ huynh hỗ trợ để trẻ đi học đều hơn

Phụ huynh nhận biết được kỳ vọng của nhà trường đối với học sinh

Giảng tự nhiên thoải mái và dễ hiểu cho học sinh

Học sinh học tập tận tâm

Học sinh đi học

Học sinh nhận được sự giúp đỡ đặc biệt

Tinh thần học sinh

Các điều kiện (sức khỏe, cảm xúc được cải thiện) Kết quả môn Tập đọc

Nguồn: Weiss 1972, 50.

162

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

dụ với kết quả “giáo viên hiểu được văn hóa gia đình”, người đánh giá xác định chuỗi các kết quả khác như: • Thì giáo viên sẽ đồng cảm với học sinh và cách nhìn nhận thế giới của học sinh. • Thì giáo viên bắt đầu giảng bài cho học sinh theo cách tự nhiên thoải mái hơn. • Thì tinh thần của học sinh tốt hơn. • Thì kết quả môn Tập đọc của học sinh được cải thiện. Người đánh giá sau đó xác định những kết quả có thể có từ mỗi khả năng ban đầu, tất cả đều kết thúc bằng kết quả môn Tập đọc. Một số chuỗi kết quả cũng tương tác với những kết quả khác. Thuyết thay đổi này cũng xác định nhiều giả thiết. Trong trường hợp như vậy, những giả định được liệt kê thay vì được đưa vào sơ đồ. Các giả thiết người đánh giá xác định bao gồm: • • • • • •

Trẻ ở cùng với cả bố mẹ. Bố mẹ sẵn sàng và có nhà khi giáo viên sẵn sàng trao đổi. Giáo viên sẵn sàng thăm nhà học sinh. Phụ huynh đón tiếp giáo viên ân cần. Phụ huynh cảm thấy thoải mái khi thảo luận về cách giáo dục con cái của họ. Giáo viên hiểu văn hóa gia đình của học sinh và vì thế sẽ đồng cảm với học sinh hơn. • Giáo viên điều chỉnh giáo án và phương pháp sư phạm thích hợp với những gì nắm bắt được từ những lần thăm nhà học sinh. • Phụ huynh muốn tham gia vào quá trình học của trẻ và muốn con họ đi học, làm bài tập đạt kết quả tốt • Bố mẹ không cần trẻ làm việc. • Không gì xảy ở trường và nhà có thể cải thiện được kết quả học tập của học sinh Đánh giá được xây dựng hướng đến các giả thiết mà tài liệu hoặc các bên có liên quan đã xác định là quan trọng. Sử dụng các hội thảo có sự tham gia của người dân để chống lại tham nhũng. Xét một ví dụ khác. Một chương trình cố gắng thực hiện các hội thảo có sự tham gia của người dân để giảm tham nhũng của chính phủ. Để xây dựng thuyết thay đổi, đầu tiên người đánh giá viết ra mục tiêu dài hạn là giảm tham nhũng ở phía dưới cùng của sơ đồ và viết ra can thiệp phía trên cùng sơ đồ. Những sự kiện chính dự tính xảy ra được đưa vào chuỗi các sự kiện giữa hai mục này (hình 4.8) (Haaruis 2005).

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

163

Hình 4.8 Thuyết Thay đổi của Chương trình dùng Hội thảo có sự tham gia của người dân để giảm tham nhũng của Chính phủ Chương trình chống tham nhũng bằng các hội thảo có người dân tham gia

• sẽ thúc đẩy đối thoại chính sách • sẽ giúp thiết lập sự “chia sẻ và học hỏi” quá trình “thực hiện tốt nhất” và “các ví dụ tốt” có tác động đến hành vi (như cùng ký cam kết liêm khiết) • sẽ tính đến các quá trình hơn cả đặc biệt hoặc những nỗ lực cho một mục tiêu duy nhất và giúp chỉ đạo “nghiên cứu hành động” • trao quyền cho người tham gia • sẽ lôi kéo sự tham gia của các hiệp hội và mạng lưới với các bên liên quan khác nhau trong phạm vi xã hội dân sự, thiết lập (hoặc củng cố) vốn xã hội giữa các đối tác • sẽ bộc lộ kiến thức về ai đang đấu tranh chống tham nhũng và ai không

• Nhận thức được “thắng nhanh” sẽ khuyến khích những người khác tham gia vào cuộc chiến chống tham nhũng • các hoạt động cũng giúp thiết lập “đảo liêm khiết” có chức năng làm gương cho người khác xây dựng sở hữu địa phương khi giải quyết các hoạt động chống tham nhũng Tác động dần dần của những hội thảo này đến các lĩnh vực khác trong xã hội

• tăng nhận thức công chúng về tác hại của tham nhũng • tăng nhận thức về tác hại của tham nhũng trong xã hội dân sự • xây dựng thể chế bằng cách thiết lập hoặc củng cố những trụ cột của liêm khiết

• xã hội minh bạch và tình hình transparent society and transparent and accountable state • chiến lược rút của Ngân hàng thế giới

sẽ giúp lập (củng cố) hệ thống liêm khiết cấp quốc gia

mà sẽ giúp lập hệ thống cai quản tốt

mà sẽ giảm được tham nhũng Nguồn: Leeuw, Gils, và Kreft 1999.

164

Dù nhiều giả thiết đã được xác định, người nghiên cứu vẫn phải giới hạn các giả thiết sẽ kiểm chứng bởi đánh giá còn 3 giả thiết chính, dựa trên tài liệu tổng lược và thảo luận với khách hàng và bên có liên quan: • Các hội thảo có sự tham gia của người dân hiệu quả và đáp ứng được nhu cầu của người học và chương trình. • Người học có kỹ năng, thái độ và động cơ tham gia các hội thảo. • Người học sẽ xây dựng ý thức “sở hữu địa phương,” nhằm tạo ra tác động dần dần.

Thuật ngữ và minh họa bằng hình ảnh Thuyết thay đổi Vì thuyết thay đổi của chương trình đã phát triển thành một nhân tố quan trọng của đánh giá, nên đã có những nhầm lẫn về thuật ngữ như các mô hình lôgic, mô hình kết quả, và mô hình thuyết. Ví dụ như Patton (2002), khi phân biệt mô hình lôgic với thuyết thay đổi, đã cho rằng tiêu chí duy nhất cho mô hình lôgic là miêu tả được thứ tự theo chuỗi, có thể biện hộ và hợp lý từ những đầu vào thông qua các hoạt động đến đầu ra, kết quả và tác động. Ngược lại, thuyết thay đổi cũng phải xác định và giải thích được các quan hệ nhân quả được giả định, giả thuyết và kiểm chứng. Không kể thuật ngữ cụ thể hoặc hình thức sử dụng, tất cả những mô tả về các thuyết thay đổi phải phác họa được chuỗi thông thường, chỉ ra những ảnh hưởng và xác định các giả thiết chính. Mô hình thuyết thay đổi có thể được thể hiện bằng hình ảnh qua các biểu đồ phát triển theo nhiều cách. Phần này minh họa một số hình thức thể hiện mới. Biểu đồ phát triển tiêu chuẩn Các biểu đồ phát triển là hình thức phổ biến nhất để minh họa thuyết thay đổi. Một biểu đồ phát triển minh họa chuỗi những kết quả bắt nguồn từ các hoạt động và đầu ra (hình 4.9). Đó là mô hình lôgic rất linh hoạt với sự thể hiện các thành phần cốt lõi của thuyết thay đổi – các đầu vào, hoạt động, đầu ra và kết quả. Các mức độ kết quả khác nhau (trước mắt, trung gian, cuối cùng) có thể được đưa vào để bảo đảm rằng biểu đồ phát triển thể hiện được các kết quả cuối cùng đạt được như thế nào. Khi sử dụng hình thức này, những người đánh giá cần liệt kê các giả định của mình, bao gồm những nhân tố trong môi trường bên ngoài có thể ảnh hưởng đến mức độ can thiệp đạt được những kết quả mong muốn Những quan hệ nhân quả có thể được giải thích bằng cách dùng các mệnh đề “nếu-thì”. Ví dụ như, “nếu hoạt động được thực hiện, thì những đầu ra này sẽ được tạo ra. . Nếu có các đầu ra, thì mức độ đầu tiên của những kết quả trước mắt cũng đã đạt được.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

■■ Biểu đồ

phát triển: Biểu đồ minh họa chuỗi các kết quả bắt nguồn từ các hoạt động và đầu ra

165

Hình 4.9 Biểu đồ phát triển tiêu chuẩn Các đầu vào

Các hoạt động

Các đầu vào

Các kết quả

Các tác động

Giả thiết 1. 2.

■■ Chuỗi kết

quả:

Chuỗi nhân quả của một can thiệp phát triển qui định chuỗi cần thiết để đạt được các mục tiêu mong muốn, bắt đầu từ các đầu vào, thông qua các hoạt động và đầu ra và đạt đỉnh điểm tại các kết quả, tác động, và phản hồi

166

Nguồn: Các tác giả.

Biểu đồ phát triển tiêu chuẩn chú trọng đến các giả thiết Thiết kế khác của thuyết thay đổi được thể hiện ở hình 4.10. Mô hình coi các giả thiết là nguyên lý của thiết kế các sáng kiến. Chuỗi kết quả tiêu chuẩn Một chuỗi kết quả —cũng được đề cập là một chuỗi thực hiện — tương tự như biểu đồ phát triển, nhưng không nhất thiết phù hợp với các hoạt động cụ thể với các đầu ra hoặc kết quả cụ thể. Vì chuỗi kết quả không thể hiện các chi tiết về chuỗi nhân quả các hoạt động, đầu ra và kết quả giống như của Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 4.10 Sơ đồ phát triển chú trọng các giả thiết Các giả thiết

Các đầu vào

Giai đoạn đầu

Các hoạt động

Kế hoạch thực hiện

Các đầu ra

Các kết quả

Các kết quả mong muốn

Nguồn: Phỏng theo Kellogg Foundation 2004.

biểu đồ phát triển, người sử dụng cần kiểm tra “đơn giản” không thay thế cho “tiêu chuẩn.” Như những thể hiện bằng hình ảnh khác, ảnh hưởng của các yếu tố bên ngoài đương nhiên được xem xét. Các đầu vào, hoạt động và đầu ra thường được sử dụng như những biện pháp đối với hiệu quả; các kết quả được sử dụng để xác định hiệu quả chương trình (ﬁgure 4.11). Hình 4.11 Chuỗi kết quả tiêu chuẩn Phạm vi quản lý nội bộ với tổ chức

Các đầu vào

Hoạt động

Các đầu ra trực tiếp đến người hưởng lợi

Đầu ra

Phạm vi ảnh hưởng bên ngoài đến tổ chức

Kết quả (ngắn hạn)

Kết quả (trung gian)

Tác động

Các yếu tố bên ngoài

Nguồn: Bộ Ngoại Giao và Ngoại thương Ca-na-đa 2005.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

167

Nhiều ví dụ về các mô hình hoàn chỉnh có thể tìm ở trang web của Trường Đại học Wisconsin Extension. Đường dẫn đến trang web này có thể tìm thấy ở cuối chương.

■■ Khung lôgic

Khung log:

Ma trận nối các hoạt động, kết quả, mục tiêu chương trình chính sách, hoặc dự án theo cấp bậc

Khung lôgic khung log Một biến thể khác của mô hình thuyết thay đổi là khung lôgic, hoặc như mọi người thường gọi là khung log. Khung log nối các hoạt động, kết quả, mục tiêu của chương trình, chính sách hoặc dự án theo cấp bậc. Đối với mỗi tiểu phần của chương trình, dự án, hoặc chính sách, người đánh giá xác định các chỉ số thực hiện cần thiết, các nguồn thông tin cho mỗi chỉ số và các giả thiết. Khung log làm rõ mục tiêu của dự án, chương trình hoặc chính sách và xác định các quan hệ nhân quả giữa những đầu vào, quá trình, đầu ra, kết quả và tác động. Nhiều tổ chức phát triển yêu cầu sử dụng khung log và đã đào tạo nhân viên của mình sử dụng khung log. Khung log cơ bản là ma trận kích thước 4 x 4 nhằm tóm tắt các yếu tố quan trọng của một dự án, chương trình hoặc chính sách. Cách tiếp cận hướng đến các câu hỏi chính có phương pháp, sử dụng lôgic nhân quả. Khung log có thể dùng cho nhiều mục đích: • nâng cao chất lượng của thiết kế dự án, chương trình, hoặc chính sách bằng việc đòi hỏi xác định rõ mục tiêu, các chỉ số thực hiện sử dụng và đánh giá các rủi ro. • tóm tắt thiết kế các hoạt động phức tạp • hỗ trợ nhân viên chuẩn bị các kế hoạch vận hành chi tiết • cung cấp cơ sở mục tiêu cho việc xem xét, kiểm soát, đánh giá hoạt động (World Bank 2004). Khung log đã bị chỉ trích nhiều. Những chỉ trích chủ yếu bao gồm: • Khi xây dựng một khung log, người đánh giá có thể bị sa đà vào chi tiết và đánh mất cái nhìn toàn diện hơn. • Số liệu gốc không được chú trọng. • Khung log thường quá đơn giản, cả với các thiết kế dự án. Như Gasper (1997) nhận xét, “Không phải tất cả mọi thứ quan trọng đều có thể thể hiện hết được trong 1 đến 3 trang giấy, một sơ đồ 4 hoặc 5 cấp độ.” • Nhiều người dùng khung log đã không nhận ra rằng khung bao gồm một số yếu tố và bỏ qua các yếu tố khác. Khung là để hỗ trợ cho thực hiện đánh giá, chứ không phải để thay thế đánh giá. • Khung log không hướng đến các mục tiêu không mong muốn; phạm vi của nó chỉ giới hạn đến các mục tiêu đã đề ra. • Khung log sau khi chuẩn bị xong sẽ cố định và không được cập nhật, do đó trở thành một “khung đóng” (Gasper 1997).

168

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một khung log cho bệnh viện mới mở có thể đưa việc tạo miễn dịch vào thành một hoạt động, với mục tiêu đặt ra là tạo miễn dịch cho 50% tổng số trẻ dưới 6 tuổi của một quận (bảng 4.3). Nếu đạt được mục tiêu này, tình trạng nhiễm các bệnh có thể ngừa được cho trẻ nhỏ sẽ giảm. Sự giảm này đạt mục tiêu chung là giảm số tử vong của trẻ dưới 6 tuổi. Cột thứ hai trong bảng 4.3 xác định các chỉ số làm rõ mức độ mỗi mục tiêu đạt được như thể nào. Cột thứ 3 và 4 xác định số liệu lấy từ đâu để đánh giá thực hiện theo các chỉ số và bất cứ giả thiết nào về bản chất và khả năng tiếp cận số liệu đó.

Đánh giá Thuyết Thay đổi Khi thuyết thay đổi đã được xây dựng, những người đánh giá cần lùi lại và đánh giá chất lượng thuyết đánh giá từ các góc độ khác nhau. Những góc độ này hoặc khung này bao gồm việc đánh giá • • • •

có liên hệ đến nhu cầu xã hội tính lôgic và tính hợp lý bằng cách so sánh với nghiên cứu và thực tiễn bằng cách so sánh thuyết thay đổi của chương trình với một hoặc một số thuyết khoa học có liên quan • thông qua nhận xét sơ bộ (phỏng theo Rossi, Freeman, and Lipsey 1999). Thuyết thay đổi phải có khả năng trả lời những câu hỏi sau: • Mô hình có mô tả chính xác chương trình không? • Tất cả các yếu tố có được xác định rõ không? • Có chỗ hổng nào trong chuỗi lôgic các sự kiện không? • Các yếu tố có cần thiết và đầy đủ không? • Các quan hệ có hợp lý và nhất quán không? • Có thực tế không khi giả định rằng chương trình sẽ đạt được những kết quả đề ra đúng nghĩa không? Quỹ Kellogg (2004) đã xây dựng một danh sách rà soát để đánh giá chất lượng của một mô hình lôgic. Danh sách các tiêu chí sau phỏng theo danh sách rà soát đó: • • • • •

Liệt kê các hoạt động chủ yếu cần để thực hiện chương trình. Các hoạt động nối với thuyết của chương trình. Liệt kê các nguồn lực chính cần để thực hiện chương trình. Các nguồn lực phù hợp với loại chương trình. Tất cả các hoạt động có đầy đủ và đúng nguồn lực.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

169

170

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ngân sách Kỹ thuật Nguồn nhân lực

• Chọn người trông trẻ và giám sát và đào tạo

cơ bản.

• Nâng cấp nhà.

Nguồn: Inter-American Development Bank (http://www.iadb.org/sds/soc/eccd/6example.html#ex1).

• Xây dựng MIS.

• Liên tục đào tạo và giám sát.

• Cung cấp dịch vụ trông trẻ tại nhà.

• Xây dựng hệ thống hành chính.

• Xây dự trang thiết bị.

Các nguồn lực

Các hoạt động

• Hệ thống thông tin quản lý (MIS) hoạt động

• Hệ thống hành chính hoạt động

• Xây dựng cơ sở vật chất

• Tạo chức năng MIS

• Tạo và phân phối trang thiết bị

• Nâng cấp nhà và vận hành

• Nơi chăm sóc được nâng cấp và hoạt động

• Người chăm trẻ được đào tạo

• Người trông trẻ, giám sát và quản đốc qua đào tạo

• Chức năng chăm sóc ban ngày, cung cấp dịch vụ chăm sóc chất lượng khá, dễ tiếp cận và giá phải phải chăng trong giờ làm việc và nhờ thế dịch chuyển việc làm và hoạt động giáo dục của phụ nữ

Các đầu ra

Mục tiêu: Tạo cơ hội cho phụ nữ kiếm thu nhập và học tập trong khi con họ chăm sóc trong các trung tâm chăm trẻ ban ngày

Cải thiện thu nhập gia đình

Mục tiêu: Cải thiện phúc lợi kinh tế và xã hội của phụ nữ và gia đình họ • phần trăm gia đình tham gia. Cải thiện các chỉ số tình trạng sức khỏe, dinh dưỡng và tham gia đào tạo

Các chỉ số thực hiện

Thành phần

Bảng 4.3 Khung lôgic cho Chương trình Giảm Tỉ lệ tử vong của trẻ sơ sinh

Các đánh giá để xác định các hoạt động có được thực hiện tốt

Các nghiên cứu thể hiện mô hình và chương trình lựa chọn phát huy tác dụng

Kế hoạch hành động, ngân, sách và hồ sơ kế toán

Sau đào tạo ban đầu trong suốt quá trình đào tạo liên tục

Đánh giá người được đào tạo

Các điều kiện gia đình cho phép sử dụng dịch vụ chăm trẻ tại nhà ban ngày, để các bà mẹ hoàn thành cam kết cung cấp dịch vụ chăm sóc.

Các điều kiện kinh tế được giữ nguyên hoặc cải thiện.

Đánh giá chất lượng dịch vụ chăm sóc trên cơ sở quan sát Số liệu từ MIS về người được đào tạo, nhà và vật liệu

Những thành viên khác trong gia đình duy trì hoặc cải thiện việc làm và thu nhập

Giả thiết

Từ điều tra: các thay đổi việc làm và giáo dục và các đánh giá về dịch vụ chăm sóc

Điều tra hộ gia đình về điều kiện kinh tế, xã hội y tế của tất cả thành viên trong gia đình

Xác minh

Tóm tắt Những người đánh giá cần cưỡng lại sự thôi thúc phải thực hiện ngay đánh giá mà không có một kế hoạch. Một phân tích nhận diện là phần có giá trị của việc lập kế hoạch, giúp cho những người đánh giá có một cái nhìn toàn diện hơn về dự án, chương trình hoặc chính sách. Phân tích nhận diện có thể trả lời những câu hỏi quan trọng về đánh giá như tính toán thời gian, thời gian hoàn thành, những người có liên quan, các nguồn lực, thiết kế, thuyết chương trình và lôgic cũng như kiến thức hiện có. Một nội dung của phân tích nhận diện là xác định người hoặc nhóm người có liên quan đến can thiệp. Phân tích bên có liên quan là một cách xác định các bên có liên quan đến đánh giá và xác định họ biết gì, họ có thể đóng góp gì và họ mong muốn gì ở đánh giá. Nội dung khác của phân tích nhận diện là xem xét bối cảnh của can thiệp. Những người đánh giá phải xác định và học từ nghiên cứu có liên quan và từ các đánh giá của các can thiệp tương tự. Những người đánh giá hỏi các câu hỏi khác nhau ở mỗi giai đoạn của một can thiệp, vì thế xác định được giai đoạn nào của can thiệp là quan trọng. Xây dựng thuyết thay đổi làm cơ sở cho can thiệp giúp những người đánh giá và các bên có liên quan hình dung được can thiệp và xác định những giả thiết làm cơ sở cho chương trình mà cần được kiểm chứng trong đánh giá. Trong khi có các cách khác nhau để thể hiện bằng hình ảnh một thuyết thay đổi, tất cả cần được dựa trên những phát hiện của nghiên cứu và đánh giá có liên quan, chỉ ra dòng lôgic, xác định các sự kiện có thể ảnh hưởng đến các kết quả, và chỉ ra chuỗi nhân quả các sự kiện. Thông thường, các thuyết thay đổi thể hiện các đầu vào, hoạt động, đầu ra và kết quả cũng như mối tương quan qua lại với thuyết khác và với môi trường mà thuyết diễn ra.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

171

Thực hành Chương 4 Hoạt động 4.1: Áp dụng Thuyết thay đổi Xét một chương trình cho vay vi mô nhằm mục đích tăng cường phương kế sinh nhai mới và cải thiện phúc lợi của hộ gia đình bằng cách giúp phụ nữ, đặc biệt phụ nữ nghèo ở khu vực nông thôn, tham gia vào lực lượng lao động và xây dựng các kỹ năng thầu khoán, nhờ đó tăng thu nhập của hộ gia đình. Mục tiêu dài hạn là tăng sự phát triển của khu vực tư nhân và tăng trưởng kinh tế. Khoản cho vay trung bình là 225 đôla, mức cho vay tối đa là 500 đôla. Đây là những khoản vay khoán để làm vốn lưu động hoặc đầu tư vào doanh nghiệp qui mô nhỏ. Thời hạn vay từ 1 đến 10 năm, thời hạn vay trung bình là 2-3 năm. Thời gian gia hạn là 1 năm. Phần xây dựng năng lực đi kèm gồm nghiệp vụ kế toán và quản lý cho vay vi mô. Hình A thể hiện mô hình lôgic được đơn giản hóa của chương trình cho vay vi mô. Hình B cho thấy sự minh họa bằng hình ảnh cụ thể hơn thuyết thay đổi của chương trình cho vay vi mô. Những mục được khoanh tròn trong hình B cho thấy một số yếu tố chính của can thiệp có thể ảnh hưởng đến việc đạt được mục tiêu của chương trình. Hãy nghĩ về những giả thiết làm cơ sở cho chương trình này. Liệt kê 5 giả thiết chính làm cơ sở cho chương trình này: 1. ______________________________________________________________ 2. ______________________________________________________________ 3. ______________________________________________________________ 4. ______________________________________________________________ 5. ______________________________________________________________ Hình A Thuyết thay đổi đơn giản cho Chương trình cho vay vi mô

172

Tiếp cận các quỹ khởi động cho doanh nghiệp nhỏ

Thu nhập và việc làm dành cho dân địa phương

Điều kiện sống được cải thiện

Tư vấn và hỗ trợ Quản lý tài chính

Kỹ năng trong kinh doanh và quản lý tài chính

Tình trạng nghèo của gia đình giảm

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình B Thuyết thay đổi phức tạp hơn của Chương trình Cho vay vi mô Phụ nữ ít được tiếp cận các cơ hội kinh tế do thiếu tiếp cận tín dụng và các nguồn lực sản xuất khác và thiếu tiếp cận kiểm soát xã hội. Các chương trình liên quan được chính phủ tài trợ

Dự án cung cấp tín dụng, hỗ trợ kỹ thuật và thông tin nhóm.

Môi trường kinh tế vĩ mô

Phụ nữ tạo lập việc kinh doanh.

Tiền gửi về của công nhân

Các chương trình cho vay vi mô song phương

Chương trình cơ sở Chương trình NGO

Phụ nữ tạo ra lợi nhuận.

Cải thiện phúc lợi của hộ trong ngắn hạn

Tái đầu tư lợi nhuận

Cải thiện phúc lợi của hộ trong dài hạn

Duy trì việc kinh doanh

Tác động đến Dinh dưỡng, sức Khỏe và trang phục

Nhà ở được cải thiện

Giáo dục cho bé gái được cải thiện

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

Cải thiện kinh tế

173

Ứng dụng Bài tập 4.2: Phân tích Chương trình của bạn Xét một chương trình hoặc dự án mà đang làm việc hoặc một chương trình quen thuộc nhưng bạn không trực tiếp tham gia. Xây dựng sự thể hiện bằng hình ảnh thuyết thay đổi cho chương trình hoặc dự án. Nhớ xác định những giả thiết làm cơ sở cho chương trình hoặc dự án, đặc biệt là những giả thiết liên quan đến các yếu tố môi trường bên ngoài.

Tài liệu tham khảo và đọc thêm ActKnowledge and Aspen Institute. 2003. Theory of Change. Roundtable on Community Change. http://www.theoryofchange.org/. Anderson, Andrea, A. 2004. “The Community Builder’s Approach to Theory of Change: A Practical Guide to Theory Development.” Presentation at the Aspen Institute Roundtable on Community Change, New York. http://www.aspeninstitute.org/atf/cf/ percent7BDEB6F227-659B-4EC8-8F84-8DF23CA704F5 percent7D/rcccommbuildersapproach.pdf. Bell, P. 1997. “Using Argument Representations to Make Thinking Visible for Individuals and Groups.” In Proceedings of CSCL ’97: The Second International Conference on Computer Support for Collaborative Learning, eds. R. Hall, N. Miyake, and N. Enyedy, 10–19. Toronto: University of Toronto Press. Bruning, R. H., G. J. Schraw, M. M. Norby, and R. R. Ronning. 2004. Cognitive Psychology and Instruction. 4th ed. Upper Saddle River, NJ: Pearson Merrill Prentice-Hall. Canadian Department of Foreign Affairs and International Trade. 2005. Six Easy Steps to Managing for Results: A Guide for Managers. April. Evaluation Division, Ottawa. CIDA (Canadian International Development Agency). 2005. Case Study #1: Jamaica Environmental Action Program ENACT. Caribbean Division, Americas Branch. http://www. acdi-cida.gc.ca/CIDAWEB/acdicida.nsf/En/EMA-218131811-PHY#1. Eggen, P., and D. Kauchak. 1999. Educational Psychology: Windows on Classrooms. 4th ed. Upper Saddle River, NJ: Merrill: Prentice-Hall. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Person Education. Funnell, S. 1997. “Program Logic: An Adaptable Tool for Designing and Evaluating Programs.” Evaluation News and Comment 6 (1): 5–7. Gagne, R. M., and W. D. Rohwer Jr. 1969. “Instructional Psychology.” Annual Review of Psychology 20: 381–418. Gasper, D. 1997. “Logical Frameworks: A Critical Assessment Managerial Theory.” Pluralistic Practice Working Paper 264, Institute of Social Studies, The Hague.

174

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

———. 2000. “Evaluating the ‘Logical Framework Approach’ towards Learning-Oriented Development Evaluation.” Public Administration Development 20 (1): 17–28. Haarhuis, Carolien Klein. 2005. “Promoting Anticorruption Reforms: Evaluating the Implementation of a World Bank Anticorruption Program in Seven African Countries.” http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf. Healy, A. F, and D. S. McNamara. 1996. “Verbal Learning Memory: Does the Modal Model Still Work?” Annual Review of Psychology 47: 143–72. Heubner, T. A. 2000. “Theory-Based Evaluation: Gaining a Shared Understanding Between School Staff and Evaluators.” In Program Theory in Evaluation: Challenges and Opportunities, eds. Patricia J. Rogers, T. A. Hacsi, A. Petrosino, and T. A. Huebner, 79–90. New Directions for Evaluation No. 87. San Francisco, CA: Jossey-Bass. Kassinove, H., and M. Summers. 1968. “The Developmental Attention Test: A Preliminary Report on an Objective Test of Attention.” Journal of Clinical Psychology 24 (1): 76–78. Kellogg Foundation. 2004. Logic Model Development Guide. Battle Creek, MI. http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf. Leeuw, Frans, Ger Gils, and Cora Kreft. 1999. “Evaluating Anti-Corruption Initiatives: Underlying Logic and Mid-Term Impact of a World Bank Program.” Evaluation 5 (2): 194–219. Leeuw, Frans L. 1991. “Policy Theories, Knowledge Utilization, and Evaluation.” Knowledge and Policy 4: 73–92. ———. 2003. “Reconstructing Program Theories: Models Available and Problems to Be Solved.” American Journal of Evaluation 24 (1): 5–20. Mikkelsen, B. 2005. Methods for Development Work and Research: A New Guide for Practitioners. Thousand Oaks, CA: Sage Publications. MSH (Management Sciences for Health), and UNICEF (United Nations Children’s Fund). 1998. “Quality Guide: Stakeholder Analysis.” In Guide to Managing for Quality. http://ERC.MSH.org/quality. Newman, David Kent. 2007. “Theory: Write-up for Conceptual Framework.” http://deekayen.net/theory-write-conceptual-framework. Ormrod, J. E. 2006. Essentials of Educational Psychology. Upper Saddle River, NJ: Pearson Merrill Prentice-Hall. Owen, J. M., and P. J. Rogers. 1999. Program Evaluation: Forms and Approaches. Thousand Oaks, CA: Sage Publications. Pancer, S. Mark, and Anne Westhues. 1989. “A Developmental Stage Approach to Program Planning and Evaluation.” Evaluation Review 13 (1): 56–77. Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA.: Sage Publications. Pawson, Ray. 2006. Evidence-Based Policy: A Realistic Perspective. New Brunswick, NJ: Sage Publications.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

175

Petrosino, Anthony, Robert A. Boruch, Cath Rounding, Steve McDonald, and Iain Chalmers. 2003. “The Campbell Collaboration Social, Psychological, Educational, and Criminological Trials Register C20SPECTR.” http://www.campbellcollaboration.org/papers/unpublished/petrosino.pdf. Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department, Ottawa. http://www.phac-aspc.gc.ca/php-psp/tookit.html. ———. 2002. “Introducing Program Teams to Logic Models: Facilitating the Learning Process.” Canadian Journal of Program Evaluation 17 (3): 113–41. Prensky, Marc. 2001. “Digital Natives, Digital Immigrants.” On the Horizon 9 (5). http:// www.marcprensky.com/writing/Prensky percent20-percent20Digital percent20Natives,percent20Digital percent20Immigrants percent20percent20Part1.pdf. Ritzer, George. 1993. The McDonaldization of Society. Rev. ed. Thousand Oaks, CA: Pine Forge Press. Rogers, Patricia J., T. A. Hacsi, A. Petrosino, and T. A. Huebner, eds. 2000. Program Theory in Evaluation: Challenges and Opportunities. New Directions in Evaluation No. 87. San Francisco: Jossey-Bass Publishers. Rossi, P., H. Freeman, and M. Lipsey. 1999. Evaluation: A Systematic Approach. Thousand Oaks, CA: Sage Publications. Scott, M. 2003. “The Benefits and Consequences of Police Crackdowns.” ProblemOriented Guides for Police, Response Guide 1. U.S. Department of Justice, Office of Community-Oriented Policing Services, Washington, DC. Scriven, Michael. 2007. Key Evaluation Checklist. http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Shadish, W. R. Jr., T. D. Cook, and L. C. Leviton. 1991. Foundations of Program Evaluation. Thousand Oaks, CA: Sage Publications. Sherman, L. W., D. Farrington, B. C. Welsh, and D. L. MacKenzie, eds. 2002. EvidenceBased Crime Prevention. London: Routledge. Stufflebeam, Daniel L. 2001. Evaluation Models. New Directions for Evaluation No. 89. San Francisco, CA: Jossey-Bass. Stufflebeam, D. L., G. F Madaus, and T. Kellaghan, eds. 2000. Evaluation Models. 2nd ed. Boston: Kluwer Academic Publishers. Suthers, D. D., and A. Weiner. 1995. Belvédère. http://lilt.ics.hawaii.edu/belvedere/index.html. Suthers, D. D., E. E. Toth, and A. Weiner 1997. “An Integrated Approach to Implementing Collaborative Inquiry in the Classroom.” In Proceedings of CSCL ’97: The Second International Conference on Computer Support for Collaborative Learning, eds. R. Hall, N. Miyake, and N. Enyedy, 272–79. Toronto: University of Toronto Press. Swedberg, Richard. 2003. Principles of Economic Sociology. Princeton, NJ: Princeton University Press.

176

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Taylor-Powell, Ellen. 2005. Logic Models: A Framework for Program Planning and Evaluation. University of Wisconsin Extension, Program Development and Evaluation. http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf. U.S. GAO (General Accounting Office). 1991. Designing Evaluations. Washington, DC. http://www.gao.gov/special.pubs/10_1_4.pdf. Weiss, Carol H. 1997. Evaluation: Methods for Studying Programs and Policies. Upper Saddle River, NJ: Prentice-Hall. World Bank. 1996. World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. ———. 2004. Monitoring and Evaluation: Some Tools, Methods and Approaches. Operations Evaluation Department/Evaluation Capacity Development, Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad 400736404/a5efbb5d776b67d285256b1e0079c9a3/$FILE/MandE_tools_ methods_approaches.pdf. Worthen, Blaine. R., James R. Sanders, and Jody L. Fitzpatrick. 1997. Program Evaluation. New York: Longman.

Trang Web Campbell Collaboration. http://www.campbellcollaboration.org/. Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools. http:// ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm. Evaluation Center, Western Michigan University. The Checklist Project. http://www .wmich.edu/evalctr/checklists/checklistmenu.htm#mgt. IDRC (International Development Research Centre). 2004. Evaluation Planning in Program Initiatives Ottawa, Ontario, Canada. http://web.idrc.ca/uploads/userS/108549984812guideline-web.pdf. Suthers, D., and A. Weiner. 1995.Groupware for Developing Critical Discussion Skills. http://www-cscl95.indiana.edu/cscl95/suthers.html. University of Wisconsin-Extension. Logic Model. http://www.uwex.edu/ces/pdande/ evaluation/evallogicmodel.html. ———. Examples of Logic Models. http://www.uwex.edu/ces/pdande/evaluation/evallogicmodelexamples.html.

Các thuyết thay đổi Audience Dialogue. 2007a. “Enhancing Program Performance with Logic Models.” http://www.uwex.edu/ces/lmcourse/, http://www.wkkf.org/pubs/tools/ evaluation/pub3669.pdf. ———. 2007b. “Program Logic: An Introduction.” http://www.audiencedialogue.org/ proglog.htm.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

177

AusAid. 2005. “Section 3.3: The Logical Framework Approach and Section 2.2: Using the Results Framework Approach.” http://www.ausaid.gov.au/ausguide/default. cfm. BOND. 2001. Guidance Notes Series I: Beginner’s Guide to Logical Framework Analysis. http://www.ngosupport.net/graphics/NGO/documents/english/273_BOND_ Series_1.doc. Davies, Rick. 2003. “Network Perspective in the Evaluation of Development Interventions: More than a Metaphor.” Paper presented at the EDAIS Conference “New Directions in Impact Assessment for Development: Methods and Practice,” November 24–25. http://www.enterprise-impact.org.uk/conference/Abstracts/ Davies.shtml and http://www.mande.co.uk/docs/nape.doc. Department for International Development. 2002. Tools for Development: A Handbook for Those Engaged in Development Activity Performance and Effectiveness. http:// www.dfid.gov.uk/pubs/files/toolsfordevelopment.pdf. den Heyer, Molly. 2001a. A Bibliography for Program Logic Models/Logframe Analysis. Evaluation Unit, International Development Research Centre. http://www .idrc.ca/uploads/user-S/10553606170logframebib2.pdf and http://www.mande .co.uk/docs/Phillips.ppt. ———. 2001b. “The Temporal Logic Model™: A Concept Paper.” http://www.idrc.ca/ uploads/user-S/10553603900tlmconceptpaper.pdf. Inter-American Development Bank. http://www.iadb.org/sds/soc/eccd/bexample .html#ex1. International Fund for Agricultural Development. 2003. Annotated Example of a Project Logframe Matrix. http://www.ifad.org/evaluation/guide/3/3.htm and http://www.ifad.org/evaluation/guide/annexb/index.htm. JISC infoNet. 2001. Engendering the Logical Framework. http://www.jiscinfonet .ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/ logical-framework-information. ———. 2004. Logical Framework (LogFRAME) Methodology. http://www.jiscinfonet .ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/ logical-framework-information. Kellogg Foundation. 2004. Evaluation Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, and Action. http://www.wkkf .org./Pubs/Tools/Evaluation/Pub3669.pdf. Knowledge and Research Programme on Disability and Healthcare Technology. 2004. Constructing a Logical Framework. http://www.kar-dht.org/logframe .html. McCawley, Paul F. 1997. The Logic Model for Program Planning and Evaluation. University of Idaho Extension. http://www.uidaho.edu/extension/LogicModel.pdf. NORAD (Norwegian Agency for Development Cooperation). 1999. The Logical Framework Approach: Handbook for Objectives-Oriented Planning. 4th ed. http://www.norad.no/default.asp?V_ITEM_ID=1069. PPM&E Resource. 2005. Logical Framework Approach. portals.wdi.wur.nl/ppme/index. php?Logical_Framework_Approach. Rugh, Jim. “The Rosetta Stone of Logical Frameworks.” http://www.mande.co.uk/docs/ Rosettastone.doc. 178

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

SIDA (Swedish International Development Agency). 2004. The Logical Framework Approach: A Summary of the Theory behind the LFA Method. http://www.sida .se/shared/jsp/download.jsp?f=SIDA1489en_web.pdf&a=2379. Usable Knowledge, USA. 2006. Online Logic Model Training: An Audiovisual Presentation. http://www.usablellc.net/Logic percent20Modelpercent20percent 28Online percent29/Presentation_Files/index.html. Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, New Jersey: Prentice Hall. Wikipedia. 2006. “Logical Framework Approach.” http://en.wikipedia.org/wiki/ Logical_framework_approach.

Bình luận về khung lôgic Bakewell, Oliver, and Anne Garbutt. 2006. The Use and Abuse of the Logical Framework Approach A Review of International Development NGOs’ Experiences. Swedish International Development Agency. http://www.sida.se/shared/jsp/download. jsp?f=LFA-review.pdf&a=21025. MISEREOR. 2005. Methodological Critique and Indicator Systems. http://www .misereor.org/index.php?id=4495.

Các phiên bản thay thế cho khung lôgic Broughton, Bernard. 2005. A Modified Logframe for Use in Humanitarian Emergencies. http://www.mande.co.uk/docs/EmergencyLogframeBroughton.doc. Shaikh, Partha Hefaz. 2005. Intertwining Participation, Rights-Based Approach and Log Frame: A Way Forward in Monitoring and Evaluation for Rights-Based Work. http://www.mande.co.uk/docs/PIFA_Article_PDF.pdf. SIDA Civil Society Centre. 2006. Logical Framework Approach, with an Appreciative Approach. http://www.sida.se/shared/jsp/download.jsp?f=SIDA28355en_LFA_web .pdf&a=23355.

Hiểu Bối cảnh Đánh giá và Thuyết Thay đổi của Chương trình

179

CHƯƠNG 5

Phương pháp Tiếp cận Đánh giá Hoạt động phát triển đã chuyển trọng tâm từ dự án sang các chương trình và chính sách, nhấn mạnh vào tính bền vững. Nhiều phương pháp tiếp cận để thiết kế và tiến hành đánh giá đã được sử dụng để đáp lại các đối tượng rộng hơn và phức tạp hơn. Chương này nghiên cứu đến những phương pháp tiếp cận này. Chương này bàn về những nội dung sau: • Các Phương pháp Tiếp cận Chung trong Đánh giá • Điểm mạnh và các Thách thức

181

Các Phương pháp Tiếp cận chung trong Đánh giá Từ những năm 1990, cộng đồng quốc tế đã dần dần chuyển hoạt động hỗ trợ phát triển từ cấp dự án đến cấp chương trình và đến phương pháp tiếp cận hợp tác (xem bảng 1.3). Phương pháp tiếp cận hợp tác có nhiều bên tham gia liên quan nhiều hơn đến các hoạt động phức tạp hơn, như các hoạt động tài trợ cấp ngành. Hoạt động đánh giá các chương trình lớn hơn cuối cùng đã được thực hiện có sự tham gia và có phối hợp, dù các đánh giá phối hợp vẫn chưa đạt chuẩn. Những yêu cầu mới đây về việc tăng tài trợ cho các chính phủ-như các tài trợ được kêu gọi trong Accra năm 2008-là những thách thức lớn hơn đối với hoạt động đánh giá trong tương lai. Nhiều phương pháp tiếp cận đã được đưa ra để đáp ứng sự thay đổi về bản chất hoạt động phát triển. Sự lựa chọn phương pháp đánh giá phần nào phụ thuộc vào bối cảnh. Các phương pháp không cần thiết phải loại trừ lẫn nhau, và các hoạt động đánh giá có thể kết hợp từ hai hay ba phương pháp. Các phương pháp tiếp cận gồm có: • Đánh giá triển vọng • Thẩm định khả năng đánh giá • Thẩm định khả năng đánh giá • Đánh giá không dựa trên mục đích • Đánh giá không dựa trên mục đích • Đánh giá không dựa trên mục đích • Đánh giá về mặt xã hội • Đánh giá về mặt xã hội • Đánh giá cùng tham gia • Xác định kết quả • Đánh giá nhanh • Tổng hợp đánh giá và hậu đánh giá • Các phương pháp khác. Cho dù lựa chọn phương pháp nào, thì vẫn phải đi qua các bước lên kế hoạch như nhau: xác định câu hỏi đánh giá, xác định phương pháp, thu thập và xử lý dữ liệu, báo cáo và sử dụng phát hiện đánh giá.

Đánh giá Triển vọng ■■ Đánh giá

triển vọng:

Đánh giá về các kết quả có thể có của một đề xuất dự án, chương trình hay chính sách 182

Đánh giá triển vọng được tiến hành từ trước-tức là khi một chương trình đề xuất được xem xét trước khi bắt đầu thực hiện-để phân tích các thành quả có thể đạt được, dự trù chi phí, và phân tích để lựa chọn giữa các đề xuất và đề án. Đánh giá triển vọng đã được thực hiện bởi các tổ chức đánh giá thuộc các nhánh của cơ quan lập pháp. Ví dụ như Văn phòng Kiểm toán Chính phủ Hoa Kỳ (GAO)-được đổi tên vào năm 2004-báo cáo đến Nghị viện Mỹ. Cán bộ đánh giá của GAO đôi Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 5.1 Các hình thức câu hỏi dự báo và các cách đặt vẫn đề Mục đích đặt câu hỏi

Nhận xét phân tích

Tiến hành tự phân tích

Dự báo

Chính quyền đã lên kế hoạch về các nhu cầu trong tương lai, chi phí và hậu quả như thế nào?

Cái gì là những nhu cầu trong tương lai, chi phí và hậu quả?

Nâng cao các hoạt động trong tương lai

Thành công có thể đạt được của một đề xuất của chính phủ hoặc của nghị viện là gì?

Giai đoạn hoạt động nào có thể mang lại triển vọng thành công rõ rệt nhất?

Nguồn: U.S. GAO 1990.

khi hỗ trợ các nhà hoạch định chính sách của chính phủ thông qua việc cung cấp các thông tin phân tích về các vấn đề hoặc phương án của các chương trình có tiềm năng (U.S GAO 1990). GAO thường được tham vấn về các thành công có thể đạt được của các chương trình mới được đệ trình. GAO kiểm duyệt nội dung của các đề xuất và phân tích kết quả của những chương trình tương tự nhau đang được thực hiện hoặc đã hoàn thành. Bảng 5.1 xác định bốn loại câu hỏi dự báo mà GAO thường được yêu cầu kiểm tra. Hầu hết các đánh giá triển vọng đều có các hình thức hoạt động sau: • phân tích bối cảnh của chương trình hoặc chính sách đề xuất • tổng quan về hoạt động đánh giá của các chương trình hoặc chính sách tương tự và tổng hợp các phát hiện và bài học kinh nghiệm • dự đoán về thành công có thể đạt được hoặc thất bại có thể có dựa vào bối cảnh sắp tới không quá khác biệt với bối cảnh trước đây, và đưa ra các đề xuất đóng góp cho chương trình hoặc chính sách được đệ trình nếu các nhà hoạch định chính sách muốn thực hiện nó (GAO 1990). (Nguồn và ví dụ về các hình thức đánh giá được cung cấp trong danh sách các trang Web ở cuối chương này.)

Thẩm định Khả năng Đánh giá Thẩm định khả năng Đánh giá là nghiên cứu sơ bộ ngắn gọn được thực hiện để xác định xem một đánh giá có hữu ích và khả thi không. Hình thức nghiên cứu sơ bộ này giúp làm rõ mục đích và mục tiêu của chương trình hay dự án, xác định nguồn dữ liệu sẵn có, định vị các khoảng trống và các dữ liệu cần được phát triển, và xác định các bên tham gia chủ chốt và nhu cầu thông tin của họ. Nó cũng có thể xác định lại mục đích đánh giá và các phương pháp thực hiện đánh giá. Thông qua việc nghiên cứu các hoạt động can thiệp đã được tiến hành trong cộng đồng và các chỉ báo về thời gian và thiết kế dành cho đánh giá, một thẩm định khả

Phương pháp Tiếp cận Đánh giá

■■ Thẩm định

khả năng đánh giá:

Nghiên cứu sơ bộ ngắn gọn được thực hiện để xác định mức độ hữu ích và khả thi của một đánh giá

183

năng đánh giá có thể tiết kiệm thời gian và giúp tránh các quyết định sai lầm gây tổn thất tiền bạc. Wholey và đồng nghiệp đã phát triển phương pháp thẩm định khả năng đánh giá vào đầu những năm 1970 để chứng minh niềm tin của họ rằng nhiều đánh giá thất bại do sự mâu thuẫn giữa “lý thuyết và thực tiễn” (Nay và Hay 1982, tr.225). Họ nhận ra đánh giá là một công cụ hỗ trợ trao đổi thông tin giữa cán bộ đánh giá và các bên tham gia. Họ đề xuất sử dụng thẩm định khả năng đánh giá như một công cụ để quyết định một chương trình “có thể đánh giá được không”, và để làm nổi bật hoạt động đánh giá (Fitzpatrick, Sander, và Worthen 2004). Thẩm định khả năng đánh giá vốn được phát triển như một đánh giá trước đánh giá tổng kết; vai trò của nó sau đó đã được mở rộng để làm rõ mục tiêu của đánh giá hình thành hay đảm nhiệm vai trò như một công cụ lên kế hoạch (Smith 1989). Trong thẩm định khả năng đánh giá, cán bộ đánh giá bước đầu xác định liệu đánh giá có thể tiến hành được không. Ví dụ, nếu một đánh giá dựa trên mục đích (hay dựa trên mục tiêu) được đề xuất, thì sự thiếu hụt các mục tiêu chương trình rõ ràng hay sự không đồng thuận giữa các bên tham gia chính có thể gây khó khăn. Trừ phi được xác định rõ ràng hay được nhất trí, thì đánh giá có thể là quá sớm. Đôi khi các phương pháp đo lường không sẵn có hoặc không thể tiếp cận. Trong trường hợp này, các phương pháp đo lường phải được triển khai trước khi có thể đánh giá can thiệp. Do đó thẩm định khả năng đánh giá tập trung vào tính khả thi của việc tiến hành đánh giá. Nếu không thể thiết kế đánh giá từ các thông tin có sẵn hoặc hoạt động can thiệp không có lý thuyết thay đổi chặt chẽ, thì cần phải thực hiện nhiều công việc chuẩn bị cho đánh giá. Một thẩm định khả năng đánh giá có thể giúp làm rõ hoạt động can thiệp và các kết quả mong đợi của nó. Đánh giá này có thể tạo ra mô hình giữa các mục đích và mục tiêu, các sản phẩm đầu ra, nhóm đối tượng mục tiêu, và các kết quả dự kiến của một can thiệp, dựa vào mô hình đó để cùng nhất trí về mục tiêu cần đạt được. Thẩm định khả năng đánh giá thường do một nhóm thực hiện, trong đó có cả các bên tham gia, như người thực hiện, người quản lý, và cả cán bộ đánh giá. Để tiến hành một thẩm định khả năng đánh giá, nhóm cần • tổng quan tài liệu có xác định và mô tả về hoạt động can thiệp • xác định các điều chỉnh của hoạt động can thiệp • phỏng vấn những cán bộ quản lý và cán bộ dự án về quan điểm của họ về mục đích và mục tiêu của hoạt động can thiệp • phỏng vấn các cơ quan tham gia về quan điểm của họ về mục đích và mục tiêu của hoạt động can thiệp • phát triển hoặc xây dựng lại mô hình lý thuyết thay đổi • xác định các nguồn dữ liệu • xác định những người và tổ chức có thể đưa ra khuyến nghị từ kết quả đánh giá.

184

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một trong những lợi ích tiềm ẩn của thẩm định khả năng đánh giá là nó có thể mang đến hoạt động đánh giá thực tế và thích hợp hơn. Smith (1989) và Wholey (1987) cũng đã chỉ ra rằng dạng đánh giá này có thể nâng cao • khả năng phân biệt giữa thất bại của hoạt động can thiệp và thất bại của hoạt động đánh giá • đánh giá các kết quả dài hạn • đầu tư của các bên tham gia vào hoạt động can thiệp • tình hình thực thi hoạt động can thiệp • hoạt động can thiệp phát triển và các kỹ năng đánh giá của cán bộ • tính minh bạch và trách nhiệm giải trình của hoạt động can thiệp • hiểu biết về hoạt động can thiệp • lựa chọn chính sách • hỗ trợ tiếp theo dành cho hoạt động can thiệp.

Đánh giá dựa trên mục tiêu Đánh giá dựa trên mục tiêu (hoặc mục đích) đo lường mức độ đạt được các mục tiêu cụ thể và rõ ràng của một chương trình (Patton 1990). Trọng tâm của hoạt động đánh giá là các kết quả dự kiến (mục đích hoặc mục tiêu) của chương trình, dự án hoặc chính sách. Đây là dạng đánh giá điển hình mà hầu hết mọi người đều quen; và là cơ sở của các hệ thống đánh giá dự án ở hầu hết các tổ chức phát triển. Có một phê phán đối với phương pháp tiếp cận dựa trên mục đích là đánh giá này tập trung vào các khía cạnh kỹ thuật và kinh tế hơn là các khía cạnh về xã hội và con người (Hirschheim và Smithson 1988). Phê phán thứ hai là các hoạt động đánh giá này chỉ tập trung vào các mục tiêu đã định trước. Các thành quả đạt được của các mục tiêu phát triển khác, có thể chỉ tiềm ẩn chứ không rõ ràng, hoặc đã từng được bàn đến trong các cuộc họp ban quản lý hoặc trong các cuộc họp bộ phận nhưng không được đưa vào thành mục tiêu của dự án, thì không được đánh giá. Một phê phán khác là các đánh giá này không tìm kiếm các tác động ngoài dự kiến (kể cả tích cực hay tiêu cực). Đây có thể là những giám sát quan trọng. Ví dụ, một đánh giá về một dự án cung cấp nước mới có thể tập trung vào các mục tiêu định trước của dự án về xây dựng, hoạt động, và duy trì thiết bị cung cấp nước để cấp một lượng nước sạch nhất định mỗi ngày đáp ứng nhu cầu của một số hộ gia đình hoặc của cộng đồng. Cần phải xem xét đến các tác động khi những người sống trong vùng phải chuyển nhà trước khi tiến hành thi công. Nếu không liên kết được mục tiêu hoặc mục đích với việc di dời của người dân, thì sinh kế bền vững của người dân sẽ là một thiếu sót nghiêm trọng. Đánh giá có thể nhầm lẫn vấn đề nếu nó không đặt ra các câu hỏi về di dân vì đó không phải là một mục tiêu chính thức, rõ ràng của dự án. Hoạt động đánh giá nên tìm kiếm cả những ảnh hưởng tiêu cực hoặc tích cực ngoài dự kiến của hoạt động can thiệp. Mặc dù chưa mục tiêu cụ thể nào được Phương pháp Tiếp cận Đánh giá

■■ Đánh giá

dựa trên mục tiêu: Đánh giá đo lường mức độ đạt được các mục tiêu cụ thể của một chương trình

185

xác định trước, nó cũng có thể hữu ích đối với đánh giá khi lưu trữ tài liệu về phạm vi tác động bị thu hẹp của các bệnh do ô nhiễm nguồn nước gây ra trong cộng đồng hiện đang được cung cấp nước ăn sạch. Đánh giá dựa trên kết quả, phương pháp được đề xuất sử dụng trong cuốn sách này, nghiên cứu các kết quả - cho dù nó có được xác định như mục đích hay mục tiêu hay không. Đánh giá dựa trên mục tiêu có thể được củng cố thông qua việc mở rộng đến cả các kết quả tích cực hay tiêu cực ngoài mong đợi.

Đánh giá không dựa trên mục tiêu

■■ Đánh giá

không dựa trên mục tiêu:

Đánh giá mà cán bộ đánh giá cố gắng tránh tìm hiểu những kiến thức về mục tiêu của chương trình, chỉ hoàn toàn dựa trên việc đánh giá mức độ chương trình đáp ứng được nhu cầu của người tham gia.

Đánh giá không dựa trên mục tiêu được phát triển để đáp lại đánh giá dựa trên mục tiêu (hay mục đích). Scriven (1972b) là người đầu tiên đưa ra hình thức đánh giá không dựa trên mục tiêu, là người chủ trương chính vận động cho phương pháp này. Trong đánh giá không dựa trên mục tiêu, cán bộ đánh giá cố gắng tránh sử dụng tất cả những mục tiêu chương trình đã được định sẵn về mặt lý thuyết. Cán bộ đánh giá không bàn bạc về mục tiêu với cán bộ dự án, và cũng không đọc giới thiệu hay văn kiện dự án. Họ chỉ đánh giá các kết quả có thể quan sát được và các ảnh hưởng có thể lưu trữ trong tài liệu của chương trình trong mối tương quan với nhu cầu của những người tham gia chương trình (Patton 2002). Như Scriven (1972b, tr.2) viết: Tóm lại, theo tôi nhận thấy, việc xem xét và đánh giá các mục tiêu không những không cần thiết mà còn là một bước đi có thể làm hỏng việc… Cán bộ đánh giá độc lập càng ít biết về mục tiêu của dự án, thì càng có ít nhiệm vụ nhỏ lẻ được triển khai, trong khi đó thì càng có nhiều sự chú ý đến việc tìm kiếm các hậu quả thực sự (thay vì kiểm định các ảnh hưởng dự kiến).

Các đánh giá không dựa trên mục tiêu thu thập dữ liệu về các ảnh hưởng và tính hiệu quả của chương trình mà không bị giới hạn vào việc tập trung vào các mục tiêu hay mục đích. Những đánh giá này thu được những trải nghiệm thực tế từ những người tham gia chương trình theo cách diễn đạt của họ. Các đánh giá này yêu cầu cán bộ đánh giá không vội vàng đưa ra nhận xét về những gì mà một chương trình cố gắng đạt được, thay vào đó, họ tìm ra điều gì đang thực sự diễn ra. Vì những lý do này, phương pháp đánh giá này rất thích hợp với phương pháp định tính, mặc dù có thể sử dụng cả phương pháp định tính và phương pháp định lượng. Scriven (1997) đề xuất tiến hành riêng rẽ đánh giá không dựa trên mục tiêu và đánh giá dựa trên mục tiêu để tối ưu hóa các điểm mạnh và giảm thiểu các điểm yếu của từng phương pháp. Wholet, Harty và Newcomer (1994) đã mô tả các đặc điểm của phương pháp đánh giá không dựa trên mục tiêu như sau: • Cán bộ đánh giá từ chối tìm hiểu về các mục tiêu của chương trình.

186

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Các mục tiêu được xác định từ trước không làm hạn chế trọng tâm nghiên cứu của hoạt động đánh giá. • Cán bộ đánh giá liên hệ ở mức tối thiểu với quản lý và cán bộ chương trình. • Trọng tâm đánh giá đặt vào các kết quả thực tế chứ không phải các kết quả dự kiến của chương trình. Nhìn chung, trong bối cảnh phát triển hiện nay, khó mà tránh được việc biết đến mục tiêu hay mục đích của một hoạt động can thiệp. Có thể là không khả thi hoặc ngoài mong muốn của cán bộ đánh giá khi giữ liên lạc ở mức tối thiểu với cán bộ chương trình. Tuy nhiên, với phương pháp đánh giá dựa trên kết quả, cán bộ đánh giá có thể sử dụng nhiều phương pháp của đánh giá không dựa trên kết quả.

Đánh giá nhiều địa bàn dự án Trong một chương trình can thiệp có quy mô lớn, cần thiết phải xem xét việc thực hiện các can thiệp ở nhiều địa bàn, được gọi là đánh giá nhiều địa bàn dự án. Can thiệp có thể được thực hiện theo cùng một cách ở mọi địa bàn, nhưng cũng có thể có đôi chút khác biệt ở một vài địa bàn khác. Đánh giá nhiều địa bàn cung cấp thông tin về toàn bộ trải nghiệm của can thiệp cũng như hiểu biết sâu sắc hơn về sự khác biệt trong thực thi. Dạng đánh giá này có thể trả lời những câu hỏi như:

■■ Đánh giá

nhiều địa bàn dự án: Đánh giá kiểm tra việc thực thi can thiệp ở nhiều địa bàn khác nhau

• Các đặc điểm chung trong hoạt động triển khai can thiệp ở tất cả các địa bàn là gì? • Các đặc điểm khác biệt là gì và nguyên nhân của sự khác biệt? • Có sự khác biệt trong kết quả của can thiệp do có sự khác biệt khi thực hiện can thiệp không? Thu thập được các thông tin sâu là điều quan trọng. Để làm được điều này, cán bộ đánh giá thường sử dụng phương pháp nghiên cứu trường hợp điển hình khi đánh giá nhiều địa bàn dự án. Các địa bàn được lựa chọn để nghiên cứu có các đặc điểm điển hình nhất định (như diện tích, dân tộc, tình trạng kinh tế xã hội) có thể gây ra những khác biệt hệ thống trong việc triển khai cũng như kết quả của can thiệp. Tất nhiên, có thể khó có thể xác định được sự khác biệt trong kết quả có đúng là do sự thay đổi khi thực hiện can thiệp gây ra hay không. Trong một vài trường hợp, can thiệp có tác động do sự khác biệt đặc thù của bối cảnh, ví dụ như sự chắc chắn của một người lãnh đạo năng động. Trong trường hợp khác, các thay đổi có thể có nguyên nhân từ sự khác biệt hệ thống, ví dụ như sự khác biệt về địa hình. Những khác biệt này có thể là chỉ báo cho việc tái áp dụng mô hình can thiệp. Đánh giá nhiều địa bàn dự án phải bao quát cả điều kiện môi trường khi thực hiện can thiệp, cũng như các khác biệt về văn hóa, địa hình, kinh tế, quy mô hay các yếu tố khác có thể ảnh hưởng đến quá trình thực hiện và kết quả khác nhau

Phương pháp Tiếp cận Đánh giá

187

giữa các địa bàn. Sự tham gia của các bên tham gia là quan trọng, vì các bên tham gia có thể giúp cán bộ đánh giá hiểu hơn về tình hình địa phương. Một đánh giá thực hiện trên nhiều địa bàn dự án thì hiệu quả hơn một đánh giá ở một địa bàn dự án. Nó có thể đưa ra tổng kết đáng tin cậy hơn với số lượng dân số lớn hơn, vì nó có lượng mẫu lớn hơn và thu thập được bối cảnh thực thi can thiệp đa dạng hơn. Nó có thể phân tích tình hình thực thi “trong phạm vi” cũng như “giữa” các địa bàn. Các phát hiện tổng kết, cũng như các phát hiện của từng can thiệp cung cấp bằng chứng thiết thực hơn những phát hiện thu được từ từng địa bàn về tính hiệu quả của hoạt động can thiệp. So sánh một can thiệp giữa các vùng dự án có thể cung cấp nhiều bài học và kế sách để giải quyết các tình huống khác nhau. Từ đánh giá nhiều địa bàn dự án có thể thu được các cách làm hiệu quả. Tuy nhiên, điều quan trọng là phải lưu ý rằng các địa bàn được chọn dựa trên ý chí của cán bộ đánh giá, cho dù địa bàn được chọn đại diện cho một số đặc điểm nhất định, thì cũng không thể đại diện về mặt thống kê cho tổng thể và không cần thiết phải phản ánh tất cả các cách làm hiệu quả. Khi tiến hành một đánh giá trên nhiều địa bàn dự án, cán bộ đánh giá phải bảo đảm rằng bước thu thập thông tin phải được chuẩn hóa nhất có thể. Dữ liệu phải được thu thập cùng một cách để có thể thực hiện so sánh. Thu thập thông tin cần những cán bộ được tập huấn kỹ lưỡng, nguồn dữ liệu sẵn có ở mọi địa bàn, và có thông tin sơ cấp đầy đủ trước khi thiết kế bộ công cụ thu thập thông tin. Các địa bàn khác nhau có đặc điểm khác nhau. Có những chỉ số có thể so sánh được, nhưng mỗi địa bàn sẽ có trọng tâm đánh giá tương đối khác nhau. Các bối cảnh chính trị, xã hội, kinh tế và lịch sử có thể quyết định việc triển khai dự án và kéo theo đó là hoạt động đánh giá (Johnston và Stout 1999).

Đánh giá nhóm ■■ Đánh giá

nhóm:

Đánh giá nghiên cứu nhóm các can thiệp tương tự hoặc có liên quan đến nhau

188

Đánh giá nhóm tương tự với đánh giá nhiều địa bàn dự án, nhưng khác về mục đích. Nó thường nghiên cứu nhóm các can thiệp tương tự hoặc có liên quan đến nhau có thể hợp thành một tập hợp can thiệp. Nó nghiên cứu “nhóm” các hoạt động can thiệp này trong một hay nhiều bối cảnh. Cũng giống như đánh giá trên nhiều địa bàn dự án, một đánh giá nhóm tập trung vào các can thiệp có chung nhiệm vụ, chiến lược, và nhóm đối tượng mục tiêu. Nhưng khác với đánh giá ở nhiều địa bàn, đánh giá nhóm không chủ định quyết định xem một can thiệp có hoạt động hiệu quả hay có bảo đảm tính trách nhiệm giải trình hay không. Nó không đánh giá thành công hay thất bại của từng hoạt động can thiệp hay xác định các can thiệp nào cần bị hủy bỏ. Mục đích của nó là nghiên cứu về những gì đã diễn ra trong nhóm can thiệp và xác định chắc chắn các chủ đề chung và các bài học kinh nghiệm thu được. Cũng như đánh giá trên nhiều địa bàn dự án, sự tham gia của các cơ quan tham gia là rất quan trọng.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá nhóm khác với đánh giá trên nhiều địa bàn dự án ở chỗ đánh giá nhóm không quan tâm đến khả năng nhân rộng hay tái áp dụng can thiệp. Sự khác biệt được xem là tích cực. Vì từng dự án được điều chỉnh cho phù hợp với bối cảnh. Đánh giá nhóm thì tập trung vào việc tìm hiểu hơn là rút ra các kết luận về chất lượng hay giá trị của dự án. Mặc dù không có phương pháp luận cụ thể cho đánh giá nhóm, các đánh giá này vẫn thường sử dụng các phương định tính để bổ sung cho các dữ liệu định lượng. Có thể cho rằng đánh giá nhóm là các nghiên cứu nhiều trường hợp điển hình, đặc điểm điển hình của phương pháp này chia sẻ các thông tin về các trường hợp điển hình thông qua mạng lưới hội thảo. Điểm yếu của đánh giá nhóm là nó không đưa ra được kết quả cho từng địa bàn hay tính đến những thay đổi chưa hoặc đã được lên kế hoạch. Dữ liệu chỉ đưa ra thông tin tổng thể mà thôi.

Đánh giá về mặt xã hội Đánh giá xã hội đã trở thành một phần quan trọng của nhiều đánh giá. Một đánh giá xã hội nghiên cứu cơ cấu, quá trình, và các thay đổi về mặt xã hội trong một nhóm hoặc một cộng đồng. Nó cũng có thể nghiên cứu đến các xu hướng có thể ảnh hưởng đến nhóm. Đánh giá về mặt xã hội là công cụ chính được sử dụng để bảo đảm các tác động về mặt xã hội của các dự án, chương trình, hay chính sách phát triển được tính đến. Nhờ đánh giá này có thể hiểu được các vấn đề xã hội cơ bản cũng như các rủi ro, từ đó xác định tác động xã hội của một can thiệp đến các bên liên quan khác nhau. Đặc biệt, đánh giá xã hội chủ định xác định một dự án có thể gây ra các tác động xã hội ngược lại với mong đợi hay không (ví dụ như di dời dân cư để lắp đặt thiết bị cung cấp điện). Các chiến lược có thể được xem xét để giảm thiểu các tác động ngược đã được biết đến hoặc được thừa nhận; các kế hoạch giảm thiểu này sau đó có thể được giám sát và theo dõi như một phần trong hoạt động đánh giá. Tài liệu nguồn về Sự tham gia của cộng đồng của Ngân hàng Thế giới (1996) chỉ ra các mục tiêu của đánh giá xã hội:

■■ Đánh giá về

mặt xã hội:

Đánh giá nghiên cứu về cơ cấu, quá trình và các thay đổi về mặt xã hội trong một nhóm hoặc cộng đồng

• Xác định các bên tham gia chính và xây dựng một mô hình phù hợp với sự tham gia của họ trong việc lựa chọn, thiết kế và thực hiện dự án. • Bảo đảm các mục tiêu của dự án và các động lực thay đổi được đối tượng thụ hưởng mục tiêu chấp nhận, và vấn đề giới và và các yếu tố xã hội khác biệt khác được thể hiện trong thiết kế dự án. • Đánh giá tác động xã hội của các dự án đầu tư; khi đã xác định được các tác động ngược, xác định xem làm thế nào để vượt qua hoặc ít nhất là giảm thiểu phần lớn các tác động này. • Phát triển năng lực ở mức thích hợp để có thể tham gia,hòa giải xung đột, tạo điều kiện sử dụng dịch vụ, và tiến hành các phương pháp giảm thiểu khi cần. Phương pháp Tiếp cận Đánh giá

189

Tài liệu nguồn về Sự tham gia xác định các câu hỏi thường thấy trong đánh giá xã hội: • Ai là các bên tham gia? Các mục tiêu dự án có phù hợp với nhu cầu, lợi ích và năng lực của họ hay không? • Các nhân tố xã hội và văn hóa nào ảnh hưởng đến khả năng tham gia hoặc lợi ích từ hoạt động đã đề xuất của các bên tham gia? • Tác động của dự án hay chương trình đối với các bên liên quan khác nhau, đặc biệt là phụ nữ và các nhóm dễ tổn thương là gì? Các rủi ro về mặt xã hội (thiếu cam kết hoặc năng lực và sự xung đột với các điều kiện hiện có) có thể ảnh hưởng đến thành công của dự án hay chương trình? • Những thay đổi tổ chức nào cần thiết để tham gia và thực hiện dự án? Các kế hoạch có phù hợp để xây dựng năng lực không? Các công cụ và phương pháp đánh giá xã hội bao gồm: • • • • • •

phân tích các bên liên quan phân tích các vấn đề về giới thẩm định có sự tham gia của địa phương quan sát, phỏng vấn, thảo luận nhóm tập trung chỉ định, phân tích nhiệm vụ, và xếp loại lợi ích các hội thảo tập trung vào việc lên kế hoạch dự án định hướng mục tiêu. Các ví dụ về các chỉ số quan trọng trong giám sát tác động xã hội:

• • • •

mức độ tham gia vào kiểm tra tự nguyện của các nhóm xã hội mức độ tham gia vào hoạt động tham vấn của các nhóm xã hội các báo cáo về tăng tỷ lệ sử dụng bao cao su tỷ lệ thành viên trong cộng đồng tham gia chăm sóc người sống cùng HIV/ AIDS và gia đình của người sống chung với HIV/AIDS. Hộp 5.1 là một ví dụ về việc lồng ghép đánh giá xã hội vào dự án.

Đánh giá Môi trường và Xã hội Các tổ chức phát triển đang ngày càng ý thức được nhu cầu hướng đến các vấn đề môi trường và xã hội của các dự án và chương trình, và nhu cầu đánh giá khả năng đạt được các mục tiêu về môi trường và xã hội. Gần như tất cả các tổ chức phát triển đều tập trung xây dựng bộ tiêu chuẩn về môi trường và xã hội, và xác định các tác động môi trường và xã hội tiềm ẩn như một phần trong quá trình kiểm duyệt chương trình hoặc dự án. Nếu dự án hoặc chương trình được thông qua, những tác động tiềm ẩn này sẽ được giám sát trong suốt quá trình thực hiện và được đánh giá sau khi kết thúc dự án hoặc chương trình. Các đánh giá về xã hội và về môi trường không thể tách rời nhau.

190

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 5.1 Đánh giá xã hội về Dự án Phát triển Nông nghiệp và Tín dụng ở Azerbaijan

Dự án Tư nhân hóa Trang trại với nguồn vay linh hoạt và năng động hơn đã được triển khai để giúp các khu trang trại duy trì được mức năng suất vốn có. Dự án tập trung vào đăng ký bất động sản, sự phát triển của thị trường nhà đất, và sự phân phối quỹ tín dụng và thông tin đến người dân nông thôn, đặc biệt là những người có thu nhập thấp. Mục đích của đánh giá xã hội là nhằm bảo đảm các can thiệp đã được đệ trình dựa trên sự sở hữu (hoặc cam kết) tham gia và các lợi ích định trước được xã hội chấp nhận. Thông tin có được từ đánh giá có thể hỗ trợ cho những người quản lý chương trình thiết kế quy trình giám sát và đánh giá có sự tham gia của cộng đồng. Giai đoạn đầu tiên của đánh giá xã hội gồm có các tiểu phần sau: • tổng quan tài liệu thứ cấp, trong đó có các đánh giá thực hiện trước đó • khảo sát các hộ gia đình và phụ nữ trong ba trên sáu khu vực, thực hiện sau đánh giá định tính nhanh • phỏng vấn bán cấu trúc các cá nhân (nông dân, chủ trang trại, lao động thất nghiệp, người đứng đầu cộng đồng, nhóm phụ nữ, kỹ thuật viên, cán bộ nhà nước) • quan sát trực tiếp (một thành viên hoặc một nhóm sống cùng với một gia đình nông dân để thực hiện quan sát thực địa về tác động của tư nhân hóa trang trại) • năm thảo luận nhóm tập trung với nhóm các bên tham gia • thảo luận với các nhà hoạch định chính sách, các nhà quản lý cũng như các tổ chức phi chính phủ trong nước và nước ngoài • tổ chức seminar cho các bên liên quan. Đánh giá được thiết kế theo bốn cấu phần: • Phát triển xã hội: Các vấn đề chủ chốt tập trung vào đói nghèo, giới, và đào thải xã hội. • Thiết chế: Sự thay đổi nền tảng quyền lực ở các khu vực nông thôn, gây khó khăn cho việc xác định các bên liên quan chính. Có ít nghiên cứu về các tổ chức xã hội và thiếu phân tích tác động của thực trạng di cư nông thôn. • Sự tham gia: Báo cáo về sự nhầm lẫn và mơ hồ trong quá trình cải cách ruộng đất. Phân chia đất đã làm giảm tỷ lệ nghèo, giảm ảnh hưởng của những chủ nông trang trước, và giúp nâng cao vị thế cho người dân nông thôn. Khả năng tiếp cận nguồn vốn tín dụng đã tăng lên, nhưng lãi suất vẫn còn cao (15-18 phần trăm). • Giám sát/đánh giá: Các chỉ số thực thi được sử dụng để giám sát tình hình thực hiện. Các chỉ số liên kết các yếu tố đầu vào và các hoạt động với các đánh giá định lượng về các yếu tố đầu ra và các tác động mong đợi. Đánh giá cũng nghiên cứu các tác động về tăng năng suất, tăng thu nhập, giảm nghèo, và mức độ hài lòng của người tham gia. Nguồn: Kudat và Ozbilgin 1999.

Phương pháp Tiếp cận Đánh giá

191

Hiện nay các tổ chức phát triển đã nhận ra rằng những người dân địa phương cần phải tham gia thiết kế, thực hiện, và giám sát các hoạt động can thiệp có liên quan đến môi trường và các nguồn tài nguyên thiên nhiên. Những người dân địa phương và các bên tham gia là đối tác trong việc bảo tồn và quản lý nguồn tài nguyên thiên nhiên. Đánh giá môi trường và xã hội có thể là mục đích duy nhất hoặc có thể là một tiểu phần của một đánh giá. Đánh giá môi trường và xã hội không chỉ được tiến hành đối với các dự án có các ảnh hưởng rõ rệt đến môi trường (như nhà máy giấy, ống dẫn dầu) mà còn đối với các hoạt động can thiệp như xây dựng trường học mới, hay hỗ trợ dòng tín dụng mới. Nếu một tổ chức không có các tiêu chuẩn về môi trường và xã hội, cán bộ đánh giá có thể sử dụng các tiêu chuẩn của quốc gia mà tổ chức hoạt động, nguyên tắc Equator, ISO 14031, và Tài liệu nguồn: Chiến lược Phát triển Bền vững (Dalal-Clayton và Ba 2002). ■■ Nguyên tắc

Equator:

Phương pháp công nghiệp nhằm xác định, đánh giá và quản lý các rủi ro về môi trường và xã hội trong phân bổ tài chính cho dự án khu vực tư nhân ■■ ISO 14031: Bộ tiêu chuẩn quốc tế về quản lý môi trường do Tổ chức tiêu chuẩn hóa Quốc tế đưa ra

Nguyên tắc Equator Nguyên tắc Equator là một bộ các nguyên tắc hỗ trợ các tổ chức tài chính trong việc quyết định, đánh giá, và quản lý các rủi ro về môi trường và xã hội trong hoạt động phân bổ tài chính dự án cho các dự án có tổng chi phí tổi thiểu 10 triệu đô la Mỹ (điều chỉnh từ mức 50 triệu đô la Mỹ năm 2006). Các nguyên tắc được đặt ra để đảm nhận vai trò như một mặt bằng và mô hình chung để thực hiện từng quá trình và tiêu chuẩn cá nhân, môi trường và xã hội trong các dự án phát triển. ISO 14031 Tổ chức tiêu chuẩn hóa Quốc tế (ISO) phát triển và duy trì các tiêu chuẩn quốc tế trong quản lý môi trường, được biết đến là ISO 14031. Bộ tiêu chuẩn ra đời đầu tiên vào năm 1999 là một quy trình và công cụ quản lý môi trường, cung cấp cho hoạt động quản lý các thông tin đáng tin cậy và đã được chứng thực về một bối cảnh đang tiếp diễn. Nó hỗ trợ việc xác định hoạt động thực thi môi trường của tổ chức có đáp ứng được các tiêu chí của ban lãnh đạo tổ chức hay không. Đánh giá thực thi môi trường và các kiểm toán môi trường giúp ban lãnh đạo đánh giá tình hình thực thi môi trường và xác định các vấn đề cần phải cải thiện (ISO 1999). Đánh giá thực thi môi trường gồm có các quy trình sau • lựa chọn chỉ số • thu thập và xử lý dữ liệu • đánh giá các thông tin dựa trên các tiêu chí (mục tiêu) về thực thi môi trường • báo cáo và trao đổi thông tin • rà soát định kỳ và tiến hành nâng cao quy trình thực thi. Tài liệu nguồn: Các chiến lược Phát triển Bền vững Tài liệu nguồn do Tổ chức Hợp tác và Phát triển Kinh tế (OECD) và Chương trình Phát triển Liên hiệp Quốc (UNDP) xuất bản cung cấp các hướng dẫn linh hoạt, không áp đặt trong hoạt động phát triển, đánh giá, triển khai các chiến lược quốc

192

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

gia về phát triển, vạch ra các nguyên tắc hướng dẫn về chiến lược phát triển bền vững (Dalal-Clayton and Ba 2002). Cuốn sách có những ý tưởng và các trường hợp điển hình về các nhiệm vụ chính trong quy trình chiến lược. Các hướng dẫn trong cuốn sách này dành cho các quốc gia, các tổ chức và cá nhân quan tâm đến phát triển bền vững ở cấp quốc gia hay địa phương, cũng như dành cho các tổ chức quốc tế quan tâm đến hoạt động hỗ trợ phát triển.

Đánh giá có sự tham gia Đánh giá có sự tham gia nâng sự tham gia của các bên liên quan lên một mức mới. Nó gồm có chia sẻ trách nhiệm trong hoạt động lên kế hoạch đánh giá, triển khai, và báo cáo thông qua việc kêu gọi các bên liên quan xác định câu hỏi đánh giá, thu thập và phân tích dữ liệu, và soạn, duyệt báo cáo. Paulmer (2005, tr. 19) mô tả đánh giá có sự tham gia là đánh giá chung về chương trình do các bên tham gia và đối tượng thụ hưởng tiến hành. Họ cũng là những người định hướng hoạt động, xây dựng năng lực cho các bên tham gia, và tạo điều kiện hợp tác và chia sẻ hoạt động ra quyết định để tận dụng nhiều hơn các kết quả đánh giá. Có nhiều mức độ tham gia khác nhau của đối tượng thụ hưởng trong một đánh giá.

Có hai mục tiêu cơ bản của phương pháp tham gia và phương pháp có sự tham gia của cộng đồng:

■■ Đánh giá có

sự tham gia:

Hoạt động đánh giá trong đó có chia sẻ các hoạt động lên kế hoạch, triển khai và báo cáo với các bên liên quan, những người có thể giúp xác định các câu hỏi đánh giá, thu thập và phân tích dữ liệu, soạn và duyệt báo cáo

• sự tham gia với tư cách là một kết quả, tức là hành động tham gia là một mục tiêu và là một trong những chỉ số của thành tựu đạt được • sự tham gia với tư cách là một quá trình đạt đến một mục tiêu đã định trước. Theo Patton (1997), nguyên tắc cơ bản của phương pháp đánh giá có sự tham gia là: • Quá trình đánh giá gồm có những người tham gia có kỹ năng về đặt mục tiêu, xây dựng các ưu tiên, lựa chọn câu hỏi, phân tích dữ liệu, và đưa ra các quyết định về dữ liệu. • Những người tham gia sở hữu (hoặc gắn bó) với đánh giá, vì họ đưa ra quyết định và rút ra kết luận cho bản thân. • Những người tham gia bảo đảm rằng hoạt động đánh giá tập trung vào các phương pháp và kết quả mà họ cho là quan trọng. • Những người tham gia cùng hoạt động, thúc đẩy tính thống nhất trong nhóm. • Tất cả các khía cạnh đánh giá đều dễ hiểu và có ý nghĩa đối với những người tham gia. • Ý thức tự giác được đánh giá cao. • Những người điều hành là nguồn lực để học hỏi, những người tham gia là những người đưa ra quyết định và là các cán bộ đánh giá.

Phương pháp Tiếp cận Đánh giá

193

Nghiên cứu truyền thống đã xây dựng và lưu lại các hướng dẫn về các kỹ thuật cụ thể trong nỗ lực tăng độ tin cậy và hiệu lực của dữ liệu họ có. Phương pháp có sự tham gia không vận hành theo các quy định phân chia rõ ràng từ việc chuyển giao nhiệm vụ từ chuyên gia đến những người thu thập dữ liệu. Thay vào đó, cẩm nang thu thập dữ liệu được phát triển và điều chỉnh dựa trên sự thống nhất, phản ánh, đối thoại và kinh nghiệm (Narayan 1996). Phương pháp đánh giá có sự tham gia đang nhận được ngày càng nhiều sự quan tâm của cộng đồng phát triển. Nó đang được sử dụng thường xuyên hơn trong các dự án phát triển, đặc biệt là các sáng kiến cộng đồng. Đánh giá có sự tham gia là một bước khác để thoát ra khỏi mô hình đánh giá độc lập hoặc mẫu cán bộ đánh giá với tư cách là chuyên gia. Phương pháp có sự tham gia xác định rồi lôi kéo các cá nhân, các cơ quan, và các tổ chức tham gia vào một vấn đề. Những người tham gia gồm có trẻ em, phụ nữ, nam giới trong cộng đồng, đặc biệt là những người thuộc nhóm dễ tổn thương trong xã hội. Những người tham gia còn có cán bộ, các nhà hoạch định chính sách, và những người chịu ảnh hưởng của các quyết định được đưa ra trong quá trình nghiên cứu có sự tham gia (Narayan 1996). Trong đánh giá có sự tham gia, các bên liên quan có thể được yêu cầu ghi nhật ký hoặc tóm tắt về các kinh nghiệm trong một hoạt động can thiệp. Các văn bản này có thể hỗ trợ trong việc phỏng vấn những người khác trong cộng đồng. Chúng cũng có thể tham gia vào quá trình phân tích dữ liệu, giải trình các phát hiện, và hỗ trợ đưa ra đề xuất. Những người tham gia cùng đưa ra các quyết định về kế hoạch, như xác định câu hỏi, phương pháp, và kế hoạch thu thập thông tin. Đây là quy trình phối hợp hơn là quy trình hoạt động từ trên xuống dưới theo truyền thống (bảng 5.2). Phương pháp có sự tham gia thường nâng độ tin cậy của các kết quả đánh giá trong mắt cán bộ chương trình, cũng như tăng khả năng được sử dụng của các kết quả. Những người ủng hộ đánh giá có sự tham gia xem đây như một công cụ để nâng cao vị thế của những người tham gia và tăng năng lực địa phương khi tham gia vào tiến trình phát triển.

Bảng 5.2 Đặc điểm Kỹ thuật của Đánh giá có Sự tham gia và Đánh giá Truyền thống Có sự tham gia

Truyền thống

• Tính sở hữu và tập trung của người tham gia

• Tính sở hữu và tập trung của nhà tài trợ

• Tập trung vào việc tìm hiểu

• Tập trung vào trách nhiệm giải trình và nhận xét

• Thiết kế linh hoạt

• Thiết kế được xác định trước

• Có nhiều phương pháp không chính thức hơn

• Các phương pháp chính thức

• Người ngoài cuộc đóng vai trò là người điều hành

• Người ngoài cuộc là cán bộ đánh giá

Nguồn: Tác giả.

194

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá có sự tham gia phải đối mặt với những thách thức đáng kể. Phương pháp này có chi phí cao hơn so với phương pháp đánh giá truyền thống, vì việc tổ chức các cuộc họp và đảm bảo tất cả mọi người hiểu về mục tiêu mong đợi thì cần nhiều thời gian và đòi hỏi phải có kỹ năng vững. Các nhóm hướng tới xem xét quy trình hòa hợp các khác biệt và phát triển các tiêu chuẩn trong nhóm, trước khi nhóm tập trung nỗ lực đạt được mục tiêu của nhiệm vụ đặt ra. Phương pháp nhóm năng động này đôi khi được nhắc đến như phương pháp “định hình, bão ý tưởng, tiêu chuẩn hóa, và thực thi.” Sau giai đoạn hình thành, thì điều tất yếu là sẽ có một giai đoạn xung đột về ý tưởng (bùng nổ ý tưởng). Nếu nhóm giải quyết được những xung đột này, thì sẽ thiết lập được nhiều thỏa thuận cụ thể hơn về cách thức cùng hợp tác (tiêu chuẩn hóa). Khi đã đạt được những thỏa thuận này rồi, họ sẽ hướng tới thực hiện các nhiệm vụ đã được phân công (thực thi). Có thể sẽ có những khó khăn trong việc thiết lập được một nhóm quân bình trong một nền văn hóa mà các cá nhân khác nhau có vị thế khác nhau trong cộng đồng. Người cán bộ đánh giá muốn thực hiện một đánh giá có sự tham gia thì cần phải có kỹ năng điều hành, kỹ năng điều phối, và giải quyết xung đột (hoặc đánh giá có người lãnh đạo có đủ những kỹ năng trên). Cán bộ đánh giá cũng phải có khả năng cung cấp các đào tạo đúng thời điểm về những kỹ năng và kỹ thuật cơ bản liên quan đến đánh giá và các phương pháp hoạt động nhóm gắn với phương pháp cùng tham gia. Những người đã được đào tạo và tiến hành các đánh giá truyền thống có thể lo ngại rằng đánh giá có sự tham gia là không khách quan. Có khả năng rủi ro là những người gắn bó nhất với hoạt động can thiệp có thể không thể nhận ra được điều gì đang thực sự diễn ra nếu đó không phải là điều mà họ kỳ vọng. Đánh giá trong thực tế có thể bị “thâu tóm” và mất tính khách quan. Những người tham gia có thể e ngại khi đưa ra các quan điểm tiêu cực, vì họ lo ngại những người khác trong nhóm có thể tẩy chay họ hoặc hoạt động can thiệp có thể bị ngừng lại, dẫn đến sự tổn thất về tiền bạc cho cộng đồng, hoặc họ sẽ không bao giờ có thể có cơ hội làm việc cho tổ chức phát triển nữa. Tiếp cận đánh giá có sự tham gia từ quan điểm tiến bộ có thể làm giảm những quan ngại trên. Cán bộ đánh giá nên xem xét mức độ kỳ vọng vào độ tin cậy của đánh giá (theo quan điểm của người ngoài cuộc) khi lựa chọn phương pháp đánh giá cùng tham gia thay vì phương pháp đánh giá độc lập. Gariba (1998) trình bày hiệu ứng phức tạp của từ đánh giá đối với những nhà tài trợ và những người thực hiện chương trình. Nhà tài trợ có thể lo lắng về sự ảnh hưởng của đánh giá đối với dự án (làm cho dự án có thể được tiếp tục hay hủy bỏ). Những người thực hiện dự án thì có thể e ngại đánh giá có thể phê phán phương pháp của họ với người quản lý dự án. Gariba trình bày cách thức để đánh giá có sự tham gia có thể thành công và cách rút ra bài học kinh nghiệm một cách hệ thống. Với phương pháp đánh giá có sự tham gia, các đối tác trong can thiệp phát triển có thể rút ra bài học kinh nghiệm thông qua sự trao đổi và thực hiện các hoạt động điều chỉnh để nâng

Phương pháp Tiếp cận Đánh giá

195

cao tính hiệu quả hoặc hiệu suất trong tương lai của các hoạt động đang được thực hiện. Gariba (1998) trình bày các chức năng chính của đánh giá cùng tham gia: • Đánh giá với tư cách là công cụ học hỏi: Nguyên tắc là tạo ra mô hình lựa chọn cơ bản. Mục đích không phải để thanh kiểm tra mà là tạo cơ hội cho các bên liên quan, trong đó có các đơn vị tài trợ biết về vai trò của họ khi thực hành can thiệp phát triển. • Đánh giá là một phần trong tiến trình phát triển: Hoạt động đánh giá không riêng rẽ và tách biệt với bản thân quá trình phát triển. Các kết quả và các công cụ tương ứng trở thành những công cụ để thay đổi chứ không phải là những báo cáo để lưu trữ. • Đánh giá là hợp tác và chia sẻ trách nhiệm: Trong phương pháp đánh giá tác động có sự tham gia, mọi người tham gia đều có vị thế ngang bằng nhau (đây là sự khác biệt rõ rệt với những cán bộ đánh giá lập ra hội chứng “chúng tôi” – những chuyên gia và “họ”- những người thực hiện dự án và đối tượng thụ hưởng). Cán bộ đánh giá được chuyển vai trò từ một thanh tra viên thành người khởi xướng và tham gia. Theo Cơ quan Phát triển Quốc tế Ca-na-đa (CIDA 2004), các bên liên quan càng tham gia nhiều vào việc phát triển các kết quả, thì họ càng có khả năng đóng góp vào việc triển khai hoạt động can thiệp. CIDA tin rằng đánh giá có sự tham gia cũng • • • •

xây dựng trách nhiệm giải trình trong cộng đồng đưa ra một xu hướng thực tế hơn trong đánh giá tăng tính hợp tác trao quyền cho những người tham gia ở địa phương từ việc để họ tham gia vào quá trình đánh giá.

Hình 5.2 minh họa một phương pháp được sử dụng trong đánh giá có sự tham gia.

Xác định Kết quả

■■ Xác định kết quả: Xác định thay đổi hành vi

196

Trung tâm Nghiên cứu Phát triển Quốc tế Ca-na-đa đã có một sáng kiến trong phương pháp đánh giá. Phương pháp xác định kết quả không phải để thay thế các hình thức đánh giá truyền thống mà để bổ sung bằng cách tập trung vào các thay đổi hành vi.1 Xác định kết quả tập trung vào một dạng kết quả cụ thể: thay đổi hành vi. Trọng tâm của phương pháp này là các kết quả vốn được xem là quá “thuận lợi” và phản ánh nhiều nỗ lực hoạt động và can thiệp, chứ không phải các tác động phát triển đạt được. IDRC cho biết, nỗ lực đánh giá chính xác sự đóng góp của một tổ chức vào một tác động nào đó là vô ích. Thay vào đó, xác định kết quả nên Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 5.2 Tạo lòng tin trong Đánh giá Có sự tham gia

Tại Morocco, một người điều hành nhóm xây dựng niềm tin giữa các phụ nữ bằng việc yêu cầu họ đứng thành vòng tròn và nắm tay nhau. Sau đó chị yêu cầu những người phụ nữ này đứng chen vào nhau mà không bỏ tay ra. Một “người ngoài vòng” sau đó hướng dẫn họ tự tách ra-bài tập này kéo dài trong sáu phút. Sau đó nhóm được đề nghị chơi lại lần thứ hai. Trong lần sau, nhóm phụ nữ mất 10 phút để tự tách ra. Người điều hành nhóm giúp nhóm đưa ra kết luận về vai trò của “người ngoài cuộc”: người ngoài cuộc thường giữ chức năng là người điều hành hoặc người trung gian thì tốt hơn là người lãnh đạo. Những người dân địa phương biết cách tìm ra giải pháp giải quyết vấn đề tốt hơn, vì họ sống cùng với các vấn đề đó. Nguồn: Ngân hàng Thế giới 1996.

cố gắng xem xét các hành vi do nhiều nỗ lực được thực hiện, để giúp nâng cao tính thực thi của các dự án, chương trình và chính sách. Trong phương pháp xác định kết quả, những đối tác bên ngoài-những cá nhân, nhóm và tổ chức có liên quan đến dự án, chương trình hay chính sáchđược xác định. Xác định kết quả giả định rằng các đối tác bên ngoài kiểm soát sự thay đổi. Nó cũng giả định rằng vai trò như một cán bộ độc lập của họ giúp họ có khả năng tiếp cận các nguồn lực, ý tưởng hoặc cơ hội mỡi trong một khoảng thời gian nhất định. Những chương trình thành công nhất, theo những người ủng hộ phương pháp xác định kết quả, là những chương trình chuyển giao quyền lực và trách nhiệm cho những người thực hiện dự án hoặc chương trình. Trung tâm của phương pháp xác định kết quả là con người. Phương pháp này là sự chuyển đổi từ đánh giá tác động phát triển của một dự án hoặc một chương trình sang mô tả những thay đổi trong hành vi của con người thể hiện ở các hoạt động cá nhân, hoạt động nhóm hoặc hoạt động của tổ chức. Phương pháp xác định kết quả cung cấp từ một phương pháp đến một mô hình kiểu mẫu mà chương trình dự định thực hiện. Mô hình này khác với hầu hết các mô hình logic truyền thống vì nó ý thức được những đối tác bên ngoài vận hành các hệ thống logic và trách nhiệm khác nhau. Phương pháp xác định kết quả đưa ra phương pháp giám sát những thay đổi của các đối tác bên ngoài và tổ chức trong chương trình. Nó khuyến khích chương trình đánh giá thường xuyên sự tiến bộ trong tình hình thực thi. Xác định kết quả cũng có thể được sử dụng như một công cụ đánh giá kết thúc dự án khi mục tiêu đánh giá là nghiên cứu toàn bộ chương trình. Những người ủng hộ phương pháp xác định kết quả tin rằng nhiều chương trình, đặc biệt là những chương trình chuyên về xây dựng năng lực, có thể lên kế hoạch đánh giá những đóng góp phát triển tốt hơn bằng cách tập trung vào hành vi. Ví dụ, mục tiêu của chương trình là cung cấp cho cộng Phương pháp Tiếp cận Đánh giá

197

đồng khả năng tiếp cận với nước sạch bằng cách lắp đặt hệ thống lọc nước. Một phương pháp đánh giá truyền thống có thể đánh giá các kết quả thông qua việc đếm số máy lọc được lắp đặt và đo lường sự thay đổi về mức độ ô nhiễm nguồn nước trước và sau khi lắp máy lọc. Phương pháp xác định kết quả thì sẽ tập trung vào hành vi. Đánh giá sẽ bắt đầu từ tiên đề là nguồn nước không được giữ sạch nếu người dân không bảo quản chất lượng nước. Do đó, kết quả của chương trình sẽ được đánh giá thông qua hành vi của những người chịu trách nhiệm về chất lượng nước lọc-đặc biệt là sự thay đổi trong hành vi tiếp cận và sử dụng các công cụ, kỹ năng, và kiến thức phù hợp. Xác định kết quả sẽ đánh giá cách mọi người theo dõi mức độ ô nhiễm nguồn nước, thay đổi bình lọc, hoặc mang đến nhờ chuyên gia sửa khi cần. Terry Smutylo, nguyên giám đốc đánh giá của Trung tâm Nghiên cứu Phát triển Quốc tế đã sáng tác một bài hát về phương pháp xác định đánh giá, tổng kết một vài vấn đề cần phải giải quyết. (Đường link đến phần trình bày bài hát “The Output Outcome Downstream Impact Blue” của Terry Smutylo ở danh sách Web site cuối chương này). The Output Outcome Downstream Impact Blues Đầu ra, Kết quả, Tác động : Cho Ai, Do Ai, Nói với Ai? Coda Đừng tìm kiếm tác động để quy trách (4.) Có một số từ chẳng hay ho gì mà lại được sử dụng nhiều Trong các chương trình phát triển đó là sự lạm dụng Nó đã trở thành nỗi ám ảnh của tất cả chúng ta Vì sự sinh tồn phụ thuộc vào tác động mơ hồ đó. REFRAIN I Bởi vì tác động ở khắp mọi nơi, ở mọi thời điểm Bạn có thể nhận ra nó đâu đó trong góc hoặc xa tít dưới cuối hàng Nhưng nó diễn ra không theo sự lựa chọn của bạn Bạn có những Biển Tác động theo dòng Đầu ra Kết quả. Bây giờ khi nhà tài trợ tìm kiếm tác động mà họ thực sự muốn thấy Một bức tranh nhỏ nhắn xinh xắn trong hình dung của họ Đó là điều mà một cán bộ đánh giá tốt chẳng bao giờ làm được Khi sử dụng từ tác động mà không hiểu nó sẽ đi đến đâu. Nhưng nhà tài trợ thường nói đó là thực tế Hãy đi và chỉ ra tác động cho chúng tôi thấy Bạn phải thay đổi cuộc sống của mọi người và giúp chúng tôi có được niềm tin từ họ Nếu không khi bạn muốn được tài trợ tiếp –huh hmm Thì có thể bạn sẽ không thể có được nó đâu. 198

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

REFRAIN I Bởi vì tác động ở khắp mọi nơi, ở mọi thời điểm Bạn có thể nhận ra nó đâu đó trong góc hoặc xa tít dưới cuối hàng Nhưng nó diễn ra không theo sự lựa chọn của bạn Bạn có những Biển Tác động theo dòng Đầu ra Kết quả. Những người nhận tài trợ thì luôn sẵn sàng làm hài lòng nhà tài trợ Khi chúng ta để cán bộ đánh giá đi nước ngoài Để tìm kiếm các chỉ số đánh giá tác động Để gây ngạc nhiên cho các nhà tài trợ với gì họ mang về. Tác động họ tìm thấy khi nó xảy ra Đến từ nhiều nguyên nhân mà chúng ta không biết chắc chắn Chỉ khi chúng ta có thể quy trách nhiệm cho người Gây ra tác động thì mới là kết quả mà nhiều người làm. REFRAIN II Bởi vì tác động ở khắp mọi nơi, ở mọi thời điểm Bạn có thể nhận ra nó đâu đó trong góc hoặc xa tít dưới cuối hàng Nhưng nó diễn ra không theo sự lựa chọn của bạn Bạn có những Biển Tác động theo dòng Đầu ra Kết quả. Rồi nhà tài trợ bừng tỉnh sau giấc mơ không tưởng của bạn Bạn hòa mình vào dòng chảy ngược dòng của khoản tài trợ nhận được Rồi trong dòng nước chảy, hòa trộn vào nhau Làm sao bạn có thể có được niềm tin vào điều gì sẽ đến ở cuối dòng nước. REFRAIN II Bởi vì tác động ở khắp mọi nơi, ở mọi thời điểm Bạn có thể nhận ra nó đâu đó trong góc hoặc xa tít dưới cuối hàng Nhưng nó diễn ra không theo sự lựa chọn của bạn Bạn có những Biển Tác động theo dòng Đầu ra Kết quả. Coda (4. then fade)

Đánh giá nhanh Đánh giá nhanh đáp ứng nhu cầu đánh giá nhanh và chi phí thấp. Nó đặc biệt hữu ích với bối cảnh đánh giá ở những nước đang phát triển, sự hạn chế về thời gian và các nguồn lực khác-thiếu dữ liệu kỳ gốc, trình độ văn hóa yếu kém nên không thể sử dụng bảng hỏi cần thiết, và ngân sách hạn chế-thường gây khó khăn để thực hiện một đánh giá hoàn chỉnh.

Phương pháp Tiếp cận Đánh giá

199

■■ Đánh giá

nhanh:

Phương pháp đánh giá hệ thống, bán cấu trúc do một nhóm cán bộ đánh giá thực hiện thực địa

Mặc dù không có một định nghĩa thống nhất về đánh giá nhanh, nó vẫn thường được xem là cầu nối giữa phương pháp thu thập thông tin chính quy và không chính quy-một phương pháp “tương đối nhanh và gọn gàng” chứ không phải một phương pháp “nhanh và bừa.” Đánh giá nhanh có thể được xem như một phương pháp có hệ thống, phương pháp bán cấu trúc được thực hiện thực địa, và thường do một nhóm cán bộ đánh giá tiến hành. Lý tưởng là, nhóm đánh giá đa dạng đến mức có nhiều quan điểm được phản ánh. Đánh giá nhanh được sử dụng tốt nhất khi nghiên cứu quá trình thay vì nghiên cứu kết quả hoặc tác động. Nhìn chung, phương pháp này chỉ cố gắng thu thập những thông tin cần thiết nhất-những thông tin “cần được biết” chứ không phải “biết thì tốt”-bằng cả phương pháp định tính và định lượng. Xu hướng chính của đánh giá nhanh trong đánh giá phát triển là “cố tìm để hiểu,” vì một phương pháp không mang tính phê phán sẽ có thể gợi mở những cuộc đối thoại cởi mở và thành thật. Cán bộ đánh giá thực hiện các chuyến đi đến địa bàn, vì quan sát một can thiệp tại bối cảnh có thể cung cấp các bằng chứng về tình hình thực thi của nó. Một nhiệm vụ quan trọng là xác định những người cần được phỏng vấn, những người có kinh nghiệm và hiểu biết, đặc biệt là những người có khả năng dễ bị bỏ qua nhất trong một đánh giá. Một nhóm chuyên gia nhỏ nhưng đa dạng có thể rất hữu ích để đưa ra một cái nhìn toàn diện về tình hình thực tiễn. Kỹ năng lắng nghe là kỹ năng rất cần thiết. Đánh giá nhanh có thể sử dụng phương pháp thu thập và phân tích dữ liệu tương tự như các hình thức đánh giá khác. Sự khác biệt thường là phạm vi. Điển hình thì đánh giá nhanh có phạm vi nhỏ, chỉ liên hệ với một vài người chủ chốt trong một nhóm nhỏ ở địa bàn. Có thể có nhiều hơn một nguồn thông tin, vì nhiều nguồn thông tin sẽ tăng độ tin cậy, giảm phân biệt, và đưa ra quan điểm toàn diện. Dữ liệu phỏng vấn từ phỏng vấn chuyên gia do đó có thể bổ sung cho các dữ liệu được thu thập thông qua quan sát, thảo luận nhóm, phỏng vấn nhóm, và khảo sát. Thông tin giữa các nguồn này càng tương thích thì độ tin cậy của các phát hiện càng cao. Khi sử dụng các phương pháp định tính thì kỹ năng tốc ký là rất cần thiết. Nó giúp cho cán bộ quản lý lưu giữ các biên bản ghi chép quan sát, chủ đề, những vướng mắc, các giải thích, và bất kỳ sự kiện nào diễn ra trong chuyến đi thực địa. Những biên bản này cần được chia sẻ với những thành viên khác trong nhóm để xác định vấn đề chung. Khi tiến hành một đánh giá nhanh, cán bộ đánh giá cần lưu ý: • Tổng quan dữ liệu thứ cấp trước khi đi thực địa. • Khi đã ở địa bàn, quan sát, lắng nghe, hỏi và ghi chép lại. • Giữ biên bản và ghi chép cẩn thận trong suốt quá trình thực hiện; không chỉ bởi việc ghi chép cẩn thận là cần thiết để viết báo cáo, mà chúng còn giúp lọc thông tin thu thập được từ các thành viên khác nhau trong nhóm.

200

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Các phương pháp và bài học rút ra được khi tiến hành đánh giá nhanh đưa ra các vấn đề cần phải xem xét trước khi thực hiện một đánh giá nhanh, bao gồm: • Xây dựng một nhóm đa dạng, gồm có cả nam giới và phụ nữ. • Khi có thể, tuyển dụng cả người trong cuộc (những người quen thuộc với can thiệp và địa bàn) và người ngoài cuộc (những người có thể nhìn nhận theo cách nhìn mới). • Sử dụng các nhóm nhỏ thay vì các hóm lớn để tối ưu hóa các tương tác. • Phân chia thời gian thu thập thời gian và lọc thông tin. • Sẵn sàng di chuyển khi cần (đi thực địa, các khu thương mại, các vùng sâu vùng xa), chứ không chi đi đến những nơi thuận tiện. • Duy trì tính linh hoạt và tính thích ứng, vì thông tin mới có thể làm thay đổi kế hoạch đánh giá (FAO 1997).

Đánh giá tổng hợp Đánh giá tổng hợp là phương pháp có ích với nhiều đánh giá kết quả của các can thiệp tương tự nhau đã được thực hiện. Đánh giá tổng hợp giúp cán bộ đánh giá nghiên cứu nhiều hoạt động can thiệp có cùng nội dung hoặc chủ đề để xác định các điểm chung. Nó giúp ích cho đánh giá tìm kiếm tính hiệu quả tổng thể một hoạt động can thiệp. Chelimsky và Morra (1984) đã đưa phương pháp này đến bối cảnh rộng hơn khi họ áp dụng phương pháp này cho phần lớn các đánh giá định tính và định lượng đối với hoạt động can thiệp. Cho tới khi đó, đánh giá tổng hợp đã được sử dụng trong các đánh giá để phân tích định tính, như tác động của các chương trình dinh dưỡng đến cân nặng của trẻ sơ sinh và tỷ lệ tử vong của phụ nữ trẻ hoặc ảnh hưởng của quy mô lớp học đến kết quả học tập của học sinh. Ý nghĩa của đánh giá tổng hợp là, các đánh giá riêng lẻ có thể cung cấp thông tin hữu ích về một hoạt động can thiệp cụ thể, nhưng thông tin quá hạn chế và cụ thể trong từng bối cảnh để có thể đưa ra nhận định chung về tác động của can thiệp. Tuy nhiên, khi các kết quả từ nhiều nghiên cứu khác nhau được kết hợp lại, thì có thể đưa ra nhận định chung về tác động của một can thiệp (thậm chí cả một chính sách). Một thuận lợi của đánh giá tổng hợp là sử dụng các nghiên cứu có sẵn, giảm chi phí thực hiện hơn so với các phương pháp đánh giá khác. Một thuận lợi nữa là nó cung cấp cơ sở lớn hơn để đánh giá tác động can thiệp, tăng độ tin cậy khi đưa ra nhận định chung về tác động. Khó khăn của phương pháp này là tìm các nghiên cứu đã hoặc chưa được công bố có liên quan; xác định chất lượng của từng đánh giá; và, xây dựng được bộ dữ liệu tổng hợp để phân tích thứ cấp.

Phương pháp Tiếp cận Đánh giá

■■ Đánh giá

tổng hợp: Phương pháp mà cán bộ đánh giá nghiên cứu về các can thiệp có cùng nội dung hoặc chủ đề để xác định tính phổ biến

201

Đánh giá tổng hợp gồm có: • các bước để xác định đánh giá và phạm vi của chúng • các tiêu chuẩn chất lượng minh bạch để đưa ra quyết định về việc loại bỏ hay đưa đánh giá nào vào tổng hợp • các bước áp dụng các tiêu chuẩn chất lượng (thường do một hội đồng chứ không phải một cá nhân đưa ra) • trích dẫn tất cả các đánh giá được tổng hợp • mô tả tóm tắt về từng đánh giá được đưa vào tổng hợp, cũng như các phát hiện về chủ đề hoặc các nội dung quan tâm • các khoảng trống hoặc hạn chế của tổng kết. Có những trường hợp chỉ một vài cấu phần trong đánh giá tổng hợp được sử dụng. Ví dụ, trong trường hợp mô tả ở hộp 5.3, báo cáo có vẻ như chưa được kiểm duyệt qua về chất lượng, khiến cho các phát hiện tổng hợp không được tin tưởng. Thuật ngữ đánh giá tổng hợp và siêu đánh giá đôi khi được sử dụng thay thế nhau trong ngôn ngữ đánh giá. Chúng tôi sẽ phân biệt giữa hai thuật ngữ này. Như được dùng trên đây, đánh giá tổng hợp là phương pháp tóm tắt và phân tích các kết quả của nhiều hoạt động đánh giá đáp ứng được những tiêu chuẩn chất

Hộp 5.3 Sử dụng Đánh giá Tổng hợp để Đo lường các Lợi ích cho Môi trường

Năm 2000, Bộ Phát triển Quốc tế Vương quốc Anh (DfID) xuất bản đánh giá tổng hợp nghiên cứu về môi trường. DfID đã quản lý thành công danh mục đầu tư quan trọng của các dự án môi trường từ những năm 1990, nhưng có cảm giác rằng các lợi ích cho môi trường “nhìn chung mới chỉ nằm trong giả định chứ không được kiểm định nghiêm túc” (tr.1). Nghiên cứu đánh giá tổng hợp được xây dựng để kiểm định 49 dự án do DfID tài trợ ở năm quốc gia để đánh giá tình hình thực thi và tác động của các hỗ trợ dự án song phương của DfID trong lĩnh vực cải thiện và bảo vệ môi trường. Các dự án, ban đầu không phải là những dự án chuyên về môi trường nhưng bao gồm nhiều can thiệp liên quan đến môi trường (hiệu suất năng lượng, cải thiện công nghiệp, lâm nghiệp, đa dạng sinh học, đô thị và nông thôn). Sau khi tổng quan 49 nghiên cứu, cán bộ đánh giá đưa ra kết luận rằng có “khoảng trống giữa các vấn đề môi trường được ưu tiên cao trong chính sách của DfID…. với những can thiệp thực sự được thực hiện để mang lại các tác động tích cực cho môi trường.” Nguồn: DfID 2000, 1.

202

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

lượng tối thiểu. Ngược lại, siêu đánh giá là tổng quan của chuyên gia về một hay nhiều đánh giá đáp ứng được các tiêu chuẩn chất lượng chuyên nghiệp.

Các Phương pháp khác Các phương pháp, lý thuyết, và mô hình khác cũng được sử dụng trong đánh giá phát triển. Hầu hết đều là các biến thể của phương pháp đánh giá cùng tham gia. Người đọc sẽ tìm thấy đặc điểm của một vài mô hình đánh giá dựa trên kết quả được giới thiệu trong ấn phẩm này, ví dụ như độ tin cậy trong xác định và kiểm định lý thuyết thay đổi và tập trung vào việc sử dụng toàn bộ quá trình đánh giá thông qua việc xác định và đề nghị các bên liên quan chính cùng tham gia. Phần này trình bày các phương pháp sau:

■■ Siêu đánh giá: Tổng quan của chuyên gia về một hay nhiều hoạt động đánh giá đạt tiêu chuẩn chất lượng chuyên nghiệp

• Đánh giá dựa trên giá trị sử dụng • Đánh giá trao quyền • Đánh giá duy thực tế • Đánh giá bao hàm • Đánh giá đối tượng thụ hưởng • Đánh giá theo chiều dọc. Đánh giá dựa trên giá trị sử dụng Đánh giá dựa trên giá trị sử dụng đề xuất rằng một hoạt động đánh giá nên được định giá bởi ích lợi và cách nó thực sự được sử dụng. Patton (2002, tr.173), tác giả của cuốn đánh giá dựa trên giá trị sử dụng được tái bản lần thứ tư (2008), mô tả phương pháp này bắt đầu “là sự xác định và tổ chức của những người ra quyết định và những người sử dụng thông tin cụ thể, phù hợp (không phải là những người đọc không xác định hoặc nhận thông tin bị động), những người sẽ sử dụng thông tin từ đánh giá.” Đây là dạng đánh giá tập trung vào mục đích sử dụng do những người chủ định sử dụng đánh giá định trước. Những người chủ định sử dụng là những người có trách nhiệm ứng dụng các phát hiện đánh giá và triển khai các đề xuất từ đánh giá. Đánh giá dựa trên giá trị sử dụng giúp những người chủ định sử dụng đầu tiên lựa chọn mô hình, nội dung và phương pháp đánh giá thích hợp với tình hình cụ thể của mình. Đánh giá trao quyền Đánh giá trao quyền là sử dụng các ý nghĩa, phương pháp, và phát hiện đánh giá để thúc đẩy các cải thiện và tự xác định (Fetterman, Kaftarian, và Wandersman 1996). Đánh giá trao quyền tôn trọng năng lực tự xây dựng kiến thức và kinh nghiệm của con người để tìm ra giải pháp cho các vấn đề họ phải đối mặt. Thông qua hỗ trợ con người đạt được mục tiêu với tư cách cá nhân hoặc thành viên trong cộng đồng và nâng cao đời sống, trao quyền có thể mang đến sự thịnh vượng và tăng trưởng tích cực (Fetterman và Wandersman 2004).

Phương pháp Tiếp cận Đánh giá

■■ Đánh giá dựa

trên giá trị sử dụng: Đánh giá được xem xét dựa trên tính hữu dụng và cách thức một đánh giá được sử dụng

■■ Đánh giá

trao quyền:

Sử dụng các ý nghĩa, phương pháp, và các phát hiện của đánh giá để thúc đẩy cải thiện và tự xác định

203

Fetterman và Wandersman (2004) mô tả vai trò của một cán bộ đánh giá trao quyền như một “người bạn khó tính.” Họ khuyến khích các thành viên trong cộng đồng duy trì hoạt động đánh giá; cán bộ đánh giá nên giữ vai trò của người điều hành, gây ảnh hưởng hơn là kiểm soát đánh giá. Đánh giá trao quyền có chung một vài đặc điểm với đánh giá dựa trên giá trị sử dụng. Cả hai phương pháp đều được thiết kế để được sử dụng, có tính xây dựng và hữu ích trong mọi giai đoạn của hoạt động đánh giá (Fetterman và Wandersman 2004). Nhưng Patton (1997) đưa ra quan điểm rằng tuy đánh giá trao quyền trùng lắp với phương pháp cùng tham gia, xét về tính sở hữu, mức độ phù hợp, và nâng cao năng lực, nhưng trọng tâm mà nó xác định vẫn là thúc đẩy sự tự ý thức. Đánh giá trao quyền khác các đánh giá cùng tham gia khi cán bộ đánh giá-người điều hành là người không ủng hộ phương pháp trao quyền và theo đuổi một chương trình thay đổi chính trị. Mô tả sự khác nhau giữa đánh giá trao quyền và đánh giá cùng tham gia, Alkin và Christie (2004, tr.56) viết: Do đánh giá cùng tham gia xuất phát từ một khung sử dụng đánh giá, nên mục đích của nó là tăng giá trị sử dụng thông qua các hoạt động đánh giá [thiết kế, triển khai, phân tích, và giải trình], ngược lại với các hoạt động trao quyền vốn đã phải chịu sức ép về bản chất chính trị hay tính dân chủ.

■■ Đánh giá duy

thực tế:

Đánh giá lý thuyết đưa ra một mô hình chặt chẽ và phù hợp, chỉ ra cách thức các đánh giá gắn bó với chương trình, cách ứng xử với các bên liên quan như những chuyên gia chưa hoàn hảo, và học hỏi từ các phương pháp đánh giá khác.

204

Đánh giá duy thực tế Pawson và Tilley (2004, tr. 1) định nghĩa đánh giá duy thực tế là “các dạng của đánh giá lý thuyết.” Họ liên hệ phương pháp này với lý thuyết thay đổi và lý thuyết chương trình. Để xây dựng lý thuyết này, cần phải hiểu toàn bộ bối cảnh thực hiện can thiệp, hiểu cách thức can thiệp được triển khai ở từng bối cảnh cụ thể, và xem xét nó có hiệu quả hay không. Theo Pawson và Tilley (2004, tr. 22), đánh giá duy thực tế cung cấp “một mô hình chặt chẽ và phù hợp”, chỉ ra cách các đánh giá gắn bó với chương trình. Phương pháp này nhận ra được tầm quan trọng của các bên liên quan trong việc phát triển và phân bổ chương trình, nhưng nó dẫn đến sự mâu thuẫn của sự bỏ qua các bên liên quan (do sự tự phân biệt về lợi ích của họ) với việc coi họ như những người hiểu biết và không bao giờ sai (vì kiến thức của họ). Các bên liên quan được xem như những chuyên gia có thể có sai sót, hiểu về yêu cầu được chính thức hóa và được kiểm định (Pawson và Tilley 2004). Đánh giá duy thực tế có nguồn gốc từ nhiều phương pháp nghiên cứu và đánh giá. Nó sử dụng nhiều phần hoặc toàn bộ các phương pháp đánh giá khác. Đánh giá duy thực tế có thể là đánh giá định tính hoặc định lượng; và thường kết hợp cả hai phương pháp, nhưng không xác định mối quan hệ nhân-quả giữa một can thiệp và một kết quả thông qua thử nghiệm. Mối quan hệ nhân quả được xác định thông qua việc phác họa nguyên lý ẩn sau cách thức hoạt động của can thiệp. Các bước sau đó được sắp xếp theo thứ tự logic để kiểm định giả thuyết và

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

xác định cần phải làm gì với ai trong trường hợp nào. Pawson và Tilley (2004) cho rằng đánh giá duy thực tế có thể đang là thách thức, vì không có một mô hình đơn giản nào sử dụng phương pháp đơn giản có thể rút ra được các phát hiện. Đánh giá bao hàm Đánh giá bao hàm tập trung lôi kéo sự tham gia của những thành viên yếu thế nhất trong xã hội, như một phần trong kiểm tra hệ thống về giá trị của một dự án, chương trình, hoặc chính sách. Đánh giá bao hàm dựa trên dữ liệu, nhưng dữ liệu được thu thập từ những bên liên quan ít có lợi thế nhất, những người từ lâu đã không được miêu tả xứng đáng. Một đánh giá bao hàm không bao gồm những người đã tham gia nhiều vào các hoạt động đánh giá (Mertens 1999). Cũng như đánh giá trao quyền, đánh giá bao hàm là một hệ biến hóa. Một đánh giá bao hàm có thể hỏi những câu hỏi dạng như:

■■ Đánh giá

bao hàm: Đánh giá bao gồm cả thành viên yếu thế nhất trong cộng đồng

• Những điểm khác biệt quan trọng trong nhóm đối tượng nhận can thiệp là gì? • Các can thiệp được đưa đến các nhóm khác nhau trong cộng đồng như thế nào? • Các giá trị cơ bản của việc phân bổ các hỗ trợ là gì? Đánh giá Đối tượng thụ hưởng Đánh giá đối tượng thụ hưởng là “một công cụ nghiên cứu định tính dùng để cải thiện tác động của các hoạt động phát triển thông qua thu thập ý kiến của những đối tượng thụ hưởng mục tiêu về một can thiệp dự kiến hoặc đang được tiến hành” (Salmen 1999, tr.1). Cũng như đánh giá bao hàm, phương pháp này cố gắng lôi kéo sự tham gia của cả các nhóm thường ít được chú ý đến. Phương pháp tập trung vào dự án do Ngân hàng Thế giới phát triển vào cuối những năm 1980 để hoàn thiện hơn trọng tâm đánh giá về chuyên môn và tài chính. Phương pháp này thường được áp dụng cho những dự án có cấu phần cung cấp dịch vụ. Đánh giá đối tượng thụ hưởng gồm có khách hàng chính, và đối tượng thụ hưởng của dự án. Cơ sở căn bản là tăng sự tham gia của đối tượng thụ hưởng trong việc hỗ trợ định hướng thiết kế dự án, đưa ra ý kiến của họ, đưa ra các phản hồi giám sát, và đưa ra quan điểm của họ về các tác động, thì nâng cao tính sở hữu của họ, để họ trở thành những người có vai trò chính trong việc đưa ra các thay đổi cần thiết và những thay đổi mong đợi đối với sự phát triển. Mục tiêu của đánh giá đối tượng thụ hưởng là để đánh giá giá trị của một hoạt động theo quan điểm của đối tượng thụ hưởng, và để lồng ghép những phát hiện này vào hoạt động dự án. Đánh giá đối tượng thụ hưởng có vai trò quan trọng trong đánh giá xã hội do nó hỗ trợ kết nối các yếu tố văn hóa với quá trình ra quyết định (Salmen 1999).

Phương pháp Tiếp cận Đánh giá

■■ Đánh giá đối

tượng thụ hưởng:Công cụ

được sử dụng để cải thiện tác động của các hoạt động phát triển thông qua thu thập ý kiến của những đối tượng thụ hưởng mục tiêu về một can thiệp dự kiến hoặc đang được tiến hành

205

■■ Đánh giá

theo chiều dọc: Đánh giá kết hợp một quy trình đánh giá nội bộ với một đánh giá do đơn vị bên ngoài thực hiện

Đánh giá theo chiều dọc Đánh giá theo chiều dọc là một phương pháp đánh giá tương đối mới kết hợp quy trình đánh giá nội bộ với một đánh giá do đơn vị bên ngoài thực hiện. Sự kết hợp được thiết kế để trung hòa “các mối quan hệ quyền lực không bình đẳng phổ biến trong các đánh giá độc lập truyền thống, tạo ra môi trường thân thiện hơn để học hỏi và cải thiện các chương trình sau” (Thiele và đồng nghiệp, 2006, tr.1).. Đánh giá theo chiều dọc thường được sử dụng để tìm hiểu và nâng cao phương pháp nghiên cứu và phương pháp phát triển. Phương pháp này đã được sử dụng trong một chương trình khu vực Andean, phát triển các phương pháp nghiên cứu và phát triển mới, và được sử dụng ở U-gan-đa để đánh giá phương pháp chuỗi thị trường có sự tham gia (Thiele và đồng nghiệp, 2006, tr. 1). Vấn đề mấu chốt của phương pháp đánh giá theo chiều dọc là hai nhóm các bên liên quan riêng rẽ. Nhóm đầu tiên là những người tham gia ở địa phương, đại diện và nhận xét về can thiệp trong quá trình đánh giá, và đưa ra khuyến nghị để nâng cao tình hình thực thi. Nhóm thứ hai là khách mời (đồng nghiệp từ các tổ chức hoặc dự án khác, hoạt động trong lĩnh vực tương tự), đánh giá quy trình, xác định điểm mạnh và điểm yếu, và đưa ra đề xuất (Thiele và đồng nghiệp 2006). Một phần trong đánh giá theo chiều dọc là một hội thảo để hai nhóm cùng gặp nhau.

Tóm tắt Một phương pháp đánh giá là một cách xem xét hoặc thao tác hóa khái niệm một đánh giá theo một cách chung. Nó thường kết hợp mục đích với bộ các giá trị. Một số phương pháp đã được sử dụng trong nhiều năm, trong khi một số khác mới được đưa ra gần đây hoặc mới được áp dụng thường xuyên hơn trong đánh giá phát triển. Các đặc điểm quan trọng của các phương pháp đánh giá được tổng kết trong bảng 5.3. Các phương pháp trình bày trên đã được sử dụng rộng rãi ở các can thiệp đơn lẻ. Chương 11 trình bày các đánh giá phức tạp đối với các can thiệp phát triển phức tạp, và đang ngày càng trở thành tiêu chuẩn đánh giá.

206

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phương pháp Tiếp cận Đánh giá

207

Đánh giá xem mục tiêu và mục đích Xác định mục đích và mục tiêu có đạt được không Đánh giá xem can thiệp có đạt được Mục Là cơ sở cho hầu hết các hệ thống tiêu hay mục đích không (đánh giá tiêu đánh giá dự án của nhà tài trợ chuẩn)

Mở ra cơ hội thu thập các thông tin về các ảnh hưởng và tính hiệu quả của chương trình mà không bị hạn chế bởi trọng tâm chú trọng vào các mục tiêu hoặc mục đích định trước

Không dựa trên mục tiêu

Cố gắng ngăn cán bộ đánh giá Bị giới hạn vào mục tiêu và mục đích của chương trình bằng cách hạn chế liên hệ với quản lý và cán bộ chương trình

Phát triển mô hình lý thuyết thay đổi

Dựa trên mục tiêu

hình thành hoặc đảm nhận vai trò như công cụ lên kế hoạch

Xác định xem đánh giá có hữu dụng và khả thi hay không

Tổng quan tài liệu và dữ liệu có sẵn Kiểm tra về hiểu biết chung về mục tiêu và mục Điều phối sự trao đổi thông tin giữa đích của chương trình Phỏng vấn người quản lý can thiệp, các bên cán bộ đánh giá và các bên liên liên quan, những cá nhân và tổ chức có thể quan triển khai các đề xuất, khuyến nghị Xác định mục tiêu của nghiên cứu

Tổng quan tất cả các đánh giá chương trình liên quan hoặc tương tự nhau để đưa ra các bài học hoặc vấn đề chung Dự báo thành công hay thất bại và đề xuất các cách hoàn thiện can thiệp nếu nó được thực hiện

Trả lời các câu hỏi dự báo về các thành công có thể có

Đánh giá khả năng đánh giá

Trình bày phân tích bối cảnh của dự án, chương trình, chính sách

Kiểm tra can thiệp trước khi bắt đầu thực hiện

Triển vọng

Đặc điểm/hoạt động

Mục đích

Phương pháp đánh giá

Hộp 5.3 Mục đích, Đặc điểm, Điểm mạnh và Khó khăn của Các Phương pháp Đánh giá khác nhau

Tăng khả năng các hiệu ứng ngoài dự kiến được nghiên cứu đến

Có thể đơn giản hóa đánh giá với phương pháp rõ ràng đối chiếu thực tế và các tiêu chuẩn

Có thể dừng các chi phí vào các đánh giá không thể trả lời các câu hỏi cần thiết vì thiếu dữ liệu

Xây dựng sự hỗ trợ của các bên liên quan và nâng cao sự hiểu biết về mục tiêu và mục đích chương trình

Có thể mang đến đánh giá thực tế và phù hợp hơn, cũng như các chương trình được thiết kế tốt hơn

quyết vấn đề và hoàn thiện một chương trình trước khi bắt đầu

Khó khăn

còn nữa

Hạn chế liên hệ với quản lý và cán bộ chương trình; cán bộ đánh giá có thể gặp khó khăn khi cố gắng tránh biết thông tin về mục tiêu và mục đích của chương trình

Có thể bỏ quả những tác động quan trọng không được chỉ ra rõ ràngtrong mục tiêu hay mục đích

Có thể làm chậm hoạt động đánh giá một cách không cần thiết nếu áp dụng cho mọi chương trình trước khi tiến hành đánh giá

Sử dụng phân tích thứ Có thể phụ thuộc vào cấp để giảm chi phí báo cáo đánh giá của đánh giá Có thể chỉ ra và các chương trình có liên quan Có thể chỉ ra và giải

Điểm mạnh

208

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá môi trường và xã hội

Đánh giá xã hội

Nhóm

Khảo sát tình hình thực thi chung hoặc các điều chỉnh đã lên kế hoạch trước của can thiệp ở mọi địa bàn, để xác định các điều kiện giúp chương trình đạt được mục tiêu và mục đích hiệu quả nhất

Nhiều địa bàn

Đánh giá các mục tiêu về môi trường và xã hội đã đạt được

Có vai trò như công cụ chính để bảo đảm các tác động xã hội của can thiệp phát triển được tính đến

Nghiên cứu nhiều cơ cấu, tiến trình xã hội và các thay đổi trong một nhóm hoặc một cộng đồng

Kiểm định “nhóm” can thiệp trong một hay nhiều bối cảnh.

Nghiên cứu các can thiệp tương tự hoặc có liên quan đến nhau và tạo thành một nhóm can thiệp

Hữu dụng trong những đánh giá có mục đích duy nhất là đánh giá về môi trường và xã hội

Tập trung vào các mặt xã hội và môi trường của mọi can thiệp, chứ không chỉ những can thiệp chuyên về môi trường hay bất bình đẳng xã hội

Nhấn mạnh đến tầm quan trọng của các yếu tố môi trường và xã hội trong can thiệp

Kiểm tra sự phù hợp của mục tiếu can thiệp Nhận diện các tác động với nhu cầu, lợi ích và năng lực của các đơn xã hội ngược, để có kế vị tài trợ hoạch giảm thiểu trong Chỉ ra tầm hưởng của các yếu tố xã hội và kế hoạch thực thi văn hóa đối với khả năng tham gia hoặc hưởng lợi ích từ can thiệp của các bên liên quan Khảo sát những tác động chênh lệch của can thiệp đối với từng nhóm liên quan

Sử dụng nhiều nghiên cứu trường hợp, cùng chia sẻ thông tin về các trường hợp

Tập trung tìm hiểu hơn là rút ra kết luận tổng Giảm khả năng sự nhân rộng và tái áp dụng thể về chất lượng hoặc giá trị chương trình Xem sự khác biệt là điểm tích cực

Xây dựng sự tham gia của các bên liên quan

Có thể phải cần đến các chuyên gia

Có thể bỏ qua trọng tâm về các tương tác về các vấn đề môi trường khi chỉ đề cập đến một vế của phương trình

Đưa ra các kết quả tổng hợp, không phải kết quả ở từng địa bàn can thiệp

Có thể đưa ra những phát hiện quá cụ thể vào bối cảnh ở từng địa bàn nhưng không có tính đại diện

Cần đến cán bộ được tập huấn kỹ, có khả năng tiếp cận mọi địa bàn, và có đủ thống tin cần thiết trước khi thiết kế bộ công cụ thu thập thông tin

Thu được các phát hiện chắc chắn hơn so với các đánh giá của từng can thiệp riêng rẽ ở từng địa bàn Có thể phân tích từng địa bàn hoặc so sánh giữa các địa bàn

Đòi hỏi tiêu chuẩn hóa quy trình thu thập dữ liệu

Thường dẫn đến sự nhận diện các hoạt động hiệu quả

Xây dựng sự tham gia của các bên liên quan Thu thập thông tin sâu hơn so với các phương pháp khác

Khó khăn

Điểm mạnh

Đặc điểm/hoạt động

Lựa chọn các địa bàn có các đặc điểm đại diện có thể dẫn đến các thay đổi hệ thống Cần phải bao quát được môi trường trong triển khai và các kết quả can thiệp thực hiện can thiệp, cũng như các Mô tả và so sánh các can thiệp trong từng yếu tố văn hóa, địa lý, kinh tế, quy bối cảnh để rút ta các bài học và phương mô, hoặc các khác biệt hệ thống khác có thể ảnh hưởng đến sự khác pháp đối phó với các tình huống khác nhau nhau hoặc các điều chỉnh trong thực thi

Mục đích

Phương pháp đánh giá

Hộp 5.3 tiếp tục

Phương pháp Tiếp cận Đánh giá

209

Bổ sung cho các hình thức đánh giá truyền thống bằng cách tập trung vào thay đổi hành vi có liên quan; trọng tâm là con người và các kết quả chứ không phải sự đạt được các tác động phát triển

Đáp ứng nhu cầu của các đánh giá nhanh và chi phí thấp; thường chỉ thu thập những thông tin quan trọng nhất để cung cấp các chỉ số thực thi

Xác định và phân loại chất lượng các đánh giá có liên quan để kết hợp và tổng kết các kết quả; sử dụng khi nhiều đánh giá về một hoạt động can thiệp đã được thực hiện

Đánh giá nhanh

Đánh giá tổng hợp

Xem xét sự tham gia đồng thời là một quy trình để có thể đạt được mục tiêu đặt ra

Nghiên cứu sự tham gia với tư cách như một sản phẩm đầu ra nếu sự tham gia là một mục tiêu và là một trong những chỉ báo thành công

Chia sẻ với các bên liên quan trách nhiệm lên kế hoạch, triển khai, và báo cáo của hoạt động can thiệp

Xác định kết quả

Cùng tham gia

Trao quyền cho các thành viên và nâng cao năng lực độc lập ở địa phương

Đánh giá độ tin cậy của kết quả đánh giá trong mắt cán bộ đánh giá và tăng khả năng kết quả đánh giá được sử dụng

Có thể được sử dụng cả dữ liệu định tính và định lượng

kết hợp các kết quả hoặc tổng hợp các phát hiện từ nhiều nghiên cứu dựa trên các đánh giá chính

Chỉ sử dụng những nghiên cứu có chất lượng

Lập ra các tiêu chí và quyết định chất lượng của các nghiên cứu

Tìm tất cả các nghiên cứu có liên quan

Yêu cầu kỹ năng lắng nghe và kỹ năng tốc ký

Cần phải sử dụng nhiều nguồn thông tin

Sử dụng phân tích tài liệu, phỏng vấn, và các chuyến thực địa ngắn

Sử dụng phương pháp hệ thống, bán cấu trúc

Mô tả những thay đổi trong hành vi thông qua các hoạt động cá nhân, hoạt động nhóm hoặc trong tổ chức

Xác định các đối tác bên ngoài để đánh giá ảnh hưởng của họ đối với thay đổi hành vi

Có rủi ro về định kiến khi lựa chọn Các đánh giá “chất lượng”, (những rủi ro này có thể được giảm thiểu khi một hội đồng lựa chọn đánh giá)

Tạo cơ sở chắc chắn hơn để đánh giá tác động

còn nữa

Có thể gặp khó khăn khi tìm mọi nghiên cứu liên quan và thu thập dữ liệu

Cung cấp ít thông tin, hầu hết là thông tin mô tả

Nhỏ

Có phạm vi đặc biệt

Cần đến đánh giá tác động có tính độc lập và tính giải trình trách nhiệm

Yêu cầu cán bộ đánh giá có kỹ năng điều hành, điều phối, và kiểm soát xung đột, cũng như kỹ năng tập huấn về chuyên môn đánh giá cho thành viên tham gia train participants in Thường được đánh giá là không

Sử dụng nghiên cứu và đánh giá có sẵn tiết kiệm chi phí

Là cầu nối giữa hình thức chính thức và không chính thức; hữu dụng nhất khi nghiên cứu quy trình và nội dung can thiệp

Nghiên cứu các hành vi do nhiều nỗ lực gây Thoát ra khỏi “Dòng ra để hỗ trợ nâng cao tình hình thực thi của chảy đầu ra xuôi chiều” dự án, chương trình, và chính sách thông (xem trong đoạn văn) qua cung cấp các công cụ kỹ thuật và các nguồn lực

Thay đổi vai trò từ cán bộ đánh giá đến người điều hành và hướng dẫn, còn thành viên tham gia có vai trò ra quyết định và dẫn dắt đánh giá

Tạo điều kiện hợp tác trong nhóm, tính đoàn kết nhóm, và tự chịu trách nhiệm

Để những người tham gia cùng đặt mục tiêu, sắp xếp các ưu tiên, lựa chọn câu hỏi, phân tích dữ liệu, và đưa ra quyết định về dữ liệu

210

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Sử dụng các ý nghĩa, phương pháp, và phát hiện đánh giá để thúc đẩy cải thiện và tự nhận thức

Cung cấp mô hình chặt chẽ và phù hợp để đánh giá chương trình thông qua mô tả bối cảnh; nghiên cứu cách thức hoạt động của chương trình và tìm hiểu mối quan hệ nhân quả nếu có giữa chương trình và kết quả dự kiến

Có sự tham gia của những bên

Đánh giá tập trung vào tính sử dụng

Trao quyền

Duy thực tế

Bao hàm

Kết hợp đánh giá nội bộ với đánh giá độc lập để dung hòa các mối quan hệ quyền lực chênh lệch thường thấy trong các đánh giá độc lập truyền thống

Theo chiều dọc

Nguồn: Tác giá.

Nâng cao tác động của hoạt động phát triển từ ý kiến của đối tượng thụ hưởng mục tiêu về một can thiệp sắp hoặc đang diễn ra

Đối tượng thụ hưởng

liên quan yếu thế nhất như một phần trong đánh giá hệ thống về giá trị của dự án, chương trình, chính sách

Mục đích

Xem xét can thiệp dựa trên tính sử dụng của can thiệp và cách sử dụng can thiệp

Phương pháp đánh giá

Bảng 5.3 tiếp tục Đặc điểm/hoạt động

Được sử dụng để tìm hiểu và nâng cao đánh giá và các phương pháp phát triển

Lôi kéo sự tham gia của đối tượng tham gia, tăng ý thức sở hữu của họ

Thu thập thông tin từ các bên liên quan ít hưởng lợi nhất; không bao gồm những người đã tham gia vào đánh giá từ trước

Sử dụng nghiên cứu định tính, hoặc định lượng, hoặc kết hợp cả hai

Xuất phát từ nhiều phương pháp nghiên cứu và đánh giá; sử dụng một phần hoặc toàn bộ phương pháp của các phương pháp đánh giá khác

Đi xa hơn đánh giá cùng tham gia thông qua sự tôn trọng đối với những cá nhân thuộc nhóm yếu thế năng lực tự xây dựng kiến thức, kinh nghiệm và đưa ra các giải pháp cho khó khăn họ phải đối mặt

Bắt đầu từ xác định và tổ chức những người ra quyết định cụ thể, có liên quan và những ngưởi sử dụng thông tin (không phải là người nhận không xác định, thụ động) để sử dụng thông tin đánh giá

Điểm mạnh

Khó khăn

Kết hợp ưu điểm của tự đánh giá và đánh giá độc lập

Sử dụng phương pháp kết hợp để xây dựng tính sở hữu và năng lực, nâng cao giá trị đánh giá từ việc thu thập quan điểm của đối tượng thụ hưởng

Ý thức được là đánh giá cặp có thể là đôi bên cùng có lợi

Tách nghiên cứu về các vấn đề môi trường và hậu quả xã hội ra khỏi đánh giá

Thay đổi vai trò của cán bộ đánh giá thánh cán bộ tuyên truyền (đánh giá có thể được xem là có tính chính trị hoặc có sự phân biệt)

Cần biết rằng mỗi mô hình chương trình đều được xác định riêng rẽ

Phác họa lý thuyết cơ bản để can thiệp có thể hiệu quả, các điều kiện, và người nhận can thiệp

Tập trung vào những bên liên quan yếu thế nhất và vào sự khác biệt về các hỗ trợ được nhận

Thay đổi vai trò của cán bộ đánh giá thành cán bộ tuyên truyền vận động (đánh giá có thể được nhìn nhận là có tính chính trị và phân biệt)

Quan tâm đến khách hàng đầu tiên; có thể bỏ qua những bên có liên quan khác

Đề cao

Nhấn mạnh việc sử dụng đánh giá từ việc tập trung dự kiến các sử dụng cũng như người sử dụng

Thực hành Chương 5 Bài tập Ứng dụng 5.1: Lựa chọn Phương phát Đánh giá Phù hợp nhất Chọn một phương pháp đánh giá để phân tích từng đánh giá dưới đây. Mô tả phương pháp, liệt kê các lợi ích và các thách thức, và giải thích lý do bạn lựa chọn phương pháp này. 1. Đánh giá trọng tâm chiến lược hỗ trợ chuyên môn cho một quốc gia dựa trên các phát hiện có được từ nghiên cứu ở năm quốc gia do các tổ chức phát triển khác nhau thực hiện. 2. Xác định các can thiệp về giáo dục thành công đã được tiến hành trong các chương trình, dự án của tổ chức bạn để nâng cao hệ thống giáo dục trong khu vực. 3. Đánh giá các vấn đề nổi trội nhất đang gây lo ngại cho các nguồn tài nguyên thiên nhiên và lĩnh vực môi trường của một quốc gia. 4. Đánh giá sự phát triển của ngành sản xuất gạo ở một quốc gia, trong đó có tầm quan trọng của lúa gạo trong văn hóa, xã hội và bối cảnh kinh tế hiện tại; hệ thống sản xuất lúa gạo; các khó khăn của nông dân; các nghiên cứu được thực hiện và các kỹ thuật đã được áp dụng; và các ưu tiên sắp tới trong sự phát triển sản xuất lúa gạo. 5. Đánh giá các đánh giá do một tổ chức phát triển thực hiện, với khoản tài trợ nhận là hàng triệu đô la để nghiên cứu nông nghiệp quốc tế trong vòng 30 năm.

Phương pháp Tiếp cận Đánh giá

211

Chú giải 1. Nhiều thông tin trong phần này được trích từ Earl, Carden, và Smutylo (2001).

Tài liệu tham khảo Alkin, Marvin, and Christina Christie. 2004. “An Evaluation Theory Tree.” In Evaluation Roots: Tracing Theorist Views and Influences, ed. M. Alkin. 12–65, Thousand Oaks, CA: Sage Publications. Chambers, R. 1991. “Shortcut and Participatory Methods for Gaining Social Information for Projects.” In Putting People First: Sociological Variables in Rural Development, 2nd ed., ed. M. M. Cernea, 515–37. Washington, DC: World Bank. Chelimsky, E., and L. G. Morra. 1984. “Evaluation Synthesis for the Legislative User.” In Issues in Data Synthesis, ed. W. H. Yeaton and P. M. Wortman, 75–89. New Directions for Program Evaluation No. 24. San Francisco: Jossey-Bass. Christie, Christina, and Marvin Alkin. 2004. “Objectives-Based Evaluation.” In Encyclopedia of Evaluation, ed. Sandra Mathison. 281–85. Thousand Oaks, CA: Sage Publications. CIDA (Canadian International Development Agency). 2004. CIDA Evaluation Guide 2004. Ottawa. Cousins, J. B., and L. M. Earl, eds. 1995. Participatory Evaluation in Education. Bristol, PA: Falmer Press. Dalal-Clayton, Barry, and Stephen Ba. 2002. Sustainable Development Strategies: A Resource Book. Sterling, VA: Earthscan Publications. http://www.nssd.net/res_book.html#contents. DFID (Department for International Development). 2000. Environment: Mainstreamed or Sidelined? Environmental Evaluation Synthesis Study EV626, January, London. http://www.dfid.gov.uk/aboutdfid/performance/files/ev626s.pdf. Duignan, Paul. 2007. Introduction to Strategic Evaluation: Section on Evaluation Approaches, Purposes, Methods, and Designs. http://www.strategicevaluation.info/se/documents/104f.html. Earl, Sarah, Fred Carden, and Terry Smutylo. 2001. Outcome Mapping: Building Learning and Reflection into Development Programs. International Development Research Centre, Ottawa. http://www.dgroups.org/groups/pelican/docs/Mapping_M&E_capacity_ 080606.pdf. ECDPM (European Centre for Development Policy Management). 2006. Study on Capacity, Change and Performance: Mapping of Approaches Towards M&E of Capacity and Capacity Development. Maastricht. Eerikainen, Jouni, and Roland Michelevitsh. 2005. “Environmental and Social Sustainability. Methodology and Toolkit: Various Approaches.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July.

212

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

FAO (Food and Agriculture Organization of the United Nations). 1997. “Rapid Rural Appraisal.” In Marketing Research and Information Systems Marketing and Agribusiness. Rome. http://www.fao.org/docrep/W3241E/w3241e09.htm. Fetterman, David M. 2001. Foundations of Empowerment Evaluation. Thousand Oaks, CA: Sage Publications. Fetterman, David M., S. Kaftarian, and A. Wandersman, eds. 1996. Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability. Thousand Oaks, CA: Sage Publications. Fetterman, David M., and Abraham Wandersman. 2004. Empowerment Evaluation Principles in Practice. New York: Guilford Publications. ———. 2007. “Empowerment Evaluation: Yesterday, Today, and Tomorrow.” American Journal of Evaluation 28 (2):179–98. http://homepage.mac.com/profdavidf/documents/EEyesterday.pdf. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson. Gariba, Sulley. 1998. “Participatory Impact Assessment: Lessons From Poverty Alleviation Projects in Africa.” in Knowledge Shared: Participatory Evaluation in Development Cooperation, ed. Edward T. Jackson and Yussuf Kassam, 64–81. Bloomfield, CT: Kumarian Press. Gill, M., and A. Spriggs. 2002. The Development of Realistic Evaluation Theory through the Evaluation of National Crime Prevention Programmes. http://www.evaluationCa-na-đa/distribution/20021010_gill_martin_spriggs_angela. pdf. Glass, Gene V., and Mary Lee Smith. 1979. “Meta-Analysis of Research on Class Size and Achievement.” Educational Evaluation and Policy Analysis 1 (1): 2–16. Hirschheim, R., and S. Smithson. 1988. “A Critical Analysis of Information Systems Evaluation.” In IS Assessment: Issues and Changes, eds. N. Bjorn-Andersen and G. B. Davis. Amsterdam: North-Holland. ISO (International Organization for Standardization). 1999. Environmental Management: Performance Evaluation Guidelines. ISO 14301, Geneva. Johnston, Timothy, and Susan Stout. 1999. Investing in Health: Development in Health, Nutrition, and Population Sector. World Bank, Operations Evaluation Department, Washington, DC. http://wbln0018.worldbank.org/oed/oeddoclib.nsf/6e14e487e87320f78525680800 6a001a/daf8d4188308862f852568420062f332/US$FILE/HNP.pdf. Khon Kaen University. 1987. Proceedings of the 1985 International Conference on Rapid Rural Appraisal. Rural Systems Research and Farming Systems Research Projects, Khon Kaen, Thailand. Kretzmann, John P., John L. McKnight, and Deborah Puntenney. 1996. A Guide to Massing Local Business Assets and Modulizing Local Business Capabilities. Skokie, IL: ACTA Publications. Kudat, Ayse, and Bykebt Ozbilgin. 1999. Azerbaijan Agricultural Development and Credit Program.

Phương pháp Tiếp cận Đánh giá

213

http://lnweb18.worldbank.org/ESSD/sdvext.nsf/61ByDocName/Azerbaijan AgriculturalDevelopmentandCreditProject/US$FILE/AzerbaijanAgricultural DevelopmentandCreditProject424KbPDF.pdf. Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Washington, DC: World Bank. Light, R. J., and D. B. Pillemer. 1984. Summing Up: The Science of Reviewing Research. Cambridge, MA: Harvard University Press. Mertens, D. 1999. “Inclusive Evaluation: Implications of Transformative Theory for Evaluation.” American Journal of Evaluation 20 (1): 1–14. Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper 307, World Bank, Washington, DC. http:// www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/1996/ 04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. Nay, J., and P. Kay. 1982. Government Oversight and Evaluability Assessment. Lexington, MA: Heath. OECD (Organisation for Economic Co-operation and Development). 1997. Searching for Impact and Methods: NGO Evaluation Synthesis Study. Development Assistance Committee, Paris. http://www.eldis.org/static/DOC5421.htm. Patton, Michael Q. 1990. Qualitative Evaluation and Research Methods. 2nd ed. Thousand Oaks, CA: Sage Publications. ———. 1997. Utilization-Focused Evaluation: The New Century Text. Thousand Oaks: CA: Sage Publications. ———. 1997. “Toward Distinguishing Empowerment Evaluation and Placing It in a Larger Context.” Evaluation Practice 18 (2):147–63. ———. 2002. Qualitative Evaluation and Research Methods, 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2008. Utilization-Focused Evaluation. 4th ed. Thousand Oaks, CA: Sage Publications. Paulmer, Hubert E. 2005. “Evaluation Guidelines of International Development Aid Agencies: A Comparative Study.” International Rural Planning and Development, School of Environmental Design and Rural Development, University of Guelph, Ontario. Pawson, Ray, and Nick Tilley. 2004. “Realistic Evaluation.” In Encyclopaedia of Evaluation, ed. Sandra Matthieson, 359–67. Thousand Oaks, CA: Sage Publications. Picciotto, Robert. 2007. “The New Environment for Development Evaluation.” American Journal of Evaluation 28: 509–21. Preskill, Hallie, and Darlene Russ-Eft. 2005. Building Evaluation Capacity: 72 Activities for Teaching and Training. Thousand Oaks, CA: Sage Publications. Salmen, Lawrence F. 1999. Beneficiary Assessment Manual for Social Funds. World Bank, Social Protection Team Human Development Network, Washington, DC. http:// lnweb18.worldbank.org/ESSD/sdvext.nsf/07ByDocName/Beneficiary AssessmentManualforSocialFunds/US$FILE/ percent5BEnglish percent5D+ Beneficiary+Assessment+Manual.pdf.

214

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Sanders, J. R. 1997. “Cluster Evaluation.” In Evaluation for the 21st Century: A Handbook, eds. E. Chelimsky and W. R. Shadish Jr., 396–401. Thousand Oaks, CA: Sage Publications. Scrimshaw, N., and G. R. Gleason. 1992. Rapid Assessment Procedures: Qualitative Methodologies for Planning and Evaluation of Health Related Programs. Boston: International Nutrition Foundation for Developing Countries. Scriven, Michael. 1972a. “Objectivity and Subjectivity in Educational Research.” In Philosophical Redirection Educational Research: The Seventy-First Yearbook of the National Society for the Study of Education, ed. L. G. Thomas. Chicago: University of Chicago Press. ———. 1972b. “Pros and Cons about Goal-Free Evaluation.” Evaluation Comment 3: 1–7. ———. 1991. Evaluation Thesaurus. 4th. ed. Thousand Oaks, CA: Sage Publications. Smith, M. F. 1989. Evaluability Assessment: A Practical Approach. Boston: Kluwer Academic Press. Smith, Mary Lee, and Gene V. Glass. 1980. “Meta-Analysis of Research on Class Size and Its Relationship to Attitudes and Instruction.” American Educational Research Journal 17: 419–33. Smith, Nick L., and Paul R. Brandon, eds. 2007. Fundamental Issues in Evaluation. New York: Guilford Press. Smutylo, Terry. “The Output Outcome Downstream Impact Blues.” http://www.idrc.ca/en/ev-65284-201-1-DO_TOPIC.html. Thiele, G., A. Devaux, C. Velasco, and D. Horton. 2007. “Horizontal Evaluation: Fostering Knowledge Sharing and Program Improvement within a Network.” American Journal of Evaluation 28 (4): 493–508. Thiele, G., A. Devaux, C. Velasco, and K. Manrique. 2006. “Horizontal Evaluation: Stimulating Social Learning among Peers.” International Potato Center, Papa Andina Program, Lima, Peru. Draft of May 18. http://www.dgroups.org/groups/pelican/docs/Hor_Evaln_18_05.doc?ois=no. Tilley, Nick. 2000. Realistic Evaluation: An Overview. Paper presented at the Founding Conference of the Danish Evaluation Society, Nottingham Trent University, September. http://www.danskevalueringsselskab.dk/pdf/Nick percent20Tilley.pdf. Turpin, R. S., and J. M. Sinacore, eds. 1991. Multisite Evaluations. New Directions for Program Evaluation No. 50. San Francisco, CA: Jossey-Bass. U.S. GAO (General Accounting Office) 1990. Prospective Evaluation Methods: The Prospective Evaluation Synthesis. Washington, DC. http://www.gao.gov/special.pubs/10_1_10.PDF. ———. 1992. The Evaluation Synthesis. Washington, DC. http://www.gao.gov/special.pubs/pemd1012.pdf. Wandersman, A., J. Snell-Johns, B. E. Lentz, D. M. Fetterman, D. C. Keener, M. Livet, P. S. Imm, and P. Flaspoler. 2005. “The Principles of Empowerment Evaluation.” In Empowerment Evaluation Principles in Practice, eds. D. M. Fetterman and A. Wandersman, 27–41. New York: Guilford. Wholey, J. S. 1987. “Evaluability Assessment: Developing Program Theory.” In Using Program Theory in Evaluation, ed. L. Bickman, 77–92. New Directions for Program Evaluation No. 33. San Francisco: Jossey-Bass.

Phương pháp Tiếp cận Đánh giá

215

Wholey, J. S., H. P. Hatry, and K. E. Newcomer, eds. 1994. Handbook of Practical Program Evaluation. San Francisco: Jossey-Bass. World Bank. 1996. World Bank Participation Sourcebook. Washington, DC. http://www.worldbank.org/wbi/sourcebook/sba108.htm#D. ———. 2004. “Social Assessment.” In Turning Bureaucrats into Warriors. 135–38. Washington, DC. http://www.worldbank.org/afr/aids/gom/manual/GOM-Chapter percent2024 .pdf.

Trang Web Equator Principles. http://www.equator-principles.com/, http://www.ifc.org/ifcext/equatorprinciples.nsf/Content/ThePrinciples. Frechtling, Joy, and Laure Sharp Westat, eds. 1997. User-Friendly Handbook for MixedMethod Evaluations. Washington, DC: National Science Foundation. http://www.nsf. gov/pubs/1997/nsf97153/start.htm. IFC (International Finance Corporation). Environmental and Social Policies and Guidelines. http://www.ifc.org/ifcext/enviro.nsf/Content/PoliciesandGuidelines. ISO (International Organization for Standardization). ISO 14031. http://www.iso .org/iso/catalogue_detail?csnumber=23149, http://www.iso-14001.org.uk/ iso-14031.htm, and http://www.altech-group.com/ftp/EPEarticle.pdf. IUCN (World Conservation Union). Sustainability Assessment. http://www.iucn .org/themes/eval/search/iucn/sustassess.htm. World Bank. 2009. Social Analysis. http://web.worldbank.org/WBSITE/ EXTERNAL/TOPICS/EXTSOCIALDEVELOPMENT/EXTSOCIALANALYSIS/ 0,,menuPK:281319~pagePK:149018~piPK:149093~theSitePK:281314,00.html. Đánh giá nhóm AusAid. 2004. Governance in PNG: A Cluster Evaluation of Three Public Sector Reform Activities. Evaluation and Review Series 35, Sydney. http://www.ausaid .gov.au/publications/pdf/governance_in_png_qc35.pdf. Đánh giá Trao quyền Empowerment Evaluation Blog. http://www.eevaluation.blogspot.com/. Đánh giá Môi trường và Xã hội Lanco Amarkantak Thermal Power. Environmental & Social Review. Report prepared for the IFC Board of Directors. http://www.ifc.org/ifcext/spiwebsite1 .nsf/1ca07340e47a35cd85256efb00700ceeC126975A64D3306E852572A0004807BD.

216

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thẩm định Khả năng Đánh giá Lewin Group. 1997. An Evaluability Assessment of Responsible Fatherhood Programs. http:// fatherhood.hhs.gov/evaluaby/intro.htm. Đánh giá tổng hợp Kruse, S. E., T. Kyllönen, S. Ojanperä, R. C. Riddell, and J. Vielaj. Searching for Impact and Methods: NGO Evaluation Synthesis Study. Institute of Development Studies, University of Helsinki. http://www.eldis.org/static/DOC5421.htm. Đánh giá dựa trên mục tiêu IFAD (International Fund for Agricultural Development). Country Program Evaluation of the People’s Republic of Bangladesh. http://www.ifad.org/evaluation/public_html/eksyst/ doc/country/pi/bangladesh/bangladesh.htm. Đánh giá không dựa trên mục tiêu Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/projectpub.html. Siêu đánh giá Campbell Collaboration Online Library. http://www.campbellcollaboration.org/frontend. aspx. Đánh giá nhiều địa bàn Australian HIV Test Evaluation Group. 1995. Multisite Evaluation of Four AntiHIV-1/HIV-2 Enzyme Immunoassays. http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve &db=PubMed&list_uids=7882108&dopt=Abstract/. SRI International. 2001. A Multisite Evaluation of the Parents as Teachers (PAT) Project. http:// policyweb.sri.com/cehs/projects/displayProject.jsp?Nick=pat. Xác định kết quả African Health Research Fellowship Program. Strengthening Leadership Capacity to Improve the Production and Use of Health Knowledge in Africa. http://www.idrc .ca/fr/ev-34425-201-1-DO_TOPIC.html. Đánh giá cùng tham gia Contra Costa Health Services. 2009. Preventing Chronic Disease: A Participatory Evaluation Approach. http://www.cchealth.org/groups/chronic_disease/guide/evaluation.php.

Phương pháp Tiếp cận Đánh giá

217

Community Integrated Pest Management. 2001. Picturing Impact: Participatory Evaluation of Community IPM in Three West Java Villages. http://www .communityipm.org/docs/Picturing percent20Impact/Picturing percent20 Impact percent20top percent20page.html. Đánh giá triển vọng Glewwe, Paul, Michael Kremer, and Sylvie Moulin. 1998. Textbooks and Test Scores: Evidence from a Prospective Evaluation in Kenya. http://www.econ.yale .edu/~egcenter/infoconf/kremer_paper.pdf. Đánh giá nhanh UNICRI (United Nations Interregional Crime and Justice Research Institute), and ACI (Australian Institute of Criminology). Global Programme against Trafficking in Human Beings, Rapid Assessment: Human Smuggling and Trafficking from the Philippines. http://www. unodc.org/pdf/crime/trafficking/RA_UNICRI.pdf. Đánh giá xã hội World Bank. 1996. “Morocco: Fez Medina Rehabilitation Project.” In World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank .org/wbi/sourcebook/sba108.htm#D. Đánh giá dựa trên mục đích sử dụng Evaluation Center, Western Michigan University. Utilization-Focused Evaluation Checklist. http://www.wmich.edu/evalctr/checklists/ufechecklist.htm.

218

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

THIẾT KẾ VÀ THỰC HIỆN

“ Không có giới hạn về mức độ phức tạp của các vấn đề, giải quyết một vấn đề có thể làm nảy sinh khó khăn cho vấn đề khác” —E. B. White

Chương 6: Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

• • • • •

Nguồn câu hỏi Loại câu hỏi Nhận diện và lựa chọn câu hỏi Xây dựng những câu hỏi chuẩn Thiết kế đánh giá

Chương 7: Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

• • • • •

Kết nối câu hỏi với thiết kế Thiết kế cho dạng câu hỏi nhân quả Thiết kế cho dạng câu hỏi mô tả Thiết kế cho dạng câu hỏi chuẩn tắc Sự cần thiết phải có những thiết kế nghiêm túc

Chương 8: Lựa chọn và xây dựng công cụ thu thập số liệu

• • • •

Chiến lược thu thập số liệu Đặc điểm của phương pháp đo lường hiệu quả Số liệu định tính và định lượng Công cụ thu thập số liệu

Chương 9: Lựa chọn chiến lược chọn mẫu

• Tổng quan về chọn mẫu • Các loại mẫu: ngẫu nhiên và phi ngẫu nhiên • Quyết định về kích thước mẫu Chương 10: Lập kế hoạch và tiến hành phân tích số liệu

• • • •

220

Chiến lược phân tích số liệu Phân tích số liệu định tính Phân tích số liệu định lượng Liên kết số liệu định tính và số liệu định lượng

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 6

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế Đây là chương đầu tiên trong số năm chương đề cập đến những bước cụ thể để thiết kế một đánh giá. Chương này sẽ thảo luận các loại câu hỏi đánh giá và giải thích khi nào sử dụng mỗi loại câu hỏi này. Chương này cũng đề cập đến cách thức làm thế nào để xây dựng và cơ cấu những câu hỏi chuẩn. Chương này có năm phần chính: • • • • •

Nguồn câu hỏi Loại câu hỏi Nhận diện và lựa chọn câu hỏi Xây dựng những câu hỏi chuẩn Thiết kế đánh giá

221

Nguồn câu hỏi Tại sao lựa chọn câu hỏi đánh giá lại quan trọng? Một trong những lý do đưa ra là chính những câu hỏi sẽ định hướng đánh giá và lựa chọn thiết kế đánh giá (chúng ta sẽ đề cập chi tiết vấn đề này trong Chương 6). Câu hỏi đánh giá là những nhân tố quan trọng hỗ trợ các cá nhân và nhóm nỗ lực, ra quyết định, và cung cấp thông tin cho công chúng. Cần phải suy nghĩ và nghiên cứu cẩn thận để hoàn tất quá trình quan trọng là tìm và định nghĩa câu hỏi cần được trả lời trong một cuộc đánh giá (Fitzpatrick, Sanders, và Worthen 2004). Các cán bộ đánh giá thường đưa ra những câu hỏi để hiểu biết thêm về dự án, chương trình hay chính sách được đánh giá. Trong quá trình xây dựng các câu hỏi, một vấn đề thường gặp là phải giả định rằng mọi người đều hiểu biết giống nhau về mục tiêu can thiệp. Chẳng hạn, nếu câu hỏi đưa ra là “Chương trình có hỗ trợ người tham gia hay không?” thì các bên tham gia vào đánh giá có thể hiểu từ hỗ trợ và người tham gia khác nhau. Chính sự nhất quán về lý thuyết thay đổi, đã được đề cập đến trong chương trước, mới khắc phục được vấn đề này. Fitzpatrick, Sanders, và Worthen (2004) đưa ra một số định hướng để những người đánh giá áp dụng nhằm có được những quan điểm khác nhau: • • • •

câu hỏi, sự quan tâm, và giá trị của các bên liên quan Mô hình đánh giá Khuôn khổ và cách tiếp cận, gồm cả cách tiếp cận phỏng đoán (thử và lỗi) Những phát hiện của nghiên cứu và đánh giá và những vấn đề quan trọng được đưa ra trong phần lý thuyết • các tiêu chuẩn về chuyên môn, bản liệt kê những mục cần kiểm tra, hướng dẫn, công cụ hay các tiêu chuẩn để xây dựng và sử dụng với nhiều mục đích khác nhau • quan điểm và kiến thức của chuyên gia tư vấn • đánh giá chuyên môn riêng của người đánh giá. Chương 4 đã đề cập đến nhận diện và làm việc với các bên liên quan để có được quan điểm của những người này về những vấn đề mà họ cho là quan trọng trong dự án đánh giá. Chương này cũng đề cập đến tầm quan trọng của việc xem xét lại những nghiên cứu và lần đánh giá trước để nhận diện ra vấn đề đánh giá. Trọng tâm nhấn mạnh vào xây dựng và sử dụng mô hình lý thuyết thay đổi để tìm ra lĩnh vực trọng tâm của đợt đánh. Các câu hỏi được đưa ra từ những giả định ẩn trong mô hình. Hình 6.1 cho thấy các loại câu hỏi đánh giá cần được hỏi tại những thời điểm khác nhau trong chuỗi quan hệ. Câu hỏi chung ở cuối hình cho thấy những câu hỏi mang tính cung cấp thông tin có thể thu được từ các hoạt động hoặc kết quả còn các câu hỏi mang tính tổng quát được lấy từ kết quả trung và dài hạn. 222

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 6.1

Sử dụng khung logic để lập khuôn khổ câu hỏi đánh giá

Lĩnh vực kiểm soát nội bộ dành cho tổ chức

Đầu vào (nguồn)

Hoạt động

Kết quả hướng tới người thụ hưởng trực tiếp

Đầu ra

Lĩnh vực ảnh hưởng bên ngoài đối với tổ chức

Kết quả ngắn hạn trực tiếp

Kết quả trung hạn (gián tiếp)

Kết quả dài hạn

Nhân tố bên ngoài

Đánh giá mang tính thông tin

và/hoặc

Những người Khía cạnh nào định Đánh giá về tham gia nhận hình quá trình thực những kết được những gì quả thu hiện? trong quá trình được từ hoạt động thực hiện sáng tại cộng đồng? kiến đào tạo phát triển cộng đồng?

Tổng quát Chúng ta học hỏi được những gì từ thực hiện hoạt động này trong cộng đồng tương tự?

Các câu hỏi thu được từ kết quả ngắn hạn vừa là câu hỏi mang tính thông tin và vừa là câu hỏi mang tính tổng quát.Các câu hỏi thường bắt đầu từ những giả định chính đưa ra trong mô hình logic đề cập đến cách thức hoạt động của chương trình và lợi ích đạt được của các kết quả đầu ra. Các câu hỏi cũng được đưa ra từ các quan điểm nghiên cứu từ những lần đánh giá trước hay những chương trình tương tự, cũng như quan điểm khác nhau của các bên liên quan đến dự án, chương trình, chính sách, như đã đề cập trong chương 4.

Các loại câu hỏi Nhiều câu hỏi cần được xem xét trong quá trình lập kế hoạch và đánh giá. Tất cả các câu hỏi này cần phải được định nghĩa rõ ràng để đo lường được. Các câu hỏi được nhóm thành ba loại: câu hỏi mô tả, câu hỏi chuẩn tắc và câu hỏi nhân quả. Loại câu hỏi – cùng với số liệu, thời gian và tiền bạc thực hiện đánh giá – sẽ quyết định hình thức thiết kế lựa chọn.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

223

Câu hỏi mô tả ■■ Câu hỏi

mô tả:

Câu hỏi tìm kiếm để xác định là cái gì

Câu hỏi mô tả xác định là cái gì. Các câu hỏi này có thể mô tả quá trình, điều kiện, tập hợp quan điểm hay tập hợp các quan hệ hoặc mạng lưới tổ chức. Patton (2002) coi câu hỏi mô tả chính là nền móng của dự án đánh giá. Câu hỏi mô tả: • đưa ra những hiểu biết hoặc mô tả chương trình hay quá trình • cung cấp ngắn gọn xem đó là cái gì • là những câu hỏi dễ hiểu (như ai, cái gì, ở đâu, khi nào, như thế nào và bao nhiêu) • có thể sử dụng để mô tả đầu vào, các hoạt động và đầu ra • thường sử dụng để thu thập ý kiến khách hàng của chương trình. Những ví dụ về câu hỏi mô tả: • Mục tiêu của chương trình là gì theo quan điểm của các bên liên quan khác nhau? • Những hoạt động chính của chương trình là gì? • Mọi người tham gia vào chương trình như thế nào? • Chương trình được thực hiện ở đâu? • Chương trình cung cấp những dịch vụ nào cho nam giới? Cho nữ giới? • Chương trình có tác động như thế nào đến các đối tượng tham gia? • Thiết kế của chương trình phản ánh các bài học kinh nghiệm của chương trình trước như thế nào? • Sự khác biệt giữa các vùng thực hiện chương trình khác nhau như thế nào? • Trình độ chuyên môn của nhà cung cấp dịch vụ bao gồm những gì? • Chương trình được thực hiện từ khi nào? • Có bao nhiêu phụ nữ tham gia vào chương trình? • Chi phí của chương trình này so với chi phí của các chương trình tương tự khác? • Các kênh thông tin liên lạc phi chính thức trong chương trình là gì? • Người tham gia thấy chương trình mang lại những lợi ích gì? Câu hỏi đánh giá về hoạch định chính sách thường là những câu hỏi mô tả. Rist (1994) phát hiện rằng một “chu kỳ chính sách” bao gồm ba giai đoạn, theo đó sẽ đưa ra các câu hỏi khác nhau (Bảng 6.1). Câu hỏi chuẩn tắc

■■ Câu hỏi

chuẩn tắc:

Là câu hỏi so sánh cái này với cái kia

224

Câu hỏi chuẩn tắc so sánh cái thực hiện với cái mong muốn đạt được. Những câu hỏi này so sánh hiện trạng với những mục đích, mục tiêu hay mức chuẩn

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

cụ thể. Những câu hỏi này tương tự như định hướng của những người làm trong lĩnh vực kiểm toán họat động. Các câu hỏi này thường là: • Liệu chúng ta có đang thực hiện cái mà chúng ta phải thực hiện không? • Liệu chúng ta có đạt được mục tiêu không? • Liệu chúng ta có hoàn thành được những gì mong muốn không? Nếu hệ thống đánh giá của chương trình dựa trên kết quả, với những chỉ số, mục tiêu và khung thời gian đạt được các mục tiêu, thì có thể sử dụng các câu hỏi chuẩn tắc để trả lời những câu hỏi iên quan đến đầu vào, hoạt động và kết quả đầu ra. Đôi lúc, có những chương trình có mục tiêu đặt ra nhưng lại không có chỉ số rõ ràng để xác định hay đo lường cách thức đạt được mục tiêu. Có những chương trình lại không có chỉ số hay mục tiêu. Trong những trường hợp này, người đánh giá cần phải đưa ra một số giải pháp để lựa chọn (Hộp 6.1). Việc tìm kiếm các quy chuẩn hay chỉ tiêu thường bắt đầu bằng những chỉ tiêu có sãn trong tài liệu dự án, như các quy định về pháp lý hoặc tài liệu được ban điều hành phê duyệt. Các chỉ tiêu đôi khi cũng được cụ thể hóa thành các chỉ số với những mục tiêu cụ thể nếu theo cơ chế quản lý theo kết quả. Những Bảng 6.1

Những câu hỏi định tính dùng trong các giao đoạn khác nhau của một chu kỳ chính sách

Giai đoạn

Ví dụ

Lập chính sách

• Đã làm gì để đáp ứng lại điều kiện hay vấn đề này? • Đã có những nỗ lực nào để hỗ trợ những người ra quyết định lựa chọn chính sách?

Thực thi chính sách

• Những thông tin nào liên quan đến điều kiện hoặc ván đề giúp đưa ra những gợi ý chính sách hoặc phản ứng của chương trình? • Tổ chức hoặc cơ quan đã có những nỗ lực gì để triển khai những sáng kiến đưa ra? • Những người triển khai thực hiện cần đòi hỏi những kỹ năng chuyên môn gì? • Cán bộ quản lý và cán bộ dự án đã chứng tỏ sự quan tâm như thế nào? • Hiện đang có những kiểm soát gì liên quan đến phân bổ nguồn lực? • Cơ cấu tổ chức hiện nay có phản ánh đúng nhu cầu đối với tổ chức nhằm triển khai sáng kiến đó không? • Tổ chức có những cách nào để đưa ra quyết định trong số các nhu cầu mang tính cạnh tranh? • Hiện đang vận dụng cơ chế phản hồi nào để hỗ trợ các nhà quản lý?

Trách nhiệm giải trình chính sách

• Chương trình hoặc chính sách có những điểm gì phù hợp? • Mức độ tập trung vào trách nhiệm giải trình rõ ràng như thế nào?

Nguồn: Trích dẫn từ 1994.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

225

Hộp 6.1 Đánh giá sự can thiệp mà không có tiêu chuẩn Hãy xem xét một chương trình đa lĩnh vực với những mục đích sau: • Cải thiện điểm đọc của trẻ em tại một số trường trong huyện. • Nâng cao nhận thức về HIV/AIDS và các phương pháp phòng tránh trong vùng. • Tăng số lượng doanh nghiệp vi mô trong làng, và tăng lợi nhuận. Người đánh giá cần biết chính xác những mục đích này có ý nghĩa gì (tỷ trọng trẻ em sẽ cải thiện điểm đọc, ai sẽ được cải thiện nhận thức về HIV/AIDS và làm thế nào để biết, bao nhiêu doanh nghiệp vi mô sẽ được mở rộng và mở rộng bao nhiêu?), nhưng chương trình lại không xác định mục tiêu theo các hướng đó. Vậy, người đánh giá phải làm gì trong những trường hợp này? Một phương pháp tiếp cận là làm việc trực tiếp với “người chủ” chương trình – những cán bộ chịu trách nhiệm về mặt hành chính hoặc thực hiện chương trình. Những cán bộ này cần phải chỉ rõ mức độ hoạt động mà chương trình cần đạt được. Một vấn đề cần quan tâm trong phương pháp này là một nhóm có thể không chấp nhận các tiêu chuẩn do nhóm khác đặt ra. Các cán bộ có trách nhiệm, chẳng hạn, không đồng ý với các tiêu chuẩn mà người thực hiện chương trình đề xuất. Họ có thể tranh luận rằng các mức chuẩn đưa ra là quá thấp. Một cách tiếp cận khác là đưa một hoặc một số chuyên gia vào và thống nhất các mức chuẩn áp dụng. Một vấn đề có thể gặp đối với phương pháp này là các mức chuẩn có thể phản ánh quan điểm cá nhân của chuyên gia. Nhược điểm này có thể loại bỏ bằng cách sử dụng một số chuyên gia. Trong trường hợp đó, điều quan trọng là nhóm chuyên gia phải đứng trên quan điểm trung lập về chính trị và những chuyên gia đó không có liên hệ gì với chương trình. Phương pháp yếu kém nhất và rủi ro nhất là người đánh giá đưa ra tiêu chuẩn. Có thể tránh phương pháp này, bởi nó đưa người đánh giá vào những tình huống khó khăn. Những người trong chương trình có thể tranh luận rằng các tiêu chuẩn đó là quá cao hoặc quá thấp hoặc các tiêu chuẩn đó không thể đưa ra sau khi đã thực hiện và dùng để đánh giá hoạt động. Nguồn: Tác giả.

nguồn khác hình thành tiêu chuẩn bao gồm hệ thống công nhận, hội đồng ruy băng xanh, các tổ chức chuyên môn hay các ủy ban khác. Một số ví dụ về các câu hỏi chuẩn tắc: • Liệu chúng ta có chi tiêu bằng mức đã lập ngân sách? • Liệu chúng ta có đạt đựợc mục tiêu là chấp nhận 5.000 sinh viên một năm không?

226

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Chúng ta có tiêm phòng cho 80% số trẻ em theo yêu cầu chưa? • Chúng ta có đáp ứng được mục tiêu là cung cấp nước tưới cho 100.000 ha đất không? • Liệu quá trình tuyển chọn đối tượng tham gia có công bằng và bình đẳng không? Câu hỏi nhân quả Câu hỏi nhân quả xác định sự khác biệt do can thiệp mang lại. Thường là những câu hỏi về kết quả, tác động, hay các câu hỏi về nguyên nhân, những câu hỏi này thường cố đo lường những thay đổi có được do có sự can thiệp. Câu hỏi nhân quả xác định ảnh hưởng của dự án, chương trình hay chính sách. Đó chính là những câu hỏi “rồi sao”. Câu hỏi nhân quả nhằm tìm hiểu xem liệu kết quả mong muốn của chương trình có đạt được không. Mô hình về lý thuyết thay đổi miêu tả các kết quả mong muốn và tác động của sự can thiệp, nhưng câu hỏi nhân quả có thể hoặc không thể đưa ra kết quả. Chẳng hạn, trong chương trình giới thiệu hạt giống mới và cải tiến cho nông dân, một câu hỏi kết quả có thể là liệu sản lượng lúa có tăng lên không. Như đã đề cập, đây có thể là một câu hỏi mô tả - nếu hỏi, một cách đơn giản, là sản lượng tăng bao nhiêu? Nếu người đánh giá hỏi xem liệu vụ mùa có tăng thêm do chương trình mang lại hay không – và nếu không tăng, chẳng hạn như do thời tiết không lý tưởng cho trồng trọt – thì câu hỏi đó lại rõ ràng là câu hỏi nhân quả. Câu hỏi nhân quả ẩn chứa một sự so sánh về hoạt động với một hoặc nhiều hơn chỉ số/phương pháp đo lường không chỉ với trước và sau khi có sự can thiệp mà còn có và không có sự can thiệp. Những ví dụ về câu hỏi nhân quả bao gồm:

■■ Câu hỏi

nhân quả: Là những câu hỏi xác định sự khác biệt do can thiệp mang lại

• Chiến lược quan hệ đối tác của ba nước nhằm bảo vệ sự đa dạng sinh học mà vẫn duy trì đời sống người dân có mang lại hiệu quả không? • Người tham gia vào chương trình đào tạo nghề có được trả cao hơn mức họ đã được trả không? • Chương trình doanh nghiệp vi mô có giúp giảm tỷ lệ nghèo đói trong vùng hoạt động không? • Tăng thuế xăng dầu có giúp cải thiện chất lượng không khí không? • Tăng mức phạt tài chính của chính phủ đối với các doanh nghiệp vi phạm có làm giảm ỷ lệ trẻ em chưa đến tuổi lao động làm việc trong ngành may mặc không không? • Các tác động khác hay tác động một chiều (tích cực hoặc tiêu cực) mà sự can thiệp mang lại cho cộng đồng là gì?

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

227

Người đánh giá cần phải đặt những câu hỏi dưới hình thức quan hệ nhân quả. Do nhiều hoạt động cùng diễn ra một lúc, nên rất khó để chứng minh các kết quả là duy nhất, hoặc ít nhất là chiếm đa số, kết quả của sự can thiệp. Khi đưa ra những thiết kế nhằm trả lời câu hỏi dạng nhân quả, các nhà đánh giá cần quan tâm nhiều đến bỏ bớt những phần giải thích bất cứ thay đổi nào có thể đo lường được. Chương 7 sẽ tập trung thảo luận những thiết kế đựoc sử dụng để trả lời các câu hỏi nhân quả và xem xét các hình thức phân tích cần thiết góp phần vào quan hệ nhân quả. Do trả lời câu hỏi nhân quả khó hơn nhiều so với câu hỏi mô tả hoặc câu hỏi chuẩn tắc, nên quan trọng nhất là đảm bảo rằng dự định và cần thiết sử dụng dạng câu hỏi này. Nhiều đánh giá chỉ sử dụng câu hỏi mô tả hoặc câu hỏi chuẩn tắc, nhất là những đánh giá mang tính cung cấp thông tin và chỉ tập trung vào thực hiện một sự can thiệp nào đó. Những đánh giá tác động thường hỏi những câu hỏi nhân quả, nhưng thường cũng dùng cả những câu hỏi mô tả và câu hỏi chuẩn tắc. Hộp 6.2 minh họa cách thức làm thế nào để đưa các dạng câu hỏi khác nhau vào một đánh giá.

Hộp 6.2 Đánh giá chính sách và sự can thiệp thông qua sử dụng câu hỏi và trả lời câu hỏi Cải thiện chăm sóc sức khỏe dự phòng Chính sách: Bảo đảm tất cả trẻ em đề được chăm sóc sức khỏe dự phòng. Mục đích: Giảm tỷ lệ tử vong sơ sinh và mẫu giáo. Các câu hỏi đánh giá: 1. Tỷ lệ phần trăm trẻ em được chăm sóc sức khỏe dự phòng kể từ khi bắt đầu thực hiện chương trình? (câu hỏi mô tả) 2. Nhóm hưởng lợi là trẻ em có thu nhập có được chăm sóc sức khỏe dự phòng không? (câu hỏi chuẩn tắc) 3. Tỷ lệ chết thô trẻ em có giảm sau khi thực hiện chương trình hay không? (câu hỏi nhân quả) Đào tạo cho học sinh trung học về thị trường việc làm Chính sách: Bảo đảm các trường trung học cùng dạy kiến thức và kỹ năng cần thiết để làm việc tại thị trường trong nước. Mục đích: Bảo đảm rằng học sinh tốt nghiệp có được việc làm có kỹ năng và trả lương tương đối.

228

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Câu hỏi đánh giá 1. Có bao nhiêu trường trung học chuẩn bị cho sinh viên tìm kiếm việc làm tại thị trường trong nước? (câu hỏi mô tả) 2. Sau 1 năm, những sinh viên này có được trả lương cao hơn những sinh viên đã ra khỏi chương trình hay không? (câu hỏi mô tả) 3. Các trường trung học ra quyết định dựa vào thị trường về những lĩnh vực đào tạo ở những khía cạnh nào? (câu hỏi chuẩn tắc) 4. Những học sinh tốt nghiệp kiếm được nhiều hơn bao nhiêu so với không tham gia vào chương trình? Chương trình tiêm chủng bệnh sởi miễn phí Can thiệp: Các phòng khám gia đình tiêm chủng miễn phí bệnh sởi cho tất cả trẻ em dưới 5 tuổi tại ba vùng của một nước trong vòng 1 năm. Câu hỏi đánh giá: 1. Các phòng khám tiếp cận các phụ huynh để thông báo về chương trình tiêm chủng miễn phí cho trẻ em như thế nào? (câu hỏi mô tả) 2. Năm ngoái, chương trình có đáp ứng được mục tiêu đặt ra là tiêm phòng bệnh sởi cho 100% trẻ em ở độ tuôỉ dưới 5 tại ba vùng hay không? (câu hỏi chuẩn tắc) 3. Chương trình có áp dụng các phương pháp tiên tiến để tiếp cận với những trẻ em có nguy cơ mắc bệnh hay không? (câu hỏi mô tả) 4. Liệu tỷ lệ trẻ em mắc bệnh sởi có giảm sau khi thực hiện chương trình hay không? (câu hỏi nhân quả) 5. Tỷ lệ chết do các bẹnh về sởi ở trẻ em có giảm sau khi thực hiện chương trình không? (câu hỏi nhân quả) Giới thiệu chương trình học dựa vào thị trường Can thiệp: Ba trường trung học tại ba thành phố áp dụng chương trình học dựa vào thị trường. Câu hỏi đánh giá: 1. Chương trình học của các trường không tham gia khác chương trình này như thế nào? (câu hỏi mô tả) 2. Chương trình có dựa vào thị trường theo đúng yêu cầu hay không? (câu hỏi chuẩn tắc) 3. Học sinh tốt nghiệp những trường này có kiếm được những công việc được trả hậu hĩnh không? (câu hỏi mô tả) 4. Sau khi có can thiệp, liệu các học sinh tốt nghiệp từ những trường áp dụng chương trình học dựa vào thị trường có được trả lương cao hơn mức bình thường hay không? (câu hỏi nhân quả) Nguồn: Các tác giả.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

229

Quan hệ giữa các loại câu hỏi và nguyên lý về sự thay đổi Các loại câu hỏi có phù hợp với nguyên lý về sự thay đổi đã được thảo luận trong chương trước không? Những câu hỏi như liệu các mục tiêu đầu vào và đầu ra của chương trình có đạt được hay không thường là câu hỏi chuẩn tắc: Ngân sách có được dùng để mua sắm những hàng hóa và cung cấp dịch vụ trong một khoảng thời gian xác định không? Những câu hỏi liên quan đến việc đạt được những mục tiêu cũng là câu hỏi chuẩn tắc. Câu hỏi liên quan đến điểm đọc tăng lên như thế nào cũng là câu hỏi mô tả; câu hỏi xem liệu điểm đọc có tăng lên theo đúng những mục tiêu mà nhà quản lý chương trình đặt ra hay không là câu hỏi chuẩn tắc. Những câu hỏi để kiếm chứng quan hệ đặt trong mô hình nguyên lý về sự thay đổi Những câu hỏi kiểm chứng quan hệ trích dẫn trong mô hình nguyên lý về sự thay đổi, do một can thiệp nào đó, mang lại lợi ích là câu hỏi dạng nhân quả. Những câu hỏi về lợi ích mang lại này dẫn đến những kết quả hoặc tác động trung gian cũng là câu hỏi nhân quả. Thông thường, những câu hỏi về sự thay đổi kết quả đầu ra thường hoặc là câu hỏi mô tả hoặc là câu hỏi nhân quả với từ ngữ nghèo nàn. Nếu mang nghĩa là câu hỏi nhân quả thì những câu hỏi này cần phải được viết lại để chỉ ra rằng câu hỏi không chỉ nhằm tìm hiểu những thay đổi nào đã diễn ra mà còn tìm hiểu những thay đổi đó góp phần vào tác động như thế nào (điều này có nghĩa sự thay đổi là lớn hơn nếu không có sự can thiệp). Các kết quả và tác động khác cũng tượng trưng cho sự can thiệp, như đã đề cập trong nguyên lý về sự thay đổi.

Nhận biết và lựa chọn câu hỏi Nhà đánh giá quyết định đặt bao nhiêu câu hỏi trong số các câu hỏi tiềm năng như thế nào? Cronbach (1982) đề xuất sử dụng hai giai đoạn để nhận biêt và lựa chọn câu hỏi, đó là giai đoạn phân kỳ và giai đoạn hội tụ. Giai đoạn phân kỳ ■■ Giai đoạn

phân kỳ:

Là giai đoạn trong một đánh giá trong đó người đánh giá sẽ xây dựng một danh mục tổng thể những câu hỏi và quan tâm quan trọng

230

Trong giai đoạn phân kỳ, người đánh giá sẽ xây dựng một danh mục tổng thể nhứng câu hỏi và quan tâm quan trọng. Một số ít câu hỏi sẽ bị loại bỏ bớt, nhiều câu hỏi khác sẽ được đưa ra tham vấn. Cronbach (1982) tóm tắt giai đoạn phân kỳ của dự án đánh giá lập kế hoạch như sau: Bước đầu tiên là gợi mở đầu óc thông qua các câu hỏi giải trí ít nhất là giới thiệu bối cảnh điều tra. Chính giai đoạn này sẽ hình thành nên luật đánh giá, số liệu cần thu thập, phân tích lý do và đánh giá. Rất ít thông tin và phân tích trong giai đoạn này là định lượng. Số liệu chủ yếu được thu thập qua thảo luận Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

chính thức, quan sát nguyên nhân, và xem xét số liệu hiện có. Các phương pháp tự nhiên và định lượng đặc biệt thích hợp với công việc này bởi, theo quan điểm của những người tham gia và các bên có quan tâm, những phương pháp này giúp người đánh giá nhận biết được sự hy vọng và những rủi ro có thể do vấn đề chính sách Người đánh giá cố gắng tìm hiểu chương trình theo quan điểm của các bên khác nhau trong quá trình ra quyết định tại cộng đồng, kể cả các nhà chuyên môn vận hành chương trình nếu chương trình đó được áp dụng và những người dân được chương trình phục vụ.

Tại một số thời điểm trong đánh giá, có thể sẽ không có thêm câu hỏi mới nào. Khi đó, người đánh giá cần dừng lại và kiểm tra lại danh mục câu hỏi và bắt đầu bố trí lại các câu hỏi này. Giai đoạn hội tụ Trong giai đoạn hội tụ, người đánh giá cần thu hẹp danh mục các câu hỏi tạo ra trong giai đoạn phân kỳ để nhận diện được những câu hỏi quan trọng nhất. Vậy người đánh giá làm thế nào để xác định câu hỏi nào là quan trọng nhất? Fitzpatrick, Sanders, và Worthen (2004) đã đề xuất những tiêu chí sau đây để xác định xem câu hỏi đánh giá nào cần được đưa vào: • Ai sẽ sử dụng thông tin? Ai muốn biết? Ai sẽ thất vọng nếu những câu hỏi đánh giá này bị loại bỏ? • Liệu câu trả lời có giảm độ không chắc chắn hoặc cung cấp những thông tin mà hiện nay chưa có hay không? • Câu trả lời có mang lại thông tin quan trọng không? Nó có tác động đến hiện tượng không? • Câu hỏi này có đơn thuẩn chuyển sự quan tâm sang người khác không hay nó tập trung vào một không gian cụ thể? • Phạm vi hay tính tổng thể của đánh giá có bị hạn chế bớt nếu bỏi bớt câu hỏi hay không? • Liệu có khả thi để trả lời cầu hỏi này không, với những điều kiện về nhân lực và vật lực, thời gian, phương pháp và công nghệ?

■■ Giai đoạn

hội tụ:

Là giai đoạn của quá trình đánh giá trong đó người đánh giá thu hẹp danh sách các câu hỏi được tạo ta trong giai đoạn phân kỳ nhằm nhân biết nhwungx câu hỏi quan trọng nhất

Danh mục những tiêu chuẩn này có thể được đưa vào một ma trận để người đánh giá và khách hàng thu hẹp danh mục câu hỏi gốc theo hướng có thể thực hiện được (Bảng 6.2) Người đánh giá cần quan tâm đặc biệt đến những câu hỏi mà khách hàng và các bên tham gia đưa ra. Nếu có sự không nhất quán về câu hỏi, thì thông thường phải tìm ra giải pháp để giải quyết ngay khi bắt đầu. Quá trình đó giúp người đánh giá và khách hàng, cũng như các bên tham gia khác, hình thành nên ý nghĩa sở hữu hay quan hệ đối tác vốn mang lại giá trị lớn trong những giai đoạn sau của đánh giá. Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

231

Bảng 6.2

Ma trận lựa chọn và xếp hạng câu hỏi đánh giá Câu hỏi đánh giá

Liệu câu hỏi đánh giá có

được đối tượng chính quan tâm? giảm tính không chắc chắn hiện nay? mang lại thông tin quan trọng? mang tính liên tục (not ﬂeeting) quan trọng đối với phạm vi và tính tổng thể của nghiên cứu? có tác động đến hiện tượng? trả lời được với những điều kiện về nhân lực, vật lực, thời gian, phương pháp, và công nghệ sẵn có? Nguồn: Trích dẫn từ Fitzpatrick, Sanders, và Worthen 2004.

Xây dựng những câu hỏi chuẩn Để xâu dựng những câu hỏi chuẩn, người đánh giá cần bắt đầu bằng việc nhân diện những vấn đề chính sẽ được dự án, chương trình, hoặc chính sách đó giải quyết. Như đã lưu ý ở phần trên, những vấn đề chính, nói chung, sẽ được nhận biết thông qua xem xét lại những nghiên cứu có liên quan, gồm cả những đánh giá của các chương trình tương tự, nguyên lý về sự thay đổi và các tài liệu dự án, cũng như các buổi thảo luận với các bên tham gia trong chương trình và những nhà tài trợ cho đánh giá. Những ví dự về vấn đề chính mà chương trình hướng tới giảm tỷ lệ chết thô sơ sinh có thể bao gồm: • những nguyên nhân của mức chết thô sơ sinh • những chương trình mang tính cạnh tranh hiện đang được thực hiện • tính hiệu quả của những phương pháp áp dụng để tiếp cận với bà mẹ có thu nhập thấp • phạm vi và bản chất của sử dụng thức ăn bổ sung với mục đích không tính trước. Khi đã nhận biết được những vấn đề này, ngưoiừ đánh giá cần đưa ra những câu hỏi giúp xác định xem liệu chính sách hay sự can thiệp có tác động đến những những vấn đề này không. Câu hỏi mẫu để tìm hiểu vấn đề này bao gồm: • Chương trình đã áp dụng phương pháp tiếp cận nào?

232

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Phương pháp tiếp cận nào có hiệu quả nhất? • Tỷ lệ mắc những bệnh đe dọa cuộc sống trẻ sơ sinh trong quá trình thực hiện chương trình là bao nhiêu? • Tỷ lệ chết đã giảm bao nhiêu? • Những phương pháp đã được áp dụng để cải thiện sức khỏe của bà mẹ mang thai? Cần nên tránh những câu hỏi có nhiếu hơn một vấn đề - chẳng hạn như “bao nhiêu phụ nữ được kiểm tra sức khỏe và bổ sung dinh dưỡng?”. Thay vào đó, những câu hỏi này phải được tách thành hai câu hỏi (“bao nhiêu phụ nữ được kiểm tra sức khỏe? bao nhiêu phụ nữ được bổ sung dinh dưỡng?”). Những câu hỏi về một vấn đề có thể được trả lời bằng cách dùng ba loại câu hỏi và chỉnh lại từ ngữ. Chẳng hạn, đánh giá chương trình hướng tới giảm tỷ lệ thương vong và chết chóc do khám phá bom mìn có thể hỏi những câu hỏi sau: • Bom mìn có nhiều nhất ở đâu? (mô tả) • Dự án có tiếp cận được mục tiêu xóa bỏ 1000 quả bom trong vùng trong một thời gian nhất định không? (chuẩn tắc) • Số người bị thương hoặc chết từ phá bom mìn có giảm khi có tác động không (nhân quả) Những đề xuất sau đây có thể hỗ trợ người đánh giá đưa ra những câu hỏi tốt hơn. • Hình thành mối liên kết rõ ràng giữa câu hỏi đánh giá với mục đích nghiên cứu. • Đảm bảo rằng những câu hỏi đánh giá sẽ giả quyết được những vấn đề đáng quan tâm nhất. • Chắc chắn rằng những câu hỏi đó có thể trả lời được. • Đưa ra một số những câu hỏi thực tế. • Tập trung vào những câu hỏi quan trọng. • Đảm bảo rằng những câu hỏi này là có thể trả lời được trong điều kiện về khuôn khổ thời gian và nguồn lực dành cho đánh giá. • Để ý tới thời gian của đánh giá tương ứng với chu kỳ dự án. Chẳng hạn, thời điểm để trả lời tốt nhất những câu hỏi về tác động là sau khi thực hiện được dự án được vài năm. Câu hỏi đánh giá có thể liên quan đến một dự án, một chương trình, một vấn đề tiếp cận chính sách chung, một chính sách cụ thể, hay một sự tác động có gắn với chính sách cụ thể. Chẳng hạn, sự quan tâm chung (vấn đề về chính sách) là giảm tỷ lệ nghèo đói, thì có thể thực hiện một số can thiệp. Mỗi chính sách sẽ được cụ thể bằng hành động thông qua những can thiệp được thiêt skế để đạt được những mục tiêu cụ thể. Cuối cùng, nếu thực hiện có hiệu quả

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

233

những chính sách và sự can thiệp đó và nếu nguyên lý về sự thay đổi là đúng, thì có thể đạt được các kết quả chung. Nếu không, thì cần xem xét cả chính sách và sự can thiệp đó. Một trong hai cái đó cần được thay đổi.

Thiết kế đánh giá Tương tự như các nhà kiến trúc thiết kế công trình, người đánh giá cần thiết kế một cuốc đánh giá. Thiết kế đánh giá là kế hoạch để đưa những gì cần thiết vào trong đựt đánh giá. Đây không phải là kế hoạch làm việc của nghiên cứu. Một thiết kế đánh giá bao gồm • • • •

vấn đề chính hoặc câu hỏi đánh giá chính phương pháp tiếp cận đánh giá chung câu hỏi đánh giá cụ thể hoạt động hóa (phương pháp đo lường và chỉ số), nguồn dữ liệu, và chiến lược tiếp cận sử dụng các loại thông tin thu thập được • kế hoạch phân tích • chiến lược truyền bá. Patton (1997) phân biệt hai loại vấn đề thiết kế: vấn đề lý thuyết và vấn đề kỹ thuật. Vấn đề lý thuyết tập trung vào cách mọi người nghĩa về đánh giá. Những vấn đề này bao gồm xác định mục đích của đánh giá và những người liên quan chính, và những vấn đề về chính trị cũng cần được quan tâm. Những vấn đề kỹ thuật quan tâm đến kế hoạch thu thập và phân tích dữ liệu. Những vấn đề kỹ thuật này là trọng tâm của ma trận thiết kế mà đánh giá nào cũng cần phải tập trung xây dựng. Với mỗi câu hỏi chính và câu hỏi cụ thể hơn, ma trận thiết kế đòi hỏi: • xác định loại câu hỏi và câu hỏi nhỏ (mô tả, chuẩn tắc, nhân quả) • cụ thể hóa phương pháp (chỉ số hay biến số) mà câu hỏi hay câu hỏi hỏi nhỏ trả lời (chẳng hạn, tỷ lệ tăng trưởng nhà ở địa phương hay số lượng trẻ em được tiêm phòng) • nhận diện phương pháp thiết kế để mang lại thông tin phù hợp khi trả lời các câu hỏi mô tả, chuẩn tắc và nhân quả • nhận biết nguồn dữ liệu cho mỗi loại câu hỏi lớn và câu hỏi nhỏ • xác định xem liệu có cần phương pháp lấy mẫu không và nếu cần thì sử dụng phương pháp nào • nhận biết loại công cụ dùng để thu thập dữ liệu và công cụ dùng cho mỗi câu hỏi lớn và câu hỏi hỏi nhỏ • nhận biết xem dữ liệu được phân tích và trình bày như thế nào.

234

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đôi lúc, phương pháp trả lời câu hỏi là một chỉ số đã nhất quán, đã được ấn định mục tiêu và thời gian cụ thể. Đây là tình huống lý tưởng nhất; đó là trường hợp khi khuôn khổ giám sát và đánh giá đã được xay dựng cho sự can thiệp hoặc sự can thiệp là một phần trong hệ thống giám sát lớn của một bộ hoặc một lĩnh vực. Cho dù mục tiêu có được đưa ra hay không thì cũng phải chỉ rõ có hay không có điều tra cơ sở. Ma trận đánh giá hoàn chỉnh được trình bày trong thiết kế đánh giá. Đây không phải là kế hoạch làm việc hoàn chỉnh: nó không chỉ ra tất cả nhiệm vụ hoặc nhận biết ai sẽ làm việc gì và khi nào. Kế hoạch làm việc hoàn chỉnh được trình bày trong chương 12. Các bước trong quá trình thiết kế đánh giá Một cách lý tưởng nhất, quá trình đánh giá được bắt đầu sau, với thiết kế chương trình ban đầu. Sau đó, đánh giá sẽ được chia thành một số giai đoạn quan trọng và riêng biệt. Giai đoạn 1: Lập kế hoạch và phạm vi đánh giá Giai đoạn lập kế hoạch và xác định phạm vi đánh giá sẽ làm sáng tỏ bản chất và phạm vi của đánh giá. Trong giai đoạn này, mục đích của đánh giá, các bên liên quan sẽ tham vấn, người thực hiện đánh giá và khung khổ thời gian thực hiện được thiết lập. Đây là giai đoạn khám phá ban đầu. Những vấn đề chính cũng sẽ được nhận diện trong giai đoạn này, trên quan điểm của khách hàng chính, các bên liên quan, các nghiên cứu trước đó, và những tác động có ảnh hưởng đến chương trình. Nguyên lý về sự thay đổi các các giả định đi kèm cũng sẽ được xác định và xây dựng. Giai đoạn 2: Thiết kế đợt đánh giá Vào cuối giai đoạn lập kế hoạch và xác định phạm vi đánh giá ban đầu, chúng ta đã có đủ kiến thức về bối cảnh thực hiện đánh giá để quyết định phương pháp chung. Trọng tâm của lập kế hoạch đánh giá là giai đoạn thiết kế đánh giá, và đỉnh cao nhất là ma trận thiết kế đánh giá. Thiết kế chung bị lỗi sẽ làm hạn chế khả năng đưa ra kết luận về tình hình thực hiện chương trình. Thông thường, theo thông lệ thực tiễn, người đánh giá cần thảo luận và trình bày thiết kế chung với nhà tài trợ đánh giá (khách hàng) và các bên liên quan khác trước khi hoàn thành thiết kế đánh giá. Điều này nhằm đảm bảo không gây ngạc nhiên và tạo sự thuận lợi và hỗ trợ cho đánh giá. Một nhóm tư vấn và nhóm đồng đẳng cũng là người người có kiến thức tốt để đảm bảo tính bền vững của thiết kế đánh giá. Trong những trường hợp đòi hỏi cao, dự thảo thiết kế có thể được đưa lên trang web để bình luận.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

235

Ma trận thiết kế có thể được sử dụng làm nền tảng cho xây dựng điều khoản tham chiếu (TOR). TOR lại đóng vai trò làm nền tảng cho yêu cầu đề xuất hoặc là hướng dẫn cho nhóm đánh giá nếu đánh giá được thực hiện ở tầm quốc tế. Khi chuyên gia bên ngoài thực hiện việc xác định phạm vi và cở sở công việc cho đánh giá thì sẽ là sáng suốt nếu coi ma trận là một sản phẩm. Và do đó, cần phải xây dựng một TOR khác để thực hiện thiết kế đánh giá.

■■ Hội thảo

chuyện trò:

Là buổi gặp tại đó nhóm đánh giá thảo luận và thống nhất những chủ đề chính và kiểm tra lại xem những vấn đề chính của đánh giá đã được giải quyết chưa

Giai đoạn 3: Thực hiện đánh giá Giai đoạn thực hiện đánh giá bao gồm cả quá trình thu thập và phân tích số liệu. Điển hình là, nếu thu thập các loại số liệu khác nhau (hoặc số liệu tương tự nhau được thu thập từ nhiều nguồn khác nhau) thì cần xây dựng và thử nghiệm một số công cụ khác nhau. Thông thường phân tích được thực hiện ngay khi thu thập số liệu. Nếu đã đi được khoảng 2/3 chặng đường thu thập số liệu, nhóm đánh giá cần tổ chức một hội thảo câu chuyện để xem xét những phát hiện đã tìm được cho đến nay và nhận diện những chủ đề và nội dung chính phát sinh. Hội thảo chuyện trò là phương pháp hữu ích để đạt được sự thống nhất về ba hoặc năm nội dung chính. Mục đích của hội thảo chuyện trò là nhằm đảm bảo sự nhất quá về những chủ đề chính trước đó và kiểm tra lại những nội dung hay câu hỏi chính của đánh giá đã được giải quyết chưa. (Trong khi đề cương báo cáo được soạn thảo xoay quanh các vấn đề đánh giá, thì cơ cấu báo cáo cuối cùng và thảo luận nội dung và chủ đề với những người ra quyết định có thể sẽ hiệu quả hơn, bởi không phải tất cả những vấn đề đánh giá đều được mọi người quan tâm như nhau.) Giai đoạn 4: Báo cáo những phát hiện của đánh giá Trong giai đoạn báo cáo, những phát hiện hay nội dung thực tế được chia sẻ và thảo luận với “người chủ” chương trình để cùng sửa những lỗi thực tế và cân nhắc những thông tin đưa ra trước khi dự thảo bảo cáo và đề xuất khuyến nghị. Khi phần phân tích đã hoàn chỉnh, khuyến nghị đã được chỉnh sửa cho phù hợp, và báo cáo được cuối sẽ được trình bày cho khách hàng và các bên liên quan. Một mẫu báo cáo điển hình gồm phần cơ sở và bối cảnh của đánh giá, trong đó chỉ rõ mục tiêu của đánh giá, miêu tả phạm vi và phương pháp đánh giá, và những phát hiện của báo cáo (kể cả những kết quả dự tính và không dự tính). Thông thường nó cũng bao gồm những thông tin về bài học kinh nghiệm và những khuyến nghị đề xuất. Hiểu những gì không vận hành tốt và lý do tại sao cũng quan trọng như hiểu được cái gì vận hành tốt và tại

236

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

sao, cả hai điều này đều phải rất rõ ràng. Khi viết báo cáo phải luôn lưu ý là ai là người đọc, do đó, báo cáo phải tránh những từ ngữ khó hiểu và dễ đọc. (Cách viết báo cáo được đề cập trong chương 13.) Giai đoạn 5: Tuyên truyền và theo dõi sau những phát hiện của đánh giá Lập kế hoạch đánh giá cũng đồng nghĩa với lập kế hoạch truyền bá trong suốt cả chặng đường, không chỉ với khách hàng và các bên liên quan mà còn với cả trong nhóm đánh giá. Một đánh giá sẽ là không hoàn hảo nếu những vấn đề về tuyên truyền chưa được hoàn tất. Do đó, xây dựng kế hoạch tuyên truyền là một phần của quá trình lập kế hoạch. Những phát hiện không nhất thiết phải được in ra. Thay vào đó, chỉ cần những tóm tắt cần thiết trong cả quá trình đánh giá, nhất là khi những phát hiện là không mong đợi và bị chỉ trích. Nhiều đánh giá là kết quả cho những hành động như • Điều chỉnh can thiệp • Rỡ bỏ các rào cản nhận diện được trong đánh giá • Thông báo về những chính sách hoặc can thiệp trong tương lai (chỉnh sửa lý thuyết về sự thay đổi) • Cho người khác thấy những liên quan đến bài học kinh nghiệm • Định hình lại suy nghĩ về bản chất vấn đề. Nhiều tổ chức có hệ thống để theo dõi việc thực hiện những đề xuất chính thức và tóm tắt các bào học. Khả năng tìm kiếm cơ sở dữ liệu này theo chủ đề, lĩnh vực, địa điểm và thời gian làm tăng lợi ích. Cho dù có hay không có hệ thống này thì người đánh giá cũng cần một bản sao báo cáo dưới dạng để đọc cho mỗi dạng đánh giá thích hợp. Người đánh giá cũng cần trình bày những phát hiện của mình tại những buổi hội thảo đánh giá hoặc nộp bài viết đánh giá để xuất bản tại các tờ báo chuyên ngành Mối quan hệ giữa các giai đoạn Các giai đoạn khác nhau được trình bày tóm tắt trong hộp 6.3. Mối liên hệ giữa các cấu phần khác nhau được trình bày trong Hình 6.2. Hình 6.2 minh họa trung tâm của đánh giá áp dụng cho cả quá trình đánh giá. Thay vì một vài suy nghĩ đưa ra ở cuối giai đoạn đánh giá, tập trung vào thúc đẩy sử dụng các công cụ đánh giá với một số quá trình hoặc giai đoạn hướng dẫn.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

237

Hộp 6.3 Năm giai đoạn của quá trình đánh giá Giai đoạn 1: Lập kế hoạch hay xác định phạm vi đánh giá Để có những hiểu biết đầy đủ về chương trình, dự án hoặc chính sách. • • • • •

Gặp gỡ với những khách hàng chính của đánh giá. Nhận biết và gặp gỡ những bên liên quan khác. Tìm hiểu bối cảnh của chương trình và thu thập các tài liệu cơ bản. Tìm kiếm những đánh giá tương tự có liên quan. Xem xét lại những đánh giá trước đó để nhận biết vấn đề, thiết kế và chiến lược thu thập thông tin • Gặp gỡ cán bộ chương trình (nếu nằm ngoài chương trình). • Rà soát và sàng lọc hoặc xây dựng nguyên lý về sự thay đổi cho chương trình. Giai đoạn 2: Thiết kế đánh giá Xác định câu hỏi và vấn đề đánh giá • Gặp gỡ khách hàng, nhận diện mục tiêu chính của đánh giá, những vấn đề quan tâm và nhu cầu thực sự về thời gian. • Xác định và gặp gỡ những bên liên quan khác nhau để tìm hiểu vấn đề và quan tâm để rút ra kết luận cho đánh giá sau này. • Xác định những nguồn lực sẵn có cho đánh giá, như ngân sách cho tư vấn và đi lại, các thành viên trong nhóm, và tổng hợp các kỹ năng. • Đánh giá nhu cầu của các bên tham gia, kể cả thời gian. Chuẩn bị điều khoản tham chiếu và ma trận đánh giá. • • • • • •

Nhận biết loại hình đánh giá. Nhận biết những câu hỏi đánh giá cụ thể và câu hỏi nhỏ hơn. Lựa chọn cách thức đo lường mỗi loại câu hỏi. Tìm nguồn số liệu để giải quyết những câu hỏi. Xác định những thiết kế phù hợp với từng loại câu hỏi lớn và câu hỏi nhỏ. Xây dựng chiến lược thu thập số liệu, gồm cả những công cụ và phương pháp lấy mẫu áp dụng cho từng loại câu hỏi • Xây dựng chiến lược phân tích số liệu. • Xác định nguồn lực và thời gian cần thực hiện. Giai đoạn 3: Thực hiên đánh giá • Giới thiệu tóm tắt cho khách hàng và các bên liên quan về thiết kế đánh giá. • Chuẩn bị kế hoạch làm việc, gồm cả phương pháp rà soát và thử nghiệm như các công cụ trước khi thử nghiệm, huấn luyện thu thập số liệu, và xây dựng hiệp ước.

238

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Thu thập số liệu. • Chuẩn bị số liệu cho phân tích thông qua xây dựng các bảng biểu (nếu không là một phần thực hiện của thiết kế đánh giá) và làm sạch số liệu. • Phân tích số liệu. • Xây dựng các hình vẽ. • Đưa ra những phát hiện. Giai đoạn 4: Báo cáo những phát hiện của đánh giá • Tổ chức hội thảo câu chuyện. • Đưa ra những phát hiện và chủ đề chính: những gì tốt, những gì không tốt và cần cải thiện những gì. • Viết báo cáo. • Trình bày tóm tắt cho khách hàng về những phát hiện và thực tế thực hiện. • Trình báy tóm tắt cho cán bộ dự án và các bên liên quan về những phát hiện và thực tế thực hiện, và chỉnh sửa nếu cần thiết. • Cho phép cán bộ dự án xem xét lại và bình luận vào dự thảo báo cáo. • Đề xuất khuyến nghị rõ ràng và cụ thể và chỉ rõ ai phải làm gì và khi nào. • Kiểm tra xem những khuyến nghị có gắn kết với bằng chứng hay không. Giai đoạn 5: Tuyên truyền và theo dõi những phát hiện của đánh giá • Xác dịnh xem ai là người được nhận/tuyên truyền báo cáo này (chẳng hạn như bản tóm tắt, bản tóm tắt từ 2 đến 4 trang, báo cáo đầy đủ, hội thảo chuyên sâu) và thực hiện kế hoạch. • Tìm ra những bài học và cơ chế chia sẻ và duy trì. • Theo dõi những khuyến nghị chính thức để xác định việc thực hiện. • Gửi báo cáo điện tử dưới dạng chỉ để dọc vào thư mục lưu trữ của đánh giá. • Xem xét thêm việc tuyên truyền thông qua các tổ chức chuyên môn và báo chí. Nguồn: Các tác giả.

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

239

Hình 6.2

Phương pháp tiếp cận đánh giá phát triển

Trọng tâm của đánh giá • Nhận biết và gặp gỡ với các bên liên quan. • Thống nhất về mục đích (gặp gỡ khách hàng). • Xem xét các nghiên cứu trước đó và tài liệu dự án. • Tạo ra nguyên lý về sự thay đổi. • Cụ thể hóa câu hỏi đánh giá. • Xây dựng điều khoản tham chiếu.

Những phát hiện của báo cáo • Viết báo cáo. • Xem xét lại những phát hiện và kiểm tra chất lượng thực hiện. • Đề xuất những khuyến nghị • Bổ sung/sàng lọc những thông tin phản hồi. • Ra sản phẩm.

Thúc đẩy sử dụng đánh giá • Xây dựng chiến lược tuyên truyền. • Trình bày tóm tắt cho khách hàng về thiết kế đánh giá. • Cập nhật cho khách hàng tiến độ đánh giá. • Công bố những phát hiện cho khách hàng. • Thu thập và bổ sung những phản hồi của khách hàng. • Ra quyết định. • Lập kế hoạch hành động. • Theo dõi. • Đề xuất khuyến nghị. • Sử dụng phương pháp theo dõi.

Xây dựng thiết kế và lựa chọn phương pháp • Dùng câu hỏi đánh giá. • Xây dựng chiến lược đo lường • Áp dụng thiết kế thu thập số liệu. • Áp dụng chiến lược thu thập số liệu. • Áp dụng chiến lược lấy mẫu. • Xây dựng các công cụ thu thập số liệu. • Xây dựng kế hoạch phân tích. • Trình bày tóm tắt chi khách hàng và các bên liên quan. • Tham vấn của các bên liên quan.

Thu thập và phân tích số liệu • Thử nghiệm công cụ. • Xây dựng mô hình. • Huấn luyện, nếu cần thiết. • Thu thập số liệu theo thiết kế đã thống nhất. • Chuẩn bị số liệu cho phân tích. • Phân tích số liệu. • Giải thích số liệu. • Tổ chức hội thảo công bố. • Bản thảo những phát hiện.

Source: Authors.

240

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ma trận thiết kế đánh giá Ma trận thiết kế là công cụ được các chuyên gia khuyên dùng để hỗ trợ cho lập kế hoạch đánh giá. Nó cho phép tổ chức các câu hỏi đánh giá và kế hoạch thu thập thông tin để trả lời câu hỏi. Ma trận này kết nối các câu hỏi dạng mô tả, chuẩn tắc và nhân quả với thiết kế và phương pháp. Ngoài tác dụng hữu ích là công cụ lập kế hoạch, ma trận có thể khuyến khích sử dụng đánh giá và củng cố quan hệ giữa người đánh giá và các cán bộ chương trình. Người đánh giá cần công cụ để nhận diện những thông tin cần thiết cho đánh giá và bảo đảm chúng kết nối với nhau ở mỗi giai đoạn. Các công cụ sử dụng để suy nghĩ về chương trình, bối cảnh, cách thức đo lường mục tiêu, và cách thức thu thập số liệu và phân tích; và chiến lược sử dụng là gì cũng sẽ khác nhau. Một số người đánh giá cũng có thể tự quyết định công cụ mà họ dùng. Mục đích của ma trận thiết kế là tổ chức mục đích đánh giá với các câu hỏi để so sánh cái được đánh giá với những kỹ thuật thu thập số liệu phù hợp. Một ma trận thiết lế thường bao gồm những nhân tố kết nối với nhau như sau:

■■ Ma trận thiết

kế đánh giá: Là ma trận tổ chức các câu hỏi và kế hoạch đánh giá để thu thập thông tin trả lời

• vấn đề đánh giá chính • phương pháp tiếp cận chung • câu hỏi và câu hỏi phụ • loại câu hỏi và câu hỏi phụ • phương pháp đo lường hoặc các chỉ số • mục tiêu hoặc tiêu chuẩn (nếu là chuẩn tắc) • có hay không có dữ liệu cơ sở • chiến lược thiết kế • nguồn số liệu • mẫu hoặc điều tra • công cụ thu thập số liệu • phân tích số liệu và hình vẽ • bình luận. Quy định thu thập số liệu và đánh giá về thực hiện và kế hoạch công việc, điều khoản tham chiếu, và kế hoạch truyền thông cũng được đưa vào hoặc tách riêng những lại là những công cụ gắn kết với nhau. Phương pháp thu thập số liệu có thể trả lời trên một câu hỏi, hoặc một vài phương pháp thu thập số liệu có thể được dùng để trả lời những câu hỏi đơn lẻ. Ma trận thiết kế kết hợp cả những nguồn thông tin đã biết hoặc có kế hoạch. Khi quá trình chuyển từ lập kế hoạch sang thực hiện, có thể nhân rộng và làm sáng tỏ thêm các nguồn thông tin. Ma trận đánh giá không phải lúc nào cũng cố định. Cũng như các công cụ lập kế hoạch khác, cũng sẽ phải chỉnh sửa trong quá trình thực hiện đánh giá. Trong dự án đánh giá, người đánh giá cần xem xét lại, cập nhật và sử dụng như

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

241

một hướng dẫn thực hiện. Lập kế hoạch trước khi thực hiện có thể giảm thiểu việc xuất hiện một số vấn đề, lập kế hoạch tốt nhất cũng không tránh được hết những ngạc nhiên. Mẫu ma trận thiết kế được trình bày trong hình 6.3. Trong ma trận thiết kế, các câu hỏi được tách thành nhiều câu hỏi nhỏ tùy sự cần thiết. Với mỗi câu hỏi, cũng cần cụ thế hóa loại câu hỏi nhỏ đó (miêu tả, chuẩn tắc hay nhân quả), cách thức (biến hoặc chỉ số) trả lời câu hỏi; mục tiêu hoặc tiêu chuẩn so sánh nếu là câu hỏi dạng chuẩn tắc; chỉ số nếu có số liệu điều tra cơ bản; số liệu hoặc nguồn số liệu để trả lời các câu hỏi nhỏ; chiến lược thiết kế thực tế sử dụng để trả lời câu hỏi nhỏ; đặc điểm chi tiết của mẫu khảo sát thực hiện, nếu có thì ở dạng nào; cong cụ dùng để thu thập số liệu; phân tích; và phần bình luận. Những ví dụ về bình luận bao gồm lưu ý kiểm tra chất lượng bộ số liệu, chỉ ra những hạn chế của thiết kế, và xây dựng hệ thống bảng biểu hình vẽ từ số liệu. Ma trận thường được trình bày trên khổ giấy phù hợp hoặc tách thành hai trang. Một số người đánh giá thích làm việc với ma trận dạng dọc. Nhưng cho dù format nào đi chăng nữa thì người đánh giá phải điền vào hết tất cả các ô cho mỗi câu hỏi nhỏ. Một ma trận thiết kế sau khi hoàn thành sẽ gồm rất nhiều trang. Đây là tài liệu cho phép người ra quyết định hiểu xem cần phải làm gì và các câu hỏi được trả lời như thế nào. Chương tiếp theo sẽ thảo luận cách điền chi tiết vào từng cột. Ở thời điểm này, độc giả muốn áp dụng ma trận để thiết kế đánh giá một chương trình, dự án, chính sách có thể nhận diện được câu hỏi và câu hỏi nhỏ và chỉ ra loại câu hỏi nhỏ. Cột có hoặc không có số liệu cơ sở, chỉ số hoặc cách đo lường, và mục tiêu (nếu câu hỏi nhỏ là dạng chuẩn tắc) cũng cần được điền vào. Câu hỏi nhỏ với câu hỏi dạng mô tả cũng sẽ dạng mô tả. Câu hỏi hỏi nhỏ đối với một câu hỏi dạng chuẩn tắc có thể là miêu tả, nhưng ít nhất phải có một câu hỏi nhỏ dạng chuẩn tắc. Câu hỏi nhân quả phải có ít nhất một câu hỏi nhỏ ở dạng nhân quả nhưng có thể gồm cả câu hỏi mô tả và chuẩn tắc. Ví dụ về một ma trân thiết kế hoàn chỉnh được trình bày trong Phụ lục B.

242

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

243

Mẫu ma trận thiết kế

Câu hỏi

Câu hỏi nhỏ

Ma trận thiết kế cho: Vấn đề đánh giá chính:

Hình 6.3

Loại câu hỏi

Chỉ số hoặc cách đo lường

Mục tiêu hoặc tiêu chuẩn (chuẩn tắc) Số liệu cơ sở

Mẫu hoặc tổng Nguồn số liệu Thiết kế điều tra

Phương pháp tiếp cận chung:

Công cụ thu thập số liệu

Phân tích số liệu Bình luận

Tóm tắt Những người đánh giá cần làm việc với khách hàng chính hoặc các bên liên quan chính để nhận diện những câu hỏi tiềm năng. Sau khi đã nghiên cứu cơ sở và gặp mặt khách hàng chính và các bên liên quan chính, xây dựng nguyên lý về sự thay đổi cho chương trình, và xác định những giả định chính ẩn sau chương trình, người đánh giá có thể bắt đầu hình thành và sau đó là lựa chọn câu hỏi từ một danh mục dài các câu hỏi đã được hình thành. Cần so câu hỏi đánh giá với những vấn đề chính của đánh giá để nhằm bảo đảm những vấn đề đó sẽ được giải quyết. Người đánh giá sử dụng câu hỏi dạng mô tả, câu hỏi dạng chuẩn tắc và câu hỏi dạng nhân quả. Từ ngữ để hỏi là rất quan trọng, bởi những từ ngữ này sẽ xác định cách thức tìm ra câu trả lời cho các câu hỏi đưa ra. Cách tổ chức đánh giá được khuyến nghị ở đây là sử dụng ma trận thiết kế. Ma trận này cho phép tổ chức các câu hỏi, thiết kế và thu thập số liệu và phân tích chiến lược, bên cạnh những nội dung khác. Chương tiếp theo sẽ hướng dẫn từng bước để hoàn thành được ma trận thiết kế.

244

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 6 Bài tập ứng dụng 6.1: Các dạng câu hỏi Hãy xác định xem các câu hỏi sau đây về sáng kiến chăm sóc sức khỏe dự phòng của phụ nữ ở nông thôn là ở dạng câu hỏi mô tả, chuẩn tắc hay nhân quả. Nếu một số câu hỏi cần phải viết lại cho rõ dạng hơn, thì hãy viết lại (thông thường đây là tình huống xảy ra trong thực tế). 1. Sáng kiến này có mang lại sự hỗ trợ, tham vấn và các dịch vụ khác cho 30 phụ nữ ở nông thôn trong tháng đầu hoạt động theo kế hoạch không? 2. Các dịch vụ cung cấp tại thời điểm và không gia đó có tối đa hóa số lượng phụ nữ tham gia hay không? 3. Phương pháp tốt nhất để tiếp cận phụ nữ ở vùng sâu vùng xa và để họ tiếp cận chương trình là gì? 4. Những vấn đề về sức khỏe của phụ nữ nông thôn có được phát hiện ra trước khi tham gia vào chương trình đối với những người tham gia vào sáng kiến sức khỏe này không? 5. Từ khi bắt đầu thực hiện chương trình, có bao nhiêu phụ nữ được nhận các loại dịch vụ này? 6. Chương trình sức khỏe phụ nữ có hiệu quả như thế nào so với những can thiệp khác nhằm cải thiện sức khỏe cho phụ nữ nông thôn? 7. Tác động của sáng kiến sức khỏe đối với phụ nữ, gia đình hộ và cộng đồng nông thôn nơi họ sinh sống? 8. Những người tham gia hài lòng như thế nào về dịch vụ tham vấn, các thông tin, sự hỗ trợ và các dịch vụ khác mà họ nhận được? 9. Sáng kiến sức khỏe của phụ nữ có đáp ứng được những mức chuẩn về hiệu quả mà chính phủ đặt ra hay không? 10. Các thành viên tham gia nói gì về tác động của chương trình đối với họ? 11. Các phụ nữ nhận được dịch vụ đã đáp ứng được các tiêu chí yêu cầu ở khía cạnh nào? 12. Chương trình có đáp ứng được mục tiêu đề ra là tăng thêm kiến thức chăm sóc dự phòng cho phụ nữ hay không? Bài tập ưng dụng 6.2: Chỉnh sửa dạng câu hỏi Viết một câu hỏi dạng mô tả, một câu dạng chuẩn tắc va một câu dạng nhân quả cho chương trình sau: 1. Chương trình đào tạo nghề cho nam thanh niên 2. Chương trình xây đường nối 3 cộng đồng với trung tâm chợ

Xây dựng Câu hỏi đánh giá và Ma trận thiết kế

245

Tài liệu tham khảo và đọc thêm Cronbach, L. J. 1982. Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson Education Inc. Human Rights Resource Center. 2000. “Questions about Evaluation.” In The Human Rights Education Handbook: Effective Practices for Learning, Action, and Change. University of Minnesota, Minneapolis. http://www1.umn.edu/humanrts/edumat/hreduseries/hrhandbook/part6B .html. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.” Evaluation Review 13 (3): 243–56. OECD (Organisation for Economic Co-operation and Development). 2007. Criteria for Evaluating Development Assistance. Development Assistance Committee. http:// www.oecd.org/document/22/0,2340,en_2649_201185_2086550_1_1_1_1, 00.html. Patton, Michael Quinn. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA: Sage Publications. Rist, R. C. 1994. “Influencing the Policy Process with Qualitative Research.” In Handbook of Qualitative Research, ed. N. K. Denzin and Y. S. Lincoln, 545–57. Thousand Oaks, CA: Sage Publications. Shadish, William 1998. “Some Evaluation Questions.” Practical Assessment, Research & Evaluation 63. http://PAREonline.net/getvn.asp?v=6&n=3. Also available from ERIC/AE Digest at http://www.ericdigests.org/1999-2/some.htm.

Trang Web Kellogg Foundation. 2004. Evaluation Logic Model Development Guide. http://www .wkkf.org/pubs/tools/evaluation/pub3669.pdf. World Bank. 1996. Participation Sourcebook. http://www.worldbank.org/wbi/ sourcebook/sbhome.htm.

246

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 7

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá Sau khi lựa chọn câu hỏi đánh giá, tiếp theo người đánh giá sẽ lựa chọn phương pháp tiếp cận phù hợp với mỗi câu hỏi đưa ra. Chương này sẽ trình bày một số hướng dẫn về thiết kế và tìm ra những điểm mạnh, điểm yếu của các thiết kế khác nhau. Tuy nhiên cũng cần lưu ý rằng, mỗi tình huống là duy nhất, không có sự lựa chọn hoàn hảo và do đó không chỉ có “một và duy nhất” một cách để giải quyết câu hỏi đánh giá. Chương này gồm năm phần chính:

• • • • •

247

Kết nối các câu hỏi với thiết kế Khi đánh giá, chúng ta tìm kiếm các câu trả lời cho câu hỏi đưa ra. Trong chương 6, chúng ta đã chỉ ra có ba dạng câu hỏi chính: đó là câu hỏi mô tả, câu hỏi chuẩn tắc và câu hỏi nhân quả. Thiết kế đánh giá phải phù hợp với loại câu hỏi. Chẳng hạn, nếu đưa ra câu hỏi ở dạng nhân quả thì thiết kế phải áp dụng các câu trả lời phù hợp với câu hỏi dạng nhân quả. Các tổ chức phát triển cần tìm những giải pháp để đáp ứng những vấn đề liên quan đến phát triển, như những người dân trong thôn tìm giải pháp để ngăn chặn dịch hạch trong thôn (Hộp 7.1). Tuy nhiên, để cố trả lời các câu hỏi, cả người đánh giá và người dân trong thôn đều không phải lúc nào cũng lựa chọn đúng đắn. Một sơ suất có thể xảy ra là trong quá trình trả lời câu hỏi chính là lựa chọn chiến lược thu thập số liệu. Để trả lời câu hỏi của các em gái trẻ về con voi, vị lão làng có thể nói rằng “Hãy tiến hành một cuộc khảo sát và tìm hiểu xem những người dân trong làng nói điều gì làm những con voi bỏ đi.” Do đó, chiến lược thu thập số liệu chắc chắn không chỉ là cung cấp thông tin cần thiết. Một sơ suất khác là suy nghĩ rằng mỗi cuộc đánh giá có một cách thiết kế đơn nhất. Ví dụ, cuộc đánh giá đòi hỏi phải trả lời được một vài câu hỏi, và mỗi câu hỏi lại đòi hỏi một thiết kế phù hợp. Một đợt đánh giá thường phải trả lời những câu hỏi dưới dạng mô tả và chuẩn tắc và đôi lúc là những câu hỏi nhân quả. Người đánh giá cần tránh áp dụng “phương pháp tìm kiếm ứng dụng’ (câu hỏi nào có thể được trả lời thông qua thực hiện khảo sát hoặc phỏng vấn nhóm?) hoặc suy nghĩ rằng nếu đợt đánh giá chỉ phải trả lời câu hỏi nhân quả thì sẽ không phải trả lời các câu hỏi mô tả và chuẩn tắc. Trong ví dụ về voi, một nghiên cứu tình huống sâu về sự di chuyển của voi có thể cho thấy rằng không phải những tiêng va đập mạnh hay bụi bẩn

Hộp 7.1 Điều gì làm đàn voi bỏ đi?

Cứ hai năm một lần, từ những hướng khác nhau, voi lại rầm rập đỏ về một ngôi làng ở châu Phi. Mọi người dân trong làng đều phải cùng chung tay đuổi voi đi. Một số người lôi xô chậu ra đập, một số khác thì huýt sáo và la hét, gào thét. Một số người khác lại đá đất và di chuyển với mọi nỗ lực khẳng định quyền sở hữu đất của mình. Sau khi voi đi khỏi làng, một bé gái hỏi, “Tại sao những con voi lại bỏ đi?” Những người dân trong làng trả lời, “Vì chúng ta đuổi nó đi”. Sau đó, cô bé lại hỏi, “Nhưng cái gì làm chúng bỏ đi, tiếng đập của xô chậu, huýt sáo, hay các âm thanh ầm ĩ khác, hay bụi trong không khí?”

248

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

làm đàn voi bỏ làng đi mà đơn giản có thể là con đường voi đi qua trong quá trình di cư

Phân loại thiết kế Những người đánh giá thường lựa chọn một trong ba loại thiết kế sau đây: thiết kế thực nghiệm, thiết kế bán thực nghiệm và thiết kế phi thực nghiệm. Mỗi phương pháp được mô tả ở dưới đây. Thiết kế thực nghiệm Rất nhiều người đánh giá coi thiết kế thực nghiệm — còn được gọi là thử nghiệm ngẫu nhiên hoặc thử nghiệm thực – là phương pháp mạnh và rõ ràng nhất cho một đợt đánh giá. Những nhiều người khác lại không đồng ý. Như đã tranh luận trong chương 6, những người đánh giá cũng phải cố gắng, nỗ lực rất nhiều, tuy nhiên thiết kế đúng nhất phải là một thiết kế có thể trả lời tất cả các câu hỏi đánh giá. Trong thiết kế thực nghiệm, những người đánh giá phải chỉ ra rằng nếu không can thiệp, thì có thể không đạt được kết quả mong muốn. Vẫn sử dụng ví dụ về voi ở trên, người đánh giá phải chứng minh được rằng nếu những người dân trong làng không gõ mạnh vào xô chậu, không huýt sáo và không gây ra những tiếng động khác thì voi sẽ không bỏ đi. Để chứng tỏ rằng sự can thiệp đó là nguyên nhân của kết quả thì thiết kế thực nghiệm phải so sánh kết quả của hai nhóm – một nhóm nhận được sự can thiệp và một nhóm không. Tiêu chí chính để phân biệt thiết kế thực nghiệm với thiết kế khác chính là phân phối ngẫu nhiên. Thông qua phân phối ngẫu nhiên, những người trong cùng một nhóm phải có những đặc điểm chung về kiến thức kinh nghiệm, giới tính, bối cảnh, thời gian, và v.v.. Ở đây, trong ví dụ về voi, chúng ta cần chia tách voi thành những nhóm tương tự nhau, do những người dân trong làng không phân chia voi thành hai hoặc ba nhóm ngẫu nhiên để tác động hay không tác động. Nhưng để tiếp tục vận dụng ví dụ này từ nay về sau, chúng ta giả định rằng chính phủ nhận thức được rằng 30 làng ở vùng nông thôn phàn nàn rằng voi đã phá hủy nhà cửa và cây trồng. Chính phủ muốn hỗ trợ để giải quyết vấn đề này theo cách để cả voi và dân cư trong làng sống hòa thuận. Do đó, một chuyên gia nghiên cứu về hành vi của động vật đã được mời làm việc, tuy nhiên chỉ có thể hỗ trợ được 20 làng. Một quyết định được đưa ra là 20 làng nhận được sự hỗ trợ của chuyên gia này sẽ được lựa chọn ngẫu nhiên còn 10 làng còn lại sẽ được coi là nhóm kiểm chứng. Các cuộc khảo sát được thực hiện tại 30 làng đối với những người lớn tuổi để có thông tin cơ sở về thái độ đối với voi cho nhóm tác động và nhóm kiểm chứng, đồng thời ước tính những mất mát vụ mùa và các thiệt hại khác. Để lựa chọn làng nhận được sự can thiệp, tên của 30 làng được viết ra những mẩu giấy và để vào trong một cái bát. Những người già trong làng được mời Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ Thiết kế thực

nghiệm:

Một hình thức đánh giá trước khi thực hiện đòi hỏi phải phân bố mẫu ngẫu nhiên thành ít nhất hai nhóm sao cho mỗi và tất cả thành viên trong mẫu đều có cơ hội giống nhau để nhận được sự can thiệp (nhóm chịu tác động) hoặc không được can thiệp (nhóm kiểm chứng).

249

đến, và 10 người cao tuổi nhất sẽ lần lượt chọn một mẩu giấy đã gập trong cái bát (nhắm mắt). Khi đọc tên ghi trên mẩu giấy, tên này được viết lên bảng đen. Khi đã tìm đủ 10 tên làng thì cũng hình thành nên nhóm kiểm chứng. Mục đích của tác động vào hành vi là giảm nhẹ vấn đề, cải thiện thái độ, và giảm thiệt hại và các chi phí đi kèm. Sau một khoảng thời gian nhất định, chắc chắn sẽ có sự khác biệt giữa nhóm chịu tác động và nhóm kiểm chứng, nếu các hành vi đó là có hiệu quả và các thứ khác không đổi. Trong ví dụ này hành vi chính là sự can thiệp hay tác động.

■■ Thiết kế bán

thức nghiệm: Một phương pháp đánh giá trong đó nhóm chịu tác động và nhóm không chịu tác động (nhóm so sánh) được hình thành trước hoặc sau, nhưng không phân bố ngẫu nhiên thành nhóm hoặc tại đó các biên pháp được lặp lại trong một thời gian

■■ Thiết kế phi

thực nghiệm (mô tả):

Một loại thiết kế đánh giá trong đó không cần nhiều công sức để tạo ra ra các nhóm can thiệp hoặc không can thiệp, và chú trọng nhiều hơn đến sự mô tả 250

Thiết kế bán thực nghiệm Thiết kế bán thực nghiệm cũng tương tự như thiết kế thực nghiệm, nhưng không phân bố ngẫu nhiên các cá nhân thành từng nhóm. Phương pháp này thường khả thi hơn thiết kế thực nghiệm, bởi thiết kế thực nghiệm thường khó thực hiện còn thiết kế bán thực nghiệm không đòi hỏi tính ngẫu nhiên nhưng lại cần hình thành nên nhóm so sánh. Thiết kế bán thực nghiệm được dùng để so sánh các nhóm có những đặc điểm tương đồng nhưng không tương thích. Những nhóm này có thể khác nhau nhưng cùng trong một làng, hoặc cùng một nhóm nhưng ở những thời điểm khác nhau (trước và sau). Chẳng hạn trong ví dụ về voi, thiết kế thực nghiệm có thể lựa chọn hai làng ở cùng một vùng, với một môi trường giống nhau, với cùng một số lượng voi, số người dân, số nhà trong làng cũng ngang nhau, v.v… trong đó một làng chịu tác động (tiếng xô chậu đập) còn làng kia thì không. Hay có một cách khác, lựa chọn hai nhóm để thay đổi hành vi khi voi đến. Lần thứ nhất khi voi đến, người dân trong làng đập mạnh vào xô chậu. Lần thứ hai, không đập vào xô chậu. Lưu ý có khoảng thời gian giữa hai lần để xem phản ứng của voi. Trong cả hai ví dụ, hai nhóm đều có những đặc điểm tương đồng nhưng không tương thích. Với ví dụ đầu tiên, sự khác biệt giữa hai nhóm và môi trường có thể sẽ tác động đến kết quả. Ở ví dụ thứ hai, sự khác biệt giữa hai tình huống là hành vi của người dân trong làng. Với thiết kế bán thực nghiệm, người đánh giá hoàn toàn không thể kết nối tác động với giải pháp hoặc chỉ ra quan hệ nhân quả gắn với một điều chắc chắn ngẫu nhiên xảy ra, tuy nhiên cũng có thể học hỏi nhiều và công nhận những kết quả có được từ quan hệ nhân quả đó. Thiết kế phi thực nghiệm Thiết kế phi thực nghiệm, hay mô tả hay mô tả không so sánh nhóm này với nhóm kia. Phương pháp này tập trung vào mô tả chi tiết quan hệ giữa sự can thiệp và tác động mang lại. Chẳng hạn, đối với một nghiên cứu phi thực

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 7.1 Hai đặc điểm chính của phương pháp thực nghiệm, bán thực nghiệm và phi thực nghiệm Phân bố ngẫu nhiên nhóm kiểm chứng

Không ngẫu nhiên nhóm so sánh

biện pháp nhắc lại

Có

Không

Có

Bán thực nghiệm

Không

Có thể

Phi thực nghiệm

Không

Hình thức thiết kế đánh giá

Thực nghiệm

Nguồn: Các tác giả.

nghiệm, người đánh giá sẽ phải quyết định khi nào chọn mẫu, chọn mẫu ở đâu và mẫu gồm những đối tượng nào. Không cần nhiều công sức để tạo ra hai hay nhiều mẫu tương đồng hay tương tự nhau. Đánh giá phi thực nghiệm có thể dùng số liệu hiện có để phân tích, khảo sát hoặc phỏng vấn nhóm để thu thập thông tin phù hợp với những câu hỏi đánh giá. Thiết kế phi thực nghiệm thường có xu hướng xem xét những đặc điểm, tần suất và sự kết hợp (Dự án STAR 2006). Phụ lục 7.1 trình bày tóm tắt ba đặc điểm chính của từng loại thiết kế.

Các ký hiệu trong thiết kế Thiết kế đánh giá thường sử dụng các ký hiệu Xs và Os. Trong đó, X đại diện cho sự can thiệp hay tác động, và O đại diện cho quan sát. Mỗi tác động và quan sát được gắn một chữ nhỏ để nhận diện, Chẳng hạn, ký hiệu của thiết kế đánh giá chỉ có một tác động và một quan sát là X O1 Ký hiệu của thiết kế đánh giá có một quan sát, tiếp theo là tác động và hai quan sát sẽ có dạng O1 X O2 O3 Mỗi nhóm trong thiết kế được viết thành một dòng riêng biệt. Ký hiệu sau đây cho thấy thiết kế đánh giá này có 2 nhóm, một nhóm chịu sự tác động còn một nhóm không. Cả hai nhóm đều được quan sát một lần trước khi tác động để thử nghiệm và hai lần sau khi tác động: O1 X O2 O3 O1 O2 O3

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

251

Thiết kế cho dạng câu hỏi nhân quả Câu hỏi dạng nhân quả đặt ra nhiều thách thức; và để trả lời những câu hỏi này cũng đòi hỏi phải thiết kế kỹ lưỡng cẩn thận. Trong những đợt đánh giá mà có những câu hỏi nhân quả - đó là những câu hỏi đề cập đến tác động và nguyên nhân của những tác động quan sát được – thì thiết kế đánh giá sẽ cố loại bỏ phần giải thích đối với những kết quả quan sát được chứ không phải những can thiệp để nhằm đưa ra kết luận rằng chính những can thiệp đó tạo nên tác động. Nói tóm lại, thách thức ở đây là phải kết luận xem liệu có phải những thay đổi quan sát được là do tác động hay do những nguyên nhân khác không. Khi muốn trả lời những câu hỏi nhân quả, thiết kế đánh giá cần phải lên kế hoạch để trả lời câu hỏi “Điều gì sẽ xảy ra nếu không có sự can thiệp?” Có thể sẽ không đo lường được hết những vấn đề đối chứng do không có sự can thiệp, nhưng có thể ước tính được điều gì sẽ xảy ra nếu không có can thiệp.

Thiết kế thực nghiệm Mô hình thiết kế thực nghiệm có nguồn gốc từ nghiên cứu về y học, trong đó có những thứ nghiệm về thuốc và các hình thức chữa bênh. Để áp dụng thiết kế này cho câu hỏi đánh giá về những vấn đề liên quan đến y tế, tổ chức phát triển muốn giảm tỷ lệ mắc bệnh sốt rét trong vùng có thể đặt câu hỏi “Cách tốt nhất để giảm tỷ lệ mắc bệnh sốt rét trong vùng là gì?” Một câu hỏi nhỏ trong đó có thể là “Mạng lưới giường bệnh có giúp giảm tỷ lệ mắc bệnh sốt rét trong vùng hay không?” Thiết kế thực nghiệm lấy câu hỏi này và xây dựng thành một đề xuất. Trong ví dụ về bệnh sốt rét ở trên, đề xuất được đưa ra là: nếu người dân trong vùng được tiếp cận với mạng lưới giường bệnh thì sẽ ít có trường hợp bị mắc bệnh. Như đã trình bày trong chương 4, người thực hiện sẽ xây dựng nguyên lý về sự thay đổi cho đề xuất này. Tính ngẫu nhiên là nhân tố quan trọng nhất trong thiết kế thực nghiệm. Một nhóm người bệnh sẽ được lựa chọn trong số những tình nguyện viên để tiến hành thử nghiệm, những người này phải bị cùng một loại bệnh và trong cùng giai đoạn bệnh, cùng giới tính, v.v…. Các cá nhân này sẽ được phân bổ ngẫu nhiên một hoặc một vài chế độ điều trị. Một nhóm nhỏ có thể dùng các loại thuốc hiện đang chữa; nhóm khác có thể dùng những loại thuốc mới. Trong thí nghiệm nhằm loại trừ sai lầm từ người làm thí nghiệm, cả những người tham gia và các cán bộ y tế đều nhận thức được rằng loại thuốc nào sẽ được dùng cho bệnh nhân nào. Trong các đánh giá về phát triển, hiện đang có xu hướng tăng nhẹ vận dụng thiết kế thực nghiệm. Việc chuyến hướng này xuất phát từ thiếu những nhận

252

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

thức và kiến thức, cho dù đã có nhiều năm đánh giá, về những gì vận hành tốt trong bối cảnh phát triển trong điều kiện nào. Một thử nghiệm cổ điển gồm 6 bước: 1. Hình thành giả thiết. 2. Có được dữ liệu cơ sở (để đo lường biến phụ thuộc). 3. Phân bổ ngẫu nhiên vào nhóm can thiệp và không can thiệp (nhóm kiểm chứng). 4. Đưa các biến tác động và độc lập vào can thiệp. 5. Đo lường lại các biến phụ thuộc (kiểm chứng sau). 6. Tính toán sự khác biệt giữa các nhóm và kiểm định mức ý nghĩa thống kê. Trong ví dụ về bệnh sốt rét, câu hỏi đặt ra là liệu mạng lưới điều trị có làm giảm tỷ lệ mắc bệnh sốt rét trong vùng hay không. Sáu bước đó bao gồm: 1. Hình thành giả thiết: Các hộ dân dùng màn chống muỗi để làm giảm tỷ lệ mắc bệnh sốt rét. 2. Có được dữ liệu cơ sở: Trong vòng 2 tháng, số trường hợp mắc bệnh sốt rét mới trong vùng là 172 trường hợp. 3. Phân bổ ngẫu nhiên vào nhóm can thiệp và không can thiệp (nhóm kiểm chứng) 4. Đưa tác động vào: Cung cấp màn cho một nhóm (nhóm tác động) và nhóm kia thì không (nhóm kiểm chứng). 5. Đo lường lại các biến phục thuộc: Sau 2 tháng tác động, số trường hợp mắc bệnh sốt rét mới là 65 đối với nhóm thí điểm và là 118 đối với nhóm kiểm chứng. 6. Tính toán sự khác biệt giữa hai nhóm: Nhóm thí điểm ít hơn 53 trường hợp so với nhóm kiểm chứng. Ký hiệu thiết kế đối với thử nghiệm cổ điển với một nhóm tác động và một nhóm kiểm chứng sẽ có dạng: O1 X O2 O1 O2 Trong một số trường hợp, người đánh giá dùng ký hiệu R trước mỗi dòng của từng nhóm để chỉ ra rằng nhóm đó được lựa chọn ngẫu nhiên. Với thiết kế thực nghiệm như đã mô tả ở trên (phân bổ ngẫu nhiên những người được nhận màn), thì ký hiệu này có dạng: R O1 X O2 R O1 O2

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

253

Con người là rất phức tạp, và các tình huống xã hội cũng rất khó phân tích. Thiết kế thực nghiệm chỉ có ý nghĩa khi thử nghiệm thuốc trên cơ thể con người có những đặc điểm tương đối giống nhau. Khi xem xét những hành vi phức tạp của con người, cần cảnh báo về những thất bại mang tính tích cực và những thất bại mang tính tiêu cực. Thất bại mang tính tích cực xảy ra khi nghiên cứu chỉ ra rằng can thiệp là nguyên nhân của tác động cho dù trên thực tế không phải là như vậy. Thất bại mang tính tiêu cực xảu ra khi nghiên cứu chỉ ra không có sự liên kết giữa sự can thiệp và thành công, cho dù trên thực tế can thiệp có liên kết với thành công. Thất bại mang tính tích cực có thể xảy ra bởi số liệu về hộ gia đình là do họ tự báo cáo. Người dân trong vùng có thể biết được về những đợt thử nghiệm và những hộ nhận được sự can thiệp và không báo cáo đúng những trường hợp bị sốt rét để làm hài lòng các quan chức chính phủ. Thất bại mang tính tiêu cực có thể thông thường hơn. Không có sự khác biệt giữa hai nhóm bởi những tính toán sau 2 tháng can thiệp diễn ra vào mùa khô, khi tỷ lệ mắc bệnh sốt rét thấp. Thất bại mang tính tiêu cực có thể xảy ra do các nhóm hộ được can thiệp không dùng màn chống muỗi hàng tối hoặc do những người trong nhóm không được can thiệp tự mua màn. Nếu nghiên cứu này không có thêm câu hỏi, thì rất khó để trình bày kết quả thậm chí ngay cả khi có sự can thiệp ngẫu nhiên đơn giản. Để giải thích kết quả, sẽ hữu ích hơn nếu người đánh giá có thể hỏi thêm một số câu hỏi sau:

■■ Nhóm kiểm chứng: Nhóm kiểm chứng trong một thiết kế thực nghiệm gồm các thành viên không được tiếp xúc hoặc không được thụ hưởng chương trình ■■ Nhóm thụ hưởng: Nhóm người tham gia trong một thiết kế thực nghiệm được thụ hưởng chương trình 254

• Hộ dân đã nhận được những thông tin gì về việc sử dụng màn chống muỗi? • Các thành viên trong hộ quyết định như thế nào và ai ngủ trong màn? • Những vấn đề gì liên quan đến thực hiện được các nhóm can thiệp và không can thiệp đưa ra? • Tỷ lệ mắc bệnh sốt xuất huyết trong vùng so với quá khứ hai tháng trước đó như thế nào? • Có cách phòng chống bệnh sốt rét nào khác tại thời điểm can thiệp không? Tất cả những câu hỏi này đều là câu hỏi mô tả, và rất dễ trả lời. Nhóm kiểm chứng Thiết kế thực nghiệm sẽ cố loại bỏ hoặc kiểm soát những nhân tố đại diện cho những giải thích gây tranh cãi đối với kết quả thực nghiệm. Khi thiết kế thực nghiệm, các nhà đánh giá phải so sánh những nhóm tương đồng nhau. Nhóm kiểm chứng là nhóm có những đặc điểm bình thường; các thành viên của nhóm không được can thiệp. Còn nhóm được can thiệp là nhóm chịu tác động. Mục đích của việc dùng nhóm kiểm chứng là để so sánh nhóm nhận được tác động và nhóm không được tác động.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Nhóm kiểm chứng thường từ chối những can thiệp. Đôi lúc từ chối can thiệp thường là đúng bởi không thể đủ nguồn lực để phục vụ tất cả những người có nhu cầu. Chỉ một phần mẫu được can thiệp mới được phục vụ, hoặc chương trình sẽ dần thực hiện với những đối tượng còn lại. Trong những trường hợp khác, sự can thiệp là không chứng minh được, do đó không chắc chắn rằng một số thứ có giá trị bị từ chối. Nếu sự can thiệp là có hiệu quả thì rất khó để giải thích tại sao một số người bị từ chối tiếp cận (Patton 2008). Phân bổ ngẫu nhiên Thiết kế thực nghiệm đòi hỏi phân bổ ngẫu nhiên những người sẽ tham gia vào chương trình thành nhóm được can thiệp và nhóm không được can thiệp để tối đa hóa xác suất các nhóm là đồng nhất (không có sự chênh lệch trong phân bổ nhóm) nhất là về mặt các nhân tố có thể ảnh hưởng đến chương trình hoặc kết quả can thiệp. Những nhân tố này có thể là tuổi, giới tính, trình độ giáo dục, thái độ, lịch sử của người tham gia và các nhân tố khác. ở thế giới lý tưởng, có thể xác định ngẫu nhiên ai được nhận và ai không được nhân sự can thiệp, Vấn đề về thế giới thực trong đánh giá là phải xác định được nhóm kiểm chứng không nhận được sự can thiệp. Một cách để làm được điều này này phân bổ nguồn lực của dự án hoặc chương trình theo cách ngẫu nhiên. Những người thụ hưởng dự án hoặc chương trình là một ngẫu nhiên lấy ra từ tổng thể. Mẫu này có thể dùng để so sánh với mẫu ngẫu nhiên khác của những người không thụ hưởng (nhóm kiểm chứng) (White 2007). Phân bổ ngẫu nhiên có thể cho phép sử dụng thiết kế để đo lường tác động. Phương pháp khác có thể sẽ mang lại sự công bằng, ít thiên vị hơn nếu phân bổ nhóm can thiệp và nhóm kiểm chứng ngẫu nhiên. Mặc dù phân bổ ngẫu nhiên phù hợp hơn với can thiệp trong lĩnh vực phát triển, nhưng đó không phải lúc nào cũng là sự lựa chọn. Cũng như một thí nghiệm về thuốc, đôi lúc cũng không đúng nguyên tắc nếu từ chối không can thiệp để tạo ra nhóm kiểm chứng, nhưng cũng có thể không đủ nguồn lực để đáp ứng tất cả những ai muốn tham gia, do đó sẽ dẫn tới từ chối không can thiệp một số người. Quản lý dự án cũng muốn phân bổ những người có nhiều cơ hội được lợi từ sự can thiệp tham gia vào dự án. Đây cũng là cách để mang lại nhiều lợi ích nhất với những chương trình hạn chế ngân sách. Tuy nhiên, theo quan điểm đánh giá, nếu những người tốt nhất được phân bổ vào chương trình, kết quả sẽ bị lệch bởi mẫu phải được chọn ngẫu nhiên. Nếu không thể lựa chọn ngẫu nhiên, thì một giái pháp đưa ra là thu thập số liệu về các chỉ số khác nhau giữa hai nhóm và có thể ảnh hưởng đến kết quả đầu ra. Những biến số này có thể được xây dựng để phân tích thông qua các

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

255

■■ Biến kiểm soát: Những nhân tố bên ngoài cố định nhằm tối thiểu hóa những tác động có thể có đến kết quả của sự can thiệp.

biến kiểm chứng. Sử dụng các biến kiểm soát cho phép người đánh giá đưa vào một số giải thích ngay cả khi không thể phân bổ ngẫu nhiên. Khi lựa chọn nhóm, người đánh giá cần quan tâm tới sự sai lệch do lựa chọn. Sai lệch do lựa chọn là sự khác biệt giữa nhóm tham gia và nhóm không tham gia do những yếu tố không quan sát được chứ không phải do tác động của sự can thiệp.

■■ Sai lệch do lựa chọn: Sự méo mó trong dẫn chứng hoặc số liệu về kết quả đầu ra của sự can thiệp đến chương trình do những khác biệt về hệ thống đối với các đặc điểm của một mẫu nhỏ trong tổng thể mẫu nhận được sự can thiệp và của những đối tượng trong mẫu khác không nhận được sự can thiệp.

Quá trình ngẫu nhiên hóa bảo đảm rằng trường khi có sự can thiệp, nhóm can thiệp và nhóm kiểm chứng là tương đồng về mặt thống kê về tất cả các đặc điểm. Những cách lựa chọn ngẫu nhiên sẽ giúp giải quyết vấn đề sai lệch do lựa chọn thông qua tạo ra một nhóm kiểm chứng bao gồm những người đáng lý ra tham gia vào chương trình nhưng ngẫu nhiên từ chối tiếp cận với chương trình hoặc sự can thiệp. Phân bổ ngẫu nhiên không loại bỏ sai lệch do lựa chọn nhưng thay vào đó nó giúp cân bằng mức độ sai lệch giữa nhóm tham gia (được can thiệp) và nhóm không tham gia (kiểm chứng) để loại bỏ hết trong quá trình ước lượng tác động trung bình. Bất cứ một sự khác biệt nào trong kết quả đầu ra của hai nhóm sau khi có can thiệp đều là do can thiệp (Ngân hàng Thế giới 2008.)

256

Sai lệch do lựa chọn có thể diễn ra theo 2 cách. Thứ nhất, người tham gia có thể tự lựa chọn tham gia chương trình. Thứ hai, quản lý chương trình lựa chọn người tham gia có khả năng thành công nhất. Chẳng hạn, xem xét chương trình hỗ trợ màn ngủ. Nếu sự can thiệp của chương trình là để giới thiệu màn với thị trường với chi phí rất thấp, thì sẽ xuất hiện sai lệch do lựa chọn, bởi chỉ có những người có khả năng mua và đã mua màn thì mới được đưa vào nhóm can thiệp, còn những người không có khả năng mua hay những người không biết về tác dụng của màn thì lại không được ở trong nhóm can thiệp. Hơn nữa, sẽ rất khó để có thể so sánh giữa nhóm can thiệp và nhóm kiểm chứng, bởi không có số liệu về ai dùng màn và ai không dùng màn. Để giảm xác suất suy nghĩ rằng những gì không đúng lại đúng (thất bại mang tính tích cực), người đánh giá cần áp dụng những phương pháp khoa học xã hội. Áp dụng thiết kế đánh giá thực nghiệm, người đánh giá có thể làm được những thứ họ muốn kiểm soát trong quá trình thực hiện một chương trình, chính sách hay dự án và cả môi trường hoạt động. Nếu đợt đánh giá có thể kiểm soát được tất cả mọi thứ trừ sự can thiệp, thì người đánh giá có thế hoàn toàn chắc chắn rằng những thay đổi quan sát được chính là kết quả của sự can thiệp. Hãy xem xét một đợt đánh giá tác động do dùng phân bón để tăng sản lượng ngô. Dự án vận hành trong nhà kính, nơi người dân kiểm soát nhiệt độ, lượng nước và điều kiện đất. Là một phần của thiết kế đánh giá, người ta tạo ra hai khu đất trồng riêng biệt trong nhà kính. Một khu được phân bổ ngẫu nhiên để đươc dùng phân bón, còn khu kia là khu kiểm chứng. Cả hai khu vực này đều được áp dụng cùng một nhiệt độ, lượng ánh sáng, nước và ngô được trồng

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

với những dạng đất hỗn hợp giống nhau. Khi thu hoạch, người ta đo lường sản lượng. Nếu tại khu vực thí điểm, sản lượng cao hơn khu kiểm chứng thì người đánh giá có quyền kết luận phân bón đã mang lại sự khác biệt. Bây giờ hãy suy nghĩ điều gì sẽ xảy ra khi sự can thiệp diễn ra trên đồng ruộng chứ không phải ở những vùng môi trường được kiểm soát như nhà kính. Điều gì sẽ xảy ra nếu hai khu vực rất gần nhau và phân bón cũng chảy vào khu không thí điểm? Có thể dời khu không thí điểm đến một khu vực khác của cánh đồng, nhưng khi đó hai cánh đồng lại có sự khác nhau về đất, ánh sáng, nhiệt độ hoặc lượng mưa. Hai cánh đồng này có thể cùng được quan tâm như nhau. Trong quá trình đánh giá, tác động vẫn được đo lường nhưng sẽ là nghi ngờ nếu kết luận rằng chỉ có phân bón mang lại sản lượng cao hơn. Trong thế giới phức hợp khi diễn ra những can thiệp cho phát triển, rất khó xác định những nhân tố góp phần vào thành công trong số các nhân tố khác. Trong ví dụ về nông nghiệp, giả định rằng có sự can thiệp vào hệ thống tưới tiêu trong thời tiết lý tưởng và có nhu cầu cao về loại cây trồng đó. Thu nhập trong vùng nơi có can thiệp vào hệ thống tưới tiêu tăng lên so với những năm trước. Nhưng liệu có phải chính sự can thiệp đó mang lại thu nhập cao hơn không? Hay là do các nhân tố khác, như lượng mưa tăng, thời điểm hoạt động kinh tế tốt đẹp, hay do giai đoạn chính trị ổn định hơn bình thường? Một cách lý tưởng nhất, người đánh giá phải lấy những tiêu chí đánh giá cho sự can thiệp do tưới tiêu với một vùng phân bổ ngẫu nhiên được can thiệp và một vùng không được can thiệp. Nhưng tình huống nào sẽ xảy ra khi không thể phân bổ ngẫu nhiên và thiết kế thực nghiệm không phải là một giải pháp? Trong rất nhiều trường, thiết kế bán thực nghiệm được dùng thay thế. Trong thiết kế bán thực nghiệm, có sự so sánh giữa hai nhóm nhưng không phân thành nhóm ngẫu nhiên. Chatterji (2007), Patton (2007), và Bamberger và White (2007) đã đưa ra những nghiên cứu xác đáng về hạn chế của thiết kế thực nghiệm trong thế giới thực. Giá trị nội tại Khi chúng ta nói đến loại bỏ những giải thích có thể thì chúng ta đang nói đến giá trị nội tại. Giá trị nội tại đề cập đến những khả năng của nghiên cứu khi loại bỏ những giải thích cho các kết quả quan sát được. Thiết kế đánh giá với giá trị nội tại mạnh sẽ làm tăng sự tựu tin của các nhà đánh giá khi đưa ra kết luận rằng sự can thiệp đó là nguyên nhân hoặc không là nguyên nhân gây ra những kết quả quan sát được. Một thiết kế với giá trị nội tại yếu sẽ khó thuyết phục mọi người về các kết quả quan sát được. Giá trị nội tại chính là ở đây, khi thiếu tính ngẫu nhiên, thì sự chính xác của các phát hiện có được từ nghiên cứu có thể được thỏa hiệp bằng nhiều cách khác nhau.

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ Giá trị nội tại: Khả năng thiết kế loại bỏ những nhân tố hoặc giải thích tiềm năng ảnh hưởng đến kết quả quan sát

257

Dấu hiệu không mong muốn của giá trị nội tại của những phát hiện này chỉ là giải thích mang tính cạnh tranh, có thể không tồn tại trên thực tế. Do đó giá trị nội tại có liên quan đến bối cảnh. Thiết kế bán thực nghiệm cần phải giải quyết những dấu hiệu không mong muốn của giá trị nội tại. Tổ chức Đánh giá Xã hội vương quốc Anh (2003) định nghĩa về giá trị nội tại như sau: Sự tự tin khi ra kết luận của người đánh giá về những mục tiêu đạt được của can thiệp. Dấu hiệu không mong muốn của giá trị nội tại là sự không nhất trí khi cho rằng thiết kế đánh giá cho thấy sự gắn kết nhân quả giữa can thiệp và các tác động qua sát được là không chắc chắn. Có thể nghĩ tới một vài câu hỏi về bản chất như sau: Liệu có điều gì khác ẩn sau sự can thiệp ảnh hưởng đến sự khác biệt giữa tình huống sau khi can thiệp và tình huống phi thực thế?

Trong bối cảnh cổ điển, Cook và Campbell (1979) xác định một vài dấu hiệu không mong muốn của giá trị nội tại như sau: • • • • ■■ Tác động do lịch sử: tác động của những sự kiện không liên quan đến can thiệp hoặc các kết quả của chúng

Lịch sử Trưởng thành Thí điểm lặp lại Sai lệch do lựa chọn

• Tỷ lệ tử vong • Hồi quy trung bình • Sự phối kết hợp các công cụ.

Tác động do lịch sử. Tác động do lịch sử đề cập đến những khả năng xảy ra hiện tượng trong quá trình tác động hoặc giữa giai đoạn lặp lại tác động nhưng không phải do can thiệp mang lại và có khả năng ảnh hưởng đến kết quả. Lịch sử luôn là dấu hiệu không mong muốn trong các nghiên cứu. Đó cũng có thể là những dấu hiệu khó phát hiện, bởi người đánh giá phải điều tra nghiên cứu những sự kiện xảy ra trong quá trình can thiệp có tác động đến kết quả. Khi xem xét kết quả đối với một cá nhân, những sự kiện mang tính lịch sử có tác động đến kết quả rất có thể xảy ra. Lịch sử mang tính cá nhân có liên quan đến sự thành công của sự kiện, một vài đặc điểm trong đó có thể thay đổi. Đối với một nhóm các cá nhân, dấu hiệu không mong muốn mang tính lịch sử với giá trị nội tại là sự kiện đồng thời ảnh hưởng nhiều nhất hoặc ít nhất đến cá nhân để thay đổi những đặc tính đo lường được. Theo lưu ý của Brossart, Clay, và Willson (2002): Nếu tất cả các cá nhân là thành viên của nhóm nào đó, việc thực hiện các sự kiện này có thể thông qua phỏng vấn hoặc quan sát; nếu các thành viên là độc lập, khả năng thay đổi đặc tính do các sự kiện này có thể nhỏ hơn trừ khi các sự kiện xảy ra trong bối cảnh chung nơi những người tham gia cùng ở một chỗ, chẳng hạn như bệnh viện.

Ví dụ, trong quá trình thực hiện chương trình hướng vào đối tượng trẻ có rủi ro cao, tội phạm vị thành niên gây ra tội lỗi nghiêm trọng. Tình huống này gây 258

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

ra những phản ứng kịch liệt để đối phó với tuổi vị thành niên có rủi ro cao. Tình huống có thể làm thay đổi loại người trong chương trình và có thể ảnh hưởng đến kết quả. Khảo sát về thái độ chịu ảnh hưởng nhiều của loại hình này, bởi các ý kiến đưa ra chịu tác động của những sự kiện xảy ra gần đây và thông tin mang tính thời sự mà báo chí cung cấp (Văn phòng Pháp lý cho vị thành niên và Phòng chống tội phạm 1989). Hãy xem xét một sự can thiệp, chẳng hạn như giới thiệu một loại hạt giống mới hoặc đào tạo cải tiến cách trồng cây cho nông dân ở một tỉnh. Biến phụ thuộc hoặc kết quả đo lường có thể làm tăng thu nhập từ cây trồng so với năm trước. Tuy nhiên, nông dân có thể vẫn gắn với cách trồng cũ mà chỉ áp dụng hạt giống mới, mặc dù vậy, thu nhập trung bình của họ vẫn tăng lên. Điều tra sâu hơn sẽ cho thấy rằng khí hậu năm đó rất thuận lợi cho trồng trọt. Chính khí hậu chứ không phải sự can thiệp đã mang lại kết quả này. Những sự kiện bên ngoài có ảnh hưởng đến kết quả. Thiết kế đánh giá trước và sau thường phải chịu tác động của tác động mang tính lịch sử này. Hiệu ứng trưởng thành. Hiệu ứng trưởng thành xảy ra khi kết quả chịu ảnh hưởng của tuổi tác hay sự phát triển. Khi con người già đi, họ trưởng thành. Khi trưởng thành, họ cảm nhận hoặc phản ứng với các tình huống rất khác biệt. Những thay đổi tự nhiên gây ra bởi thời gian như con người già đi, trở nên nhạy bén hơn hoặc tích lũy được kinh nghiệm. Hiệu ứng này xảy ra đối với các cá nhân và nhóm. Chẳng hạn, trẻ em thường trở thành những độc giả tốt hơn sau hai năm mà không cần đào tạo thêm. Các tổ chức cũng sẽ phát triển và có sự thay đổi. Những thay đổi này có thể một phần là do chu kỳ tăng trưởng và phát triển tự nhiên và không liên quan gì đến can thiệp. Thiết kế đánh giá trước và sau khi thực hiện thường không mang lại nhiều kết quả cũng một phần là do hiệu ứng trưởng thành. Trưởng thành thường diễn ra dưới hai hình thức: ngắn hạn hoặc dài hạn. Trưởng thành ngắn hạn được biểu thị bằng lao động và học hỏi. Trưởng thành dài hạn liên quan đến sự phát triển về tâm sinh lý, thay đổi văn hóa, và thay đổi môi trường có ảnh hưởng đến cấu trúc tâm lý. Khi tính riêng những nhân tố này, trưởng thành dài hạn có vai trò quan trọng. Chẳng hạn, một đợt đánh giá nahwmf điều tra tác động của chương trình đọc hai năm đến điểm đọc của học sinh tiểu học. Sau hai năm, kỹ năng nhận thức của trẻ em sẽ tăng lên cho dù có hay không có chương trình đọc này. Vậy làm thế nào để người đánh giá bảo đảm rằng điểm đọc tăng lên chính là do tác động của chương trình hay là do sự trưởng thành của học sinh? Tác động lặp lại thí điểm. Tác động lặp lại thí điểm (ngắn hạn) xảy ra khi các chủ thể được thí điểm trước và sau khi can thiệp hoặc được lặp lại nhiều lần. Chủ thể có thể biết cách phản hồi lại câu hỏi, ảnh hưởng đến tính chính xác của kết quả. Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ Hiệu ứng

trưởng thành:

Tác động của tuổi tác hoặc sự phát triển đến kết quả

■■ Tác động lặp

lại thí điểm:

Tác động trên các kết quả được gây nên cho các chủ thể tham gia vào các thí điểm được lặp lại nhiều lần 259

tiêu hao: Tác động của của việc rời bỏ hệ thống theo dõi kết quả của một chương trình can thiệp

Hãy xem xét ví dụ sau đây, can thiệp được thực hiện với mục đích cải thiện kỹ năng của giáo viên ở những trường học nông thôn. Các giáo viên được làm kiểm tra kỹ năng cuối tháng. Họ được các thành viên hội đồng đánh giá đánh giá thông qua một danh mục và nhận được thông tin phản hồi về kỹ năng hàng tháng. Những giáo viên này có thể cải thiện kỹ năng dựa vào danh mục quy chuẩn thông qua lặp lại thí điểm. Sai lệch do lựa chọn. Sai lệch do lựa chọn hình thành khi một nhóm người tự lựa chọn mình tham gia vào chương trình được so sánh với một nhóm người không tự lựa chọn mình tham gia vào chương trình. Hai nhóm này là không tương tương đồng nhau, bởi cá nhân tự lựa chọn thường có xu hướng tự cải thiện kỹ năng hoặc thay đổi thái độ cho dù không nhận được sự can thiệp của chương trình hơn là những cá nhân không được lựa chọn tham gia. Sai lệch do lựa chọn còn biểu thị trong những người được chọn tham gia khảo sát và những người không trả lời. Sai lệch do tự lựa chọn là rất có thể xảy ra trong bất kỳ chương trình nào, trong đó cá nhân và các hãng phát hiện ra và đăng nhập chương trình. Đây chính là rủi ro cho thiết kế bán thực nghiệm. Tác động tiêu hao. Tác động tiêu hao chính là tỷ lệ người tham gia rời bỏ chương trình. Người tham gia rút khỏi chương trình có thể gây nên hiệu ứng sai lệch làm ảnh hưởng đến kết quả can thiệp. Nếu lựa chọn cũng có thể làm sai lệch thì tỷ lệ người tham gia rút khỏi chương trình cũng vậy. Mặc dù người đánh giá cố gắng trình bày kết quả chỉ dựa trên những người tham gia đầy đủ vào chương trình, nhưng nếu như vật kết quả sẽ bị sai lệch, bởi có thể những người rút khỏi chương trình sẽ có kết quả tồi hơn những người tham gia đầy đủ. Do tham gia đầy đủ vào chương trình và được can thiệp đầy đủ là yếu tố đầu vào quan trọng cho đợt đánh giá, nên không thể đánh đồng việc so sánh với kết quả của nhóm so sánh. Hãy xem xét ví dụ sau đây, chương trình phát triển giảng viên có 400 người tham gia và sử dụng tỷ lệ tốt nghiệp làm thước đo cho sự thành công của chương trình. Sau ba năm thực hiện chương trình, 25 người tham gia bị chết do AIDS. Việc mất mát những người tham gia này đã làm giảm tỷ lệ tốt nghiệp, tạo ấn tượng rằng chương trình kém thành công hơn thực tế mong đợi. Hãy xem một ví dụ khác, cũng là chương trình phát triển giảng viên. Giả định rằng trường đại học tài trợ cho chương trình ra chính sách không cho phép phụ nữ có thai được tham gia học hoặc tham dự các kỳ kiểm tra. Và như vậy, phụ nữ mang thai không được tính vào tỷ lệ tốt nghiệp. Hồi quy về mức tác động trung bình. Hiện tượng hồi quy cho thấy xu hướng tự nhiên đối với các cá nhân có điểm hoặc là rất cao hoặc là rất thấp được quy về gần với khoảng giữa khi tiến hành kiểm định lại. Tác động này được gọi là hồi

260

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

quy về mức trung bình. Cách đo lường này không đáng tin cậy, bởi có sự khác nhau giữa các kết quả lặp lại. Những quan sát được đo lường sẽ có xu hướng dịch chuyển về điểm trung bình thay vì nằm ở những khoảng cách xa. Do đó, trong những chương trình lựa chọn cá nhân và nhóm dựa trên điểm ở hai đầu, sự thay đổi trong hoạt động có thể được coi là hồi quy của nhóm “nằm ở hai thái cực” về trung bình để xem những cá nhân này có được hưởng lợi từ chương trình hay không. Chẳng hạn lấy ví dụ về chương trình cải thiện kỹ năng ghi sổ của một dự án tín dụng vi mô. Dự án này lựa chọn thành viên tham gia dựa trên điểm kiểm tra khả năng số học và lựa chọn những người có điểm cao nhất tham gia vào chương trình. Nếu đưa cùng một bài kiểm tra số học cho những người tham gia này sau khi có sự can thiệp thì điểm của họ có thể giảm bởi họ sẽ dịch chuyển về gần điểm trung bình.

■■ Hồi quy về

Tác động của thực hiện các công cụ. Tác động của thực hiện các công cụ xảy ra khi mức độ tin cậy của công cụ áp dụng bị thay đổi. Những thay đổi phản ánh sự thay đổi trong cách thức đo lường (chẳng hạn do điều chỉnh sai số). Ví dụ đánh giá chương trình tăng trọng lượng cho người trưởng thành thông qua cung cấp các thông tin dinh dưỡng có thể cho thấy không có tác động nào mang ý nghĩa nếu không điều chỉnh cái cân dùng để cân trọng lượng cơ thể hoặc nếu thay đổi cách và thời gian điều chỉnh cân.

■■ Tác động của

mức trung bình: Khunh

hướng tự nhiên của các cá nhân ghi điểm hoặc rất cao hoặc rất thấp sẽ hội tụ về điểm giữa sau khi được thử nghiệm lại

thực hiện các công cụ: Tác

động lên kết quả của một đánh giá gây ra do thiếu độ tin cậy của công cụ được sử dụng để đo lường kết quả

Thiết kế bán thực nghiệm Phương pháp thiết kế bán thực nghiệm được sử dụng để thực hiện những đợt đánh giá không phân bổ ngẫu nhiên được thành nhóm can thiệp và nhóm đối chứng. Thiết kế bán thực nghiệm bao gồm những thiết kế có sử dụng nhóm so sánh với những đặc tính tương tự nhau và cả những thiết kế sử dụng nhiều phương pháp đo lường nhưng không có nhóm so sánh, người đánh giá xây dựng nhóm dựa trên những đặc tính quan trọng (như giới tính, thu nhập, tình hình kinh tế - xã hội). Hoạt động của những nhóm tương đồng này, đôi khi gọi là nhóm so sánh, sau đó, được so sánh với nhau (Hộp 7.2). Đôi khi người đánh giá cũng có thể tạo ra nhóm so sánh bằng cách kết hợp những đặc điểm chính. Hoặc người đánh giá sẽ tìm nhóm so sánh mà không hoàn toàn giống với nhóm đã nhận được sự can thiệp nhưng đủ giống để có thể so sánh. Lựa chọn thiết kế bán thực nghiệm trước là không cần thiết, nhưng được ưa thích hơn. Thông thường, phương pháp này sẽ tốt hơn nếu xác định được nhóm so sánh chứ không phải hoàn toàn phụ thuộc vào các phương pháp đo lường các nhóm giống nhau theo thời gian. Một cách lý tưởng nhất là phải có được số liệu điều tra cơ sở về nhóm so sánh cùng một thời gian với số liệu của nhóm nhận được sự can thiệp và trước khi can thiệp vào chương trình. Trong thiết kế bán thực nghiệm sau, nhóm so sánh được xác định sau khi chương Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ Thiết kế bán

thực nghiệm: Thiết kế trong đó các nhóm với các đặc trưng giống nhau được so sánh hoặc thiết kế sử dụng nhiều phương pháp đo cho cùng 1 nhóm nhưng theo các mốc thời gian khác nhau.

261

Hộp 7.2 Liệu các trường học do địa phương quản lý có hoạt động tốt không?

Đánh giá chương trình EDUCO của El Salvador Chương trình trường học do cộng đồng quản lý của El Salvador (EDUCO) nhằm mục đích nhanh chóng mở rộng giáo dục ở nông thôn sau nội chiến. Đánh giá của chương trình dự kiếm sẽ đo lường các tác động của phân cấp trách nhiệm giáo dục cho cộng đồng và trường học đến kết quả đầu ra của học sinh. Vấn đề đặt ra là liệu sự mở rộng nhanh chóng đến các vùng nông thôn có đi kèm với chi phí học hành hay không. Đánh giá này so sánh kết quả đầu ra (kết quả dựa trên các bài kiểm tra chuẩn môn toán và ngôn ngữ) của các học sinh lớp 3 trong EDUCO và các trường truyền thống, kiểm soát dác đặc tính và sai lệch do lựa chọn học sinh thông qua kiểm soát về mặt thống kê. Do trong ngắn hạn, có thể điểm kiểm tra không phải là câu trả lời nên người đánh giá đã xem xét số ngày nghỉ học do không có giáo viên. Sự khác biệt giữa kết quả đầu ra trong lĩnh vực giáo dục có thể bị ảnh hưởng bởi một loạt các nhân tố. Người đánh giá cần xác định xem liệu sự khác biệt trong điểm kiểm tra có phản ánh sự khác biệt trong loại hình trường học hay là do nhân tố khác, chẳng hạn như đặc điểm của hộ gia đình (trình độ giáo dục, quy mô gia đình, thu nhập); đặc điểm của học sinh (giới tính, độ tuổi, số lượng anh chị em ruột); đặc điểm trường học (tỷ lệ nhập học, chất lượng giáo viên, trang thiết bị và tình hình tài chính của trường); và các đặc điểm của giáo viên (trình độ giáo dục, số năm kinh nghiệm). Người đánh giá sử dụng các số liệu thu thập được thông qua khảo sát do Bộ Giáo dục thực hiện nhằm xây dựng mô hình đo lường tcs động độc lập của loại hình trường trong khi kiểm soát các nhân tố khác. Sử dụng mô hình thống kê phức tạp nhưng có kiểm soát các nhân tố trình bày ở trên, người đánh giá đưa ra kết luận rằng số điểm đạt được của trẻ em trong chương trình EDUCO và các trường học truyền thống gần như giống nhau. Việc mở rộng nhanh chóng không có tác động ngược lại đến học hành. Nói cách khác, các trường học do cộng đồng quản lý cũng mang lại hiệu quả như những trường học bình thường.

trình đã bắt đầu, thậm chí ngay cả sau khi kết thúc chương trình. Đây là một tình huống thách thức đối với người đánh giá. Ký hiệu đối với thiết kế bán thực nghiệm cũng tương tự như thiết kế thực nghiệm. Sự khác biệt ở đây là có sự phân bổ không tương tích giữa các chủ thể vào nhóm đối với thiết kế bán thực nghiệm. Trong một số trường hợp, nó được bắt đầu bởi chữ N. Do đó thiết kế bán thực nghiệm, trong đó có nhóm can thiệp và nhóm so sánh được viết dưới dạng: N O1 X O2 N O1 O2 262

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Để xác định xem liệu sự can thiệp có mang lại khác biệt hay không, đánh giá cần xác định kết quả dựa trên các tính toán và chỉ số chính và thay đổi kết quả của sự can thiệp. Có nhiều dạng thiết kế bán thực nghiệm, một số nhóm này khỏe hơn các nhóm khác. Tám thiết kế đánh giá bán thực nghiệm thường được thảo luận bao gồm: • • • • • • • •

Thiết kế trước và sau không có nhóm so sánh Thiết kế so sánh không tường đồng trước và sau Thiết kế so sánh không tương đồng sau So sánh chuỗi thời gian gián đoạn Thiết kế theo chiều dọc Thiết kế dạng bảng Phân tích tương quan kiểm soát các biến Đối chiếu điểm xu hướng.

Thiết kế trước và sau không có nhóm so sánh Thiết kế trước và sau là một cách đo lường sự thay đổi. Nó được thực hiện thông qua so sánh những chỉ tiêu chính sau khi có sự can thiệp với những chỉ tiêu trước khi có sự can thiệp. Kiểm định trước và sau thường được áp dụng trong phương pháp này (các chỉ tiêu “trước” thường được gọi là số liệu cơ sở). Việc thu thập số liệu cơ sở thường được gọi là điều tra cơ sở. Thiết kế trước và sau đơn giản là thiết kế bán thực nghiệm kém bởi nó là cách thiết kế chỉ đưa vào mỗi cách đo lường trước và sau, điều này sẽ không đủ để biểu thị chính sự can thiệp là nguyên nhân của những thay đổi. Có thể là con người thay đổi hành vi bởi họ được đưa vào diện quan sát hoặc có điều gì khác xảy ra cùng thời điểm can thiệp và là nguyên nhân thực tế của sự thay đổi mà chúng ta quan sát được. Khi ít có thay đổi trong hoạt động, người đánh giá sẽ phải miễn cưỡng đưa ra kết luận rằng sự can thiệp là không có hiệu quả. Chẳng hạn hãy xem xét sự can thiệp tới giảm nghèo. Vùng mục tiêu nghèo đến mức mà tất cả mọi người đều đáp ứng đủ tiêu chí được can thiệp, do đó không có nhóm so sánh. Sau 10 năm, tỷ lệ người nghèo vẫn không thay đổi. Người đánh giá không thể kết luận rằng sự can thiệp đến giảm là không có hiệu quả, bởi có thể rằng nếu không có sự can thiệp (ở đây lại là câu hỏi liên quan đến những vấn đề đối chứng), thì người nghèo vẫn chiếm tỷ lệ lớn. Phương pháp trước và sau thông thường không được cho là mang lại câu trả lời đáng tin cậy, bởi phương pháp này không kiểm soát được những nhân tố khác tác động đến kết quả đầu ra; nó chỉ so sánh các điều kiện trước và sau khi thực hiện. Không có sự so sánh giữa có và không có can thiệp. Do vậy, các nhân tố của thiết kế này chỉ được thực hiện cùng với các nhân tố của các loại thiết kế khác. Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ Thiết kế

trước và sau: Thiết kế để so sánh các chỉ tiêu sau khi có sự can thiệp với các chỉ tiêu trước khi có sự can thiệp

263

Ký hiệu của thiết kế trước và sau được viết dưới dạng: O1 X O2 Thiết kế so sánh không tương đồng trước và sau Mặc dù những đối tượng trong thiết kế bán thực nghiệm không được phân bổ ngẫu nhiên thành từng nhóm, những vẫn có thể sử dụng nhóm so sánh. Nhóm so sánh này được gọi là nhóm không tương đồng. Nhóm này vẫn có thể được so sánh, nhưng người đánh giá cần xem xét cẩn thân những dấu hiệu không mong muốn ảnh hưởng đến giá trị nội tại đã thảo luận ở trên. Để các nhóm tương đồng với nhau hơn, người đánh giá phải cố gắng làm cho các nhóm này phù hợp với nhau. Có thể thực hiện điều này thông qua sử dụng những đạc điểm về nhân khẩu học, kiểm định kỹ năng, kiểm tra hoạt động, điểm đánh giá và các phương pháp khác. Người đánh giá có thể đưa bài kiểm tra trước cho các đối tượng và sau đó lựa chọn nhóm dựa trên điểm kiểm tra. Chẳng hạn, trong chương trình cải thiện nhận thức về vấn đề giới, bài kiểm tra trước đề cập đến những khái niệm và những yếu tố cơ bản về nhận thức về giới được đưa ra. Điểm kiểm tra được xếp từ cao nhất đến thấp nhất. Trong số hai điểm cao nhất, một được đưa vào 1 nhóm và người kia được đưa vào nhóm thứ hai. Quá trình này được tiếp tục thực hiện cho đến khi tất cả sinh viên được phân vào một trong hai nhóm, trong đó một nhóm sẽ được đào tạo thêm. Đến một thời điểm nào đó, hai nhóm sẽ được kiểm tra lại để xem xét xem điểm số của nhóm được đào thêm có khác so với nhóm không được đào tạo hay không. Ký hiệu đối với nhóm kết hợp, không tương đồng được viết dưới dạng: N O1 X O1 N O2 O2 Thiết kế so sánh không tương đồng sau khi thực hiện Thiết kế so sánh không tương đồng sau khi thực hiện là một phương pháp kém hơn thiết kế so sánh không tương đồng trước và sau.Thiết kế so sánh không tương đồng trước và sau tồn tại nhóm so sánh. Do đó, tồn tại số liệu sau khi can thiệp. Mặc dù được ưa thích hơn không có nhóm so sánh, nhưng vấn về chính ở đây là nhóm can thiệp và nhóm so sánh có thể không bắt đầu từ một điểm. Do đó mặc dù chúng ta biết điểm kết thúc của hai nhóm, nhưng chúng ta lại không biết điểm bắt đầu. Sự khác biệt giữa nhóm can thiệp và nhóm so sánh có thể phản ánh sự khác biệt ở thời điểm họ bắt đầu chứ chưa hẳn là do tác động của can thiệp. Do đó đây có thể là thiết kế phù hợp nhất cho phép với những tình huống phân tích sau. N O1 X O2 N O2

264

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thiết kế so sánh chuỗi thời gian gián đoạn Thiết kế so sánh chuỗi thời gian gián đoạn đo lường hoạt động của một nhóm nhiều lần trước khi can thiệp, sau đó cũng đo lường hoạt động của nhóm đó nhiều lần sau khi can thiệp. Ký hiệu thiết kế chuỗi thời gian gián đoạn với một nhóm có dạng như sau: O1 02 03 X O4 O5 O6 Thuật ngữ gián đoạn được sử dụng xuất phát từ thực tế là cho dù một hoặc nhiều nhân tố được đo lường liên tục theo thời gian, nhưng sự đo lường này bị gián đoạn bởi việc đưa thêm vào can thiệp. Đo lường nhiều lần cả trước và sau khi can thiệp là điểm để phân biệt thiết kế bày với thiết kế trước và sau ở điển ở trên. Phương pháp này cũng có thể sử dụng với một hoặc nhiều nhóm so sánh. Thiết kế theo chiều dọc Trong thiết kế theo chiều dọc, một mẫu theo thời gian, đối tượng được đánh giá tại một số điểm trong cả giai đoạn dài. Mục đích của thiết kế này là để xem xét sự thay đổi theo thời gian. Chẳng hạn trong lĩnh vực chăm sóc sức khỏe, một quan tâm thường thấy là điều tra mức độ chăm sóc sức khỏe trong dài hạn với trẻ em mới sinh có mẹ bị nhiễm HIV/AIDS và đã được nhận thuốc để phòng ngừa việc truyền virus từ mẹ sang con. Một nghiên cứu theo chiều dọc sẽ được thực hiện để theo dõi trẻ em đó theo thời gian. Kết quả sẽ được xem sét để xác định xem liệu có sự giống nhau nào trong những vấn đề về sức khỏe của các trẻ em này. Nghiên cứu theo chiều dọc có thể mang lại nhiều thông tin mà khó có thể phát hiện được nếu sử dụng các dạng thiết kế khác. Tuy nhiên, phương pháp này rất tốn kém và rất khó thực hiện, và đôi lúc còn chịu ảnh hưởng của vấn đề tiêu hao (như đối tượng can thiệp bị chết hoặc mất liên lạc với người đánh giá). Ký hiệu cho thiết kế theo chiều dọc được viết dưới dạng:

■■ Thiết kế theo chiều dọc: Là thiết kế trong đó theo dõi các cá nhân ở một số điểm trong thời gian tương đối dài

X O1 O2 O3 . . . Thiết kế dạng bảng Một hình thức của thiết kế theo chiều dọc là thiết kế dạng bảng. Thay vì các cá nhân, như trong thiết kế theo chiều dọc, thiết kế dạng bảng theo dõi cùng một nhóm đối tượng theo thời gian. Chẳng hạn, chương trình điều tra sự thay đổi thái độ và hành vi ứng xử với vấn đề giới theo thời gian của sinh viên ở một trường. Thiết kế dạng bảng sẽ thu thập những thông tin về thát độ ứng xử với vấn đề giới cho mỗi thành viên của một lớp từ lớp 1 đến lớp 6.. Ký hiệu cho thiết kế dạng bảng được viết dưới dạng:

■■ Thiết kế

dạng bảng:

Là thiết kế trong đó xem xét một nhóm đối tượng tạ một vài điểm trong khoảng thời gian tương đối dài

X O1 O2 O3 O4 O5 O6 . . .

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

265

■■ Thiết kế tương quan: Tìm hiểu quan hệ giữa hai hoặc nhiều biến cannot be manipulated

Thiết kế tương quan sử dụng kiểm soát thống kê Những vấn đề về đạo đức và thực tế đôi lúc làm cho thiết kế đánh giá thực nghiệm không thực hiện được. Ở mức đơn giản nhất, thiết kế tương quan tìm kiếm quan hệ giữa một hoặc nhiều biến vốn không thể tự điều khiển mình và được coi là một thiết kế phi thực nghiệm. Với thiết kế tương quan đơn giản này, cụm từ “tương quan không có nghĩa là kết quả công bằng” thường gắn với nhau. Nhưng điều quan trọng cần lưu ý ở đây là hai biến phải có liên hệ với nhau để một biến là nguyên nhân còn một biến là kết quả. Ngày nay, những kỹ thuật phân tích phức tạp sử dụng hồi quy đa chiều được áp dụng rộng rãi. Kỹ thuật tương quan thường được sử dụng để tạo nhóm so sánh về mặt thống kê. Johnson (2002) chỉ ra rằng những nhóm so sánh này được sử dụng để trả lời các câu hỏi liên quan đến mối quan hệ, sự kết hợp hoặc nguyên nhân và kết quả. Sự kết hợp thiết kế theo chiều dọc với phương pháp tương quan một phần là phương pháp mạnh để tác riêng kết luận nhân quả. Chẳng hạn, tương quan có thể tìm hiểu lượng bài tập về nhà đã hoàn thành và kiểm tra hoạt động đó, nếu tất cả các thành viên trong tổng thể mẫu đang xét có cùng động cơ. Nhiệm vụ ở đây là việc hoàn thành một phần bài tập về nhà không liên quan đến động cơ tương quan với phần điểm kiểm tra không liên quan đến động cơ. Nếu có thể kết nối hoặc dự đoán biến phụ thuộc với ba biến độc lập thì sẽ duy trì được kết nối nhân quả. (Garbin 2009; psych.unl.edu/ psycrs/942/q2/control.ppt). Lấy ví dụ về đợt đánh giá nhằm phát hiện xem liệu tỷ lệ phần trăm phụ nữ trong các cơ quan chính trị có tương quan với bộ máy chính phủ trung thực hay không. Cần thu thập số liệu về tỷ lệ phụ nữ trong các cơ quan chính trị ở những vùng khác nhau của cả nước và số lượng tham nhũng theo báo cáo để xác định hai biến này là có tương quan với nhau. Tất nhiên, bản thân bằng chứng về sự tương quan không thể hình thành nên nguyên nhân; thậm chí ngay cả trong trường hợp chính phủ với nhiều cán bộ nữ hơn tương quan với ít tham những, nhưng cũng vẫn cần loại bỏ những giả thích mơ hồ về quan hệ này. Do thiết kế tương quan được hình thành theo nhiều cách khác nhau nên ký hiệu của nó xuất hiện dưới nhiều dạng. Ký hiệu (a) đầu tiên ở dưới đây cho thấy một thiết kế với ba nhóm và một quan sát. Ký hiệu thứ hai (b) cho thấy hai nhóm, một nhóm được can thiệp. Ký hiệu thứ ba (c) cho thấy ba can thiệp khác nhau (X, Y, và Z), mỗi can thiệp có một quan sát. (a)

266

(b)

(c)

X O2

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

■■ Đối chiếu

điểm xu hướng: là một

Kết hợp điểm theo xu hướng Kết hợp điểm theo xu hướng được dùng để đo lường tác động của chương trình đến những người tham gia so với những người không tham gia có đặc điểm tương tự (White và Masset 2005). Để sử dụng kỹ thuật này, người đánh giá trước tiên cần thu thập số liệu cơ sở. Họ cũng phải xác định những đặc điểm quan sát có gắn với câu hỏi đánh giá (chẳng hạn, “Liệu các em gái sống gần trường học có tỷ lệ tốt nghiệm cao hơn những em phải đi bộ trên 5 km đến trường hay không”). Đặc điểm quan sát có thể bao gồm giới tính, tuổi tác, trình độ hôn nhân, khoảng cách từ nhà đến trường, bố trí phòng học, số anh chị tốt nghiệp trung học, và thứ tự sinh. Khi đã lựa chọn được các biến, thì sẽ hình thành được nhóm can thiệp và nhóm so sánh bằng cách lấy một người trong nhóm can thiệp gắn với một người trong nhóm so sánh có đặc điểm tương đồng nhất, sử dụng các đặc điểm quan sát được. Kết quả là một đôi cá nhân hoặc hộ gia đình có đặc điểm tương đồng nhau được gắn với nhau, ngoại trừ với biến can thiệp (White 2007). Công cụ phần mềm cũng hỗ trợ để thực hiện so sánh điểm xu hướng. Stata là phần mềm thông dụng nhất (Aliendo và Kopeinig 2005).

Thiết kế phi thực nghiệm Thiết kế thu thập số liệu giản đơn Thiết kế thu thập số liệu giản đơn chính là bức tranh được chụp tại một thời điểm. Loại thiết kế thường được sử dụng trong các cuộc khảo sát. Nhữn người đánh giá quan tâm đến phản ứng của nhóm nhỏ trong tổng thể mẫu. Nhóm nhỏ đó có thể là nhóm dựa trên các đặc điểm như tuổi tác, giới tính, thu nhập, trình độ giáo dục, dân tộc, hoặc mức độ can thiệp nhận được. Trọng tâm chính của thiết kế này là phân tách một cách có hệ thống thành những nhóm nhỏ trong mẫu tổng thể để người đánh giá có thể xem xét chi tiết từng nhóm. Khảo sát số liệu giản đơn lựa chọn mẫu dân cư, đối tượng thụ hưởng được can thiệp hoặc những thanh viên tham gia trước đó tại một thời điểm nhất định. Sau đó nó thu thập số liệu của những đối tượng này và báo cáo những quan điểm của họ (Hộp 7.3). Đôi khi một câu hỏi sẽ được đưa ra để xác định tình trạng hiện nay của ngừng người được can thiệp cách đây vài năm. Thiết kế thu thập số liệu giản đơn có thể trả lời các câu hỏi sau: • Người tham gia với những trình độ giáo dục khác nhau có quan điểm khác nhau về giá trị của đào tạo hay không? • Phụ nữ và nam giới có nhận được dịch vụ đào tạo khác nhau không? Chẳng hạn, câu hỏi đánh giá tập trung vào liệu nhóm nhỏ dân cư hoặc người thụ hưởng của một can thiệp có hài lòng với dịch vụ mà họ nhận được không hay tại sao họ không sử dụng dịch vụ. Người đánh giá nên sử

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

thiết kế được dùng để đo lường tác động của can thiệp đến các thành viên của dự án so với những người không tham gia thông qua dự đoán xác suất của các thành viên trong nhóm, nhưng nhóm can thiệp và nhóm kiểm chứng – dựa trên những thành tố dự đoán quan sát được, thông thường lấy từ hồi quy logistic để tạo ra nhóm đối chứng. Phương pháp này cũng được dùng để kết hợp hay đóng vai trò là hiệp phương sai— một mình hoặc với các biến hoặc hiệp phương sai kết hợp khác.” ■■ Thiết kế phi

thực nghiệm: Là hình thức thiết kế đánh giá trong đó không cần cố gắng để tạo ra nhóm được can thiệp và không được can thiệp mà trọng tâm ở đây là tập trung vào miêu tả

■■ Thiết kế thu

thập số liệu đơn giản:

Là thiết kế cung cấp một bức tranh, tại một thời điểm nhất định, về những đặc điểm của một tập con của tổng thể mẫu, đôi khi còn gọi là thiết kế “một lần”

267

Hộp. 7.3 Dùng thiết kế thu thập số liệu giản đơn để trả lời câu hỏi dạng mô tả

Trong quá trình đánh giá chương trình trao quyền về mặt kinh tế cho phụ nữ để họ tự thực hiện hoạt động kinh doanh nhỏ, người đánh giá muốn xem xét xem những người phụ nữ tham gia vào chương trình nghì gì về chương trình này. Quan điểm của họ có thể cho thấy điều mà họ học hỏi được trong chương trình nâng cao quyền lực về mặt kinh tế, hỗ trợ họ tự kinh doanh bền vũng, loại hình hoạt động kinh doanh mà họ tham gia, và liệu những cái mà họ học được có hữu ích cho hoạt động kinh doanh hay không. Với nguồn lực hạn chế, người đánh giá lựa chọn thực hiện một cuộc khảo sát ngắn về những sinh viên tốt nghiệp gần đây. Khảo sát bao gồm cả những câu hỏi về đặc điểm nhân khẩu học của người tham gia, do đó có thể so sánh câu trả lời dựa trên trình độ giáo dục, tuổi tác, và dân tộc.

dụng thiết kế này để biết các nhóm nhỏ so sánh về các biến như dịch vụ nhận được, sử dụng dịch vụ hoặc các quan điểm về dịch vụ tại một thời điểm. Ký hiệu cho thiết kế thu thập số liệu giản đơn được viết dưới dạng:

■■ Thiết kế thời điểm: Là dạng thiết kế xem xét một nhóm được can thiệp tại một thời điểm nhất định sau khi nhận được sự can thiệp

Thiết kế thời điểm Thiết kế thời điểm xem xét một nhóm nhận được sự can thiệp tại một thời điểm nhất định sau khi can thiệp. Có thể thấy rằng thiết kế thời điểm chính là một bức ảnh được chụp và có in ngày tháng trên đó. Loại thiết kế này được dùng để trả lời những câu hỏi như “Bao nhiêu phụ nữ được đào tạo?” hoặc “Ban nhiêu thành viên tham gia được tư vấn việc làm trong một giai đoạn nhất định?” Người đánh giá có thể sử dụng thiết kế thời điểm để (a) hỏi thành viên tham gia những câu hỏi xem bao nhiêu thành viên thích chương trình hoặc (b) xác định xem họ nhận xét về dịch vụ cung cấp như thế nào. Ký hiệu cho thiết kế thời điểm được viết dưới dạng: X O1

268

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Chiến lược theo dõi nguyên nhân Nhiều chiến lược để xác định xem liệu những thay đổi quan sát được có phải là do can thiệp hay không đòi hỏi phải có chiến lược thu thập số liệu cấu trúc và định lượng. Với người đánh giá đang thực hiện đánh giá nhanh hoặc đánh giá một can thiệp nhỏ hoặc một can thiệp mới, những chiến lược này hoặc là không thực tế hoặc là không được khuyên dùng. Mặc dù cách tốt nhất là lựa chọn những thiết ké đánh giá mạnh khi cần thiết, nhưng trong những tình huống như thế này, một thiết kế kém hơn sử dụng chiến lược theo dõi nguyên nhân sẽ là lựa chọn duy nhất. Vậy chúng ta sẽ lựa chọn như thế nào khi quy mô mẫu nhỏ, thu thập số liệu diễn ra trện diện rộng, hoặc phân tích thống kê mang tính phức tạp là khó khả thi? Có thể đưa ra một hoặc nhiều hơn tám lập luận lôgic để loại bỏ những giả thiết đối lập. Những lập luận đưa ra để chứng minh tính loogic xung quanh nguyên nhân được gọi là chiến lược theo dõi nguyên nhân. 1. Suy diễn từ danh mục nguyên nhân: Chúng ta biết rằng A, B, C, hoặc D là nguyên nhân gây ra một kết quả cụ thể. Tuy nhiên, trong một trường hợp thì cả B, C và D đều không xảy ra, do đó hầu như chúng ta có thể chắc chắn rằng A là nguyên nhân. Khi không thể áp dụng tính ngẫu nhiên, thì chúng ta có thể rút ra từ những nghiên cứu trước đó. Trong ví dụ ở Hộp 7.1, những người dân trong làng biết được rằng đàn voi bỏ đi do họ huýt sáo (A), đạp mạnh và xô chậu (B), la hét (C), và chạy xung quanh đá bụi bẩn (D). Nếu người dân trong làng chỉ làm A và thành công trong việc xua đuổi đàn voi đi thì họ có thể hầu như chắc chắn rằng huýt sáo làm đàn voi bỏ đi.

■■ Các chiến

lược theo dõi nguyên nhân: Loại thiết

kế phi thực nghiệm bao gồm các các tranh luận về các mối quan hệ nhân quả dựa trên các mô hình nguyên lý thay đổi và các suy diễn logic để loại bỏ những sự giải thích khác

2. Suy diễn từ cách làm việc: Kỹ thuật này hữu ích nếu nhiều hơn một nguyên nhân có thể xảy ra. Giả sử chúng ta biết rằng A, B, C, hoặc D là nguyên nhân của kết quả và trong trường hợp này cả C và D không xảy ra, thu hẹp nguyên nhân chỉ còn A và B. Bên cạnh đó, chỉ có chuỗi nguyên nhân đặc điểm/cách hoạt động của sự kiện của A được đưa ra. Suy diễn này được củng cố thêm khi cách thức hoạt động của A rất khác B. Nếu người dân trong làng biết được rằng ở làng khác, voi không bỏ đi khi người dân trong làng đuổi và chạy theo đá bụi bẩn, thì họ có thể chắc chắn rằng nguyên nhân đuổi voi đi khỏi làng chính là do huýt sáo. Kết quả này được củng cố bởi thực tế là huýt sáo rất khác biệt với đá bụi bẩn. 3. Ưu tiên tạm thời: Tác động quan sát được xảy ra sau khi can thiệp, chứ không xảy ra trước. Nếu khi voi đến, người dân trong làng bắt đầu huýt sáo và voi bỏ làng đi thì người dân trong làng có thể tin tưởng rằng có sự kết nối giữa huýt sáo và Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

269

đuổi voi đi. Nếu người dân trong làng huýt sáo trước khi voi đến và voi vẫn đến làng thì huýt sáo có thể không phải là nguyên nhân đuổi voi đi. 4. Sự kết hợp nhất quán: Tác động được quan sát ở những nơi diễn ra can thiệp. Ví dụ người dân trong làng gặp gỡ với người dân trong vùng và chia sẻ giả thiết của họ rằng huýt sáo là nguyên nhân đuổi voi đi. Những làng khác cũng thử kỹ thuật này và nhận thấy rằng voi bỏ đi. Khi đó có thể hầu như chắc chắn rằng huýt sáo làm voi bỏ đi. 5. Sức mạnh của sự kết hợp: Thay đổi quan sát được sẽ càng được khẳng định mạnh mẽ hơn ở những nơi chương trình được thực hiện chứ không phải ở những nơi nguyên nhân xảy ra. Nếu những làng trong vùng dùng nhiều kỹ thuật khác nhau để đuổi voi ra khỏi làng và những làng đã thành công trong việc đuổi voi bằng cách huýt sáo, thì có thể kết hợp giả thiết voi bỏ đi với huýt sáo. 6. Chênh lệch sinh học: càng nhiều can thiệp, càng quan sát được nhiều thay đổi. Chẳng hạn người dân trong làng dùng nhiều hơn một kỹ thuật để đuổi voi ra khỏi làng. Khi họ huýt sáo nhiều lần và rất to, đàn voi bỏ đi. Khi họ chỉ huýt sáo một lần, đàn voi không bỏ đi. Do đó có thể kết luận rằng đàn voi bỏi đi khi huýt sáo to. 7. Sự gắn kết chặt chẽ: Quan hệ giữa can thiệp và thay đổi quan sát được phù hợp với những vấn đề khác và chúng ta biết rằng đó là can thiệp và kết quả. Những con vật nguy hiểm như hà mã, cá sấu và linh cẩu bỏ đi khi người dân trong làng huýt sáo. Do đó có thể kết luận một cách logic rằng huýt sáo có thể đuổi các con vật nguy hiểm ra khỏi làng và có thể áp dụng cách này với voi. 8. Sự tương tự: Hình thức giữa can thiệp và thay đổi quan sát được cũng tương tự như hình thức đã được hình thành trước đó về can thiệp và tác động. Người dân trong làng nghe được một câu chuyện về ngôi làng ở Nam Mỹ dùng những âm thanh huýt sáo the thé khi họ nghe thấy tiếng con báo sư tử ở trong vùng. Người dân Nam Mỹ tin rằng chính tiếng động đó làm con báo bỏ đi. Người dân châu Phi cũng làm tương tự và họ kết luận rằng âm thanh to chói tai sẽ đuổi voi đi. Trong mỗi trường hợp này, đều có một nguyên tắc chung: nhà nghiên cứu loại bỏ một cách có hệ thống những giải thích, dần dần cho đến khi thuyết

270

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

phục được rằng chính sự can thiệp là hoặc không là nguyên nhân (chủ yếu hoặc chính) gây ra những thay đổi quan sát được. Khi thiết kế phương pháp thu thập số liệu, người đánh giá cần xác định bằng chứng nào là khả thi và cần thiết để thu thập và lập kế hoạch thu thập số liệu. Không phải tất cả thông tin đều là cần thiết để góp phần vào nguyên nhâ; người đánh giá cần thu thập những thông tin có ý nghĩa nhất và chắc chắn mang lại hiệu quả, và quyết định được đưa ra dựa trên đánh giá. Nhưng thiết lập nhiều hơn một phương pháp tìm nguyên nhân để trình bày sẽ củng cố thêm cơ sở suy diễn nguyên nhân. Thiết kế nghiên cứu điển hình Nghiên cứu điển hình là thiết kế phi thực nghiệm. Nó không sử dụng lựa chọn ngẫu nhiên hoặc nhóm đối chứng và nhóm so sánh. Thiết kế nghiên cứu điển hình thường được sử dụng khi người đánh giá muốn có hiểu biết sâu về một quá trình, sự kiện, hoặc tình huống và lý giải tại sao lại có kết quả đó. Nó mang ý nghĩa khi câu hỏi liên quan đến điều này diễn ra như thế nào và tại sao lại xảy ra. Đặc biệt có ý nghĩa khi sự can thiệp mang tính đổi với, hoặc thử nghiệm hoặc chưa được hiểu biết đúng. Nghiên cứu điển hình nhấn mạnh hơn so với mô tả; và bao gồm cả giải thích tình huống bởi những người có nhiều kiến thức. Nghiên cứu tình huống thường được sử dụng trong đánh giá can thiệp liên quan đến phát triển. Thiết kế nghiên cứu tình huống đặc biệt hữu ích cho miêu tả điều gì đã được thực hiện để can thiệp và tại sao lại diễn ra như vậy. Nghiên cứu tình huống mang tính mô tả được sử dụng để xem xét những thái cực của một chương trình hoặc một can thiệp điển hình. Nghiên cứu điển hình có thể sử dụng phương pháp định tính, định lượng hoặc sử dụng cả hai để thu thập số liệu. Có thể bao gồm cả những trường hợp đơn lẻ và chung. Định hướng và mục đích của nghiên cứu điển tình là tập trung vào những hiểu biết sâu về tác động của sự can thiệp đến tổ chức, cộng đồng, chương trình, thành phố hoặc nước. Chẳng hạn, để đánh giá giao thông công cộng ở một nước, người đánh giá có thể đơn giản theo dõi những chỉ số chính so với mục tiêu và cơ sở ban đầu. Có thể thực hiện nghiên cứu tầm quốc gia nếu các chỉ số này là số dặm giao thông công cộng bao phủ, số người sử dụng hệ thống, và doanh thu. Tuy nhiên, nếu những loại câu hỏi khác cũng phù hợp và đòi hỏi nhiều thông tin sâu thì cần lựa chọn để có moptj nghiên cứu điển hình. Chẳng hạn, nếu hỏi để đánh giá chương trình cải thiện giao thông nông thôn, người đánh giá cần điều tra sự lựa chọn của người dân về việc sử dụng dịch vụ giao thông công cộng. Thiết kế có thể quy định thu thập thông tin trực tiếp của người dân nông thôn. Nếu ở quy mô quốc gia thì cần nhiều

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

■■ nghiên cứu

điển hình:

Là một thiết kế phi thực nghiệm cung cấp một sự mô tả sâu sắc và toàn diện và một sự hiểu biết toàn diện về chương trình can thiệp và bối cảnh của nó

271

nguồn lực để thu thập số liệu. và sẽ dễ quản lý hơn nếu chỉ thu thập thông tin ở phạm vi địa lý hẹp hơn (trong một trường hợp đơn lẻ). Hoặc có thể, người đánh giá lựa chọn nhiều nghiên cứu điển hình, trong đó lựa chọn một vài vùng nông thôn. Những trường hợp đó có thể được lựa chọn ngẫu nhiên hoặc có chủ đích dựa trên một số tiêu chí cụ thể (trường hợp tốt nhất, điển hình nhất, tồi nhất, kể cả vùng nông thôn xa xôi hẻo lánh, và vùng nông thôn gần những thành phố lớn). Phương pháp thu thập số liệu tương tự sử dụng trong nghiên cứu đơn lẻ cũng được sử dụng cho trường hợp này. Nghiên cứu điển hình có ý nghĩa trong phát triển khi dự định tìm hiểu một tình huống cụ thể nhằm đưa ra hoặc điều chính chính sách hoặc thực tế. Những nghiên cứu điển hình không chỉ thực tế hơn những nghiên cứu mang tầm quốc gia và nó còn cung cấp thông tin sâu hữu ích cho ra quyết định (Hộp 7.4). Chẳng hạn, nghiên cứu điển hình so sánh việc sử dụng phòng tiêm chủng miễn phí có thể sẽ giải thích được tại sao cách tiếp cận này lại thành công hơn những cách khác. Ký hiệu cho thiết kế nghiên cứu điển hình có dạng: O1 O2 O3

Thiết kế câu hỏi dạng mô tả Câu hỏi dạng mô tả bao gồm những câu hỏi như “bao nhiêu?”. Những câu hỏi này cjo thấy quan điểm hoặc ý kiến. Câu hỏi mô tả thông thường sử dụng thiết kế mô tả hoặc phi thực nghiệm. Khi dùng để trả lời câu hỏi dạng mô tả, những thiết kế này không đòi hỏi phải có nhóm so sánh không được can thiệp mà chỉ tập trung vào những đối tượng được can thiệp. Một số thiết kế dùng cho dạng

Hộp 7.4 Ví dụ về thiết kế nghiên cứu điển hình cho các câu hỏi dạng nhân quả

Một nghiên cứu điều tra chương trình tín dụng vi mô ở Ấn Độ muốn tìm ra cách mà phụ nữ đưa ra những khái niệm và ý tưởng cho hoạt động kinh doanh. Phương pháp nghiên cứu điển hình chọn ra năm phụ nữ và dự án của họ để theo dõi sự tiến bộ trong vòng ba năm.

272

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

câu hỏi mô tả cũng tương tự như những thiết kế dùng cho dạng câu hỏi nhân quả. Để trả lời câu hỏi dạng mô tả, những thiết kế thông thường sử dụng nhất bao gồm: • Thu thập số liệu giản đơn • Thời điểm • Trước và sau • Theo chiều dọc • Nghiên cứu điển hình. • case studies. Sau đây chúng ta sẽ thảo luận cách thực hiện những thiết kế này với câu hỏi dạng mô tả.

Thiết kế trước và sau Thiết kế trước và sau đẫ được giới thiệu ở phần trước khi đề cập đến thiết kế cho dạng câu hỏi nguyên nhân và kết quả. Những thiết kế này cũng có thể dùng để trả lời câu hỏi dạng mô tả. Trong thiết kế trước và sau, thường được gọi là thiết kế trước và thiết kế sau, người đánh giá hỏi về những đặc điểm của nhóm trước và sau khi can thiệp; không có nhóm so sánh (Hộp 7.5.) Chẳng hạn, có thể hỏi xem liệu những thành viên tham gia chương trình có được cải thiện kiến thức làm cha mẹ hay không và sau đó kiểm tra họ cả khi bắt đầu tham gia chương trình và khi kết thúc chương trình. Ký hiệu cho thiết kế trước và sau được viết dưới dạng: O1 X O2

Hộp. 7.5 Dùng thiết kế trước và sau để trả lời câu hỏi dạng mô tả

Thiết kế trước và sau có thể xem xét mức lương của một nhóm người tham gia chương trình đào tạo nghề trước khi được đào tạo và hai năm sau khi tham gia vào chương trình để trả lời câu hỏi lương đã được tăng trung bình là bao nhiêu. Thiết kế này có thể dễ dàng chuyển thành thiết kế trước và sau với số liệu thu thập giản đơn thông qua hỏi những câu hỏi với nhóm nhỏ người dân với những nghề nghiệp khác nhau nhằm nghiên cứu mối quan hệ giữa tăng lương với các loại nghề khác nhau.

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

273

Hộp 7.6 Ví dụ về thiết kế chuỗi thời gian gián đoạn cho câu hỏi dạng mô tả

Có thể xem xét tỷ lệ chết thô ở trẻ em trước và sau khi có sự can thiệp là bổ sung dinh dưỡng trong giai đoạn mang thai. Hoặc xem xét sự thay đổi thái độ của thành viên tham gia đối với hoạt động kinh doanh của phụ nữ trước và sau khi thực hiện chương trình cho vay đối với doanh nghiệp vi mô.

Thiết kế chuỗi thời gian gián đoạn Thiết kế chuỗi thời gian gián đoạn đã được giới thiệu ở pần trước đối với câu hỏi dạng nguyên nhân và kết quả. Thiết kế chuuooix thời gian gián đoạn cũng có thể được dùng để trả lời câu hỏi dạng mô tả (Hộp 7.6). Thiết kế chuỗi thời gian gián đoạn xem xét sự thay đổi theo thờ gian, thông thường để tìm ra xu hướng. Khi sử dụng phương pháp này để trả lời câu hỏi dạng mô tả, mục đích là để tìm hiểu và miêu tả sự thay đổi theo thời gian, cả trước và sau khi có can thiệp. Do đó, thiết kế chuỗi thời gian gián đoạn có thể được dùng để tìm ra xu hướng. Ký hiệu cho thiết kế chuỗi thời gian gián đoạn được viết dưới dạng: O1 O2 O3 X O4 O5 O6 . . .

Thiết kế theo chiều dọc ■■ Thiết kế theo

chiều dọc:

Thiết kết chuỗi thời gian gián đoạn trong đó đo lường lại cùng một biến được lấy từ cùng một đối tượng

Thiết kế theo chiều dọc là một dạng thiết kế chuỗi thời gian gián đoạn trong đó đo lường lại cùng một biến được lấy từ cùng một đối tượng. Khi sử dụng cho câu hỏi dạng mô tả, có thể dùng thiết kế theo chiều dọc để tìm ra, chẳng hạn, xem liệu trẻ em tham gia chương trình bổ sung kiến thức có thu được lợi ích gì không. Thiết kế dạng bảng cũng có thể sử dụng để trả lời câu hỏi dạng mô tả. Thiết kế dạng bảng là một dạng đặc biệt của thiết kế theo chiều dọc trong đó một nhóm nhỏ được xem xét tại nhiều thời điểm và ghi lại chi tiết kinh nghiệm của họ. Thiết kế dạng bảng thường sử dụng kỹ thuật định tính (như câu hỏi khảo sát mở, phỏng vấn sâu, quan sát) và cả định lượng. Thiết kế dạng bảng có thể đưa ra quan điểm sâu hơn về bất cứ thay đổi nào mà người dân gặp phải khi có can thiệp. Ký hiệu cho thiết kế theo chiều dọc được viết dưới dạng: X O1, Os, O3 . . .

274

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thiết kế cho dạng câu hỏi chuẩn tắc Tính logic đối với các câu hỏi dạng chuẩn tắc cũng tương tư như với các câu hỏi dạng mô tả, trừ những câu hỏi chuẩn tắc được đánh giá ngược với các tiêu chí hay mức chuẩn. Những phát hiện thường được so sánh với mức chuẩn, và có thể không tính đến các chỉ số và mục tiêu. Thông thường, thiết kế cho câu hỏi dạng chuẩn tắc cũng tương tự như câu hỏi dạng mô tả. Hoạt động kiểm toán đề cập đến một số mảng hoạt động của một tổ chức (Mayne 2005, 2006). Kiểm toán hoạt động cũng rất giống với đánh giá chuẩn tắc. Barzelay (1997) đã xác định bảy loại kiểm toán hoạt động, dựa trên khảo sát của các nước thành viên Tổ chức Hợp tác và Phát triển (OECD). Bảng 7.2 cho thấy bốn loại phù hợp nhất. Hộp 7.7 minh họa một điểm đã được đề cập trước đó – đó là khi không thể hình thành một thiết kế đánh giá thực nghiệm với nhóm kiểm chứng ngẫu nhiên thì có thể chấp nhận quay sang thiết kế đánh giá bán thực nghiệm với nhóm so sánh.

Thiết kế cho dạng câu hỏi nhân quả Thiết kế thực nghiệm thường dùng để giải quyết các câu hỏi nhân quả (xem trang 252).

Nhu cầu thiết kế đánh giá chặt chẽ Thiết kế nào là phù hợp câu hỏi dạng nhân quả? Các trưởng nhóm thực địa của các đợt đánh giá phát triển quốc tế đã trang luận về cách đánh giá chặt chẽ hơn (Davidson 2006; Scriven 2006; Bamberger Bảng 7.2 Bốn dạng kiểm toán hoạt động Loại hình

Đơn vị phân tích

Trọng tâm

Kiểm toán hiệu quả

Tổ chức hoặc quyền hạn; quá trình hoặc các nhân tố của chương trình

Xác định những cơ hội giảm ngân quỹ thực hiện chương trình

Kiểm toán hiệu quả

Chính sách, chương trình, hoặc các nhân tố chính của chương trình

Đánh giá tác động của chính sách công; đánh giá tính hiệu quả của chính sách hoặc chương trình.

Kiểm toán năng lực quản lý hoạt động

Tổ chức hoặc quyền hạn, những vấn đề về quản lý công

Đánh giá năng lực của hệ thống và quy trình thực hiện, đánh giá về mặt tổ chức, hoặc chương trình nhằm đạt được mục tiêu dự tính.

Kiểm toán thông tin hoạt động

Tổ chức

Chứng nhận chất lượng thông tin hoạt động của tổ chức.

Nguồn: Trích dẫn từ Barzelay 1997.

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

275

Hộp 7.7 Tác động của chương trình đào tạo cho công nhân bị thôi việc

Nhiều nước đang phát triển hiện đang phải đối mặt với vấn đề đào tạo lại cho đội ngũ lao động khi thu hẹp hoạt động của các doanh nghiệp nhà nước. Đánh giá chương trình này là một thách thức lớn, bởi các chương trình này thường có một vài cấu phần khác nhau. Các chương trình này hướng tới nhiều cử tri khác nhau và đo lường kết quả theo nhiều cách khác nhau (việc làm, tự làm, thu nhập hàng tháng, thu nhập theo giờ). Để đánh giá chương trình đào tạo nghề, người đánh giá cầnđặt ra những câu hỏi sau: • Liệu những đối tượng tham gia chương trình có thành công hơn những người không tham gia chương trình trong việc gia nhập lại thị trường lao động không? • Hiệu quả về mặt chi phí với mỗi chương trình đào tạo là như thế nào? Những người tham gia được đào tạo được so sánh với một nhóm tương tự những người không tham gia. Số liệu về hành chính, số liệu khảo sát và kỹ thuật thống kê được sử dụng để đo lường tác động của chương trình đào tạo. Rất có thể những người tham gia có một vài khác biệt do đó tạo ra sự khác biệt trong kết quả. Chẳng hạn như họ năng động hơn những người trong nhóm so sánh hoặc có nhiều kinh nghiệm hơn, do đó họ dễ dàng tìm công việc mới hơn. Để củng cố thiết kế này, cần phân bổ ngẫu nhiên những người đủ tiêu chí tham gia chương trình để nhằm loại bỏ xác suất xuất hiện những thuộc tính khác biệt của hai nhóm. Nguồn: Tác giả.

và White 2007). Họ lưu ý rằng hầu hết các đợt đánh giá được các tổ chức phát triển chính thức thực hiện đều là đánh giá quá trình, trong đó tập trung vào xem chương trình hoạt động tốt như thế nào. Tăng cường đánh giá có sự tham gia sẽ cung cấp thêm nhiều ý kiến của người thụ hưởng, nhưng lại “không cung cấp nhiều số liệu cần thiết cho phân tích định lượng” (Bamberger và White 2007, trang 58). Phương pháp tiếp cận dựa vào kết quả và tập trung vào Mục tiêu phát triển Thiên niên kỷ (MDGs) đã dẫn đến những đòi hỏi phải giải thích bằng tác động. Những yêu cầu đánh giá tác động, trong đó quan tâm đến kết quả của một dự án, chương trình, chính sách, được đưa ra từ nhiều nguồn, trong đó có: • Hội thảo Monterrey năm 2002 về Tài chính cho Phát triển, trong đó kêu gọi việc áp dụng cơ chế quản lý dựa trên kết quả đối với các cơ quan phát triển. • Hiệp ước Paris 2005 khuyến khích hợp tác tài trợ đa phương trong lĩnh vực đánh giá tác động

276

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• kế hoạch Hành động Nghèo đói khuyến khích việc áp dụng thiết kế ngẫu nhiên và cung cấp các khóa đào tạo về thiết kế cho các nước phát triểns • Trung tâm phát triển toàn cầu (CGD), ủng hộ mạnh mẽ thiết kế đánh giá nghiêm túc, nhất là trong ấn phẩm Khi nào chúng ta sẽ học? (CGD 2006). CGD cũng kêu gọi hành động của các cơ quan đánh giá độc lập nhằm bảo đảm tính độc lập và tính nghiêm túc trong đánh giá phát triển (Bamberger và White 2007). Thúc đẩy giới hạn suy nghĩ hiện nay về phát triển quốc tế và đánh giá phát triển cũng đang khuyến khích việc áp dụng đánh giá tác động. Nỗ lực của chính phủ Tây Ban Nha đã minh họa cho suy nghĩ mới này và thúc đẩy theo hướng thiết kế đánh giá nghiêm túc (Hộp 7.8). Thông thường “nghiêm túc” được đĩnh nghĩa là một cuộc thử nghiệm có sử dụng nhóm kiểm chứng ngẫu nhiên. Ravallion, Giám đốc Ban nghiên cứu của Ngân hàng Thế giới, lưu ý rằng tính ngẫu nhiên không phải lúc nào cũng là câu trả lời, nó có thể xuất hiện lần đầu tiên, nhất là trong bối cảnh phát triển (Ravallion 2009). Chẳng hạn, người ta có thể áp dụng ngẫu nhiên một vài sự can thiệp phù hợp với phát triển. Vậy ngẫu nhiên hóa vị trí của các dự án hạ tầng và những chương trình liên quan như thế nào? Ravallion thảo luận xem làm thế nào để các thử nghiệm ngẫu nhiên mang tính tổng quát hóa như thường thấy với những dự án tác động nhỏ và cụ thể trong những điều kiện nhất định. Ông ta cũng miêu tả tác động “lan tỏa”. Đó là, những người được lựa chọn ngẫu nhiên thường cho rằng những người không tham gia sẽ không chịu tác động của chương trình. Tuy nhiên tác động lan tỏa đã diễn ra nhiêu trong những chương trình phát triển. Sự lan tỏa xuất phát từ chuyển đối tượng vào và ra khỏi vùng tác động; sự mô phỏng trong dài hạn, do một nhóm sẽ sao chép hành động của nhóm khác nếu họ thấy việc đó là tốt, còn chính phủ địa phương sẽ tham gia vào và sử dụng những nguồn lực rỗi rãi của các tổ chức phát triển để mang những can thiệp này đến các nhóm đối chứng khác.

Hộp 7.8 Hỗ trợ của Tây Ban Nha cho những thiết kế đánh giá nghiêm túc

Tây Ban Nha đang cố gắng cải thiện hiệu quả của tài trợ thông qua thúc đẩy cơ chế quản lý dựa trên kết quả trong các tổ chức phát triển của mình và của các nước đối tác. Quốc gia này đã thực hiện một chương trình mới hỗ trợ Ngân hàng thế giới đánh giá tác động của chương trình đổi mới cải thiện sự phát triển của nguồn lực con người. Chương trình –Quỹ Ủy thác của Tây Ban Nha – Ngân hàng thế giới cho đánh giá tác động là quỹ lớn nhất từ trước đến giờ mà Ngân hàng thế giới thành lập để tập trung vào đánh giá và kế quả tác động (Ngân hàng Thế giới 2007).

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

277

Thiết kế đánh giá phải phù hợp với từng tình huống và từng loại câu hỏi đánh giá đưa ra. Patton (2007) thảo luận những thiết kế phù hợp với từng loại hình can thiệp đối với phát triển khác nhau, lưu ý rằng “các tình huống tác động và mục đích đánh giá khác nhau sẽ có những phương pháp khác nhau” (trang 1). Việc đầu tiên mà người đánh giá cần thực hiện là làm sáng tỏ tình huống; những phương pháp sẽ được đưa ra từ những tình huống đó. Như Patton lưu ý, “Có nhiều tình huống trong tác động đến phát triển và do đó cần những phương pháp tiếp cận đa dạng để đánh giá tác động” (trang 2). Bamberger và Patton (2007) đã đưa ra đề xuất sau đây nhằm củng cố phương pháp đánh giá và giả quyết những hạn chế về thời gian và ngân sách: 1. Xây dựng thiết kế đánh giá trên cơ sở mô hình lý thuyết mạnh. Làm được điều này sẽ giúp giải thích mối liên hệ giữa chuỗi nguyên nhân và xác định những giả định. Đồng thời cũng nhận diện được những nhân tố về kinh tế, chính trị, thể chế, môi trường và văn hóa xã hội để giải thích sự khác biệt trong hoạt động và kết quả. 2. Vận dụng phương pháp đánh giá kết hợp, và kết hợp phân tích định tính và định lượng: • Sử dụng số liệu định tính để bổ sung thêm các bằng chứng hỗ trợ kết quả phân tích định lượng, định hình nghiên cứu và hỗ trợ giải thích kết quả định lượng. • Tối đa hóa sử dụng số liệu thứ cấp, kể cả số liệu giám sát dự án. • Nếu thời gian và ngân sách cho phép, thu thập thêm số liệu tại những thời điểm khác nhau của chu kỳ dự án. 3. Đơn giản hóa các công cụ thu thập số liệu. 4. Sử dụng số liệu thứ cấp một cách đa dạng, sử dụng số liệu từ các đợt khảo sát trước đó để làm số liệu cơ sở hoặc phân nhóm kiểm chứng hoặc nhóm so sánh. 5. Cân nhắc giảm quy mô mẫu nếu mẫu là phán đoán. 6. Giảm chi phí thu thập số liệu thông qua sử dụng ít các phỏng vấn đắt tiền, quan sát trực tiếp thay cho điều tra hộ, và đồng bộ hóa với các đánh giá khác bằng cách thêm một khảo sát khác. Người đánh giá phải đưa ra những lựa chọn cho mỗi thiết kế nhằm mang lại kết quả tốt nhất (Bảng 7.3). Chọn thiết kế đúng là rất quan trọng, bới “các phương pháp khác nhau sẽ đưa ra những phát hiện khác nhau. Thách thức đặt ra là phải tìm được thiết kế và phương pháp nào là phù hợp nhất, hiệu quả nhất và hữ ích nhất trong những tình huống cụ thển” (Patton 2002, trang 255). Đánh giá vừa là nghệ thuật vừa là khoa học. Để quyết định lựa chọn thiết kế, người đánh giá phải lưu ý rằng không có phương pháp nào hoàn hảo; tất cả đánh giá đều gắn với đánh đổi về thời gian, chi phí và tính thực tế. Cần nhận

278

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 7.3 Thuận lợi và bất lợi của một số thiết kế thực nghiệm thông thường Loại thiết kế

Thuận lợi

Bất lợi

Thực nghiệm So sánh

Kiểm soát những dấu hệu không mong muốn Khó thực hiện đối với lĩnh vực công trong nội bộ đối với tính chính xác Hữu ích khi xem xét sự khác biệt giữa các nhóm; kiểm soát tính lịch sử và trưởng thành nếu nhóm so sánh mang tính phù hợp cao

Lựa chọn và tiêu hao là một nguy cơ

Hữu ích đối với bối cảnh đo lường sự thay đổi

các hiệu ứng thí điểm, công cụ, hồi quy theo trung bình, tiêu hao, lịch sử và trưởng thành có thể là nguy cơ

Hữu ích để trả lời các câu hỏi miêu tả và chuẩn tắc; Thiết kế tại nhiều thời điểm để xây dựng tình huống

Rất yếu đối với câu hỏi nguyên nhân và kết quả

Bán thực nghiệm Trước và sau

Phi thực nghiệm Thời điểm

Nguồn: Tác giả

thức được những sự đánh đổi này thông qua đánh giá về tác động có thể có đến kết quả và kết luận. Theo hàm ý của Ravallion (2009), hãy để câu hỏi đánh giá xác định phương pháp nghiên cứu. Câu hỏi quan trọng nhất là “Ai được lợi và ai bị thua thiệt trong can thiệp đó? Can thiệp có theo đúng những mục tiêu kế hoạch đặt ra không? Có biến động nào trong quá trình thực hiện? Những thay đổi nào nên được đưa vào? Trong điều kiện nào và với đối tượng nào can thiệp tỏ ra có hiệu quả? Nói tóm lại, mỗi câu hỏi đánh giá đều cần một thiết kế, đó là các dạng thiết kế thực nghiệm, bán thực nghiệm hoặc phi thực nghiệm. Thiết kế thực nghiệm cố gắng kiểm soát tất cả các nhân tố “thực nghiệm” để xác định hoặc dự đoán điều gì xảy ra. Thiết kế thực nghiệm phân bổ ngẫu nhiên đối tượng thành ít nhât hai nhóm, nhóm can thiệp và nhóm kiểm chứng. Thiết kế bán thực nghiệm cũng tương tự như thiết kế thực nghiệm, trong đó cũng chia thành hai nhóm, nhưng không phân bổ ngẫu nhiên. Thay vào đó, nhóm so sánh được tạo ra để có một nhóm được can thiệp và một nhóm tương tự không được can thiệp. Thiết kế phi thực nghiệm mang tính miêu tả nhiều hơn. Thiết kế này không phân chia thành nhóm ngẫu nhiên hay nhóm so sánh. Đối với hầu hết các can thiệp cho lĩnh vực phát triển, rất khó để hình thành một thiết kế cho dạng câu hỏi nhân quả bởi tính phức tạp của nó. Rất khó để “chứng minh” rằng chính sự can thiệp là nguyên nhân của kết quả quan sát được. Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

279

Thiết kế đánh giá giúp xác định tác động của chương trình bởi nó cung cấp cho người đánh giá cách đo lường và kiểm soát việc thực hiện chương trình. Mục đích ở đây là loại bỏ những giải thích có thể cho những cái quan sát được. Đối với câu hỏi dạng nhân quả, người đánh giá cần cân nhắc một trong nhiều dạng thiết kế đánh giá sau đây: • • • • • • • • •

Thiết kế so sánh không tương đồng và kết hợp Thiết kế chuỗi thời gian gián đoạn Thiết kế tương quan sử dụng kiểm soát thống kê Thiết kế theo chiều dọc Thiết kế dạng bảng Thiết kế trước và sau Thiết kế thu thập số liệu giản đơn Kết hợp điểm theo xu hướng Theo dõi nguyên nhân.

Thông thường, thiết kế phi thực nghiệm và thiết kế miêu tả được dùng để trả lời câu hỏi dạng mô tả. Thiết kế cho câu hỏi dạng mô tả chỉ tập trung vào trả lời những câu hỏi không liên quan đến tiêu hao hoặc phù hợp với hoạt động ở một số tiêu chí nào đó. Một số thiết kế dùng cho câu hỏi dạng mô tả cũng tương tự như thiết kế dùng cho câu hỏi nhân quả. Để trả lời các câu hỏi mô tả, người đánh giá cần cân nhắc một hoặc nhiều hơn một dạng thiết kế đánh giá sau đây: • • • • • •

Thời điểm Thu thập số liệu giản đơn Trước và sau Chuỗi thời gian bị gián đoạn Thiết kế theo chiều dọc Nghiên cứu điển hình.

Tính hợp lý đối với câu hỏi dang chuẩn tắc cũng tương tự như với câu hỏi dạng mô tả, ngoại trừ câu hỏi chuẩn tắc luôn được đánh giá dựa vào tiêu chuẩn hoặc tiêu chí. Nhiều trưởng nhóm các đánh giá phát triển quốc tế đang kêu gọi thực hiện đánh giá nghiêm túc. Do các dự án, chương trình và chính sách ngày càng theo xu hướng quản lý dựa trên kết quả nên cần nhiều thiết kế đánh giá để cố giải quyết vấn đề tiêu hao.

280

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 7 Bài tập ứng dụng 7.1: Lựa chọn thiết kế đánh giá Bạn được yêu cầu đo lường tác động của xây dựng phòng khám cộng đồng để đào tạo cho cha mẹ cách thức xứ lý đối với ốm đau thông thường và nhận biết những vấn đề nguy hiểm. Mục đích của chương trình là tăng số lượng ông bố bà mẹ hiểu biết về chăm sóc sức khỏe dự phòng, sơ cứu, và xứ lý và để nhằm giảm số lượng trẻ em và người già bị ốm nghiêm trọng hơn. 1. Kết quả mong đợi là gì? 2. Viết một câu hỏi dạng nhân quả, một câu dạng chuẩn tắc và một câu dạng mô tả cho đánh giá này. 3. bạn sử dụng thiết kế nào để điều tra những câu hỏi này? Điểm mạnh và điểm hạn chế của thiết kế này? Tại sao thiết kế đó lại tốt hơn những thiết kế khác?

Bài tập ứng dụng 7.2: Lựa chọn thiết kế đánh giá và cách thức thu thập số liệu Bạn được yêu cầu thiết đánh giá cho nghiên cứu, thực hiện trong 6 tháng, nhằm đánh giá hiệu quả của chiến lược cung cấp thông tin chăm sóc sức khỏe dự phòng ở nước bạn. Chiến lược này bao gồm cả hội thảo 2 ngày do các chuyên gia chăm sóc sức khỏe thực hiện tại các cộng đồng trong cả nước. Mục đích của đánh giá là xác định xem liệu chiến lược cung cấp thông tin có cải thiện tình hình chăm sóc sức khỏe hay không. Ngân sách đánh giá này tương đối khiêm tốn và có 6 trợ lý cùng hỗ trợ bạn thiết kế và thực hiện đánh giá. 1. Các câu hỏi đánh giá chính là câu hỏi dạng mô tả, chuẩn tắc hay nhân quả? Hãy giải thích 2. Phương pháp thu thập số liệu là dạng cấu trúc, mở hay kết hợp cả hai? Tại sao? 3. Nhận diện kết quả đầu ra quan trọng nhất để đo lường bằng cách nào và đo lường kết quả này như thế nào? 4. Thiết kế đánh giá nào được sử dụng? 5. Điểm mạnh và điểm yếu của thiết kế?

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

281

282

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Các loại thiết kế

Visual representation

Các lợi thế chủ chốt

So sánh Chuỗi thời gian gián đoạn (tốt cho các câu hỏi mô tả)

So sánh chuỗi thời gian giữa các nhóm (không tương đồng)

O1O2O3XO4O5O6

X O1 Y O2 Z O3

Thiết kế chỉ với dữ liệu sau các hoạt động can thiệp khác nhau Chuỗi thời gian(trong cùng nhóm)

X O1 X O2

N O1 X O2 N O2

N O2

Nhóm so sánh Không tương đồng chỉ sau khi có hoạt động can thiệp

So sánh không tương đồng Chỉ so sánh dữ liệu sau khi sau đã có tác động

O1 O4

N O1 X

vẫn còn tồn tại nhiều mối lo

cân nhắc các vấn đề về đạo, đức, tính phù hợp về các sai lệch do lựa chọn

không biết khi nào nhóm thụ hưởng thực sự bắt đầu

Loại bỏ tác động lịch sử, khó để kiểm soát tất cả các biến làm cho các nhóm trở nên không tương đồng

các rủi ro về kiểm định, công cụ và hồi quy

loại bỏ các mối lo mang tính lịch sử, giảm hiệu ứng hồi quy hướng về trung bình

tốn kém, tốn thời gian, khó để theo dõi đối tượng theo thời gian

kiếm soát một phần các mối lo mang Mối lo về sai lệch kiểm tính lịch sử, kiểm soát tính bão hoà định

có thể so sánh các hoạt độngcan thiệp, phải xét đến bối cảnh

mang tính thực hành, phải cân nhắc bối cảnh, kiểm soát các tác động của thử nghiệm, công cụ, hồi quy và lịch sử

Có thể là thiết kế tốt nhất cho tình huống sau can thiệp

Phải cân nhắc bối cảnh, Độ tin cậy lớn hơn so với Nhóm so sánh

Mang tính thực hành, cần phải xét đến bối cảnh

Trước-và-Sau So sánh (không tương đồng) giữa các nhóm

O1 X

So sánh Trước-Sau không tương đồng

không xác định được mức thay đổi theo thời gian

tốn kém, phải cân nhắc vấn đề đạo đức, khó để khái quát hoá

Trong cùng nhóm Thiết kế Trước-và-Sau

Có giá trị kiểm chứng tốt, hơi mang tính thực hành, hữu ích khi so sánh kết quả

Rất có giá trị kiểm chứng, xác đinh được thay đổi thoe thời gian với hay không có hoạt động can thiệp

Trước-và-Sau mà không có sự so sánh

O1 O2

O1 X

Các bất lợi chủ chốt

Tất cả các thiết kế bán thực nghiệm đều tương đối yếu hơn các thiết kế thực nghiệm dưới góc độ giá trị kiểm chứng hoặc giá trị kiểm chứng thấp. Thiết kế bán thực nghiệp xác định nhóm so sánh nhưng không có sự phân bổ ngẫu nhiên.

Chỉ xác định sau Nhóm so sánh Ngẫu nhiên Không kiểm định trước can thiệp

Nhóm so sánh Ngẫu nhiên

Các thiết kế thực nghiệm được đặc trưng bởi phân bố ngẫu nhiên của nhóm thụ hưởng và nhóm so sánh.

Bán thực nghiệm

Thực nghiệm

Các thuật ngữ IPDET

Phụ lục 7.1 Tóm tắt những thuật ngữ và thuộc tính chính của các dạng thiết kế khác nhau

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

283

O1O2O3...

Nghiên cứu điển hình

Các chiến lược theo dõi nguyên nhân

Một lần Luận luận về mối quan hệ nhân quả dựa trên các mô hình và logic của nguyên lý thay đổi

Nội tại và chéo

O1 O2 O3

thông tin sâu về bối cảnh

dễ dàng, mang tính thực hành

hình ảnh rõ ràng về một thời điểm

Lý tưởng cho mô tả Tất cả các thiết kế phi thực nghiệm đều yếu hơn so với các thiết kế thực nghiệm

Một lần (Cross Sectional)

yêu cầu mẫu có qui mô lớn, không thể đưa ra các nhận định mang tính nhân quả, suy đoán

có thể tốn kém

tốn kém, khó để theo dõi đối tượng theo thời gian

tốn thời gian, ít giá trị kiểm chứng nội tại

nhiều mối lo về khả năng kiểm chứng, thiết kế yếu

không có dấu hiệu rõ ràng về những gì đang diễn ra theo thời gian

yêu cầu các cơ sở dữ liệu sử dụng để đánh giá các chương trình tự nguyện—đánh giá đáng tin quy mô lớn và năng lực cậy hơn về tác động của dựa án hoặc tính toán mạnh mẽ chương trình đối với những người tham gia

sử dụng thống kê để xác định mối tương quan giữa các trường hợp để cô lập các mối lo tiềm năng xác định các mối quan hệ quan trọng và các biến có nguy cơ gây sai lệch

thông tin sâu

theo dõi đối tượng theo thời gian

Phi thực nghiệm

O1 O2 O3

X O1O2O3O4O5...

Các thanh viên thụ hưởng được so sánh với các thành viên không thụ hưởng có tính tương đồng

Theo dõi cùng đối tượng theo thời gian

Không có kỳ gốc

Đối chiếu điểm Xu hướng

Mối tương quan sử dụng các Kiểm soát Thống kê

Thiết kế dạng bảng

Thiết kế theo chiều dọc

Tài liệu tham khảo và đọc thêm Aliendo, Marco, and Sabine Kopeinig. 2005. Some Practical Guidance on the Implementation of Propensity Score Matching. Discussion Paper 1588, IZA, Institute for the Study of Labor, Bonn. http://ftp.iza.org/dp1588.pdf. Bamberger, Michael, and Howard White. 2007. “Using Strong Evaluation Designs in Developing Countries: Experience and Challenges.” Journal of Multidisciplinary Evaluation 4 (8): 58–73. Barzelay, M. 1997. “Central Audit Institutions and Performance Auditing: A Comparative Analysis of Organizational Strategies in the OECD.” Governance: An International Journal of Policy and Administration 103: 235–60. Boruch, Robert.2004. “Ethics and Randomized Trials.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa. Brossart, Daniel F., Daniel L. Clay, and Victor L. Willson. 2002. “Methodological and Statistical Considerations for Threats to Internal Validity in Pediatric Outcome Data: Response Shift in Self-Report Outcomes.” Journal of Pediatric Psychology 27 (1): 97–107. Brown, Randall S., and Ellen Eliason Kisker. 1997. “Nonexperimental Designs and Program Evaluation.” Children and Youth Services Review 19 (7): 541–66. http://www.aei.org/publications/pubID.17770/pub_detail.asp. Campbell, D. T., and J. C. Stanley. 1963. “Experimental and Quasi-Experimental Designs for Research.” In Handbook of Research on Teaching, ed. N. L. Cage. Chicago: Rand-McNally. CGD (Center for Global Development). 2006. When Will We Ever Learn? Improving Lives through Impact Evaluation. Washington, DC. Chatterji, M. 2007. “Grades of Evidence: Variability in Quality of Findings in Effectiveness Studies of Complex Field Interventions.” American Journal of Evaluation 283: 239–55. Cohen, M. 2001. “Evaluating Microfinance’s Impact: Going Down Market.” In Evaluation and Poverty Reduction, eds. O. N. Feinstein and R. Picciotto, 193–203. New Brunswick, NJ: Transaction Publishers. Cook, T. D., and D. T. Campbell. 1979. Quasi-Experimentation: Design and Analysis for Field Settings. Boston: Houghton Mifflin. Davidson, E. J. 2000. “Ascertaining Causality in Theory-Based Evaluation.” New Directions for Evaluation 87: 17–26. ———. 2006. “The RCT’s Only Doctrine: Brakes on the Acquisition of Knowledge?” Journal of Multidisciplinary Evaluation 6: ii–v. Garbin, Cal. 2009. Statistical Control. Lincoln, NE: University of Nebraska. psych.unl.edu/psycrs/942/q2/control.ppt. Grembowski, D. 2001. The Practice of Health Program Evaluation. Thousand Oaks, CA: Sage Publications. Homer-Dixon, Thomas. 1995. Strategies for Studying Causation in Complex Ecological Political Systems. Occasional Paper; Project on Environment, Population, and

284

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Security. American Association for the Advancement of Science, Washington, DC, and the University of Toronto. http://www.library.utoronto.ca/pcs/eps/method/methods1.htm. Mayne, John. 2005. “Ensuring Quality for Evaluation: Lessons from Auditors.” Canadian Journal of Program Evaluation 20 (1): 37–64. ———. 2006. “Audit and Evaluation in Public Management: Challenges, Reforms, and Different Roles.” Canadian Journal of Program Evaluation 21 (1): 11–45. Miles, M. B., and A. M. Huberman. 1994. Qualitative Data Analysis: An Expanded Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications. NIOSH (National Institute for Occupational Safety and Health). 1999. A Model for Research on Training Effectiveness TIER. Centers for Disease Control, Atlanta. http:// www.cdc.gov/niosh/99-142.html. Office of Juvenile Justice and Delinquency Prevention. 1989. Evaluating Juvenile Justice Programs: A Design Monograph for State Planners. Report prepared for the U.S. Department of Justice, Office of Juvenile Justice and Delinquency Prevention by Community Research Associates, Inc. Patton, Michael Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2005. “The Debate about Randomized Controls in Evaluation: the Gold Standard Question.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. ———. 2007. Design Options and Matching the Type of Impact Evaluation and Attribution Issue to the Nature of the Intervention: Background Discussion on Impact Evaluation for International Development Efforts. November. ———. 2008. “The Logic of Experimental Designs and 10 Common Criticisms: The Gold Standard Debate.” In Utilization-Focused Evaluation. 4th ed. Thousand Oaks, CA: Sage Publications. Powell, Keith D. 2004. “Research Methods on Psychological Science: Psychology 242.” Powerpoint presentation, November 8. Department of Psychology, University of Chicago, Chicago, IL. Prennushi, Giovanna, Gloria Rubio, and Kalanidhi Subbarao. 2002. PRSP Sourcebook Core Techniques. Washington, DC: World Bank. http://go.worldbank.org/3I8LYLXO80. Project STAR. 2006. Study Designs for Program Evaluation. Aguirre Division, JBS International, Inc. Bethesda, MD. http://www.nationalserviceresources.org/filemanager/download/performance Measurement/Study_Designs_for_Evaluation.pdf. Ravallion, Martin. 2009. “Should the Randomistas Rule?” The Economists Voice 6(2): 1–5. Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initiatives.” American Journal of Evaluation 27: 416. http://aje.sagepub.com/cgi/content/abstract/27/4/416. Scriven, Michael. 2006. “Converting Perspective to Practice.” Journal of Multidisciplinary Evaluation 6: 8–9.

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

285

———. 2007. Key Evaluation Checklist. February. http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Stake, R. E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage Publications. Stufflebeam, Daniel L. 2004. Evaluation Design Checklist. Western Michigan University, Evaluation Center, Kalamazoo, MI. http://www.wmich.edu/evalctr/checklists/evaldesign.pdf. Stufflebeam, D. L., G. F. Mdaus, and T. Kellaghan, eds. 2000. Evaluation Models: Viewpoints on Educational and Human Services Evaluation. Boston: Kluwer. Trochim, W. M. “The Research Methods Knowledge Base. http://www.socials researchmethods.net/kb. Trochim, W., and D. Land. 1982. “Designing Designs for Research.” Researcher 1 (1): 1–16. http://www.socialresearchmethods.net/kb/desdes.htm. United Kingdom Evaluation Society. 2003. Glossary of Evaluation Terms. http://www.evaluation.org.uk/Pub_library/Glossary.htm. Wadsworth, Y. 1997. Everyday Evaluation on the Run. St. Leonards, New South Wales, Australia: Allen and Unwin. White, Howard. 2007. “Challenges in Evaluating Development Effectiveness.” Working Paper, World Bank, Washington DC. White, Howard, and Edoardo Masset. 2005. “Quasi-Experimental Evaluation.” PowerPoint presentation, February 16. World Bank. 1998. Do Community-Managed Schools Work? An Evaluation of El Salvador’s EDUCO Program. Impact Evaluation of Education Reforms Paper 8, Development Research Group, Washington, DC. ———. 2004. PovertyNet: Evaluation Designs. Washington, DC: World Bank. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTISPMA/0,,contentMDK:20188242~menuPK:412148~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. ———. 2006a. Conducting Quality Impact Evaluations under Budget, Time, and Data Constraints. Independent Evaluation Group, Washington, DC. ———. 2006b. Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank. Independent Evaluation Group, Washington, DC. ———. 2007. PowerNet. Spanish Impact Evaluation Fund. http://web.worldbank.org/wbsite/external/topics/extpoverty/ extispma/0,,contentmdk:21419502~menuPK:384336~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. ———. 2008. PovertyNet: Impact Evaluation, Methods and Techniques, Evaluation Designs. Washington, DC: World Bank. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTISPMA/0,,contentMDK:20188242~menuPK:415130~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. Yin, R. K. 1984. Case Study Research. Thousand Oaks, CA: Sage Publications.

286

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Trang Web Campbell Collaboration. http://www.campbellcollaboration.org/. Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initiatives.” American Journal of Evaluation 27: 416. http://aje.sagepub.com/cgi/content/ abstract/27/4/416. Scriven, Michael 2007. Key Evaluation Checklist. http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Stufflebeam, Daniel L. 2004. Evaluation Design checklist. Western Michigan University, Evaluation Center, Kalamazoo, MI. http://www.wmich.edu/evalctr/checklists/evaldesign.pdf. University of Northern Iowa, Department of Psychology. http://www.psych.uni .edu/psycrs/457/e2/control.ppt. World Bank. Doing Impact Evaluation Series. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384336~page PK:149018~piPK:149093~theSitePK:384329,00.html#doingIE.

Thiết kế câu hỏi dạng nhân quả, mô tả và câu hỏi chuẩn tắc cho đánh giá

287

CHƯƠNG 8

Lựa chọn và xây dựng công cụ thu thập số liệu Những chương trước đã thảo luận câu hỏi đánh giá và phương pháp đánh giá phù hợp với những câu hỏi này. Chương này sẽ đề cập đến làm thế nào để thu thập số liệu để trả lời các câu hỏi đánh giá. Chương này có bốn phần chính:

• • • •

Chiến lược thu thập số liệu Đặc điểm của phương pháp đo lường hiệu quả Số liệu định tính và định lượng Công cụ thu thập số liệu

289

Chiến lược thu thập số liệu Số liệu được thu thập từ nhiều nguồn khác nhau, kể cả những số liệu hiện có, phương pháp đo lường điện cơ, các quan sát, phỏng vấn nhóm và đánh giá của chuyên gia. Không có cách nào là tốt nhất. Như minh họa trong bảng 8.1, quyết định sử dụng phương pháp nào phụ thuộc vào: • • • • • •

Cần biết những cái gì Số liệu nằm ở đâu Nguồn lực và thời gian Tính phức tạp của số liệu thu thập Tần suất thu thập số liệu Dạng phân tích số liệu dự kiến.

Sự lựa chọn phương pháp một phần xoay quanh câu hỏi đánh giá cần được trả lời, một phần xoay quanh cách hiểu về dự án can thiệp và một phần cân nhắc đến thời gian và nguồn lực sẵn có. Có sự đánh đổi giữa hiểu biết chuyên sâu có được thông qua nghiên cứu điển hình (thu thập số liệu theo chiều sâu), và tính chính xác của kết quả có được từ khảo sát (thu thập số liệu theo chiều rộng). Thu thập số liệu theo chiều sâu thường sử dụng phương pháp tiếp cận bán cấu trúc cho phép nhiều câu trả lời linh hoạt. Thu thập số liệu theo chiều rộng đòi hỏi phương pháp tiếp cận cấu trúc mang lại hiệu quả từ phản hồi của nhiều đối tượng. Để xác định loại số liệu cần thu thập, người đánh giá cần xác định cái gì là quan trọng nhất đối với khách hàng. Khách hàng quan tâm nhiều hơn đến số Bảng 8.1 Bảng quyết định lựa chọn phương pháp thu thập số liệu Nếu bạn cần biết

Thì cân nhắc

Liệu những người ít biết chữ tham gia vào • Thu thập mẫu bài viết trước và sau khi chương trình có viết tốt hơn những người có sự can thiệp ít biết chữ không tham gia vào chương • sử dụng kết quả kiểm định trước và sau trình không khi có can thiệp Liệu những người tham gia có chủ động tham gia vào giáo dục trẻ em không

• Quan sát sự giao tiếp giữa bố và con trước và sau khi có can thiệp • Hỏi trẻ em, bố mẹ và giáo viên về sự tham gia của bố mẹ trước và sau khi có can thiệp

Liệu các thành viên tham gia có hài lòng với chất lượng các hội thảo đọc viết và hoạt động theo dõi sau đó không

• Sử dụng phỏng vấn cấu trúc đối với thành viên tham gia • Thực hiện khảo sát để xác định nếu tỷ lệ biết chữ đủ cao.

Nguồn: Tác giả.

290

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 8.1 Các nguyên tắc thu thập số liệu

Người đánh giá cần áp dụng những nguyên tắc sau trong quá trình thu thập số liệu: • • •

•

Sử dụng nhiều phương pháp thu thập số liệu. Sử dụng nhiều số nhiều sẵn có (nhanh gọn, ít tốn kém và dễ dàng hơn so với việc tạo bộ số liệu mới). Nếu sử dụng số liệu sẵn có, phải tìm hiểu xem những người đánh giá trước đó áp dụng phương pháp thu thập số liệu nào, định nghĩa biến như thế nào và phải bảo đảm tính chính xác của số liệu. Cũng cần kiểm tra việc bỏ sót số liệu. Nếu phải thu thập số liệu gốc, thì phải thành lập quy trình và tuân theo quy trình đó; bảo đảm tính chính xác của số liệu, định nghĩa và mã hóa; thí điểm trước, thí điểm trước, thí điểm trước; và thẩm định tính chính xác của mã hóa và nhập số liệu.

Nguồn: Tác giả.

liệu về điều kiện của các trường học trong cả nước hay quan tâm nhiều hơn đến hiểu biết sâu về tình huống ở những khu vực nghèo nhất của thành thị? Đôi lúc cả hai đều quan trọng, nhưng với những nguồn lực sẵn có đòi hỏi phải xác định ưu tiên. Cho dù sử dụng số liệu nào thì người đánh giá cũng cần áp dụng những nguyên tắc nhất định (Hộp 8.1).

Phương pháp tiếp cận cấu trúc Phương pháp thu thập số liệu cấu trúc đòi hỏi tất cả số liệu phải được thu thập theo một cách. Đây là điều đặc biệt quan trọng với các đánh giá ở nhiều vùng và đánh giá theo cụm. Trong những đánh giá này, người đánh giá cần so sánh những phát hiện ở các vùng khác nhau để đưa ra kết luận xem ở đâu có hoạt động hiệu quả. (Hộp 8.2). Cách tiếp cận cấu trúc cũng quan trọng khi so sánh các can thiệp khác nhau để xác định xem can thiệp nào là có hiệu quả nhất về mặt chi phí. Phương pháp thu thập số liệu cấu trúc thường được dùng thể thu thập các số liệu định lượng khi người đánh giá:

■■ Phương

pháp thu thập số liệu cấu trúc: Là

phương pháp thu thập số liệu trong đó tất cả số liệu đều được thu thập theo một cách

• cần giải thích những vấn đề mang tính phạm vi • có mẫu hoặc tổng thể mẫu lớn • biết chắc chắn cần đo lường những gì • cần đưa ra kết quả dưới dạng số • cần so sánh giữa các vùng hoặc các can thiệp khác nhau.

Lựa chọn và xây dựng công cụ thu thập số liệu

291

Hôp 8.2 Áp dụng phương pháp tiếp cận cấu trúc để đánh giá một dự án nông nghiệp

Hãy xem xét một ví dụ về đánh giá dự án nông nghiệp. Để giải quyết một câu hỏi, người đánh giá quyết định sử dụng độ ẩm của đất để xem việc tưới tiêu có thành công không. Sau đó, họ lập kế hoạch thu thập các số liệu về độ ẩm của đất ở nhiều khu vực khác nhau, trước và sau khi tưới, trong cùng một khoảng thời gian (và với cùng một điều kiện thời tiết). Để trả lời câu hỏi thứ hai, người đánh giá sử dụng hướng dẫn phỏng vấn cấu trúc để hỏi những nông dân bị ảnh hưởng về quan điểm của họ đối với tác động của dự án. Từ những phỏng vấn này, những người đánh giá đã ra báo cáo về tỷ lệ phần trăm người trả lời về các quan điểm khác nhau (kết quả được trình bày được dạng bảng với số liệu tần suất). Các câu hỏi trong phỏng vấn cấu trúc phải mang tính tập trung và từ ngữ phải cụ thể, và cần cung cấp nhiều sự lựa chọn cho câu trả lời. Phải hỏi cùng một câu hỏi theo một cách đối với tất cả người trả lời và lựa chọn một tập hợp trả lời như nhau. Để trả lời được câu hỏi thứ ba, người đánh giá dự định dùng số liệu về sản lượng và giá cả theo thời gian, trước và sau khi có sự can thiệp, trong vùng được tưới và trong vùng đất tương tự ở những nơi không được tưới. Để tìm hiểu câu hỏi thứ tư, người đánh giá sẽ hỏi một mẫu khoảng 100 người trong tổng số 2.600 người tham gia về quan điểm của họ đối với tác động của dự án. Với phỏng vấn này, người đánh giá dự định dùng câu hỏi bán cấu trúc để thực hiện phỏng vấn. Họ dự tính sử dụng các thông tin phản hồi cần thiết để tìm hiểu quan điểm. Nguồn: Tác giả.

Phương pháp tiếp cận bán cấu trúc ■■ Phương

pháp tiếp cận bán cấu trúc: Là phương pháp thu thập số liệu trong đó số liệu không được thu thập theo cùng một cách

Phương pháp thu thập số liệu bán cấu trúc có thể mang tính hệ thống và tuân theo một quy trình chung, nhưng số liệu không phải lúc nào cũng được thu thập theo cùng một cách. Phỏng vấn bán cấu trúc thường dựa trên một tập hợp các câu hỏi rộng đã được xác định trước, nhưng thứ tự trình bày phụ thuộc vào hoàn cảnh. Hơn nữa, một số câu trả lời sẽ lại được thu thập thêm thông tin trong quá trình phỏng vấn. Cách tiếp cận thường mang tính mở và linh hoạt hơn cách tiếp cận cấu trúc. Nó cho phép người trả lời nói với người đánh giá những gì họ muốn theo cách riêng của họ. Phương pháp thu thập số liệu bán cấu trúc thường là định tính và được sử dụng khi người đánh giá: • • • • •

292

thực hiện công việc mang tính khám phá trong lĩnh vực mới muốn tìm hiểu các vấn đề muốn thành viên tham gia báo cáo trực tiếp hoặc cung cấp thông tin chi tiết muốn có thông tin sâu, mang nhiều ý nghĩa và các thông tin “hậu trường” tìm hiểu kết quả của thu thập số liệu cấu trúc không theo mong đợi hoặc chưa được hiểu kỹ càng hay đơn giản là để có thêm những ví dụ bổ sung cho những phát hiện có được từ thu thập số liệu cấu trúc. Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Trong đánh giá dự án phát triển theo định hướng cộng đồng, người đánh giá có thể lựa chọn cách tiếp cận bán cấu trúc để thu thập thông tin. Do chương trình này trao quyền kiểm soát quyết định lập kế hoạch cho các nhóm ở địa phương nên rất phù hợp để sử dụng cách tiếp cận bán cấu trúc nhằm hiểu biết thêm cách thức ra quyết định cũng như khuyến khích thành viên trong cộng đồng nói lên quan điểm của mình về quy trình và kết quả thực hiện dự án.

Những đặc điểm của phương pháp đo lường tốt Người đánh giá đo lường sự tin tưởng, thái độ, quan điểm, kiến thức, kỹ năng, hoạt động và thói quen. Để xác định cách thức đo lường các biến quan tâm và thu thập số liệu về các biến này, người đánh giá phải lưu ý bốn vấn đề chính sau đây: • Cách thức đo lường có phù hợp không? Nó có đo lường những vấn đề thực sự quan trọng, chứ không phải những gì dễ dàng đo lường nhất không? • Tiêu chí đưa ra có hợp lý không? Nó có cung cấp các thông tin về tình huống thực tế hay không? • Tiêu chí đưa ra có xác đáng không? Cách đo lường có phản ánh tiêu chí người đánh giá đưa ra hay không? • Tiêu chí đưa ra có đáng tin cậy không? Nếu thu thập số liệu theo cùng một cách, với cùng một nguồn và áp dụng chung một nguyên tắc thì kết quả đưa ra có giống nhau qua các lần không? Tính phù hợp đề cập đến phạm trù theo đó xét đến vấn đề quan trọng nào được đánh giá. Người đánh giá cần tránh đo lường những cái dễ đo lường thay cho những cái cần. Họ cũng cần tránh đo lường quá nhiều tiêu chí. Ma trận thiết kế là công cụ để đảm bảo số liệu thu thập được là phù hợp. Tính hợp lý là thuật ngữ sử dụng để chỉ ra mức độ tin tưởng hay đáng tin cậy của số liệu thu thập được như thế nào đối với độc giả của báo cáo đánh giá. Chẳng hạn, quan điểm của giáo viên được coi là hợp lý nhất để tìm hiểu tại sao tỷ lệ bỏ học lại cao. Quan điểm của chính những người bỏ học hoặc bạn bè của họ được xem là cách đo lường hợp lý hơn. Tính chính xác là thuật ngữ dùng để chỉ ra liệu những tiêu chí đo lường được có thực sự là tiêu chí cần thiết hay không. Câu hỏi đặt ra có thu được thông tin chính xác hay không? Chẳng hạn, danh sách chờ ít có tính chính xác cao nếu được coi là tiêu chí để xác định nhu cầu cho các đối tượng trong chương trình giáo dục tuổi trẻ bởi nó thường lạc hậu và bố mẹ thường đưa con mình vào nhiều danh sách chờ. Khi đưa trẻ em vào danh sách chờ này thì lại không được rút tên ra khỏi danh sách chờ khác.

Lựa chọn và xây dựng công cụ thu thập số liệu

293

Có hai loại tính chính xác là chính xác về hình thức và chính xác về nội dung: ■■ Tính chính

xác về hình thức: Phạm vi mà

nội dung hoặc quy trình thử nghiệm có giống với những tiêu chí phải đo lường hay không

■■ Tính chính

xác về nội dung: Phạm vi mà nội dung hoặc quy trình thử nghiệm có phù hợp với biến quan tâm hay không

■■ Độ tin cậy: Mức độ đo lường cùng một thứ, theo cùng một phương pháp, và trong các kiểm định lặp lại

• Tính chính xác về hình thức lý giải phạm vi mà nội dung hoặc quy trình thử nghiệm có giống với những tiêu chí phải đo lường hay không. Chẳng hạn, nếu đánh giá tập trung vào đo lường sức khỏe về thể chất, thì tiêu chí chạy nhanh 100m được coi như một tiêu chí để đánh giá sức khỏe về thể chất.. • Tính chính xác về nội dung lý giải phạm vi mà nội dung hoặc quy trình thử nghiệm có phù hợp với biến quan tâm hay không. Chẳng hạn nếu người đánh giá đang xây dựng tiêu chí để đo lường tình trạng sức khỏe, họ có thể tham vấn với các chuyên gia về sức khỏe để bảo đảm tiêu chí đưa ra có độ chính xác cao về nội dung. Tiêu chí đo lường độ béo của cơ thể thường là tiêu chí chính xác cho sức khỏe của con người hơn là tự báo cáo về chế độ ăn. Kiểm tra kiến thức về thói quen ăn uống cũng có thể chính xác hơn số liệu tự báo cáo. Tuy vậy, nó có thể không phải là tiêu chí với độ chính xác cao bởi người trả lời có thể không áp dụng kiến thức vào thói quen ăn uống hàng ngày. Kết quả đưa ra có thể cho thấy một bức tranh đẹp hơn tình huống thực tế. Độ tin cậy là thuật ngữ để miêu tả tính ổn định của tiêu chí – mức độ đo lường cùng một thứ, theo cùng một cách, trong các kiểm định lặp lại. Chẳng hạn, công cụ đo lường các sự kiện thể thao cần có độ tin cậy cao. Thước đo khoảng cách nhảy cao phải cho cùng một con số qua mỗi lần thực hiện. Nếu được như vậy thì nó được coi là một tiêu chí đáng tin cậy. Còn nếu không, thước này có thể thiếu sót và kết quả sẽ là một dấu hỏi. Trọng lượng của trẻ em mới sinh cũng là một ví dụ về độ tin cậy, với giả định cân hoạt động tốt. Tỷ lệ đi học lại là một ví dụ với mức độ tin cậy kém, bởi nó khác nhau tùy vào từng năm học.

Số liệu định tính và định lượng

■■ Số liệu định lượng: Là số liệu dưới dạng số ■■ Số liệu định tính: Là số liệu không ở dạng số

294

Số liệu có thể được phân thành định tính hoặc định lượng. Số liệu định tính là những số liệu dưới dạng số, còn số liệu định lượng là số liệu không ở dạng số. Số liệu định lượng là những số liệu được đo lường cụ thể, như tuổi tác, chi phí, chiều cao, diện tích, sản lượng, cân nặng, tốc độ, thời gian và nhiệt độ. Số liệu định tính thường liên quan đến miêu tả. Đây là những số liệu có thể quan sát được, hoặc tự báo cáo, nhưng không nhất thiết được đo lường cụ thể, ví dụ như số liệu về quan hệ và hành vi. Hãy xem xét đánh giá chương trình tín dụng vi mô. Số liệu định lượng ở đây là số thành viên tham gia, theo giới tính, tuổi, và số con; thu nhập; sản phẩm tồn kho; chi phí sản xuất; và doanh thu. Số liệu định tính có thể bao gồm miêu tả

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

sản phẩm, quan hệ gia đình, cử chỉ của người tham gia, quan hệ với cộng đồng và cảm giác kiểm soát. Patton (2002) nhận diện ba phương pháp thu thập số liệu cho những phát hiện định tính: • phỏng vấn sâu, phỏng vấn mở • quan sát trực tiếp (sử dụng miêu tả mang tính tường thuật) • phân tích các tài liệu viết. Patton miêu tả loại thông tin người đánh giá thu được qua mỗi phương pháp: • Phỏng vấn mở mang lại những trích dẫn trực tiếp về kinh nghiệm, quan điểm, cảm giác và kiến thức. • Quan sát trực tiếp cung cấp các thông tin chi tiết về miêu tả hoạt động, hành vi, hành động, và giao tiếp cá nhân, cũng như xử lý mang tính tổ chức. • Phân tích tài liệu để trích dẫn một số từ hoặc một đoạn trong tài liệu, bản ghi nhớ và các tài liệu liên quan, các xuất bản phẩm và báo cáo chính thức, và những phản hồi mang tính mở của các bảng hỏi và khảo sát. Hầu hết thu thập số liệu định tính có được là do dành thời gian cho bối cảnh nghiên cứu. Người đánh giá trước tiên quan sát các hoạt động và sự tương tác, đôi lúc tham gia vào hoạt động với tư cách quan sát viên. Những lưu ý thu được trong quá trình thu thập số liệu là số liệu thô. Số liệu này được tổ chức lại thành những báo cáo mang tính tường thuật với những chủ đề, phân loại chính và những ví dụ minh họa điển hình (Patton 2002). Chất lượng của số liệu định tính thu thập được phụ thuộc vào người đánh giá. Theo Patton thì: Những quan sát mang tính hệ thống và nghiêm túc không chỉ là có mặt tại hiện trường và quan sát xung quanh. Kỹ năng phỏng vấn đòi hỏi nhiều hơn cả đưa ra câu hỏi. Phân tích nội dung đòi hỏi nhiều hơn cả đọc xem ở đó có gì. Đưa ra những phát hiện có ích và hợp lý về định tính thông qua quan sát, phỏng vấn, và phân tích nội dung đòi hỏi phải tuân thủ nguyên tắc, có kiến thức, được đào tạo, có kinh nghiệm thực tế, sáng tạo và chăm chỉ. (2002, p. 5)

Patton (1987) xây dựng một danh mục 20 câu hỏi hỗ trợ người đánh giá quyết định xem liệu phương pháp định tính có phải là phương pháp phù hợp hay không (Hộp 8.3). Nếu câu trả lời cho bất cứ loại câu hỏi nào là “có,” thì thu thập một số số liệu định tính sẽ là hợp lý. Thu thập số liệu thường gồm cả số liệu định tính và định lượng, nhưng có thể có một phương pháp chủ đạo. Hai cách tiếp cận có những đặc điểm sau. Cách tiếp cận định lượng

Lựa chọn và xây dựng công cụ thu thập số liệu

295

Hộp 8.3 Danh mục 20 câu hỏi định tính của Patton 1. Chương trình có nhấn mạnh vào kết quả của cá nhân không – hay là, những thành viên khác nhau có bị ảnh hưởng theo các cách định tính khác nhau không? Có cần thiết hoặc mong muốn miêu tả và đánh giá kết quả mang tính cá nhân này không? 2. Những người ra quyết định có quan tâm đến sự giải thích và hiểu biết động lực của chương trình không – điểm mạnh, điểm yếu của chương trình và quy trình tổng thể của chương trình? 3. Có cần những thông tin sâu về chương trình như khách hàng hoặc vùng dự án (nhất là những trường hợp thành công, không thành công hoặc những trường hợp quan trọng điển hình) với mục đích tài chính hoặc chính trị không? 4. Có tập trung vào tính đa dạng, đặc tính, và tính duy nhất của khách hàng và chương trình không (so với tất cả các khách hàng hoặc chương trình chuẩn, tiêu chí chuẩn)? 5. Có cần thông tin chi tiết về thực hiện chương trình không? Khách hàng của chương trình có kinh nghiệm gì? Chương trình được tổ chức như thế nào? Các cán bộ làm những gì? Các nhà ra quyết định có biết chương trình diễn ra như thế nào và phát triển như thế nào không? 6. Cán bộ chương trình và các bên liên quan có quan tâm đến thu thập thông tin chi tiết, thông tin miêu tả về chương trình với mục đích cải thiện chương trình không (đó chính là có quan tâm đến đánh giá cung cấp thông tin không)? 7. Có cần những thông tin về chất lượng chương trình – thông tin miêu tả về chất lượng hoạt động và kết quả đầu ra của chương trình không, không chỉ đơn thuần là mức độ, số lượng hoặc hoạt động hay kết quả chương trình? 8. Chương trình có cần hệ thống bảo đảm chất lượng cho những tình huống cụ thể không? 9. Những người ra quyết định hay nhà tài trợ có quan tâm đến việc thuê người đánh giá thăm thực địa để đợt đánh giá là tai mắt cho người ra quyết định vốn quá bận rộn để đi thăm thực địa và ít quan sát hay lắng nghe? Có cần giám sát hoạt động cho từng trường hợp cụ thể không? 10. Sự ép buộc có là quan tâm của đánh giá không? Việc quản lý các công cụ đo lường chuẩn (bảng hỏi và thí điểm) quá mang tính ép buộc ngược với thu thập số liệu thông qua quan sát thông thường và phỏng vấn mở không? Thu thập số liệu định tính có tạo ra ít phản hồi hơn trong số các thành viên tham gia so với thu thập số liệu định lượng không? Có cần quan sát không ép buộc không?

296

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

11. Có nhu cầu và mong muốn cá nhân hóa quá trình đánh giá thông qua sử dụng các phương pháp nghiên cứu nhấn mạnh quan hệ cá nhân, mặt đối mặt – phương pháp được coi là có “tính nhân văn” và con người bởi không ghi nhãn và đánh số người tham gia, và họ có cảm thấy tự nhiên, không chính thức và dễ hiểu không? 12. Phương pháp đánh giá phản ứng có phù hợp không – đó là các tiếp cận đặc biệt nhạy cảm trong quá trình thu thập thông tin và báo cáo thông tin về những quan điểm khác nhau của các bên liên quan dựa trên liên lạc trực tiếp, cá nhân với những bên tham gia? 13. Mục tiêu của chương trình có mập mờ, chung chung, và không cụ thể, chỉ rõ những thuận lợi có thể có về phương pháp tiếp cận không theo mục tiêu có thể thu thập thông tin về tác động của chương trình hơn là đo lường mục tiêu đạt được không? 14. Liệu có khả năng ảnh hưởng của chương trình đến khách hàng và người tham gia là không dự báo được và/hoặc không có tác động như mong muốn, điều này chỉ rõ nhu cầu về phương pháp xác định tác động ngoài những thứ đã nêu rõ chính thức trong chương trình mà cán bộ dự án mong đợi (biểu thị nhu cầu một đánh giá không mục đích)? 15. Có thiếu các công cụ định lượng minh chứng cho tầm quan trọng của chương trình hay không? Trạng thái các phương pháp đo lường có hay không có các công cụ chuẩn chính xác, đáng tin cậy hoặc không có khả năng xây dựng các chỉ số định lượng phù hợp với kết quả đầu ra của chương trình về số liệu nào được sử dụng? 16. Đánh giá có mang tính khám phá không? Chương trình có ở giai đoạn trước khi đánh giá, khi mục tiêu và các nội dụng của chương trình được xây dựng không? 17. Liệu có cần đánh giá để xác định thiết kế đánh giá tóm tắt không? 18. Có nhu cầu bổ sung thêm những phát hiện thống kê sâu, chi tiết và có ý nghĩa không hay chỉ là khảo sát chung? 19. Việc thu thập số liệu đánh giá định lượng có là công việc đều đặn mà chẳng ai muốn quan tâm đến kết quả nữa, có cần đề xuất phá vỡ sự đều đặn cũ này để sử dụng phương pháp mới để có cái nhìn chi tiết hơn về chương trình? 20. Có nhu cầu xây dựng lý thuyết chương trình qua các quan sát về hoạt động và tác động của chương trình, và quan hệ giữa tác động và kết quả đầu ra không? Nguồn: Patton 1987.

Lựa chọn và xây dựng công cụ thu thập số liệu

297

• • • •

mang tính cấu trúc nhiều hơn nhấn mạnh độ tin cậy khó xây dựng hơn dễ phân tích hơn. Cách tiếp cận định tính

• ít mang tính cấu trúc hơn • dễ xây dựng hơn • cung cấp “nhiều số liệu” (số liệu đặc tính và mỗi đơn vị nghiên cứu) • cần nhiều người để thu thập và phân tích số liệu • nhấn mạnh đến tính chính xác.

■■ Phương

pháp ép buộc: Là phương pháp sử dụng để quan sát thành viên tham gia bằng chính kiến thức của họ

Cách tiếp cận sử dụng sẽ phụ thuộc vào mục tiêu đánh giá (Bảng 8.2). Trong thực tế, số liệu định tính và định lượng có quan hệ với nhau. Theo Trochim (2006), “Tất cả số liệu định lượng dựa vào những đánh giá định tính, và tất cả số liệu định tính đều có thể được miêu tả và biểu diễn dưới dạng số.” Trên thực tế, phân tích số liệu bằng máy tính (phân tích nội dung) các tài liệu bằng văn bản tập trung vào tần suất các từ ngữ khác nhau, loại từ ngữ và cấu trúc, chuyển từ số liệu định tính sang số liệu định lượng. Số liệu có thể được thu thập ép buộc hoặc không ép buộc. Phương pháp ép buộc là quan sát thực hiện bằng kiến thức của thành viên tham gia. Phương pháp này được dùng để đo lường quan niệm, ý kiến, và thái độ thông qua phỏng vấn, khảo sát và phỏng vấn nhóm tập trung. Những quan sát đưa ra bằng nhận biết của những đối tượng được quan sát cũng là ép buộc. Nếu đánh giá sử dụng bảng hỏi để thu thập số liệu, chủ thể biết là đang được nghiên cứu, thì kết quả có thể không thật. Theo Patton (1987, tr. 33), “Bản thân công cụ có thể tạo ra phản ứng, bởi tính ép buộc và suy luận với những hoạt động thông thường và hoạt động của khách hàng trong chương trình, những

Bảng 8.2 Khi nào thì sử dụng cách tiếp cận định tính và định lượng Nếu

Thì sử dụng phương pháp

Muốn thực hiện phân tích thống kê Muốn cụ thể

Định lượng

Biết đo lường cái gì Bao trùm cả nhóm lớn Muốn có thông tin sâu và mang tính tường thuật chi tiết Không chắc chắn đo lường cái gì

Định tính

Không cần định lượng kết quả Nguồn: Tác giả.

298

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 8.4 Xác định tính Phổ biến của Triển lãm Nghệ thuật sử dụng phương pháp ép buộc và không ép buộc

Giám đốc bảo tàng muốn biết triển lãm nào của bảo tàng là phổ biến nhất. Để xác định được điều này, giám đốc bảo tàng có thể phỏng vấn những người quan tâm đến bảo tàng và hỏi họ về những triển lãm mà họ đã xem. Những bản tự báo cáo này có thể làm sai lệch bởi người trả lời có thể sẽ chỉ đưa ra những triển lãm nổi tiếng nhất bởi đây là những cái tên duy nhất mà họ nhớ hoặc nó có thể làm sai lệch phần trả lời mà không theo mong muốn của người phỏng vấn. Để tránh vấn đề này, nghiên cứu đã đo lường tính phổ biến của các triển lãm trong bảo tàng thông qua đo mức độ hao mòn của gạch nền nhà trước khu triển lãm. Phương pháp không ép buộc này tránh sự sai lệch do phương pháp tự báo cáo mang lại.

phản ứng này không phản ánh chính xác xem chương trình đã thu được những gì.” Những người được nghiên cứu có thể thay đổi hành vi hoặc phản ứng. Một giáo viên nếu bị lãnh đạo trường quan sát bài giảng thì có thể dạy hoàn toàn khác khi lãnh đạo không theo dõi. Phương pháp không ép buộc là những quan sát thực hiện không bằng kiến thức của thành viên tham gia. Ví dụ về phương pháp không ép buộc là sử dụng số liệu từ tài liệu hoặc hồ sơ lưu trữ và quan sát người tham gia không bằng kiến thức của mình. (Hộp 8.4).

Công cụ thu thập số liệu Việc lựa chọn kỹ thuật thu thập số liệu phụ thuộc vào từng tình huống. Cho dù chọn phương pháp nào để thu thập số liệu thì tất cả các thông tin thu thập được đều có khả năng bị sai lệch. Sai lệch có nghĩa là khi được cung cấp thông tin về bản thân hoặc về người khác, người trả có thể hoặc không nói sự thật, cho dù là vô tình hay cố ý. Họ có thể xuyên tạc sự thật bởi họ không nhớ chính xác hoặc sợ ảnh hưởng do cung cấp thông tin đầy đủ. Có thể họ cũng bối rối hoặc không thoải mái khi đề cập đến những vấn đề mà họ cảm thấy không được chấp nhận về mặt xã hội. Tất cả những thông tin tự báo cáo đều dễ bị ảnh hưởng bởi vấn đề này. Chẳng hạn, người trả lời có thể bối rối khi trả lời thật những câu hỏi liên quan đến sử dụng các biện pháp phòng tránh khi quan hệ tình dục hoặc lần đi khám cuối cùng. Họ có thể miêu tả cái họ nghĩ là người đánh giá muốn nghe chứ không nói sự thật.

Lựa chọn và xây dựng công cụ thu thập số liệu

■■ Phương

pháp không ép buộc: Phương pháp sử dụng quan sát không bằng kiến thức của họ

■■ Sai lệch: Sự méo mó số liệu gây ra do vô tình hoặc cố ý trong quá trình thu thập, phân tích hoặc báo cáo

299

■■ Phương

pháp đạc tam giác: Thu thập cùng một loại thông tin sử dụng các phương pháp khác nhau để tăng tính chính xác của số liệu

■■ Đa dạng nguồn: Thu thập cùng một thông tin từ nhiều nguồn khác nhau để tăng tính chính xác của số liệu ■■ Đa dạng

người đánh giá: Thu thập cùng

một thông tin từ nhiều người đánh giá để tăng tính chính xác của đánh giá

300

Sai lệch do lựa chọn – thực tế mà người được chọn tham gia chương trình có thể khác với những người không được chọn tham gia chương trình – có thể tồn tại (vấn đề này đã được đề cập đến trong chương 5). Đây cũng là vấn đề thường thấy trong các đợt khảo sát, phỏng vấn và thảo luận nhóm tập trung. Những người tình nguyện tham gia có thể khác về hệ thống so với những người không tham gia. Thông thường để trả lời các câu hỏi đánh giá khác nhau, có thể sử dụng nhiều hơn một phương pháp thu thập số liệu hoặc cung cấp nhiều nguồn số liệu để trả lời một câu hỏi đánh giá đơn lẻ. Chẳng hạn, đánh giá có thể thu thập số liệu sẵn có về sản lượng cây trồng của nông dân, phỏng vấn người mua sản phẩm nông nghiệp, và khảo sát nông dân. Đôi lúc, người đánh giá dùng phương pháp phỏng vấn nhóm tập trung hoặc nghiên cứu điển hình để xây dựng những nội dung chính cho bảng hỏi, làm cho kết quả khảo sát có ý nghĩa. sử dụng những phương pháp khác nhau để thu thập cùng một loại thông tin nhằm tăng tính chính xác của số liệu được gọi là phương pháp đạc tam giác/đa dạng. Người đánh giá sử dụng phương pháp tam giác để củng cố thêm những phát hiện. Càng nhiều phương pháp sử dụng để thu thập hỗ trợ phát hiện, thì bằng chứng đưa ra càng mạnh. Phương pháp đạc tam giác không phải là phương pháp tam giác duy nhất. Denzin (1978) xác định có một vài phương pháp tam giác, trong đó có tam giác/đa dạng nguồn. Tam giác/Đa dạng người đánh giá, trong đó nhiều người đánh giá tham gia vào quá trình khảo sát, cũng là một phương pháp đạc tam giác khác. Chủ thể nghiên cứu không chỉ là người ảnh hưởng đến kết quả đánh giá. Chẳng hạn, phụ nữ có thể trả lời khác khi người phỏng vấn là nam giới so với người phỏng vấn là nữ giới; họ cũng có thể trả lời khác đi nếu họ được phỏng vấn một mình so với được phỏng vấn cùng chồng. Phần tiếp theo sẽ miêu tả chín công cụ sử dụng để thu thập số liệu: • Công cụ 1: Thu thập số liệu có sự tham gia • Công cụ 2: Phân tích các bảng ghi và phân tích thứ cấp • Công cụ 3: Quan sát • Công cụ 4: Khảo sát và phỏng vấn • Công cụ 5: Thảo luận nhóm tập trung • Công cụ 6: Nhật ký, nhật trình, và danh mục tự đánh giá • Công cụ 7: Thẩm định của chuyên gia • Công cụ 8: Kỹ thuật Delphi • Công cụ 9: Các phương pháp khác

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Công cụ 1: Thu thập thông tin có sự tham gia Phương pháp thu thập thông tin có sự tham gia đòi hỏi có sự tham gia mạnh mẽ của nhóm hoặc cộng đồng trong quá trình thu thập số liệu. Những ví dụ của kỹ thuật thu thập thông tin có sự tham gia bao gồm gặp gỡ cộng đồng, vẽ bản đồ, và đi bộ theo mặt cắt. Họp cộng đồng Một trong những phương pháp phổ biến nhất trong thu thập thông tin có sự tham gia là thông qua họp cộng đồng. Những buổi họp này cho phép các thành viên trong cộng đồng được đặt câu hỏi, bình luận và thảo luận những vấn đề quan trọng với cộng đồng. Để các buổi họp mang lại nhiều thông tin hữu ích, thì phải tổ chức tốt. Người đánh giá và các bên liên quan phải thống nhất mục đích của buổi họp và cam kết có mặt tại các buổi họp này. Trước mỗi buổi họp, người đánh giá phải hình thành và thông báo các nguyên tắc. Những khoản mục cần quan tâm bao gồm tìm diễn giả như thế nào, phân bổ bao nhiêu thời gian cho diễn giả, và cách thức hỏi và trả lời. Nếu mẫu tổng thể đều biết đọc biết viết, thì có thể in phần nguyên tắc và phát cho mọi ngườ, kể cả những người đến muộn. Họp cộng đồng phải được thông báo rộng rãi, qua các tờ bướm, quảng cáo trên báo hay thông báo qua hệ thống loa đài. Các thành viên trong cộng đồng cũng chịu trách nhiệm truyền bá thông tin về buổi họp. Người đánh giá không hoàn toàn phụ thuộc vào khách mời của các quan chức địa phương bởi họ có thể lựa chọn sai lệch đối tượng được mời để phản ánh quan điểm của họ. Địa điểm diễn ra buổi họp cũng cần phải được lựa chọn để khuyến khích sự tham gia của cả cộng đồng mà vẫn người tham gia vẫn thoải mái, dễ đi lại và được đảm bảo an toàn (Ban y tế Minnesota 2007). Tổ chức họp cộng đồng có một số thuận lợi: • Buổi họp làm tăng tính hợp lý bởi sự cởi mở và tinh thần tham gia. • Tổ chức họp cộng đồng không tốn kém về chi phí và tương đối dễ bố trí. • Họp cộng đồng cho phép đông đảo thành viên tham gia. • Với bối cảnh thoải mái, sự tham gia của cộng đồng sẽ tăng thêm. • Họp cộng đồng giúp làm tăng nhận thức và hiểu biết về hoạt động đánh giá và tạo cơ sở hỗ trợ cho đánh giá. • Tăng thêm nhận thức của người đánh giá về những vấn đề quan trọng của chương trình. • Tiết lộ thêm nhiều thông tin cho quá trình khảo sát sau này. Họp cộng đồng cũng có nhiều khó khăn (Bảng 8.3). Chẳng hạn, các thành viên trong cộng đồng được chọn tham gia có thể không đại diện cho cộng

Lựa chọn và xây dựng công cụ thu thập số liệu

301

Bảng 8.3 Thuận lợi và thách thức của họp cộng đồng

Thuận lợi

Cho phép các thành viên của cộng đồng hiểu biết về dự án can thiệp và thảo luận các vấn đề Tăng nhận thức và tính hợp lý Không quá tốn kém Nâng cao hiểu biết của người đánh giá về những vấn đề quan trọng

Thách thức

Có thể không đại diện cho cộng đồng, bởi vấn đề giới và quyền lực

Nguồn: Tác giả.

đồng, và một số người có những ý tưởng tốt hoặc hiểu biết rõ về vấn đề lại không muốn tham dự hoặc không phát biểu tại buổi họp. Những người tham dự lại có thể là những người cảm nhận tốt nhất (tích cực hoặc tiêu cực) về chương trình. Những người phát biểu có thể là những người có vị trí quan trọng trong cộng đồng. Tùy theo thời gian tổ chức buổi họp, vấn đề giới có thể ảnh hưởng đến sự tham gia. Sự tham gia của phụ nữ có thể liên quan đến vấn đề văn hóa. Chính bởi những vấn đề này mà họp cộng đồng không bao giờ được coi là phương pháp thu thập số liệu chính cho hoạt động đánh giá.

■■ Vẽ bản đồ: Vẽ hoặc sử dụng bản đồ sẵn có như một phần hoạt động thu thập số liệu

Vẽ bản đồ Vẽ hoặc sử dụng bản đồ có sẵn – một quá trình được gọi là vẽ bản đồ áp dụng trong thu thập số liệu được sử dụng để thảo luận về những ưu tiên phát triển của địa phương và mức độ hưởng ứng. Phương pháp này có thể được dùng để thẩm định các nguồn thông tin thứ cấp. Vẽ bản đồ cũng có thể cho thấy sự thay đổi hoặc nhận thấy sự thay đổi theo thời gian (trước và sau can thiệp). Quá trình vẽ bản đồ thường được áp dụng cho giai đoạn lập kế hoạch, cách này cũng được những người đánh giá sử dụng. Vẽ bản đồ có thể thực hiện với cá nhân hoặc nhóm. Nếu là công cụ đối với nhóm, phương pháp này tỏ ra hữu ích với đánh giá có sự tham gia nếu có sự tham gia của các bên liên quan bởi nó mang lại cách thức để cùng làm việc. Đồng thời, vẽ bản đồ sẽ nâng cao nhận thức về cộng đồng. Điều này là đặc biệt quan trọng khi mọi người có những hiểu biết khác nhau về cộng đồng dựa trên kinh nghiệm và vị trí của họ. Vẽ bản đồ là công cụ thu thập số liệu hữu ích với những nhóm có vấn đề về đọc viết. Các loại hình vẽ bản đồ bao gồm: • • • •

302

vẽ bản đồ nguồn lực vẽ bản đồ lịch sử vẽ bản đồ xã hội vẽ bản đồ sức khỏe

• vẽ bản đồ giàu - nghèo • vẽ bản đồ sử dụng đất • vẽ bản đồ nhân khẩu.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Vẽ bản đồ nguồn lực thường được sử dụng để thu thập và vẽ các thông tin về cách thức phân bổ, tiếp cận và sử dụng nguồn lực trong một cộng đồng. Cách này được dùng trước và sau can thiệp để xác định những thay đổi. Có thể xây dựng bản đồ theo nhiều cách. Chẳng hạn, đối với chương trình cung cấp nước và vệ sinh, người đánh giá có thể đơn giản dùng giấy và bút chì để vẽ những nguồn nước đã có, vị trí nhà vệ sinh, những đặc điểm sinh thái chủ yếu và các hình thức định cư. Người đánh giá có thể hỏi người dân trong làng dùng những vật liệu khác như chỉ, rơm, ruy băng, dây thừng để phân ranh giới xem nhà nào dùng nguồn nước nào cho ăn uống và cho khu vệ sinh. Bút chì màu, mực, và bút sáp cũng được dùng để vẽ những điểm chỉ ra sự phân bổ giữa các nhóm như người nghèo, người khá giả hoặc lãnh đạo (Narayan 1996). Những ví dụ về sử dụng vẽ bản đồ trong phương pháp tham gia bao gồm: • yêu cầu học sinh vẽ bản đồ cộng đồng bằng cách vẽ nhà mình và nhà hàng xóm • yêu cầu hỏi một nhóm nam và nữ dùng các vật liệu sẵn có ở địa phương như đất sét, cỏ, bùn, đá và gạch để dựng mẫu cộng đồng và đánh dấu tất cả các nguồn nước (và nguồn khác) • thảo luận và yêu cầu mọi người tham gia vào quá trình xây dựng bản đồ cộng đồng trong buổi họp nhóm (Narayan 1996). Bản đồ xã hội là việc “vẽ” bức tranh nhận thức các nhân tố hình thành nên cộng đồng. gồm các nguồn lực và tài sản, và tương tác giữa các nhân tố này. Bản đồ xã hội được dùng để trình bày những thông tin về cách thức bố trí trong làng, cơ sở hạ tầng, nhân khẩu, nhóm dân tộc, điều kiện cộng đồng, tình trạng sức khỏe, giàu nghèo, và nững vấn đề khác của cộng đồng. Cách tiếp cận này giúp thành viên trong cộng đồng hiểu biết hơn về cộng đồng và những can thiệp này phù hợp (hay không phù hợp) ở mức độ nào. Nó cũng có thể được dùng như một phần của phương pháp tiếp cận nếu phù hợp với câu hỏi đánh giá. Cách này cũng được sử dụng trước và sau khi can thiệp để có sự so sánh. Các công cụ vẽ bản đồ khác bao gồm hình ảnh trên không, cả Google Earth (Hộp 8.5); khảo sát đất đai; bản đồ do những chuyên gia bản đồ vẽ, và bản đồ do những cán bộ thực địa đi dọc làng và xác định khoảng cách từ những người quan trọng trong cộng đồng. Thông tin thu được theo cách này được sử dụng trong lập kế hoạch cộng đồng (Narayan 1996).

■■ Bản đồ xã hội: Việc vẽ bức tranh nhận thức về các nhân tố hình thành nên cộng đồng, bao gồm nguồn lực và của cải, và cách tương tác.

Đi bộ theo mặt cắt Đi bộ dọc một vùng nghiên cứu rất khác với nhìn hình ảnh trên không. Thay vì dùng camera, người đi bộ dùng kỹ năng quan sát để tìm hiểu một vùng. Đi dọc theo con đường lầy lội mà các thành viên trong cộng đồng thường đi lại có thể cho thấy tại sao phụ nữ chỉ đi lấy nước một lần một ngày hoặc chuyển

Lựa chọn và xây dựng công cụ thu thập số liệu

303

Hộp 8.5 Dùng Google Earth để vẽ bản đồ

Google Earth, một chương trình tải miễn phí từ mạng Internet, đã vẽ bản đồ của cả hành tinh bằng cách dán ảnh từ vệ tinh, ảnh chụp trên không và hệ thống thông tin địa lý vào hình ảnh sử dụng địa cầu không gian 3 chiều. Nhiều thành phố lớn xuất hiện rất sắc nét, nhìn được cả nhà cao tầng, nhà ở và thậm chí cả ô tô (ảnh). Độ phân giải dựa một phần trên điểm quan tâm. Google Earth có thể hữu ích đối với quá trình thu thập số liệu cơ sở hoặc số liệu xu hướng. Người đánh giá có thể định vị một vùng dùng Google Earth, lưu hình ảnh này và in ra. Số liệu thu thập vào thời điểm muộn hơn được so sánh với hình ảnh ban đầu, để cho thấy sự thay đổi theo thời gian, chẳng hạn như xây đường hoặc cung cấp điện cho vùng nông thôn.

■■ Đi bộ theo mặt cắt: Đi bộ để quan sát con người, môi trường xung quanh và nguồn lực của một vùng

304

Hình ảnh từ Google Earth của Dacca, Băng-la-đét

sang đi đường khác khi mưa xuống. Đi bộ có thể hiểu được sự phân chia về mặt xã hội trong cộng đồng, như điện và hay phân chia đẳng cấp. Nó cũng giúp nhận diện được cơ cấu về không gian, phong cách kiến trúc, sử dụng không gian, vệ sinh môi trường, sử dụng quá mức hay chưa đúng mức các phương tiện, và các hoạt động xung quanh nguồn nước và vệ sinh (Narayan 1996). Đi bộ theo mặt cắt là hình thức đi bộ mà người đánh giá áp dụng để đi xung quanh cộng đồng nhằm thu được những quan sát mang tính đại diện về con người, môi trường xung quanh, và các nguồn lực. Đi bộ theo mặt cắt là một công cụ thu thập số liệu về không gian. Đi bộ theo mặt cắt có thể chỉ mất một giờ hoặc cả ngày. Đi bộ theo mặt cắt được dự kiến thực hiện thông qua vẽ một “đường cắt” trong bản đồ của địa phương. Đường này có thể đi qua, hoặc cắt ngang tất cả các vùng của cộng đồng nhằm cung cấp quan điểm của cộng đồng. Người đánh giá, được vài người trong cộng đồng đi cùng, đi bộ dọc theo vùng là đường cắt đó đã vạch ra. Người đánh giá cũng nói chuyện với các thành viên trong cộng đồng trong khi quan sát các điều kiện, con người, vấn đề và cơ hội (Học viện Phát triển giáo dục 2002).

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Những ví dụ sau đây về các mặt trong đời sống cộng đồng có thể quan sát được trong quá trình đi bộ theo mặt cắt: • Điều kiện nhà ở • Tình trạng trẻ em đường phố • Bản chất của lao động trẻ em • Nạn buôn bán và mại dâm phi chính thức trên đường phố • Sự hiện diện của các phương tiện giao thông công cộng • Các tổ chức phi chính phủ (NGOs) và tổ chức tín ngưỡng • Các loại cửa hàng • Các loại thức ăn bán ở chợ ngoài trời • Điều kiện vệ sinh • Giao tiếp của phụ nữ và nam giới • Sự hiện diện của các cơ sở y tế • Các trang thiết bị trong cộng đồng (Học viện Phát triển Giáo dục 2002). Đi bộ theo mặt cắt cung cấp cho cho người đánh giá một “bức tranh lớn” toàn cảnh về cộng đồng để có thể xác định những vấn đề cần khảo sát sâu hơn.

Công cụ 2: Phân tích tài liệu lưu trữ và thông tin thứ cấp Trong một số trường hợp, có thể sử dụng các dữ liệu đã được thu thập để trả lời những câu hỏi có liên quan. Khi sử dụng các bộ dữ liệu do những đối tượng khác thu thập, cần phải tìm hiểu xem những dữ liệu đó được thu thập bằng cách nào, định nghĩa của các biến số, phương pháp mã hóa và làm sạch dữ liệu, bao gồm cả việc xử lý các dữ liệu khuyết thiếu, không hoặc không mấy phù hợp. Nguồn cung cấp thông tin thứ cấp không chỉ là các bộ dữ liệu đã được thu thập từ trước, mà còn bao gồm các bài báo, chương trình truyền hình, trang web, blog, các bài thảo luận trên mạng. Sử dụng tài liệu lưu trữ Các cơ quan chính phủ, phòng khám, trường học, các hiệp hội và tổ chức phát triển là một vài ví dụ trong số rất nhiều các đối tượng cung cấp tài liệu lưu trữ. Những tài liệu lưu trữ đó có thể là cơ sở chính để đánh giá. Các tài liệu lưu trữ của tổ chức là nguồn cung cấp thông tin rất phổ biến. Hầu hết các tổ chức đều đã thu thập và quản lý thông tin về khách hàng và cộng đồng. Họ cũng tóm tắt và báo cáo thông tin dưới dạng các báo cáo quản lý nội bộ, báo cáo ngân sách, các báo cáo công bố rộng rãi hoặc cung cấp cho các đối tượng cấp vốn, hoặc là các báo cáo đánh giá hoặc giám sát. McCaston (2005) đã đưa ra một số ví dụ về dữ liệu và thông tin thứ cấp để phân tích đói nghèo:

Lựa chọn và xây dựng công cụ thu thập số liệu

305

• Nhân khẩu học (dân số, tốc độ tăng dân số, dân số thành thị/nông thôn, giới tính, các nhóm dân tộc thiểu số, xu hướng di cư) • Phân biệt đối xử (theo giới tính, tôn giáo, độ tuổi) • Bất bình đẳng giới (theo tuổi, tôn giáo) • Môi trường chính sách • Môi trường kinh tế (tốc độ tăng trưởng, tỷ lệ nợ, điều kiện thương mại) • Mức độ đói nghèo (tương đối và tuyệt đối) • Việc làm và tiền lương (chính thức và phi chính thức, khả năng thay đổi) • Phương thức kiếm sống (ở thành thị, nông thôn, nông nghiệp, phi nông nghiệp, phi chính thức) • Các nhân tố ảnh hưởng tới nông nghiệp và hoạt động nông nghiệp (mưa, mùa vụ, loại đất và phương thức sử dụng đất, tưới tiêu) • Y tế (dinh dưỡng, tỷ lệ trẻ sơ sinh tử vong, tỷ lệ tiêm chủng, tỷ lệ sinh, tỷ lệ sử dụng các biện pháp tránh thai) • Dịch vụ y tế (số lượng, mức độ, khả năng đáp ứng so với tỷ lệ dân số, khả năng tiếp cận với các dịch vụ y tế theo giới và theo tôn giáo) • Giáo dục (tỷ lệ biết chữ ở người lớn, tỷ lệ nhập học, bỏ học, tỷ lệ giữa học sinh nam và nữ, theo tôn giáo) • Trường học (số lượng và cấp học, tỷ lệ trường học so với dân số, tỷ lệ trẻ em đến trường phân theo giới, theo tôn giáo) • Cơ sở hạ tầng (đường xá, điện, thông tin liên lạc, nước, vệ sinh) • Môi trường và các vấn đề về môi trường • Các hoạt động ảnh hưởng xấu tới văn hóa. Các thông tin nêu trên có thể được tìm thấy trong • Các hồ sơ và thông tin lưu trữ • Các cơ sở dữ liệu máy tính • Các báo cáo ngành • Các báo cáo của chính phủ • Các báo cáo khác, bao gồm cả các đánh giá trước đó • Dữ liệu điều tra dân số và hộ gia đình • Danh sách thư điện tử và các nhóm thảo luận • Các văn bản (ngân sách, chính sách và thủ tục, biểu đồ, bản đồ) • Báo và bản tin truyền hình Để lấy được thông tin từ các văn bản dưới dạng in, người đánh giá xây dựng một phương pháp thu thập thông tin có thể chỉ ra thông tin gì cần thu thập từ hồ sơ hoặc bản lưu trữ, và mã hóa chúng bằng cách nào. Mục tiêu là xây dựng một phương pháp đơn giản và rõ ràng. Và cần phải công bố phương pháp này một khi nó đã được xây dựng. Ví dụ, thử đánh giá xem các y tá điều dưỡng được đào tạo theo chương trình do chính phủ tài trợ

306

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

có làm việc hiệu quả hơn so với các y tá điều dưỡng khác hay không. Có thể sử dụng phương pháp thu thập thông tin để lấy được các thông tin cần thiết một cách hệ thống từ hồ sơ (Bảng 8.1). Cán bộ đánh giá có thể chọn một số phòng khám điều dưỡng có một hoặc nhiều y tá đã được đào tạo thông qua chương trình của chính phủ, và xem xét hồ sơ của tất cả các y tá tại đó. Những hồ sơ này cung cấp thông tin về trình độ giáo dục, thời gian hành nghề y tá, khả năng làm việc của họ. Khi nghiên cứu các hồ sơ cho biết công việc hoặc khả năng làm việc hiện tại, các cán bộ đánh giá nên kiểm tra xem các hồ sơ đó có phản ánh chính xác thực tế hay không. Quan sát (nếu chương trình đào tạo vẫn đang diễn ra) và phỏng vấn có thể hữu ích trong trường hợp này. Ví dụ, khi xem xét các văn bản cung cấp thông tin về chương trình đào tạo, các đánh giá viên có thể kiểm tra xem liệu chương trình có thực sự diễn ra năm ngày một tuần, có đủ tài liệu, và các học viên tham gia khóa đào tạo có thực sự thu được những tiến bộ như hồ sơ mô tả hay không. Nhận định này nên được rút ra sau khi kiểm tra kiến thức của Bảng 8.1 Phương pháp thu thập dữ liệu mẫu

Ngày ID #: 1. Trình độ đào tạo cao nhất đã hoàn thành: 2. Y tá có đăng ký? Có Không 3. Đãhoànthànhchươngtrìnhđạotạocủachínhphủ Có Không 4. Nếu câu trả lời là có, năm hoàn thành? 5. Thời gian làm y tá tại phòng khám này? 6. Thời gian làm y tá tại những nơi khác? 7. Đánh giá mức độ thực hiện công việc trong 5 năm trở lại đây: Năm: Đánh giá: Năm: Đánh giá: Năm: Đánh giá: Năm: Đánh giá: Năm: Đánh giá: 8. Có được khen thưởng trong công tác trong 5 năm trở lại đây không: Có Không Nếu có, số lần được khen thưởng trong 5 năm trở lại đây: 9. Giới tính: Nam Nữ 10. Ý kiến khác:

Nguồn: Các tác giả.

Lựa chọn và xây dựng công cụ thu thập số liệu

307

học viên về chương trình đào tạo, lịch sử của chương trình và việc ứng dụng. Trong một số trường hợp cụ thể, cần tìm những người ở những vị trí khác nhau như cán bộ ngân sách và khách hàng, những người có thể cung cấp thông tin theo những cách khác nhau và giúp ta có một cái nhìn cận cảnh về những điều không được ghi chép lại. Khi cả việc quan sát và phỏng vấn không có tác dụng, đánh giá viên có thể xác minh thông tin bằng cách xác định và nghiên cứu các văn bản hỗ trợ khác cũng cung cấp những thông tin tương tự. Việc phải đọc và phân tích các văn bản chính thức khác tương đối phổ biến. Ví dụ, để đánh giá chương trình nhằm nâng cao trách nhiệm của các cán bộ nhà nước khi thực hiện các cuộc gọi điện thoại cho người dân, các đánh giá viên sẽ xem xét các văn bản chính thức để xác định những nội dung sau: • Chương trình được cho phép thực hiện khi nào? • Mục đích và mục tiêu của chương trình được ghi trong văn bản cho phép là gì? • Có bao nhiêu nhân viên chính phủ tham gia vào chương trình? • Những cơ quan hoặc bộ phận nào có liên quan? • Chương trình được thực hiện vào thời điểm nào? • Cách thức hay chỉ số thực hiện nào được áp dụng hoặc xác định? • Ngân sách dành cho chương trình là bao nhiêu? • Các hoạt động nào được áp dụng?

■■ Phân tích

thông tin thứ cấp: Phân tích thông tin dựa trên những dữ liệu có được từ các nguồn khác chứ không phải do đánh giá viên thu thập.

Sử dụng các bộ dữ liệu sẵn có Các bộ dữ liệu điện tử do một tổ chức thu thập thường được một tổ chức khác sử dụng và phân tích lại để tìm câu trả lời cho những câu hỏi mới. Phương pháp phân tích này có tên là phân tích thông tin thứ cấp. Các đánh giá viên thường sử dụng các cơ sở dữ liệu máy tính lớn, ví dụ dữ liệu điều tra hộ gia đình hoặc dữ liệu về các khoản cho vay của một tổ chức tài chính dành cho các doanh nhiệp nhỏ và vừa. Khi tiến hành phân tích thông tin thứ cấp, các đánh giá viên phải luôn tập trung vào mục tiêu và thiết kế của đánh giá. Những vấn đề trọng tâm để xác định có nên lấy và sử dụng thông tin thứ cấp hay không bao gồm: • • • •

Những dữ liệu sẵn có có giá trị không? Những dữ liệu sẵn có có đáng tin cậy không? Những dữ liệu sẵn có có chính xác không? Mức độ phù hợp và khuyết thiếu? McCaston (2005) cũng gợi ý phải kiểm tra những nội dung sau:

• • • • 308

Sự tin cậy của tổ chức sở hữu cơ sở dữ liệu Các phương pháp và quy tắc được sử dụng để làm sạch dữ liệu Thời điểm của thông tin trong cơ sở dữ liệu (mới hay đã lỗi thời) Dữ liệu có ý nghĩa và nhất quán với dữ liệu từ các nguồn khác không? Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ví dụ, một đánh giá đang xem xét sử dụng dữ liệu lấy từ hệ thống quản lý thông tin đồ sộ đã được vi tính hóa về các khoản cho vay đại học thông qua một chương trình cho vay lớn của chính phủ. Theo quy định của chương trình, thu nhập của sinh viên phải thấp hơn một mức nhất định. Các đánh giá viên đang cân nhắc sử dụng những dữ liệu trên phải kiểm tra là dữ liệu cho thấy các sinh không đủ tiêu chuẩn được vay thực sự không được nhận các khoản vay này. Nếu họ phát hiện thấy các sinh viên không đủ tiêu chuẩn vẫn được cho vay, khi đó họ cần xác định liệu vấn đề nảy sinh là do sai sót khi nhập dữ liệu (tính chính xác), hay do vi phạm các quy định cho vay. Các đánh giá viên cũng phải kiểm tra các sinh viên đủ tiêu chuẩn không từ chối nhận các khoản vay, hoặc sinh viên đó không nhận nhiều hơn một khoản vay. Đầu tiên, các điều tra viên có thể phải chạy dữ liệu để xem xét bản chất và mức độ sai sót của cơ sở dữ liệu. Để kiểm tra dữ liệu, họ cũng có thể gọi cho một số sinh viên để xác nhận là họ thực sự được cho vay và có đi học. Các điều tra viên cũng phải kiểm tra với các trường để xác nhận hồ sơ lưu trữ của trường cũng cho thấy sinh viên đó có đi học và nhận hỗ trợ tài chính từ chương trình. Dưới đây là quy trình nên tuân theo khi sử dụng thông tin thứ cấp: • Tìm ra thông tin nào cần thiết để chuyển về máy tính của mình. Trong một số trường hợp, tổ chức sở hữu cơ sở dữ liệu muốn tiến hành phân tích cho bạn, và đây là lựa chọn duy nhất (Nếu có thể và khả thi, chuyển dữ liệu là tiện dụng nhất) • Kiểm tra virus trước khi chuyển dữ liệu vào máy tính của ban. • Xác định cấu trúc của cơ sở dữ liệu, các định nghĩa và thuật ngữ, và quy tắc mã hóa. • Xác định tính chính xác của dữ liệu bằng cách kiểm tra và đối chiếu chéo. • Chuyển dữ liệu theo cách có thể tránh làm phát sinh những lỗi mới (không đánh máy lại). Kiếm tra cơ học một số dữ liệu để chắc chắn là dữ liệu đã được chuyển như mong muốn. • Xem xét tính đúng đắn của tất cả thông tin thứ cấp (ngày phát hành, trích dẫn tác giả) Bảng 8.4 tổng kết những ưu và nhược điểm khi sử dụng dữ liệu sẵn có.

Công cụ 3: Quan sát Quan sát có thể là một phương pháp thu thập dữ liệu rất hiệu quả. Ví dụ, chỉ bằng mắt thường, một người có thể quan sát tình hình giao thông, thực trạng sử dụng đất, tình hình môi trường tại thành phố và nông thôn, chất lượng nhà ở, điều kiện đường xá, hoặc những ai tới trạm y tế tại nông thôn để được chăm sóc sức khỏe.

Lựa chọn và xây dựng công cụ thu thập số liệu

309

Bảng 8.4 Ưu điểm và nhược điểm khi sử dụng dữ liệu sẵn có

Ưu điểm

Dữ liệu thường ít tốn kém và nhanh chóng hơn so với thu thập dữ liệu gốc.

Nhược điểm

Dữ liệu có thể không hoàn toàn như mong muốn. Có thể gặp khó khăn khi muốn truy cập dữ liệu trong một thời gian dài Phải kiểm chứng giá trị và độ tin cậy của dữ liệu, cũng như sửa chữa các sai sót khi mã hóa.

Nguồn: Các tác giả.

Quan sát là một phương pháp thu thập thông tin hữu ích nếu mục đích của đánh giá là thu thập dữ liệu tiêu chuẩn và mang tính mô tả, hoặc ghi chép lại hoạt động, quá trình và kết quả của chương trình. Phương pháp này cũng phù hợp trong rất nhiều trường hợp (bảng 8.5). Các quan sát có thể bao gồm quan sát được định trước, không được định trước, hoặc định trước một phần: • Các quan sát được định trước xác định sẽ quan sát cái gì, và trong khoảng thời gian nào trước khi quan sát thực sự diễn ra. Những người quan sát thường có một danh mục để đếm các sự kiện hoặc khoảng cách hoặc bấm giờ thời gian hoạt động. • Các quan sát không được định trước lựa chọn phương pháp dựa vào tình huống, không có bất kỳ ý tưởng được định trước nào hoặc kế hoạch về đối tượng được quan sát, trong thời gian bao lâu. Người quan sát sẽ nhìn và ghi lại tình huống như nó thực sự diễn ra. • Các quan sát được định trước một phần được tiến hành khi đánh giá viên có một ý tưởng sơ bộ về đối tượng được quan sát, nhưng không có một kế hoạch cụ thể nào. Đánh giá viên có thể đơn giản chỉ ghi lại những gì mà anh ta/cô ta thấy lý thú, đặc trưng, khác thường, hoặc quan trọng. Đánh giá viên có thể tiếp tục ghi lại những tình huống xảy ra hoặc chỉ tập trung vào những hoạt động nhất định nào đó. Quan sát được định trước Sử dụng cách tiếp cận được định trước để quan sát, Stake (1995) đã xây dựng được một mẫu quan sát dựa trên vấn đề (Bảng 8.2). Rất nhiều mẫu quan sát được định trước sử dụng các từ viết tắt và ký hiệu để tạo nhiều khoảng trống hơn trên mẫu để thu thập dữ liệu. Các mẫu có thể được diều chỉnh để đáp ứng các nhu cầu đánh giá cụ thể. Bảng 8.3 là một ví dụ khác của mẫu sử dụng phương pháp quan sát được định trước. Phương pháp này được sử dụng để thu thập thông tin về kỹ năng giao tiếp của trẻ.

310

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 8.5 Lý do sử dụng và các ví dụ quan sát Lý do sử dụng quan sát

Các ví dụ

Có được thông tin trực tiếp

Ngẫu nhiên tới thăm trường học, các gia đình, nông trang, hoặc các địa điểm khác và tiến hành quan sát thay vì chỉ đưa ra các câu hỏi Quan sát hoạt động và các quy trình tại văn phòng, trường học, bệnh viện và các địa điểm khác thay vì chỉ dựa vào các bản báo cáo Kín đáo ghi lại số lần xuất hiện, ví dụ như các nhóm theo tôn giáo, giới tính, độ tuổi có tham gia vào một hoạt động nào đó

Hiểu một hành động, một quá trình, một tình huống thực tế, một sự kiện đang diễn ra

Quan sát và mô tả các công việc đã thực hiện trong mỗi giai đoạn của dự án hay chương trình Quan sát trẻ em giao tiếp với với những đứa trẻ khác tại sân chơi, cách bố mẹ đối xử với con cái, giáo viên đối xử với học sinh, các nhân viên y tế đối xử với bệnh nhân, người quản lý đối xử với nhân viên Quan sát người quản lý tiến hành các buổi họp trước và sau các chương trình đào tạo cán bộ

Kiểm tra các bằng chứng khoa học, các sản phẩm hoặc kết quả

Quan sát thực phẩm và các hàng hóa khác được bày bán ở chợ

Đưa ra một phương án khi các phương pháp ghi chép và thu thập thông tin khác có thể không hiệu quả hoặc không phù hợp

Một số thành viên tình nguyện quan sát và báo cáo về việc thực hiện dự án thay vì tất cả các thành viên phải điền phiếu điều tra

Quan sát định kỳ bờ hồ nằm trong một chương trình làm sạch Một đội chuyên gia kiểm tra chất lượng cỏ và cây họ đậu ở một đồng cỏ Kiểm tra vườn, các bản tin, dự án sách,v.v..

Quan sát diễn biến và những quan ngại được đưa ra tại một cuộc hội thảo dành cho những người mới nhập cư Các người huấn luyện quan sát lớp học của nhau, ghi lại tình hình, các câu hỏi và mức độ tham gia

Nguồn: University of Wisconsin Cooperative Extension 1996.

Bảng 8.2 Mẫu ví dụ về quan sát dựa trên vấn đề

Người quan sát:

Trường:

Giáo viên: Nam Nữ Kinh nghiệm giảng dạy: 0 - Tháng Tóm tắt bài học, hoạt động:

Độ tuổi 25 35 50 65 Điểm: Hướng dẫn trực tiếp # Số học sinh: Thấp - - Cao Bình luận về các vấn đề giảng dạy khoa học: 1 Phản ứng đối với cắt giảm ngân sách 2 Địa điểm thực hiện 3 Bài giảng của giáo viên 4 Tài liệu được phát

Mô tả điều kiện học tập

Định hướng giảng dạy

Phòng học L - - H Phòng khoa học L - - H

Sách giáo khoa L - - H Bài kiểm tra được tiêu chuẩn hóa L - - H Giải quyết vấn đề L - - H

Phòng kiểm tra L - - H Nguồn: Stake 1995.

Ngày:

Thời gian quan sát: Từ: Đến: Thời gian ghi lại: Môn học

Mục tiêu của giáo viên Ý kiến được đưa ra về Mô phạm L - - H Hướng dẫn L - - H

Phương pháp khoa học 0 - - M Công nghệ 0 - - M

Đối thoại L - - H

Tôn giáo, tín ngưỡng 0 - - M 311

Bảng 8.3 Mẫu ví dụ về quan sát được định trước

Chỉ số Giao tiếp Sớm (ECI) Viện nghiên cứu đo lường sự tăng trường và phát triển sớm của trẻ em

Hành động, Phát âm cử chỉ Bắt đầu G 0:00

Tên của trẻ/Số Thời gian kiểm tra

Các từ đơn

Các từ kép

6 phút G – Kết thúc

Giây 2:00 Giây 3:00

(MM/DD/YY)

Phút Giây Hình thức:Trong nhà hoặc thay đổi điều kiện (xem danh sách bên dưới): Người mã hóa chính: Người thẩm định: Địa điểm (Khoanh tròn 1 phương án): Nhà – Trung tâm – Khác (ghi cụ thể vào phần Ngôn ngữ sử dụng: Nếu tin cậy, tên của người mã hóa tin cậy: Ghi chú:

Giây 1:00

Ngày kiểm tra

Liệt kê các điều kiện Người phiên dịch Dụng cụ can thiệp ngôn ngữ Can thiệp y tế (VD: ống) Tư vấn sức khỏe tâm thần Điều kiện hoặc môi trường giáo dục Không có chuyên gia dinh dưỡng Bác sĩ chuyên khoa thể chất khác Người chăm sóc chính Y tá được đăng ký Các hành động đáp lại Nhân viên xã hội Bác sĩ chuyên khoa ngôn ngữ, diễn thuyết

Giây 4:00 Giây 5:00 Giây

312

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Cử chỉ

Phát âm

Từ đơn

Từ kép

Tổng

Người mã hóa chính Tổng %

Đồng ý

Người mã hóa tin cậy

Đồng ý A/A D

Không đồng ý

Tỷ lệ

Xác định độ tin cậy: 1. Điểm của người mã hóa chính ghi ở dòng đầu tiên. 2. Điểm của người mã hóa tin cậy ghi ở dòng thứ hai. 3. Điểm nhất trí ghi vào dòng thứ ba. 4. Điểm không nhất trí ghi vào dòng thứ tư. 5. Tính tỷ lệ nhất trí đối với yếu tố chính trong từng mục. 6. Tính tỷ lệ nhất trí tổng thể, sử dụng tổng điểm. 7. Tính tỷ lệ thống nhất trung bình của từng mục (cộng các ý kiến thống nhất và không thống nhất theo từng mục) (dòng thứ ba và thứ tư).

Nguồn: Viện Nghiên cứu Đo lường sự tăng trưởng và phát triển sớm của trẻ 2008.

Lựa chọn và xây dựng công cụ thu thập số liệu

313

Quan sát được xác định trước một phần Một quan sát được xác định trước một phần có thể không có một kế hoạch cụ thể nào. Thay vào đó, nó có thể xác định các đối tượng để quan sát (bảng 8.6). Ghi lại các quan sát Các quan sát có thể được ghi lại theo ba cách: • Hướng dẫn quan sát: Mẫu in có khoảng trống để ghi lại các quan sát (Các ví dụ về hướng dẫn quan sát có thể tìm thấy trong Stake (1995), University of Wisconsin Cooperative Extension (1996), và Yin (2003).) • Bảng ghi hoặc danh mục kiểm tra: Mẫu được sử dụng để ghi lại các quan sát dưới dạng có/không hoặc theo mức độ. Các bảng ghi thường được sử dụng

Bảng 8.6 Sử dụng quan sát được xác định trước một phần Quan sát

Ví dụ

Đặc điểm của những Giới tính, tuổi, chuyên môn/nghề nghiệp, trang phục, diện người tham gia (cá nhân mạo, dân tộc) và nhóm) Thái độ đối với chủ đề, với người khác, về bản thân Kỹ năng, thói quen, kiến thức Tương tác

Mức độ tham gia, hứng thú Khả năng giao tiếp, ra quyết định Khả năng học hỏi, giải quyết vấn đề Mức độ hỗ trợ, hợp tác và xung đột

Các hành động phi ngôn ngữ

Biểu hiện của nét mặt Hành động, cử chỉ Tư thế

Người lãnh đạo, diễn thuyết

Nói năng rõ ràng, mạch lạc Kỹ năng lãnh đạo nhóm, khuyến khích tham gia Nhận thức được tình hình của nhóm Tính linh hoạt, khả năng thích ứng Kiến thức về chủ đề, sử dụng các công cụ hỗ trợ, các kỹ thuật giảng dạy/học tập khác Phối hợp các hoạt động

Môi trường xung quanh

Phòng (diện tích, thoải mái, phù hợp) Tiện nghi (đồ uống, và những thứ khác) Sắp xếp chỗ ngồi

Kết quả của chương trình

Sự thể hiện, điều kiện thuận lợi, kế hoạch Tờ bướm, hướng dẫn, thông tin

Nguồn: Cloutier và các nguồn khác 1987.

314

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

khi tiến hành quan sát các vật, các đối tượng, các thuộc tính cụ thể có thể quan sát. • Ghi chép thực địa: Đây là cách ghi chép quan sát ít sắp đặt nhất. Các quan sát được ghi lại bằng cách tường thuật, diễn tả khi quan sát viên nhận thấy hoặc nghe thấy một điều gì đó quan trọng. Các ghi chép thực địa cung cấp “những thông tin cần thu thập đúng như cách nó diễn ra. Chúng bao gồm mô tả về những gì cảm nhận và quan sát được, các trích dẫn từ các quan sát viên, cảm nhận và phản ứng của quan sát viên về đối tượng được quan sát, những hiểu biết thu được từ thực địa và diễn giải” (Patton 2002, p. 305). Theo Lofland (1971, p. 102), các ghi chép thực địa là “những yếu tố quan trọng nhất đối với một phân tích định tính. Các ghi chép thực địa cung cấp lý lẽ của quan sát viên. Nếu …. không ghi chép thực địa, [quan sát viên] không thể hiểu được ngữ cảnh” Patton (2002) thảo luận các kỹ thuật ghi chép thực địa đối với các quan sát. Ông phân tích tầm quan trọng của việc mô tả tất cả những gì quan sát viên tin là đáng để ghi chép. Quan sát viên nên ghi lại bất cứ thông tin nào giúp hiểu được điều kiện, bối cảnh và những gì đã diễn ra càng nhanh càng tốt. Các ghi chép thực địa nên có những thông tin mô tả, cho phép quan sát viên nhớ lại quan sát và cả cảm nhận đối với quan sát đó trong quá trình phân tích. Patton gợi ý nên ghi chép các thông tin cơ bản, ví dụ như quan sát diễn ra ở đâu, những ai có mặt, ngữ cảnh lúc đó như thế nào, những phản ứng gì đã xảy ra, những hành động nào đã được thực hiện. Ông lưu ý tới vai trò của việc sử dụng những cụm từ cụ thể thay vì chỉ nói chung chung: những từ như nghèo, giận giữ, và lo lắng không hiệu quả để mô tả. Theo Patton, “những từ đó cho biết những gì thực sự đang diễn ra thay vì miêu tả chi tiết tình huống”.

■■ Quan sát

thực địa: Mô tả những gì được trải nghiệm hoặc quan sát được, trích dẫn lời của những người bị quan sát, mô tả cảm xúc và phản hồi của người quan sát với hiện tượng, và đưa ra sự hiểu biết và giải thích về những hiện tượng này

Đào tạo và chuẩn bị cho các quan sát viên Patton (2002, trang 260) chỉ ra rằng “những cảm nhận giác quan mà một người được trang bị không đủ để biến anh ta thành một người quan sát sành sỏi”. Ông nhấn mạnh tầm quan trọng của việc đào tạo và chuẩn bị cho các quan sát viên, chỉ ra sáu khía cạnh đào tạo đối với các quan sát viên: • • • •

Học cách tập trung, nhìn những gì có để nhìn, và lắng nghe những gì có để nghe. Tập viết theo cách mô tả. Có kỷ luật khi ghi chép thực địa. Biết cách gạn lọc các chi tiết từ những điều không đáng quan tâm nhằm thu được các chi tiết đắt giá thay vì bị ngập trong những thứ tầm phào.

Lựa chọn và xây dựng công cụ thu thập số liệu

315

Bảng 8.7 Thuận lợi và thách thức của thu thập thông tin bằng phương pháp quan sát

Thuận lợi

Thu thập số liệu về hành vi thực chứ không phải tự báo cáo hoặc quan điểm cá nhân. Thu thấp số liệu trong thời gian thực tế chứ không phải hồi tưởng

Thách thức

Việc lấy mẫu, ghi chép và giải thích số liệu có thể khó Thu thập số liệu cần nhiều người.

Nguồn: Tác giả.

• Sử dụng phương pháp chặt chẽ để đảm bảo giá trị và tính chặt chẽ của quan sát. • Báo cáo điểm mạnh và hạn chế trong quan điểm cá nhân của một người, và điều này đòi hỏi phải có cả nhận thức đầy đủ về bản thân, cũng như việc dám chỉ ra khiếm khuyết của bản thân. Bất kỳ trường hợp khả thi nào đều có thể sử dụng nhiều hơn một quan sát viên. Tất cả các quan sát viên đều nên được đào tạo để họ có thể quan sát dựa trên các trình tự đã được thống nhất từ trước. Quy trình thu thập dữ liệu quan sát phải được thử nghiệm trước khi được sử dụng để đánh giá. Để làm được điều này, phải có ít nhất hai quan sát viên tới cùng một địa điểm và hoàn thành các ghi chép thực địa của mình trên các biên bản mã hóa và phiếu đánh giá. Sau khi các quan sát viên kết thúc công việc, biên bản và phiếu đánh giá sẽ được xem xét, đối chiếu. Nếu không có nhiều khác biệt, quy trình sẽ được chấp nhận. Bảng 8.7 tổng kết những thuận lợi và thách thức của việc thu thập thông tin bằng phương pháp quan sát.

Công cụ 4: Khảo sát và phỏng vấn

■■ Khảo sát cấu trúc: : Là dạng khảo sát bao gồm hàng loạt sự lựa chọn để trả lời, trong đó người trả lời lựa chọn một hoặc nhiều hơn một lựa chọn

316

Khảo sát không phải là công cụ hoàn hảo thể thu thập số liệu về quan niệm, quan điểm và ý tưởng. Công cụ này không hữu ích trong việc đo lường hành vi, bởi những gì mà người dân nói có thể không phản ánh cái mà họ thực sự làm. Khảo sát có thể ở dạng cấu trúc hoặc bán cấu trúc, được thực hiện với từng người hoặc qua điện thoại, hoặc tự thực hiện thông qua hình thức trả lời qua thư hoặc qua trang web. Khảo sát có thể được thực hiện với một nhóm người hoặc cả tổng thể mẫu (Chương 9 thảo luận về cách lấy mẫu). Khảo sát cấu trúc và bán cấu trúc Khảo sát cấu trúc là dạng khảo sát bao gồm hàng loạt sự lựa chọn để trả lời, trong đó lựa chọn một hoặc nhiều hơn một câu trả lời. Tất cả người trả lời đều

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

được hỏi cùng một câu hỏi, theo cùng một cách, và mang lại cùng sự lựa chọn để trả lời. Có bao nhiêu hình thức trả lời có thể áp dụng? Với câu trả lời định danh, như vùng, nghề nghiệp chủ yếu, số phương án trả lời phải bao quát hết những câu trả lời có thể xảy ra. Khi sử dụng quy mô để trả lời thì số lượng câu trả lời thường là số lẻ (3, 5, hoặc 7) để các câu trả lời trung tính là hiển nhiên. (Đôi lúc cũng sử dụng số chẵn để đòi hỏi người trả lời lựa chọn giữa “hài lòng” hoặc “hài lòng một phần”). Khảo sát bán cấu trúc cũng thường hỏi những câu hỏi tương tự, nhưng cho phép trả lời mở đối với hầu hết các dạng câu hỏi (Hộp 8.6). Khảo sát bán cấu trúc là những khảo sát chủ yếu hỏi những câu hỏi mở Dạng khảo sát này hữu ích khi người đánh giá muốn thu được hiểu biết sâu về kinh nghiệm hoặc để hiểu nguyên nhân tại sao người trả lời lại giữ thái độ như vậy. Khảo sát bán cấu trúc thường có mục đích cụ thể. Khảo sát này thường thực tế hơn nếu phỏng vấn về các bước trong một quá trình, vai trò và trách nhiệm của các thành viên khác nhau trong cộng đồng hoặc trong nhóm, hoặc miêu tả chương trình hoạt động như thế nào so với cố xây dựng báo cáo khảo

■■ Khảo sát bán cấu trúc: Khảo sát được thực hiện bằng việc chủ yếu hỏi các câu hỏi mở

Hôp 8.6 Câu hỏi khảo sát cấu trúc và bán cấu trúc

Ví dụ về câu hỏi cấu trúc bao gồm: 1. Hội thảo này có ích đối với bạn để hiểu cách đánh giá chương trình không? • Ít hoặc không có ích • Có ích chút ít • Vừa phải • Có ích • Có ích nhiều • Không có ý kiến • Không phù hợp 2. Tất cả người dân trong làng có được tiếp cận với nguồn nước sạch cách nhà trong vòng 500 m không? • Có • Không Ví dụ về câu hỏi bán cấu trúc bao gồm: 1. Bạn học hỏi được gì từ hội thảo đánh giá chương trình và vận dụng vào công việc? 2. Nước sạch cho người dân trong làng là từ đâu?

Lựa chọn và xây dựng công cụ thu thập số liệu

317

Bảng 8.8 Thuận lợi của khảo sát cấu trúc và bán cấu trúc Khảo sát cấu trúc

Khảo sát bán cấu trúc

Khó xây dựng: khảo sát phải chứa đựng tất cả các thông tin

Dễ xây dựng: khảo sát có thể gồm các câu hỏi mở chứa đựng những thông tin không được đề cập đến trong phần cấu trúc, giảm rủi ro bỏ sót vấn đề

Dễ thực hiện: đánh dấu vào ô tốn ít thời gian hơn viết báo cáo tường thuật

Khó thực hiện hơn: tạo gánh nặng cho một số người khi phải hoàn thành bảng hỏi

Dễ phân tích

Khó phân tích nhưng mang lại nhiều nguồn thông tin; giải thích các câu hỏi mở có thể tạo sự thiên lệch

Hiệu quả hơn khi đánh giá số lượng người lớn Nguồn: Tác giả.

sát bao hàm tất cả sự thay đổi. Nếu người trả lời cảm thấy tin tưởng và được hỏi nhiều câu hỏi thú vị thì sẽ sẵn sàng phỏng vấn hàng giờ. Ngược lại, một số người cũng sẵn sàng dành hàng giờ để điền vào bảng hỏi. Một cách lý tưởng nhất là hai người cùng thực hiện phỏng vấn, do đó người phỏng vấn có thể so sánh với các lưu ý. Hai người phỏng vấn sẽ có thể giải quyết các tranh luận về vấn đề đang đề cập. Bảng 8.8 đưa ra những điểm thuận lợi của khảo sát cấu trúc và bán cấu trúc. Các hình thức thực hiện khảo sát Các hình thức thực hiện khảo sát thường thấy bao gồm • bảng hỏi qua điện thoại • bảng hỏi tự thực hiện qua thư, thư điện tử, hoặc trang web • bảng hỏi (thông thường có trong bối cảnh phát triển). Khảo sát qua điện thoại thường hữu ích với những trường hợp hiểu biết về kinh nghiệm, quan điểm hoặc miêu tả cá nhân về một quá trình. Khảo sát từng người và khảo sát qua điện thoại rất giống nhau, chỉ khác ở phương thức thực hiện. Bảng hỏi tự thực hiện có thể được chuyển cho từng cá nhân hoặc bằng thư, hoặc thư điện tử, hay qua trang web. Người trả lời trả lời vào mẫu bảng hỏi và chuyển trả cho người phỏng vấn. Khảo sát tự thực hiện phải ngắn và không tốn quá 20 phút để hoàn thành (càng ngắn càng tốt). Trong tất cả các phương

318

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

pháp tiếp cận, một gợi ý được đưa ra là mọi người thường có xu hướng đưa ra câu trả lời trung thực nhất với những câu hỏi nhạy cảm trong những khảo sát tự thực hiện. Dùng thư, thư điện tử hoặc trang web ít tốn kém hơn thực hiện khảo sát từng người. Khảo sát được gửi tới tất những vùng có người trả lời được tiếp cận đến phương pháp cung cấp. Nếu vùng đó không tiếp cận được các dịch vụ bưu chính hoặc hạn chế về điện thoại hoặc Internet thì sẽ không tham gia đầy đủ vào khảo sát do đó kết quả sẽ bị lệch. Tỷ lệ biết chữ thấp cũng làm cho cách tiếp cận này trở nên không phù hợp. Khảo sát, vốn thường gặp trong bối cảnh các dự án phát triển, có thể là cấu trúc, bán cấu trúc hoặc kết hợp cả hai. Khảo sát này được những người thu thập số liệu ghi chép lại và thực hiện. Thông thường câu hỏi đóng được ưa thích hơn nhưng phải có một đến hai câu hỏi mở ở cuối cùng. Những câu hỏi mở này sẽ làm người được phỏng vấn cảm thấy thoải mái hơn, bởi họ được cung cấp những thông tin mà họ cảm thấy khảo sát chưa đề cập đến hoặc bình luận về khảo sát. Chỉ cần một hoặc hai câu hỏi mở là đủ, nhiều hơn sẽ tạo gánh nặng cho người phỏng vấn. Có thể tốn thời gian để phân tích phần trả lời câu hỏi mở nhưng mang lại nhiều thông tin chi tiết và trích dẫn để minh họa cho những vấn đề chính của đánh giá. Phỏng vấn qua điện hoại có sự hỗ trợ của máy tính (CATI) sử dụng hệ thống máy tính hỗ trợ người phỏng vấn đưa ra những câu hỏi qua điện thoại. Người phỏng vấn bắt đầu phỏng vấn và chương trình máy tính kiểm soát phân nhánh hoặc bỏ qua câu hỏi. Lựa chọn câu hỏi được dựa trên phần trả lời của các câu hỏi khác, cho phép phỏng vấn mang tính cá nhân và phức tạp hơn phỏng vấn trên giấy. Trong quá trình phỏng vấn, người phỏng vấn nhập số liệu cùng với mã hóa giản đơn trực tiếp trên máy tính. Hầu hết các câu hỏi ở dạng nhiều sự lựa chọn, do đó người phỏng vấn chỉ đơn giản đánh dấu vào câu trả lời đúng, hệ thống máy tính sẽ chuyển số liệu theo các mã và lưu trữ trong sơ sở dữ liệu (UNESCAP 1999). Bảng 8.9 tóm tắt những thuận lợi và thách thức của khảo sát này.

■■ Phỏng vấn

qua điện thoại có sự hỗ trợ của máy tính (CATI): Phỏng vấn sử dụng sự tương tác của hệ thống máy tính để hỗ trợ người phỏng vấn khi đặt câu hỏi qua điện thoại

Bảng 8.9 Thuận lợi và thách thức của khảo sát

Thuận lợi

Người trả lời chỉ rõ những gì họ nghĩ, tin và nhận thức.

Thách thức

Có thể không nhớ chính xác hành vi hoặc e ngại tiết lộ hành vi nhất là không hợp pháp hoặc tính xấu. Cái mà mọi người nghĩa hoặc nói không luôn giống với những gì họ thực tế làm.

Nguồn: Tác giả.

Lựa chọn và xây dựng công cụ thu thập số liệu

319

Xây dựng câu hỏi khảo sát Xây dựng câu hỏi khảo sát liên quan đến • • • • •

Lựa chọn câu hỏi Từ ngữ hỏi và trả lời Trình tự câu hỏi Lựa chọn cách thức khảo sát Xem xét lại, chuyển và thí điểm câu hỏi.

Lựa chọn câu hỏi. Người đánh giá có thể dùng câu hỏi đóng hoặc câu hỏi mở. Không thể trả lời câu hỏi mở bằng cách lựa chọn đơn giản. Người trả lời thường không thoải mái hoặc không sẵn sàng viết ra câu trả lời cho câu hỏi mở. Câu hỏi đóng được trả lời với một mẩu thông tin. Câu hỏi “Ngày sinh nhật của bạn là bao giờ?” là một câu hỏi đóng bởi nó được trả lời chỉ với ngày sinh, không thêm thông tin chi tiết, chỉ có một mẩu thông tin giản đơn. Dạng câu hỏi đóng thứ hai là câu hỏi chỉ có hai lựa chọn, chẳng hạn như câu hỏi có/không, hoặc đúng/sai. Dạng câu hỏi đóng thứ ba là câu hỏi nhiều sự lựa chọn. Nhiều chuyên gia khuyên rằng nên sử dụng câu hỏi đóng nhưng có một hoặc hai câu hỏi mở ở cuối mỗi khảo sát (Burgess 2001) hoặc để chỗ trống để bình luận sau mỗi câu hỏi. Sử dụng quá nhiều dạng câu hỏi khác nhau có thể gây khó hiểu cho người trả lời. Jackson và Agrawal (2007) đề xuất không sử dụng nhiều hơn ba dạng câu hỏi trong hầu hết các khảo sát. Theo Nghiên cứu Điều tra Mức sống (LSMS) (Ngân hàng Thế giới 1996), sẽ rất có ích nếu xây dựng câu hỏi khảo sát theo từng mức (Bảng 8.10). Theo cách này, sẽ thu được bảng hỏi cân bằng. Phân biệt dạng câu hỏi buộc người đánh giá phải nắm rõ điều cần hỏi và hỗ trợ người trả lời trả lời chính xác. Patton (2002) miêu tả sáu dạng câu hỏi: • Câu hỏi kinh nghiệm và hành vi:: Người đó làm gì, mục đích gì, suy luận ra hành vi, kinh nghiệm, hành động và hoạt động • Câu hỏi quan điểm và giá trị: Với mục đích hiểu biết nhân thức và giải thích (chứ không phải hành động và hành vi) • Câu hỏi cảm tính: Với mục đích hiểu biết tình cảm của con người đến kinh nghiệm, suy nghĩ, tìm kiếm tính chất phản hồi, như lo lắng, hạnh phúc, lo sợ, đe dọa và tự tin. Câu hỏi gợi ý cho người được phỏng vấn trả lời về quan điểm, sự tin tưởng và đánh giá, chứ không chỉ là cảm giác. • Câu hỏi kiến thức: Câu hỏi đòi hỏi người trả lời cung cấp những thông tin có thật – người trả lời biết những gì

320

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 8.10 Mức độ lọc trong việc xác định nội dung bảng hỏi Mức độ

Miêu tả

Xác định mục đích

Xác định mục đích (để nghiên cứu nghèo đói, để hiểu tác động của chính sách chính phủ đến hộ gia đinh).

Xác định cân đối các ngành

Xác định vấn đề nào là quan trọng nhất (tác động của trợ cấp giá lương thực, tác động của thay đổi khả năng tiếp cận hoặc chi phí của chính phủ và dịch vụ giáo dục, tác động của thay đổi môi trường kinh tế do cải cách cơ cấu hoặc chuyển đổi từ nền kinh tế kế hoạch tập trung sang kinh tế thị trường.

Xác định sự cân bằng trong các phần

Trong lĩnh vực giáo dục, xác định điều nào là quan trọng nhất đối với quốc gia và đối với bối cảnh hiện tại: mức độ và nhân tố xác định tỷ lệ nhập học, tỷ lệ tham gia kém, học vấn và sự khác nhau giữa các chỉ số nam và nữ; tác động của số năm đi học đến thu nhập trong khu vực chính thức và trong nông nghiệp, các tác động này khác nhau như thế nào; trẻ em nào có sách tham khảo hoặc được ăn trưa hoặc nhận được học bổng; bố mẹ phải trả học phí là bao nhiêu.

Viết câu hỏi nghiên cứu cho từng chương trình hoặc vấn đề cụ thể

Trong nghiên cứu tiếp cận sách tham khảo, người đánh giá cần biết bao nhiêu môn học có sách tham khảo; sách được cung cấp cho mỗi học sinh hay chung sách; sách được mang về nhà hay chỉ được dùng ở lớp; sách được dùng trong một năm hay vài năm; phải trả tiền sách hay được cung cấp miễn phí; khi nào có sách; và sách tham khảo được mua từ cửa hàng sách tốt hơn hay tồi hơn sách ở trường

Nguồn: Ngân hàng thế giới 1996.

• Câu hỏi cảm giác: Câu hỏi nhìn, nghe, chạm, thử, ngửi cái gì • Câu hỏi về bối cảnh/nhân khẩu: Tuổi, trình độ giáo dục, nghề nghiệp, và các đặc điểm khác của người được phỏng vấn. Lựa chọn từ ngữ khi đặt câu hỏi và phương án trả lời. Mỗi loại câu hỏi trong sáu dạng của Patton có thể được hỏi trong hiện tại, quá khứ và tương lai. Chẳng hạn, người đánh giá có thể hỏi: • Bạn biết gì chữa trị HIV/AIDS cách đây 5 năm? (quá khứ) • Bạn học được những gì từ phần trình bày về HIV/AIDS? (hiện tại) • Bạn muốn tìm hiểu gì về HIV/AIDS? (tương lai) (Patton 2002). Câu hỏi đánh giá phải rõ ràng (Hộp 8.7). Nếu không rõ ràng, người trả lời có thể cảm thấy không thoải mái, bất lịch sử, nhầm lẫn hoặc không thân thiện. Người đánh giá phải tìm hiểu những thuật ngữ mọi người hay dùng cho khảo sát khi nói về dự án, chương trình, chính sách và phải sử dụng những từ này khi thực hiện khảo sát.

Lựa chọn và xây dựng công cụ thu thập số liệu

321

Hộp 8.7 Một số lưu ý về từ ngữ trong câu hỏi khảo sát

Những lưu ý sau đây có thể hỗ trợ người đánh giá viết câu hỏi khảo sát sao cho người trả lời biết thông tin nào được yêu cầu: • • • • • • • •

Sử dụng từ ngữ đơn giản chung một ý nghĩa với tất cả người trả lời. Đưa ra câu hỏi và cụ thể các loại trả lời. Tránh câu hỏi và trả lời hai mặt (Tránh câu hỏi và câu trả lời có những từ “và” hay “hoặc.”) Tránh câu hỏi giả định. Nếu cần thiết, cung cấp thông tin phù hợp trong phần giới thiệu câu hỏi. Thận trọng với phủ định kép trong các câu trả lời (chẳng hạn tránh sử dụng từ “không” trong câu hỏi có/không). Đưa ra các câu trả lời kết hợp. Đưa ra các lựa chọn trả lời cân bằng. Tránh câu hỏi phản đối, bừa bãi.

Nguồn: Trung tâm đánh giá TC 2007. Các nguồn tài liệu khác, xem Foddy (1993), Fowler (2002), và Sue và Ritter (2007).

Người đánh giá phải cẩn thận để không dẫn dắt người trả lời theo câu trả lời mong muốn. Chẳng hạn, xem xét các câu hỏi sau: “Lợi ích của bạn tăng thêm ở những khía cạnh nào, nếu có từ khi đào tạo?” “Nếu lợi ích tăng ở mức thấp, vừa phải và tăng nhiều, có phải là do đào tạo?” Rõ ràng, những câu hỏi này “dẫn dắt nhân chứng” đi theo con đường mà người đánh giá muốn đi. Sẽ tốt hơn nếu hỏi về xu hướng lợi ích trong một khoảng thời gian dài và sau đó hỏi, nếu có sự tăng lên thì là do đâu. Thay đổi nhỏ trong cách hỏi được cho là có tác động lớn đến cách trả lời. Một số người đánh giá xem xét tác động của chỉnh sửa tính từ và phó từ. Những từ như thường xuyên, thường, thỉnh thoảng, đôi khi, hiếm khi, ít khi “thông thường”được sử dụng trong câu hỏi, cho dù rõ ràng là chúng không có cùng ý nghĩa đối với tất cả mọi người. Một số tính từ có sự biến động cao và một số có độ biến động thấp. Cụm từ sau có sự biến động cao về ý nghĩa và cần được tránh trong các khảo sát: nhiệm vũ rõ ràng, hầu như, nhiều, đại đa số, thiểu số, một tỷ lệ lớn, một số lượng lớn, nhiều, đáng kể và một vài. Các cụm từ

322

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

khác ít mang lại sự biến động và thường có chung một cách hiểu. Đó là nhiều, phần lớn, hầu như, gần như, đa số, nhất trí, số lượng nhỏ, không phải nhiều, hầu như không, hầu như, một vài và một ít (StatPac 2007).

Frary (1996) đưa ra một số gợi ý để xác định bảng hỏi hiệu quả. Trong số các gợi ý của ông về xếp hạng câu trả lời có: • Trình tự trả lời từ mức thấp nhất đến mức cao nhất, từ trái sang phải: 1) Không bao giờ 2) Hiếm khi 3) Thỉnh thoảng 4) Thường xuyên. • Xem xét kết hợp các loại câu trả lời nếu người trả lời không muốn đánh dấu “không bao giờ” và nếu “hiếm khi” bao hàm mức tương thích: 1) Hiếm khi hoặc không bao giờ 2) Thỉnh thoảng 3) Thường xuyên. • Hỏi người trả lời đánh giá cả những tác nhân tích cực và tiêu cực (phản hồi từ hai phía). Theo cách này, người trả lời sẽ đánh giá mỗi câu trả lời chứ không đơn giản là cùng nhất trí hoặc không nhất trí với các câu trả lời. • Nếu có thể, giảm số lượng câu trả lời đưa ra. Chẳng hạn nếu ý kiểm của người trả lời là tương đối rõ ràng thì đơn giản sử dụng 1) Nhất trí 2) Không nhất trí. Khi nhiều người trả lời còn băn khoăn thì dùng nhiều cách1) Nhất trí, 2) Có xu hướng nhất trí, 3) Có xu hướng không nhất trí, 4) Không nhất trí. Sau khi viết câu hỏi, người đánh giá cần đọc câu hỏi và câu trả lời để kiểm tra tính logic và ngôn ngữ. Ngữ pháp có đúng không? Các câu trả lời có logic không? Viết câu hỏi khảo sát là rất khó, bởi có nhiều cách hiểu. Từ ngữ có nhiều ý nghĩa và hàm ý. Nếu một câu hỏi được hỏi theo cách mà mọi người không hiểu hoặc hiểu theo nhiều hướng khác nhau, thì họ sẽ đưa ra những câu trả lời khác nhau. Cũng có rủi ro thu thập những số liệu vô ích. Chẳng hạn, một tổ chức muốn tìm hiểu xem có bao nhiêu người được đào tạo máy tính trong tổ chức đó. Có thể hỏi các câu hỏi sau: • Bạn có được đào tạo trong vòng ba tháng gần đây không? • Bạn có được đào tạo trong vòng sáu tháng gần đây không? • Bạn có được đào tạo năm ngoái không? Vấn đề thường gặp với các câu hỏi này là những người được đào tạo cách đây 3 tháng sẽ trả lời “có” với cả ba câu hỏi này. Câu hỏi tốt hơn có thể hỏi, “Bạn được tham gia đào tạo bao nhiêu khóa trong những khoảng thời gian sau? a. Trong vòng 1-3 tháng trước: _ ___________ b. Trong vòng 6-9 tháng trước: _ ___________

Lựa chọn và xây dựng công cụ thu thập số liệu

323

c. Trong vòng 1-3 tháng trước: _ ___________ d. Trong vòng 10-12 tháng trước: _ _________ e. Trong vòng 12-24 tháng trước: _ _________ Những câu hỏi không được trau chuốt về diễn đạt có thể làm người trả lời nản chí, dẫn đến phỏng đoán câu trả lời hay vứt khảo sát và một góc. Do câu hỏi diễn đạt kém không thể dùng trong phân tích nên các câu hỏi phải được viết cẩn thận. Người đánh giá, do đó, cần dành nhiều thời gian để xem xét và thử nghiệm trước khảo sát. Cả tính bảo mật và tính khuyết danh đều được bảo đảm và bảo vệ. Tính bảo mật là thuật ngữ thuộc về nguyên lý đạo đức để nhằm bảo vệ thông tin bằng cách chỉ cho phép những người được ủy quyền tiếp cận thông tin. Khuyết danh có nghĩa sự nhận diện và thông tin cá nhân về một người không được chia sẻ. Nhiều nhà đánh giá đưa vào mệnh đề giải thích, “Câu trả lời của bạn sẽ được bảo mật và số liệu sẽ được trình bày theo cách mà các thông tin cá nhân không được công bố”(Burgess 2001). Trình tự câu hỏi. Trình tự câu hỏi theo thứ tự sau sẽ giúp tăng khả năng hoàn thành khảo sát: • Bắt đầu với câu hỏi mà người trả lời quan tâm. • Giữ mạch hỏi logic và tránh câu hỏi nối phức tạp. • Nhóm những câu hỏi tương tự và liên quan với nhau, và cố thiết lập trình tự logic cho các câu hỏi (Burgess 2001). • Chuyển từ dễ và thú vị đến khó và không thoải mái, từ chung đến cụ thể (Jackson và Agrawal 2007). • Đặt câu hỏi theo thứ tự thời gian (Jackson và Agrawal 2007). • Hỏi câu hỏi quan trọng trong 2/3 chặng đường khảo sát, bởi người trả lời có thể không hoàn thành khảo sát (Jackson và Agrawal 2007). • Đặt câu hỏi cá nhân và bảo mật vào cuối đợt khảo sát – nếu các câu hỏi này đặt ở phần đầu thì có thể một vài người sẽ không tiếp tục trả lời (Frary 1996). • Ưu tiên câu hỏi và xem xét bỏ bớt những câu hỏi kém ưu tiên hơn (Jackson và Agrawal 2007). Jackson và Agrawal (2007) đề xuất các khảo sát tự thực hiện không nên vượt quá 1 trang. Đối với người trả lời có trình độ đại học, khảo sát có thể kéo dài ra 2 trang. Chọn mẫu khảo sát. Mẫu khảo sát đáng được quan tâm:

324

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• • • •

Khảo sát có tiêu đề và thời gian. Có thể cắt bớt và bỏ những tiêu đề không cần thiết. Có thể gồm các thông tin liên lạc và hoàn trả. Có thể có đoạn giới thiệu ngắn gọn (trong trường hợp không có thư giới thiệu) chỉ rõ mục đích khảo sát và giải thích tại sao lại sử dụng. • Câu hỏi và câu trả lời được chỉnh sửa và từ ngữ cũng nhất quán. Mỗi câu hỏi cần được đánh số. • Khảo sát phải gồm cả hướng dẫn trả lời câu hỏi. Hướng dẫn phải chỉ rõ được chọn bao nhiêu câu trả lời (chỉ một hay tất cả) và chỉ rõ sự lựa chọn của mỗi người (đánh dấu vào ô, khoanh tròn câu trả lời, viết câu trả lời ngắn) (Burgess 2001). Jackson và Agrawal (2007) đề xuất phải để ô đánh dấu và chỗ trống để người đánh giá nhận được được sự lựa chọn được thực hiện như thế nào. Họ cũng đề cập đến tầm quan trọng của quan điểm chuyên gia trong khảo sát. Thư giới thiệu phải được đính kèm với khảo sát. Thư này phải chỉ rõ nhà tài trợ và cung cấp cho người tham gia thông tin về mục đích của bảng hỏi. Jackson và Agrawal (2007) đề xuất thư giới thiệu gồm các thông tin: • • • • • • •

Mục đích của khảo sát (và tại sao lại người trả lời phải quan tâm) Lựa chọn người tham gia khảo sát như thế nào Số liệu sẽ được sử dụng như thế nào Có bảo đảm các thông tin cá nhân không Thời gian thực hiện khảo sát Có khuyến khích gì không Thông tin liên lạc để cần cung cấp thêm thông tin hoặc làm sáng tỏ vấn đề.

Nếu khảo sát được gửi bằng thư, cần đóng tem trên phong bì hoặc bằng cách nào đó để bảng hỏi phải được gửi trả lại. Xem xét, dịch, và thí điểm câu hỏi. Quá trình xây dựng khảo sát là một quá trình lặp đi lặp lại. Khi bản khảo sát đầu tiên được dự thảo, các bên quan tâm sẽ cùng xem lại bản thảo một cách cẩn thận. Trong quá trình xem xét lại, họ phải ghi chú lại và chia sẻ quan điểm đề xuất hoặc bác bỏ của mình. Sau đó chỉnh sửa lại. Quá trình này được lặp đi lặp lại vài lần trước khi sẵn sàng thí điểm. Nếu có nhiều hơn một ngôn ngữ được dùng để thu thập số liệu thì cần phải dịch. Những người chịu trách nhiệm thực hiện khảo sát phải bảo đảm rằng

Lựa chọn và xây dựng công cụ thu thập số liệu

325

công cụ khảo sát được dịch chính xác. Khi dịch bản khảo sát, phải đào tạo người dịch biết cả hai ngôn ngữ và quen thuộc với chủ đề của câu hỏi và phải có bản dịch (xem Behling và Law 2000). Khi đã dịch sang ngôn ngữ địa phương, một người khác lại dịch lại ngôn ngữ ban đầu. Quá trình này được kiểm tra lại để tránh hiểu sai trong quá trình dịch. Đây là cách duy nhất để bảo đảm tính chính xác của bản dịch. Cần phải làm cho các phần của bản khảo sát nhất quán trước khi thí điểm. Trong hầu hết các trường hợp, khảo sát chỉ được in ra bằng ngôn ngữ chính thức của nước đó, và nhóm phỏng vấn có khả năng giao tiếp bằng ngôn ngữ địa phương được huy động để thu thập số liệu. Trong những trường hợp này, một số câu hỏi chính và cụm từ được dịch dang ngôn ngữ địa phương và trình bày trong hướng dẫn khảo sát. Thông dịch viên tiếng địa phương có thể sẽ được huy động để khảo sát những người nói bằng ngôn ngữ khác. Từ ngữ của câu hỏi khảo sát phải đơn thuần bằng ngôn ngữ thông thường. Câu hỏi được viết dưới dạng khoa học và bằng ngôn ngữ chính thức. Trong ngôn ngữ địa phương, sự khác nhau giữa ngôn ngữ nói và viết, và sự phức tạp trong cân bằng giữa tính đơn giản tính cụ thể là rất lớn. Điều này đặc biệt đúng với những ngôn ngữ thường sử dụng trong văn viết. Khi đã thống nhất về khảo sát, cần lựa chọn vùng để thực hiện khảo sát thí điểm với một số đối tượng. Căn cứ trên kết quả của khảo sát thí điểm, cần chỉnh sửa thêm. Nếu khảo sát thí điểm đầu tiên phải sửa nhiều thì cần thí điểm thêm một lần nữa, đề cập đến một phần hay toàn bộ khảo sát, nhất là với trường hợp phải dịch nhiều. Tất cả khảo sát và phỏng vấn đều cần thực hiện thí điểm tại hiện trường công cụ thu thập số liệu trước đó. Điều này có nghĩa hỏi thử một mẫu nhỏ nhưng mang tính đại diện cho mẫu phỏng vấn để thực hiện khảo sát và nêu rõ điểm cần làm sáng tỏ. Một cách hợp lý là ngồi cùng người trả lời khi họ thực hiện khảo sát và hỏi họ lý do khi họ điền vào. Việc làm này sẽ cung cấp thông tin chi tiết về cách hiểu câu hỏi của người trả lời. Thông thường những thứ được coi là rõ ràng lại trở nên rối rắm và mơ hồ đến mức không dự đoán trước được. Nếu người trả lời hiểu sai câu hỏi, thì đợt đánh giá cần xem xét lại câu hỏi và kiểm tra lại trước khi sử dụng bộ công cụ. Mục đích của thí điểm tại hiện trường là để nhằm bảo đảm khả năng thu thập được thông tin. Khảo sát thí điểm tốt phải tập trung vào khảo sát ở ba mức: • Tổng thể: Tất cả các mảng của khảo sát có nhất quán không? Có lĩnh vực nào trả lời chung một câu hỏi không?

326

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Từng phần: Nếu khảo sát có nhiều hơn một phần, thì các thông tin trong mỗi phần có là thông tin dự định thu thập không? Hoạt động chính chiếm bao nhiêu? Tất cả các câu hỏi có thích hợp không? • Câu hỏi cá nhân. Từ ngữ có rõ ràng không? Câu hỏi có mang lại câu trả lời mơ hồ hay không? Có cách giải thích nào khác không? Khi khảo sát tại hiện trường hoặc thực hiện thí điểm, điều quan trọng là thí điểm khảo sát với mọi người ở các vùng khác nhau, và với tất cả ngôn ngữ chính và nhóm kinh tế xã hội. Khảo sát có thể gồm cả dân thành thị và nông thôn, người được tuyển trong lĩnh vực chính sách và phi chính thức, và người nói được tất cả các ngôn ngữ. Nếu khảo sát thí điểm được thực hiện bằng nhiều hơn một ngôn ngữ, thì thường mất khoảng 1 tuần. Khảo sát cuối cùng bao giờ cũng tốn thời gian nhiều hơn, bởi mỗi bản có một ngôn ngữ khác nhau. Cuối giai đoạn thí điểm, phải dành một hoặc hai tuần để xem xét lại kết quả. Cả nhóm thực hiện khảo sát thí điểm phải cùng gặp gỡ để thảo luận và nhất quán về những thay đổi và thống nhất sự thay đổi cần thiết. Trong các khảo sát điển hình với quy mô lớn, thông thường thực hiện qua ba chu kỳ thí điểm khảo sát. Hộp 8.8 và 8.9 hướng dẫn thực hiện khảo sát. Hộp thứ nhất nhấn mạnh vào quá trình thực hiện, còn nó nhấn mạnh và quy trình thực hiện. Hộp thứ 2 hướng vào viết những câu hỏi không khó. Thẻ báo cáo công dân Thẻ báo cáo công dân, đôi lúc được gọi là thẻ tính điểm công dân, là một dạng khảo sát đo lường hoạt động của khu vực dịch vụ công. Ngày nay nó càng được sử dụng nhiều. Chẳng hạn ở Bangalore, Ấn Độ, một nhóm người dân sử dụng cách này để giải quyết những vấn đề liên quan đến khu vực dịch vụ công (Paul và Thampi 2008). Thẻ báo cáo công dân được sử dụng rộng rãi trong nhiều năm ở Mỹ để xếp loại hoạt động của các cơ quan nhà nước. Thẻ báo cáo công dân được dùng để

■■ Thẻ báo cáo

công dân:

Hình thức khảo sát đo lường hoạt động của khu vực dịch cụ công

• thu thập ý kiến phản hồi của công dân về dịch vụ công từ những người thực tế sử dụng dịch vụ • đánh giá hoạt động của cá nhân cung cấp dịch vụ hoặc so sánh dịch vụ giữa những người cung cấp • tạo ra một cơ sở dữ liệu thông tin phản hồi về dịch vụ và đưa lên trang miền công cộng (ADB and ADBI 2004).

Lựa chọn và xây dựng công cụ thu thập số liệu

327

Hộp 8.8 Hướng dẫn chung để thực hiện khảo sát

Những hướng dẫn chung sau đây được dùng để thực hiện khảo sát: • • • • •

•

• • •

•

Khảo sát phải đơn giản, rõ ràng, dễ hiểu và ngắn gọn. Bố trí người đã thực hiện các loại khảo sát mà bạn quan tâm. Tìm và nghiên cứu những khảo sát tương tự khảo sát mà bạn thực hiện. Bảo đảm mọi người đều biết tại sao lại được tham gia (nhưng theo cách câu trả lời không bị chệch hướng). Hỏi những câu hỏi dễ trả lời, và không làm thất vọng người trả lời. Không hỏi những câu hỏi chứa đựng thông tin đòi hỏi phải tìm tệp lưu trữ hoặc các nguồn tài liệu khác, Nếu phải làm thế thì cần cho họ biết trước để chuẩn bị tài liệu trước khi thực hiện. Tôn trọng tính cá nhân của người trả lời. Đảm bảo tính bảo mật cho khảo sát và có nguyên tắc đảm báo tính bảo mật. Không bao giờ hứa bảo mật nếu không thực hiện được. Tôn trọng thời gian và hiểu biết của người trả lời. Nói rõ cho người trả lời biết họ được lựa chọn như thế nào và tại sao sự tham gia của họ là quan trọng. Không cố ý gây hại: bảo mật các câu trả lời. Trong báo cáo, sử dụng các câu trả lời tổng hợp, gắn cách nhận diện cho số liệu, và hủy bỏ kết nối tới tên người được phỏng vấn. Báo cho người trả lời biết họ sẽ nhận được một bản báo cáo có sử dụng kết quả phỏng vấn.

Nguồn: Tác giả.

Hộp8.9 Lưu ý xây dựng câu hỏi Những lưu ý sau đây giúp người đánh giá xây dựng bảng hỏi: 1. Nếu có thể, sử dụng bảng hỏi đã có sẵn làm hướng dẫn. Chỉnh sửa lại cho phù hợp với tính huống. Bởi chỉnh sửa sẽ dễ hơn tự tạo ra từ một mớ bòng bong. 2. Tuân theo những hướng dẫn cơ bản sau: • Sử dụng ngôn ngữ đơn giản, rõ ràng phù hợp với người trả lời. • Chỉ hỏi một câu hỏi tại một thời điểm, chẳng hạn: “Tài liệu này rõ ràng ở phạm vi nào” chứ không nên “Tài liệu này có ích và rõ ràng ở phạm vi nào.” (Nếu tài liệu rõ ràng nhưng không có ích thì không có cách nào người được phỏng vấn đưa ra câu trả lời chính xác.)

328

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

•

• •

Viết câu hỏi thế nào để người trả lời cảm nhận rằng những thông tin phản hồi của họ là chấp nhận được. Dẫn dắt vào câu hỏi bằng cách “Ở phạm vi nào,” hoặc “...quan trọng hoặc không quan trọng như thế nào” Cung cấp các dạng trả lời phù hợp. Ví dụ nếu hỏi theo khoảng, thì đưa ra 20–30, 31–40, 41–50 hơn là 20–30, 30–40, 40–50. Nếu có thể, viết câu hỏi nhu thế nào để câu trả lời đi từ tiêu cực đến tích cực: “Ở phạm vi nào ... Không có ích← ...→ Rất có ích.”

•

Tránh câu trả lời có/không đối với câu trả lời phân loại. Thay vào đó, cố gắng nắm bắt được quan điểm thông qua hỏi các câu hỏi theo thang điểm. Chẳng hạn, đưa ra thang điểm 5 điểm từ “ít hoặc không” đến “rất nhiều.” • Tuyệt đối tránh hoặc ở cuối thang điểm (ít người tuyệt đối không về một số vấn đề). Làm mềm hai đầu thang điểm bằng việc bắt đầu với “luôn luôn hoặc hầu như” tại một đầu và “không bao giờ hoặc hầu như không” ở đầu kia. • Hỏi câu hỏi về tình hình hiện nay. Trí nhỡ sẽ phai theo thời gian. • Để phương án (dùng “không có cơ sở để đánh giá” hoặc “không có ý kiến”). Nếu không có lối thoát, người trả lời sẽ trả lời những thứ không có ý nghĩa. • Tránh sử dụng phủ định hai lần. 3. Khảo sát phải dễ thực hiện. Đưa vào những ô đánh dấu. Hướng dẫn đầy đủ để người trả lời biết họ đang làm cái gì: chỉ rõ “đánh dấu chỉ một” hoặc “đánh dấu toàn bộ” khi phù hợp. 4. Hỏi câu hỏi chung trước, câu hỏi cụ thể sau, để 1-2 câu hỏi mở ở cuối bảng hỏi, chẳng hạn như “có bình luận gì không hoặc bổ sung thêm gì không?” 5. Chỉ hỏi những thông tin về nhân khẩu học mà bạn sẽ sử dụng. Bởi rất nhạy cảm nếu ai đó bị nhận diện thông qua các đặc điểm nhân khẩu. Đưa những câu hỏi về nhân khẩu ở cuối bảng hỏi. 6. Đưa bảng hỏi dự thảo cho các chuyên gia xem lại. 7. Nếu câu hỏi cần phải dịch, thì dịch sau đó, dịch ngược lại về ngôn ngữ ban đầu để kiểm tra bản dịch. 8. Thí điểm, thí điểm, thí điểm! Cần người trả lời bảng hỏi chứ không chỉ đọc. Sau đó quay ngược lại từng câu hỏi để có thông tin phản hồi. Các câu hỏi có rõ ràng không? Người trả lời có hiểu câu hỏi không? Có từ nào hoặc cụm từ nào không biết hoặc không rõ ràng không? Có cách trả lời nào tốt hơn không? Nguồn: Tác giả.

Lựa chọn và xây dựng công cụ thu thập số liệu

329

Bảng 8.11 đưa ra một ví dụ về thẻ báo cáo công dân dùng để báo cáo sự hài lòng chung về dịch vụ. Thẻ báo cáo công dân thu thập ý kiển phản hồi về các nhân tố: • • • • • • • • •

Có dịch vụ không Tiếp cận dịch vụ Độ tin cậy của dịch vụ Chất lượng chung của dịch vụ Sự hài lòng với dịch vụ Phản hồi của nhà cung cấp dịch vụ Chi phí ẩn Tham nhũng và hệ thống hỗ trợ Sẵn sàng chi trả (Ngân hàng Thế giới 2006).

Thẻ báo cáo công dân được sử dụng theo nhiều cách (Bảng 8.12) và chỉ được thực hiện ở cấp chỉnh phủ. Bảng 8.13 tóm tắt thuận lợi và thách thức của thẻ báo cáo công dân trong quá trình thu thập số liệu. Phỏng vấn Phỏng vấn là cuộc trao đổi giữa người phỏng vấn có kỹ năng với người được hỏi. Mục đích là thu được thông tin sử dụng để đánh giá (Hộp 8.10). Chất lượng thông tin thu được phụ thuộc vào kỹ năng và tính cách cá nhân của người phỏng vấn (Loﬂand và Loﬂand 1995). Để phỏng vấn có hiệu quả thì quan trọng nhất là hãy là người lắng nghe giỏi và người đặt câu hỏi giỏi. Mỗi văn hóa có giá trị và phong tục riêng: câu hỏi hay phỏng đoán sẽ làm người theo văn hóa này mất lòng. Do đó yếu tố văn hóa phải được người phỏng vấn chú ý, quan tâm đến phản ứng của người trả lời nhằm

Bảng 8.11 Kết quả thẻ báo cáo công dân về mức độ hài lòng với dịch vụ cơ sở hạ tầng

Cơ quan

Số lượng người sử dụng trong số người trả lời (nghìn)

Phần trăm người trả lời hài lòng

Phần trăm người trả lời không hài lòng

Điện

1,024

Nước

775

Điện thoại

203

Cảnh sát

Nguồn: Tác giả.

330

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 8.12 Sử dụng thẻ báo cáo công dân Loại hình nghiên cứu hoặc dự án

Ví dụ

Nghiên cứu mức độ hài lòng với các dịch vụ thành thị

7 tỉnh của Ấn Độ, Kampala, U-gan-đa

Nghiên cứu sự hài lòng với việc cung cấp dịch vụ ở tầm quốc gia và tỉnh

Ấn Độ, Phi-líp-pin, U-gan-đa

Nghiên cứu ngành

Bệnh viện công ở Bangalore, Ấn Độ

Đánh giá chương trình

An ninh lương thực ở nông thôn Tamil Nadu, nước sạch và vệ sinh nông thôn ở Maharashtra, Ấn Độ

Dự án cái cách năng lực quản trị

Băng-la-đét, Pê-ru, Phi-líp-pin, Sri Lanka, U-crai-na, Việt Nam

Nguồn: Ngân hàng thế giới 2006.

Bảng 8.13 Thuận lợi và thách thức của thẻ báo cáo công dân đối với thu thập số liệu

Thuận lợi

• Cung cấp thông tin phản hồi tóm tắt về hoạt động • Có cấu trúc đơn giản • Giảm tính chệch hướng trong thu thập só liệu

Thách thức

• Đòi hỏi khả năng hiểu loại đánh giá này • Hạn chế khi so sánh các dịch vụ • Đòi hỏi mẫu lớn để có tổng thể đồng nhất với một tỷ lệ nhỏ dân số sử dụng dịch vụ • Thiếu tính dự đoán về phản hồi của quan chức chính phủ

Nguồn: Tác giả.

bảo đảm rằng người phỏng vấn không tình cờ làm mất lòng người trả lời (Hộp 8.11). Để làm việc được với mọi người ở các văn hóa khác nhau, người phỏng vấn cần lưu ý những điểm sau: • Ý kiến của mỗi người đều phải được tôn trọng. • Kể cả những người với văn hóa hy sinh bản thân và suy nghĩ cộng đồng cũng đều có giá trị riêng và ý kiến cũng phải được tôn trọng. • Mọi người đều có cảm nhận khi quan điểm là chủ đề nói chuyện.

Lựa chọn và xây dựng công cụ thu thập số liệu

331

Hộp 8.10 Lưu ý khi thực hiện phỏng vấn

Người đánh giá có thể dùng những lưu ý sau trong quá trình phỏng vấn: 1. Để người được phỏng vấn biết • mục đích và thời gian nghiên cứu • tại sao họ được phỏng vấn • họ được lựa chọn như thế nào • số liệu được sử dụng như thế nào • liệu phỏng vấn có được bảo mật không • phỏng vấn kéo dài bao lâu • nội dung phỏng vấn là gì (chia sẻ trước câu hỏi) • liệu có muốn nói chuyện với họ nữa không • liệu họ có nhận được một bản báo cáo cuối cùng không • liệu tóm tắt phần ghi chép có nên đưa cho họ nếu họ muốn không. 2. Cố gắng đưa ra thời gian và không gian yên tĩnh, không bị mất tập trung. 3. Lý tưởng nhất là có thêm một người ghi chép. 4. Xem xét ghi âm phỏng vấn. Nếu định làm, phải thông báo cho người được phỏng vấn để xin phép ghi âm. 5. Gắn với hướng dẫn. Nếu hỏi câu hỏi đóng, hỏi chính xác theo đúng những gì đã được viết ra. Nếu hỏi câu hỏi mở, “đi theo mạch” hơn là hỏi trực tiếp. 6. Nhận biết các chuẩn mực văn hóa, như giao tiếp bằng mắt, hỏi trực tiếp, và những vấn đề về giới. 7. Duy trì sự cân bằng: nếu bạn hỏi người trả lời xem họ nghĩ gì về những hỗ trợ chính của dự án, thì sau đó sẽ hỏi họ những rào cản chính là gì 8. Tránh hỏi câu hỏi “vì sao”, bởi làm vậy sẽ mang tính hiếu thắng hoặc phê phán. 9. Chấp nhận câu trả lời với sự đồng cảm và không đánh giá. 10. Ghi chép mà không gây mất tập trung trong khi thảo luận. • Luôn giữ liên lạc bằng mắt trong khi viết. • Viết từ hoặc cụm từ chính, không viết đúng từng từ khi không phỏng vấn. • Nếu người được phỏng vấn nói đến những vấn đề mà bạn muốn nắm bắt, đề nghị họ nhắc lại hoặc kết thúc phần ghi chép trước khi hỏi câu tiếp theo. • Nếu người được phỏng vấn nói những gì có thể trích dẫn được, phải sử dụng chính xác từ ngữ của họ. 11. Viết lại cuộc phỏng vấn. • Lưu ý rằng mỗi từ ngữ và ý kiến đều có giá trị. • Dành thời gian viết lại phần ghi chép cẩn thận và chi tiết. • Thực hiện ít nhất một lần tóm tắt lại phàn ghi chép sau khi phỏng vấn (dành đủ thời gian giữa hai đợt phỏng vấn). • Viết lại đầy đủ phần ghi chép ngay trong ngày phỏng vấn. 12. Trong những tình huống nhạy cảm, xem xét việc chia sẻ phần ghi chép với người trả lời để thống nhất về những gì đã nói. Nguồn: Tác giả.

332

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 8.11 Lưu ý khi thực hiện phỏng vấn với những văn hóa khác nhau

Những lưu ý sau có thể giúp đỡ người đánh giá thực hiện phỏng vấn trong bối cảnh phát triển: 1. Trước khi phỏng vấn, tìm hiểu về văn hóa người được phỏng vấn. 2. Thảo luận kỹ thuật phỏng vấn với một ai đó biết về văn hóa hoặc phỏng vấn thử người có cùng văn hóa. 3. Tìm những đặc điểm văn hóa như • khoảng cách giữa bạn và người được phỏng vấn • giao tiếp bằng mắt là phù hợp • ý nghĩa của giọng nói, dịch chuyển đầu và ngôn ngữ cơ thể trong khi phỏng vấn • mặc đúng cách • chào hỏi đúng cách • lưu ý vấn đề giới. Vấn đề giới là đặc biệt quan trọng, chẳng hạn, sẽ là không phù hợp nếu người phỏng vấn là nam giới một mình thực hiện phỏng vấn một phụ nữ trong một phòng. Với một số văn hóa, đàn ông có thể se không nói gì khi phỏng vấn phụ nữ. Người phỏng vấn cùng giới hoặc có người làm chứng khác giới là cần thiết trong tình huống này.

Bảng 8.14 Tóm tắt thuận lợi và thách thức trong quá trình phỏng vấn Bảng 8.14 Tóm tắt thuận lợi và thách thức trong quá trình phỏng vấn

Thuận lợi

• Có thể là cấu trúc, bán cấu trúc, hoặc phi cấu trúc hay kết cả, nhưng thường là bán cấu trúc • Có thể tìm hiểu sâu những vấn đề phức tạp • Bỏ qua lỗi: những câu hỏi không rõ ràng có thể được làm sáng tỏ trong quá trình phỏng vấn và thay đổi trong những lần phỏng vấn sau • Có thể l kéo dài một tiếng hoạc nhiều hơn, tùy thuộc vào tầm quan trọng và sự quan tâm • Người đánh giá có thể dùng trực giác trong một số tình huống

Khó khăn

• Có thể tốn kém, tốn nhân lực và tốn thời gian • Không chỉ rõ tại sao lại có những quan điểm khác nhau • Do người phỏng vấn lắng nghe nên có thể bỏ lớ thông tin phù hợp với những tin tưởng trước đây • Đòi hỏi nhạy cảm về văn hóa, nhất là tôn trọng vấn đề giới.

Nguồn: Tác giả.

Lựa chọn và xây dựng công cụ thu thập số liệu

333

■■ Tỷ lệ trả lời: Phần trăm những người thực sự tham gia chia cho tổng số người được yêu cầu tham gia

Tỷ lệ trả lời Tỷ lệ trả lời là tỷ lệ phần trăm những người thực sự tham gia chia cho tổng số người được yêu cầu tham gia. Một đợt đánh giá hiệu quả phải cho biết số người (như đơn vị, tổ chức) được khảo sát; số người trả lời; tỷ lệ trả lời và miêu tả nỗ lực tăng tỷ lệ trả lời (theo dõi bằng gọi điện, thư từ). Tỷ lệ trả lời thấp có thể mang lại sai lệch mẫu (tự lựa chọn). Đây cũng là một vấn đề bởi người được chọn tham gia có thể khác với người không được chọn. Ví dụ, một tổ chức thực hiện khảo sát thái độ của người lao động nhưng chỉ có 30% người trả lời. Nếu những người trả lời lại nằm trong số người không hài lòng còn những người hài lòng lại không trả lời thì số liệu không cho thấy quan điểm của tất cả người lao động. Và có thể bị sai nếu đưa ra kết luận dựa trên kết quả này mà không thu thập thông tin về người trả lời và người không trả lời. Khảo sát với tỷ lệ trả lời dưới 70% sẽ không được báo cáo trừ khi người đánh giá phân tích sự lệch lạc này và trình bày tính xác thực của khảo sát (Jackson và Agrawal 2007). Người đánh giá có thể xem xét đặc điểm nhân khẩu để xác định xem liệu chúng có phù hợp với tổng thể mẫu về những đặc điểm như tuổi tác và giới tính không. Nếu phù hợp thì người đánh giá có thể tiếp tục xử lý, nhưng cũng phải làm cho kết quả mang tính hợp lý. Trong một số trường hợp, người đánh giá có thể trực tiếp theo dõi một số người không trả lời để xác định hình thức. Nếu đặc điểm nhân khẩu của những người trả lời và không trả lời là khác nhau, thì kết quả khảo sát phải được xác định lại. Người đánh giá phải báo cáo phần phân tích về người không trả lời và chỉ rõ ảnh hưởng đến những phát hiện. Kết quả khảo sát với tỷ lệ trả lời thấp cũng cần được báo cáo, nhất là về mặt số người trả lời, bởi kết quả có thể hoặc không phản ảnh đúng. Số liệu có thể được diễn giải là “của 87% người trả lời” hoặc “75% (N = 60) số người trả lời trong khảo sát cho rằng....” Tỷ lệ phần trăm này sẽ không được sử dụng nếu tổng số người gửi khảo sát là ít hơn 50. Tỷ lệ “75% người trả lời” khi áp dụng cho tổng số 45 người trả lời hoàn toàn khác với 75% của 3000 người trả lời.

Công cụ 5: Thảo luận nhóm tập trung ■■ Thảo luận

nhóm tập trung: Phương

pháp đánh giá định tính, trong đó một nhóm nhỏ người tham gia thảo luận về các chủ đề cụ thể theo sự hướng dẫn của người điều hành

334

Thảo luận nhóm tập trung là phương pháp đánh giá định tính, tập hợp một số người tham gia thành một nhóm nhỏ để thảo luận về các chủ đề cụ thể dưới sự hướng dẫn của người điều hành thảo luận. Cơ cấu thảo luận có thể không chính thức, nhưng trong thực tế, nó sử dụng một bộ các câu hỏi mở. Một người điều hành thảo luận chuyên nghiệp dẫn dắt thảo luận, thăm dò và đưa ra các câu hỏi bổ sung tùy theo tình huống thảo luận. Có thể thu được nhiều thông tin hơn từ thảo luận nhóm so với thảo luận cá nhân, vì những thành viên tham gia thảo luận có thể đưa ra nhiều quan điểm khác nhau, và trao đổi về các ý kiến thông qua đối thoại. Nhưng thảo luận nhóm Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

không đơn thuần là phỏng vấn nhóm. Người điều hành phải dẫn dắt thảo luận và khơi gợi những ý kiến và cảm xúc của người tham gia. Đối thoại thường cởi mở để người tham gia có thể đưa ra thông tin hoặc đưa ra các quan điểm khác nhau vào mọi thời điểm. Thảo luận nhóm được sử dụng để thu thập các thông tin về: • Tương tác nhóm • Sự phức tạp của các nguồn lực • “cách thức” và “nguyên nhân”, chứ không phải “có hay không” và “có bao nhiêu” • Thông tin về bối cảnh, chứ không phải sự phản hồi có/không • Sự phức tạp trong hành vi và động cơ • Thăm dò ý kiến • Quan điểm về các vấn đề nhạy cảm (Billson và London 2004). Phương pháp này có thể gần với phương pháp đạc tam giác. Nó cũng có thể có ích trong trường hợp người trả lời không hứng thú với phương pháp phỏng vấn qua “bút chì và giấy.” Không nên dùng thảo luận nhóm để thu thập dữ liệu thống kê, bởi vì có nhiều điểm không thích hợp khi các thảo luận nhóm có • Chướng ngại về ngôn ngữ • Cán bộ đánh giá ít kiểm soát được các nhóm • Không thể xây dựng niềm tin • Không đảm bảo được sự tự do thể hiện quan điểm • Phải đảm bảo tính bảo mật (Billson 2004). Thảo luận nhóm gồm 6-12 người. Thành lập nhóm dựa trên mục đích thảo luận. Hầu hết các thảo luận nhóm có đủ cả nam và nữ, tập trung những người có cùng địa vị (giáo viên vào một nhóm, sinh viên vào một nhóm khác; quản lý vào một nhóm, nhân viên vào một nhóm khác). Tùy theo bối cảnh và văn hóa mà nhóm gộp thành viên. Việc lựa chọn người tham gia không được ảnh hưởng đến kết quả đánh giá. Không được bỏ sót một nhóm người tham gia tiềm năng nào, nếu thông tin họ đưa ra có thể thay đổi hoặc mở rộng kết quả. Trong trường hợp thông tin từ các nhóm dự bị là phù hợp thì cần tổ chức thêm thảo luận nhóm với nhóm đó. Thảo luận nhóm có thể hỗ trợ cho người tham gia • • • •

Môi trường thuận tiện, an toàn (cần thiết) Giải khát giữa giờ (cần thiết) Phong bì bồi dưỡng (không bắt buộc) Hỗ trợ đi lại hoặc chăm sóc trẻ em (không bắt buộc)

Lựa chọn và xây dựng công cụ thu thập số liệu

335

• Người điều hành có kỹ năng tốt (cần thiết) • Thư ký thảo luận (không bắt buộc). Các thảo luận được ghi âm, và tốt nhất là gỡ băng từng thảo luận. Thảo luận nhóm có thể bắt đầu từ việc giải thích rõ ràng • • • • •

Mục đích của thảo luận nhóm Vì sao ý kiến của người tham gia lại có tầm quan trọng Người tham gia được lựa chọn như thế nào Thảo luận nhóm tập trung là gì Nguyên tắc thảo luận, trong đó nguyên tắc chính là: giữ kín những nội dung thảo luận trong phạm vi nhóm

Người điều hành hướng dẫn thảo luận, giữ thảo luận được tập trung, và bảo đảm mọi người tham gia đều có quyền nói ra quan điểm và không để một số người lấn lướt trong đối thoại. Người điều hành hỏi một số câu hỏi, sử dụng bảng hỏi gợi ý dành riêng cho thảo luận. Tất cả đều là câu hỏi mở. Bắt đầu thảo luận từ những câu hỏi dễ, chung chung, đến những câu hỏi phức tạp hơn. Thảo luận kết thúc bằng việc tổng kết và tóm tắt các câu hỏi để có thể chỉnh sửa thông tin nếu cần, và thu nhận thêm các nhận xét và ý tưởng của người tham gia. Cán bộ đánh giá chịu trách nhiệm về mọi mặt trong một thảo luận nhóm tập trung • Ai là người tham gia thảo luận nhóm tập trung • Nên tiến hành bao nhiêu thảo luận nhóm • Tiến hành thảo luận nhóm ở đâu • Thời điểm thảo luận nhóm • Các câu hỏi dành cho người tham gia • Xử lý và trình bày dữ liệu như thế nào. Thảo luận nhóm tập trung điển hình của một dự án cần thực hiện trong vòng sáu đến tám tuần. Khoảng thời gian thực hiện phụ thuộc vào các yếu tố về hậu cần, mức độ phức tạp hoặc cần kíp của dự án, khả năng tiếp cận những người ra quyết định, và mức độ thuận lợi khi mời người tham gia vào thảo luận. Đánh giá theo phương pháp thảo luận nhóm có hiệu quả nhất khi thực hiện theo các bước sau (Billson 2004): • Bước 1: Xác định rõ các câu hỏi đánh giá chính. Nếu khách hàng và cán bộ đánh giá không rõ ràng về các câu hỏi chủ chốt đặt ra cho các thảo luận nhóm thì toàn bộ quy trình sẽ thất bại.

336

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Bước 2: Thiết kế phương pháp đánh giá. Sử dụng mục đích đánh giá và câu hỏi đánh giá, xây dựng phương pháp chung và thiết kế các chủ đề thảo luận dựa trên câu hỏi đánh giá. • Bước 3: Xây dựng gợi ý thảo luận cho người điều hành, trong đó có các điều khoản cần thiết (quy tắc ứng xử) trong đánh giá để có thể hướng nhóm đến các vấn đề chính mà không gây phản cảm khi thảo luận. • Bước 4: Lựa chọn người tham gia. • Bước 5: Cụ thể hóa các kỹ thuật điều hành thảo luận. Xác định và sử dụng các phương pháp điều hành thảo luận nhuần nhuyễn trong khi thảo luận nhóm. • Bước 6: Tham vấn người giám sát, cán bộ đánh giá, và khách hàng, ghi lại các thông tin bổ sung. Ngay sau mỗi thảo luận nhóm, khi vẫn còn nhớ được về các thông tin thu được, cần chia sẻ nội dung chính với khách hàng và các nhóm lợi ích khác. Các thông tin bổ sung không được thảo luận rộng rãi (ấn tượng, kết luận, vv…) mà để dành cho bước tiếp theo. • Bước 7: Phân tích dữ liệu. Nếu thảo luận nhóm diễn ra suôn sẻ thì sẽ có rất nhiều thông tin và ý tưởng. Những dữ liệu định tính này cần đến kỹ thuật phân tích chuyên biệt, đặc biệt là phân tích nội dung văn bản (xem chương 10). • Bước 8: Trình bày phát hiện. Báo cáo đưa ra đầy đủ ý nghĩa và có ích cho người đọc, đặc biệt là khách hàng. Sử dụng các hình thức trình bày miệng, báo cáo bằng văn bản hoặc video, hoặc sử dụng kết hợp các hình thức trên. Thảo luận nhóm tập trung thường kéo dài một đến hai giờ. Trong hầu hết các dự án, 100 phút là thời gian cho phép tiến hành thảo luận nhóm với các câu hỏi quan trọng nhất, nhằm tránh làm cho người tham gia hoặc người điều hành mệt mỏi và có cảm giác nhàm chán (Billson 2004). Không nên thực hiện quá nhiều thảo luận nhóm tập trung. Một ngày người điều hành chỉ nên cho thảo luận hai đến ba nhóm. Thảo luận nhóm tập trung nên được tổ chức một cách khách quan nhất có thể. Địa điểm thảo luận phải dễ tìm. Đặc biệt, người tham gia thảo luận ngồi xung quanh bàn hoặc ngồi thành vòng tròn để việc thảo luận dễ dàng hơn. Có thể có một vài giám sát viên dự thảo luận nhóm. Họ nên được giới thiệu ngay từ khi bắt đầu thảo luận, và giải thích rõ vì sao họ lại tham dự cùng thảo luận nhóm. Các phương tiện ghi hình hoặc thu âm được sử dụng để sau đó có thể gỡ băng toàn bộ nội dung thảo luận. Hầu hết những người tham gia đều sẽ quên là họ đang bị thu âm. Nếu không thu âm thảo luận, thì cần đến hai thư ký để ghi chép lại nội dung thảo luận. Ghi biên bản vào máy tính xách tay có thể đẩy nhanh tốc độ phân tích dữ liệu và viết báo cáo. Người điều hành thì không nên ghi chép trong khi điều hành thảo luận.

Lựa chọn và xây dựng công cụ thu thập số liệu

337

Không có nguyên tắc chuẩn nào quy định số lượng thảo luận nhóm được thực hiện. Quy tắc chung là tiến hành thảo luận nhóm cho đến khi phát hiện ra các vấn đề chung hoặc đến khi không có thêm thông tin mới nào. Thường thì sau ba đến sáu thảo luận là đã có thể đạt được điều này. Nên sử dụng một bộ câu hỏi chung cho mọi thảo luận nhóm, sau đó bổ sung các câu hỏi mở rộng khác khi đã phát hiện ra các ý kiến hoặc hiện tượng chung giữa các nhóm. Cán bộ đánh giá nên tham vấn sau mỗi thảo luận nhóm để có thể đưa ra các điều chỉnh cho các câu hỏi mở rộng và câu hỏi bổ sung. Sinh hoạt của người tham gia cũng cần được chú ý: cán bộ đánh giá cần tinh tế trong vấn đề sắp xếp thời gian cho người tham gia, thường người tham gia cần phải dành ít nhất một buổi cho một thảo luận nhóm. Thảo luận nhóm được lên lịch vào cuối giờ chiều có thể bị gián đoạn vì người tham gia phải chuẩn bị cho bữa tối, và do đó số lượng người tham gia bị giảm đi. Thảo luận nhóm cần có thời gian chuẩn bị và sắp xếp thích hợp. Hộp 8.12 là những chú ý khi đặt các câu hỏi thảo luận. Thảo luận nhóm có thể chia làm bốn phần. Những phần này và các bước thực hiện ở mỗi phần được trình bày trong bảng 8.15. Các câu hỏi thảo luận nhóm trong hộp 8.13 minh họa các dạng câu hỏi mà cán bộ đánh giá có thể sử dụng trong thảo luận nhóm.

Hộp 8.12 Chú ý Khi Thiết kế Câu hỏi Thảo luận

Các lưu ý sau đây có thể giúp cán bộ đánh giá đưa ra được những câu hỏi thảo luận tốt nhất •

Tính trước về cách thức sử dụng các thông tin thu được thảo luận nhóm. Bảo đảm các câu hỏi thảo luận được dẫn dắt, dù trực tiếp hay gián tiếp, để đưa ra được các thông tin có thể sử dụng được. • Hỏi từng câu hỏi. • Đặt ra các câu hỏi mở. • Tránh sử dụng những từ ngữ không rõ ràng, dễ gây hiểu lầm. • Avoid assumptions that are leading or misleading. • Tránh những câu hỏi thiên vị, dẫn dắt ý kiến cho người trả lời. • Tránh dẫn dắt người tham gia đưa những ý kiến nước đôi. • Đặt câu hỏi khéo léo. Các câu hỏi cứng nhắc sẽ nhận được những câu trả lời khô khan. • Sử dụng “đối thoại hình phễu”, bắt đầu từ những câu hỏi chung chung và kết thúc bằng những câu hỏi cụ thể.

Đối thoại hình phễu

Câu hỏi chung chung Câu hỏi đảnh giá Câu hỏi chung Câu hỏi cụ thể Câu hỏi sâu

Nguồn: Billson 2004: 29.

338

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 8.15 Bốn giai đoạn trong Thảo luận Nhóm tập trung và Nhiệm vụ của Người điều hành Giai đoạn

I. Giới thiệu

Hoạt động

Làm quen với người tham gia bằng những câu hỏi thân thiện. Giải thích mục tiêu của thảo luận. Giải thích mục tiêu của thảo luận. Để từng thành viên tự giới thiệu về mình. Khuyến khích người tham trình bày về kinh nghiệm và vai trò của họ trong dự án/can thiệp.

II. Khởi động

Khuyến khích nhóm thảo luận và suy nghĩ về chủ đề thảo luận. Bắt đầu với những câu hỏi đơn giản và an toàn nhất.

III. Nội dung chính của thảo luận

Dẫn dắt đến những câu hỏi phức tạp, nhạy cảm hơn. Khơi gợi người trả lời đưa ra những thông tin sâu hơn. Các thông tin nổi bật được liên kết thành một cơ sở phân tích phức tạp và tích hợp. Bảo đảm mọi thành viên đều tham gia thảo luận.

IV. Kết thúc

Kết thúc thảo luận bằng những câu hỏi kết. Tổng kết và xác định lại các nội dung chính. Trình bày các lý thuyết, đánh giá, và suy nghĩ của mình với thành viên trong nhóm để thu nhận phản hồi, xác thực, làm rõ hoặc chỉnh sửa từ những người tham gia. Mời những người tham gia đưa ra nhận xét cuối cùng hoặc cảm nghĩ (“bài học thu được”), bổ sung những ý kiến chưa được nêu ra, hoặc bất kỳ điều gì người tham gia muốn thông tin cho nhóm đánh giá. Cảm ơn người tham gia và phát bồi dưỡng nếu có.

Nguồn: Tác giả.

Hộp 8.13 Mẫu Câu hỏi Thảo luận

Đoạn gỡ băng sau có thể được xem là các câu hỏi mẫu dùng trong một thảo luận nhóm. Giới thiệu: Xin bắt đầu buổi nói chuyện hôm nay từ việc giới thiệu ạ. Mời các anh/chị giới thiệu về công việc và nơi làm việc của mình, và nói về mức độ hỗ trợ từ trung tâm y tế mà anh/chị nhận được, giải thích vì sao anh/chị lại đến trung tâm y tế. Về ý kiến: Các ý kiến phản đối chương trình trung tâm y tế miễn phí cho rằng các dịch vụ ở các trung tâm này có chất lượng thấp. Kinh nghiệm của anh/chị về dịch vụ miễn phí ở trung tâm này như thế nào? Về quản lý: Các khảo sát mới đây cho biết sự phân bổ ngân sách hiện nay không đến được các trung tâm ý tế địa phương. Theo kinh nghiệm của anh/chị khi đến khám tại tại trung tâm, anh/chị đánh giá thế nào về những vấn đề này? Nguồn: Tổng hợp từ Billson 2004.

Lựa chọn và xây dựng công cụ thu thập số liệu

339

Bảng 8.16 Thuận lợi và Khó khăn của Thảo luận nhóm Tập trung

Thuận lợi

Thực hiện tương đối nhanh chóng và dễ dàng Có thể chỉ cần đến một nửa nhân lực so với phỏng vấn sâu hoặc phỏng vấn cá nhân Linh hoạt trong việc thay đổi quy trình và điều chỉnh câu hỏi Có thể thu được nhiều quan điểm khác nhau Làm cho người tham gia thấy hứng thú hơn

Khó khăn

Tốn thời gian phân tích dữ liệu. Người tham gia có thể không đại diện cho tổng thể, dẫn đến sự sai lệch về dữ liệu. Nhóm có thể bị ảnh hưởng bởi người điều hành nhóm hoặc bị lấn lướt bởi một bộ phận trong nhóm.

Nguồn: Tác giả.

Công cụ 6: Nhật ký và Danh mục tự đánh giá Một phương pháp khác để thu thập thông tin là sử dụng nhật ký và danh mục tự đánh giá.

■■ Nhật ký: Biên bản mà người tham gia tự ghi chép hàng ngày

340

Nhật ký hoặc nhật trình Nhật ký (hoặc nhật trình) thường là văn bản do một thành viên trong nhóm tự viết hàng ngày. Nhật ký được dùng để tổng kết những thông tin chi tiết về các hiện tượng diễn ra trong cuộc sống hàng ngày. Nhật ký có thể được sử dụng để nghiên cứu các hiện tượng như mạng lưới xã hội; y tế, bệnh tật, và các hành vi có liên quan; thức ăn và dinh dưỡng; công việc đồng áng; thói quen học tập; cách sử dụng khái niệm; và chăm sóc con cái. Ngoài việc ghi lại những hoạt động theo thời gian mà người viết quan tâm, nhật ký cũng có thể miêu tả các hoạt động. Ví dụ, người hút thuốc lá trong một chương trình cai thuốc có thể được yêu cầu viết nhật ký ghi chép lại những thời điểm họ thèm thuốc, khi đó họ ở đâu, và đang làm gì. Ý tưởng là khi đã có được quy luật thì người tham gia có thể có biện pháp xử lý. Nếu cơn nghiện thuốc xuất hiện sau bữa ăn, thì có thể điều chỉnh bằng cách đứng dậy ngay sau khi ăn xong. Nhật ký được sử dụng ở cả các chương trình cấp quốc gia cũng như các chương trình nhỏ hơn (Stafford 2006). Nhật ký là công cụ hữu ích để bổ sung cho các nguồn dữ liệu (bảng 8.17). Duy trì thói quen viết nhật ký đòi hỏi khả năng diễn đạt và thời gian dành cho nó. Tuy nhiên, trong một vài trường hợp, nhật ký có thể dùng một bảng danh sách để giảm yêu cầu về diễn đạt và trình bày. Ví dụ, nhật ký hình ảnh được sử dụng để thu thập thông tin về thu nhập

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 8.17 Hướng dẫn Sử dụng Nhật ký và Nhật trình Hoạt động

Trực tiếp chọn người tham gia

Chi tiết

Khuyến khích thành viên trong nhóm lựa chọn những phỏng vấn viên có ý thức cầu tiến. Khuyến khích tinh thần khoan dung. Đảm bảo tính bảo mật. Phát bồi dưỡng khi kết thúc.

Phát sổ tay cho mỗi người tham gia

Hướng dẫn rõ ràng cách điền vào nhật ký. Đưa kèm một mẫu nhật ký đã được hoàn thành. Phát kèm theo các tập giấy nhớ. Giải thích mọi thuật ngữ, như hiện tượng hoặc thời kỳ. Ở trang cuối, hỏi xem khoảng thời gian ghi trong nhật ký có thích hợp không, và hỏi xem người tham gia có nhận xét hoặc bổ sung gì không. Nhật ký có kèm theo lịch, ghi rõ thời gian ghi nhật ký.

Xem xét khoảng thời gian thu Nếu thời gian thực hiện quá chi tiết, có thể làm cho thập dữ liệu. người tham gia mệt mỏi và có cảm giác nhàm chán. Nếu thời gian thực hiện quá chung, nhật ký có thể không ghi hết được sự kiện hoặc hoạt động quan trọng. Nguồn: Tác giả.

và chi tiêu của hộ gia đình ở Tan-da-ni-a và Găm-bi-a (Wiseman, Conteh, và Matovu 2005). Khi nào thì nên dùng danh sách nhật ký? Thông thường, một tuần là thời gian cần thiết để thu thập được các thông tin về hành vi đủ lớn, còn hơn một tháng thì lại quá dài. Sau đó, việc ghi chép nhật ký trở nên nhàm chán, và tần suất ghi chép nhật ký bị lơi là. Điển hình là, thành viên được phát số tay nêu rõ các hướng dẫn cũng như ví dụ về cách ghi nhật ký. Trang cuối của cuốn sổ tay sẽ đưa ra câu hỏi nhật ký đã bao quát được hết các thời kỳ thực hiện chưa. Nó cũng là một cơ hội để người tham gia đưa ra những nhận xét chưa được ghi trong nhật ký. Danh mục tự đánh giá Danh mục tự đánh giá được sử dụng xen kẽ giữa bảng hỏi và nhật ký. Người tham gia được yêu cầu ghi chép lại các hoạt động và sự kiện đã được liệt kê để người trả lời có thể dễ dàng lựa chọn câu trả lời. Danh sách có thể được tổng hợp hàng tuần hoặc sau mỗi lần một sự kiện hoặc hoạt động cụ thể diễn ra. Ví dụ, một danh sách được sử dụng để ghi lại những lần uống thuốc tiêu chảy để theo dõi số lượng và thời gian kiểm tra nguồn nước.

Lựa chọn và xây dựng công cụ thu thập số liệu

■■ Danh mục tự đánh giá: Danh sách các hoạt động hoặc sự kiện để người trả lời lựa chọn nếu thích hợp

341

Danh mục tự đánh giá được sử dụng trong một nghiên cứu về các bà đỡ ở Indonesia (Abdallah 2002). Dự án dựa trên lý thuyết là người cung cấp cần được củng cố lại sau khi được đào tạo về thay đổi hành vi. Mục tiêu là để nâng cao chất lượng tư vấn về kế hoạch hóa gia đình của các bà mụ. Những bà mụ tham gia vào chương trình đã hoàn thành báo cáo tự đánh giá sau một tuần, trong đó trình bày báo cáo về kỹ năng giao tiếp để nâng cao hiểu biết về các phương pháp tuyên truyền, phân tích chúng, và tìm cách nâng cao các kỹ năng này. Danh mục tự đánh giá thì dễ điền và dễ phân tích hơn nhật ký. Tuy nhiên, để tạo ra một danh sách, cán bộ đánh giá phải hiểu bối cảnh một cách rất cụ thể. Bảng 8.18 tổng kết các thuận lợi và khó khăn của nhật ký và danh mục tự đánh giá.

Công cụ 7: Thẩm định chuyên gia

■■ Thẩm định

chuyên gia: Ý kiến của một chuyên gia hoặc một nhóm chuyên gia

Có những trường hợp cần phải coi chuyên gia như một nguồn thông tin cần thu thập. Xem xét đến vai trò của một nhà phê bình sách hoặc một nhà phê bình điện ảnh. Con người thường sử dụng các đánh giá để đưa ra quyết định và lựa chọn cho riêng mình. Các lực lượng đặc nhiệm của chính phủ cũng là thẩm định chuyên gia. Thẩm định chuyên gia có thể được thực hiện với một chuyên gia hoặc một nhóm chuyên gia. Một nhóm chuyên gia có thể khảo sát bệnh viện để tiến hành quá trình xếp loại. Nhóm chuyên gia này đến thăm bệnh viện để thanh kiểm tra các chương trình, thiết bị, và nhân viên trong bệnh viện. Một chuyên gia (như Bảng 8.18 Thuận lợi và Khó khăn của Nhật ký và Danh mục tự đánh giá

Thuận lợi

Có thể thu nhập những số liệu sâu, cụ thể (“dữ liệu dồi dào”) có thể bị quên Có thể thu thập được dữ liệu về cách thức sử dụng thời gian Có thể thu được những thông tin nhạy cảm Có thể bổ sung cho các cuộc phỏng vấn với thông tin phong phú hơn

Khó khăn

Cần đến kỹ năng diễn đạt và đọc hiểu Có thể thay đổi hành vi của một người khi người đó biết mình đang được quan sát Yêu cầu tính cam kết và kỷ luật, tính chính xác và trung thực của người tham gia khi cung cấp thông tin Dữ liệu được ghi chép có thể không hoàn chỉnh, người tham gia khi đợi có đầy đủ thông tin mới ghi chép thì có thể không nhớ hết tất cả một cách chính xác (“nhật ký viết sau”) Có thể gặp khó khăn khi đọc bản viết tay Có thể gặp khó khăn để hiểu được những thuật ngữ viết trong nhật ký.

Nguồn: Tác giả.

342

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

thanh tra trường học) có thể thăm trường học để đánh giá trường lớp, hệ thống quản trị và giáo viên. Thẩm định chuyên gia có thể sử dụng các tiêu chí và quy trình chuyên nghiệp đã được thiết lập từ trước, hoặc có thể được xây dựng trước đó. Khi thẩm định chuyên gia có sử dụng các tiêu chí đã được thiết lập, những tiêu chí này thường là những tiêu chuẩn và công cụ đã được công bố, đảm bảo rằng các chuyên gia đặt ra những câu hỏi phù hợp và thực hiện đánh giá hợp lý. Ví dụ, một cơ quan tài trợ có thể muốn đánh giá chất lượng một chương trình đào tạo dựa trên chương trình học, các mục tiêu, mục đích và kết quả. Một chuyên gia đã quen thuộc với chương trình giảng dạy, các mục đích, mục tiêu và kết quả sẽ kiểm tra chương trình đào tạo và dựa vào tài liệu để đánh giá chương trình. Các tổng kết trước đó được hoàn thành theo một lịch trình không thường xuyên, như một chỉ báo đột xuất. Chúng thường được tiến hành theo một mục đích cụ thể. Những tổng kết này thường không có tiêu chuẩn từ trước để chuyên gia có thể sử dụng. Chuyên gia tự quyết định các tiêu chuẩn đánh giá. Một ví dụ về tổng kết trước kỳ là một giám đốc chương trình đi thăm một địa bàn trong chương trình xử lý nguồn nước để biết được tình hình thực thi của chương trình. Việc lựa chọn chuyên gia nên do một cá nhân đáng tin cậy kiểm định: người này có cho rằng chuyên gia hoặc nhóm chuyên gia này là đáng tin cậy hay không? Các chuyên gia cần có quan điểm, kinh nghiệm và vai trò phong phú, đa dạng. Khi lựa chọn chuyên gia, điều quan trọng không chỉ là sự thừa nhận một người là một chuyên gia, mà còn phải dựa trên các tiêu chí sau: • lĩnh vực chuyên môn • kiến thức đa dạng

• quan điểm chính trị phong phú • kỹ năng chuyên môn đa dạng.

Tính hợp lý khi lựa chọn chuyên gia cần được trình bày rõ trong báo cáo đánh giá. Ủy ban Quốc tế về An ninh và Phát triển (2006) đã sử dụng một hội đồng đánh giá để kiểm định tính hiệu quả của Cơ quan Kiểm soát Ma túy Quốc tế. Trong trường hợp này, điều đặc biệt quan trọng là không chỉ lựa chọn chuyên gia mà phải bảo đảm họ được lựa chọn từ nhiều khu vực trên thế giới, đặc biệt là những vùng có vấn đề lớn về ma túy. Mặc dù thẩm định chuyên gia không được xem là một phương pháp đánh giá vững mạnh, thì trong vài trường hợp, nó có thể là phương pháp tốt nhất trong điều kiện hạn chế về thời gian và nguồn lực. Thẩm định chuyên gia phù hợp với giai đoạn thiết kế chương trình hoặc dự án, và ở những giai đoạn đầu cho đến giữa quá trình thực hiện hơn so với đánh giá tác động. Các hội đồng chuyên gia đặc biệt hữu dụng với các đánh giá nhanh.

Lựa chọn và xây dựng công cụ thu thập số liệu

343

Bảng 8.19 Thuận lợi và Khó khăn của Thẩm định Chuyên gia

Thuận lợi

Nhanh và ít tốn chi phí

Khó khăn

Không mạnh về đánh giá tác động Có thể phụ thuộc nhiều vào quan điểm và nhận thức cá nhân Giá trị dữ liệu thu thập được phụ thuộc vào mức độ mong đợi vào độ tin cậy giữa các nhóm

Nguồn: Tác giả.

Bảng 8.19 trình bày các thuận lợi và khó khăn của phương pháp phỏng vấn chuyên gia.

Công cụ thứ 8: Phương pháp Delphi ■■ Phương

pháp Delphi: Phương pháp thu thập thông tin và ý kiến từ người tham gia để giải quyết vấn đề, lên kế hoạch và đưa ra quyết định mà không để những người tham gia đối diện trực tiếp

Phương pháp Delphi giúp những chuyên gia ở các địa phương khác nhau có thể đối thoại và đi đến sự thống nhất chung thông qua một quy trình lặp lại. Các câu hỏi cụ thể được đặt ra cho các chuyên gia; các câu trả lời được gửi đến trung tâm, sau đó được tổng hợp và gửi lại cho chuyên gia. Chuyên gia sau đó sẽ nhận xét vào bản tổng hợp này. Họ thoải mái đánh giá bản tổng hợp từ nhiều quan điểm hoặc bổ sung các ý kiến bằng những thông tin khác. Do không ai biết ai nói gì, nên có thể tránh được xung đột. Phương pháp Delphi thu thập thông tin và ý kiến của người tham gia để giải quyết vấn đề, lên kế hoạch và đưa ra quyết định mà không để những người tham gia đối diện trực tiếp (Dunham 1996). Chuyên gia có thể chia sẻ thông tin thông qua thư, fax, hoặc thư điện tử. Phương pháp này có thể giúp các nhóm đạt được sự nhất trí về các vấn đề, chiến lược hoặc vấn đề ưu tiên. Phương pháp được dùng để dự đoán tiềm năng du lịch ở Châu Phi (Kaynak, Bloom, và Leibold 1994); dùng để đạt được sự đồng thuận về quyền ưu tiên của các chính sách về ma túy ở những nước đang phát triển (Rainhorn, Brudon-Jakobowicz, và Reic 1994); và sử dụng để thiết lập các ưu tiên trong hoạt động loại trừ dịch sán máng ở Kenya (Kirigia 1997). Phương pháp Delphi cần có một điều phối viên để mời chuyên gia tham gia, tổ chức các yêu cầu thông tin, tổng hợp các thông tin thu được, và làm việc trực tiếp với người tham gia. Công việc của điều phối viên có thể tốn một khoảng thời gian đáng kể. Có thể phải mất 30-40 giờ để điều phối phương pháp Delphi qua thư điện thử với 20 người tham gia và ba vòng bảng hỏi. Phương pháp Delphi có những bước thực hiện sau: 1. Tìm và mời các chuyên gia. Xác định các tiêu chí cần thiết để lựa chọn chuyên gia, thường là thành lập một nhóm chuyên gia có chuyên môn khác nhau. Mời chuyên gia tham gia vào nhóm.

344

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

2. Xác định vấn đề và các ý tưởng. Ví dụ, đặt ra câu hỏi “Nên làm gì để có thể trả lời các câu hỏi của bệnh nhân nhanh hơn trong các lần thăm khám?” Chuẩn bị và gửi bảng hỏi đầu tiên, đưa ra những câu hỏi để từng thành viên bắt đầu xây dựng ý tưởng để đưa ra càng nhiều ý tưởng giải quyết vấn đề càng tốt. 3. Yêu cầu các thành viên tham gia hoàn thành bảng hỏi đầu tiên. Các ý tưởng chưa cần thiết phải được phát triển hoàn chỉnh. Trong thực tế, nên trình bày ý tưởng dưới dạng các câu đơn hoặc theo từng ý, và không đánh giá hoặc phán xét các ý tưởng này. Những người tham gia sau đó sẽ đưa danh sách các ý tưởng cho điều phối viên. 4. Xây dựng và gửi bảng hỏi thứ hai. Điều phối viên chuẩn bị và gửi bảng hỏi thứ hai cho người tham gia, trong đó nêu tất cả các ý tưởng thu được từ bảng hỏi thứ nhất. (Chỉ điều phối viên mới biết ý tưởng nào do chuyên gia nào đưa ra.) Để khoảng trống để người tham gia chọn lọc, nhận xét về điểm mạnh và điểm yếu của từng ý tưởng, từ đó xác định các ý tưởng mới. 5. Thu thập phần trả lời của bảng hỏi thứ hai. Người trả lời cung cấp thông tin của bảng hỏi thứ hai một cách khuyết dánh, rồi gửi lại cho điều phối viên. 6. Xây dựng và gửi bảng hỏi thứ ba. Điều phối viên xây dựng và gửi bảng hỏi thứ ba, bảng hỏi này tổng hợp các thông tin thu được từ các bước trước và hỏi thêm những câu hỏi để xác nhận, đưa ra các câu hỏi về điểm mạnh, điểm yếu và đặt câu hỏi về các ý tưởng mới. 7. Tiếp tục thực hiện. Nếu muốn, điều phối viên có thể lặp lại quy trình cho đến khi không có ý kiến nào mới, và mọi điểm mạnh, điểm yếu, mọi ý kiến đều đã được xác định. 8. Đưa ra giải pháp. Giải pháp có thể được đưa ra theo một trong hai cách. • Nếu sự nhất trí về một ý kiến chủ đạo đã được đánh giá, thì tuyên bố kết thúc thực hiện. Sản phẩm cuối cùng là danh sách các ý tưởng, kèm theo các điểm mạnh và điểm yếu của chúng. • Nếu không đạt được sự đồng thuận, điều phối viên thực hiện đánh giá chính thức, thu thập ý kiến của nhóm về những ý tưởng đã được đưa ra. Có nhiều cách để thực hiện đánh giá chính thức. Một phương pháp là cán bộ đánh giá chuẩn bị một bảng hỏi, liệt kê tất cả các ý tưởng và yêu cầu người tham gia đánh giá từng cái một. Thang bảng điểm bảy được sử dụng để xếp loại từ 0 (không có khả năng giải quyết vấn đề) đến 7 (có tiềm năng cao để giải quyết vấn đề). Nếu sử dụng phương pháp này, người tham gia gửi bảng xếp loại cho điều phối viên, điều phối viên thu kết quả và xếp loại ý tưởng dựa trên các đánh giá của thành viên. Phương pháp thứ hai là điều phối viên yêu cầu từng thành viên chọn ra năm ý tưởng khả thi nhất và chấm điểm, năm điểm ý tưởng có tính khả thi nhất, bốn điểm cho ý tưởng có mức độ khả thi sau nó, và cứ thế. Điều phối viên sẽ đưa ra kết quả xếp loại dựa trên kết quả thu được và chuẩn bị báo cáo. Báo cáo ghi lại xếp loại

Lựa chọn và xây dựng công cụ thu thập số liệu

345

Bảng 8.20 Thuận lợi và Khó khăn của Phương pháp Delphi

Thuận lợi

Cho phép người tham gia không cần tiết lộ danh tính Không tốn kém Không bị ràng buộc bởi các áp lực xã hội, không chịu ảnh hưởng về phẩm chất cá nhân hay ưu thế cá nhân Hiệu quả trong tư duy độc lập và tổng hợp Cho phép chia sẻ thông tin và giải thích cho người tham gia

Khó khăn

Có thể không mang tính đại diện Có khuynh hướng loại bỏ những ý kiến đưa ra cuối cùng và hướng đến sự đồng thuận từ giữa quy trình lựa chọn Yêu cầu kỹ năng thông tin bằng văn bản viết Đòi hỏi thời gian và cam kết tham gia của thành viên

Nguồn: Michigan State University Extension 1994.

ý tưởng theo thứ tự, dựa trên tổng số điểm của từng ý tưởng và dựa trên số lượng người chọn cho từng ý tưởng (Dunham 1996) .

Công cụ thứ 9: Các Phương pháp khác Đối với một số chương trình và dự án, cán bộ đánh giá sẽ sử dụng các bộ công cụ đo lường khác, như phương pháp điện tử, hóa học, kỹ thuật. Các bộ công cụ như bài kiểm tra viết hay kiểm tra đánh giá kỹ năng có thể được sử dụng để thu thập thông tin trong một số chương trình, dự án. Sau đây là ví dụ về một số bộ công cụ được sử dụng để thu thập thông tin. Nhiều dự án và chương trình (đặc biệt là những chương trình trong lĩnh vực y tế) cần đến các phương pháp sinh lý học để xác định hiệu quả của can thiệp. Các thang đo được sử dụng để thu thập thông tin về từng vấn đề. Cân nặng, chiều cao, và chu vi vòng đầu có thể được đo bằng thước đo, cân, hoặc các dụng cụ khác. Đồng hồ đếm thời gian có thể được sử dụng để đo khoảng thời gian thực hiện một nhiệm vụ. Trong một số trường hợp, các dụng cụ chuyên ngành được sử dụng để thu thập các số liệu sinh học bổ sung về cholestorol, huyết áp, lượng đường trong máu, khám phổi, thể lực, sức kéo, khả năng vận động kết hợp, và các số đo khác. Các thí nghiệm hóa học về nước giếng và đất có thể được sử dụng để thẩm định chất lượng đất và nước. Các thí nghiệm khác có thể được thực hiện là đo điểm tan, điểm thăng hoa, và các yếu tố sinh học khác để xác định tính chất vật lý và hóa học của từng chất cụ thể. Các thì nghiệm này giúp xác định các nguy cơ gây hại cho môi trường và sức khỏe (U.S.EPA 2007). Khi sử dụng các công cụ

346

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

đo lường, cần phải kiểm tra độ đo của dụng cụ và điều chỉnh nếu cần thiết. Các chương trình và dự án về dinh dưỡng có thể sử dụng những đánh giá về thành phần hóa học hoặc thành phần dinh dưỡng trong thực phẩm. Các bài kiểm tra năng lực và đánh giá kết quả có thể được sử dụng để đánh giá kiến thức. Chúng thường được dùng trong các chương trình giáo dục và đào tạp, nhưng cũng có thể áp dụng trong nhiều lĩnh vực khác nữa Trước đây, nhiều bài kiểm tra viết đã được thực hiện. Hiện nay có thể tiến hành kiểm tra điện tử, thông qua Internet. Trước khi lựa chọn bài kiểm tra, cần thiết phải hiểu hình thức kiểm tra có thể đánh giá tốt nhất những nội dung cán bộ đánh giá cần: • • • •

Dựa trên Tiêu chuẩn Dựa trên Tiêu chí Dựa trên Mục tiêu Theo Phạm vi (Fitzpatrick, Sanders, và Worthen 2004).

Các bài kiểm tra tiêu chuẩn thường chủ yếu được sử dụng để so sánh tình hình học tập của học sinh. Đánh giá tiêu chuẩn thường được sử dụng để đánh giá tiến độ. Nhiều trường học sử dụng bài kiểm tra tiêu chuẩn để so sánh học sinh của họ với học sinh ở các trường khác trong cùng mức độ kiến thức và kỹ năng chung. Một điểm yếu của đánh giá tiêu chuẩn là làm thế nào để xác định được “kiến thức thức và kỹ năng chung.” Các nền văn hóa, xã hội và môi trường khác nhau có thể có các mục tiêu tiêu chuẩn khác nhau (Fitzpatrick, Sanders, và Worthen 2004). Các bài kiểm tra dựa trên tiêu chí được sử dụng để đánh giá tình hình thực thi dựa trên một tiêu chí nào đó. Một quốc gia có thể xây dựng các tiêu chí để đánh giá tình hình hoạt động của trường học và các khối trường học (chứ không phải đánh giá học sinh) và sử dụng các tiêu chí này để so sánh các trường và các khối học. Các tiêu chí thường đánh giá một chương trình đào tạo hoặc chương trình giảng dạy (Fitzpatrick, Sanders, và Worthen 2004). Các bài kiểm tra dựa trên mục tiêu dựa trên các mục tiêu hoặc kết quả của một chương trình giáo dục và đào tạo. Các nội dung kiểm tra dựa trên các mục tiêu và các kết quả dự kiến. Đánh giá dựa trên mục tiêu được sử dụng để phản hồi lại đánh giá hình thành, giúp giáo viên hoặc giảng viên nhìn ra được những lĩnh vực nào đã đạt được mục tiêu và kết quả, và những lĩnh vực nào cần phải cải thiện (Fitzpatrick, Sanders, và Worthen 2004). Bài kiểm tra theo phạm vi được liên kết với các nội dung chính cần đánh giá, như kiến thức về lịch sử hoặc toán học. Những đánh giá này thường tốn chi phí, nhưng có thể cung cấp những thông tin giá trị về “Học sinh hiểu biết về địa lý thế giới như thế nào?” hoặc “Các học viên hiểu biết thế nào về vấn đề giới?” (Fitzpatrick, Sanders, và Worthen 2004).

Lựa chọn và xây dựng công cụ thu thập số liệu

347

Đánh giá dựa trên tiêu chuẩn và đánh giá dựa trên tiêu chí đưa ra các tiêu chuẩn để đánh giá tình hình thực hiện. Đánh giá dựa trên mục tiêu và đánh giá theo phạm vi không đưa ra chuẩn mực. Các đánh giá này cung cấp thông tin mô tả về tình hình học tập của học sinh chứ không đánh giá học sinh hoặc đánh giá trường học (Fitzpatrick, Sanders, và Worthen 2004). Nhiều bài kiểm tra đạt chuẩn có sẵn trên Internet (xem địa chỉ trang web ở cuối chương). Các bài này có thể đánh giá phẩm chất, mức độ quan tâm về nghề nghiệp, năng lực, thành tựu, sự phát triển, trí thông minh, và kỹ năng đọcviết, kỹ năng nghiên cứu. Một số cơ quan tham gia có thể muốn beiets nhiều hơn về can thiệp chứ không muốn biết số điểm mà người tham gia đạt được trong bài kiểm tra kiến thức. Có thể đánh giá kỹ năng bằng cách sử dụng các công cụ tổng hợp, hạng mục phát triển, thuyết trình, và thảo luận. Điều quan trọng là phải kết hợp các kỹ năng cần thiết để làm bài thi với những kỹ năng cần thiết phải có trong thực tế. Các bài kiểm tra kỹ năng có thể hữu dụng khi đánh giá bất kỳ can thiệp nào muốn đưa ra các kỹ năng mới (hành vi vệ sinh an toàn của các bà mẹ, các thực hành nông nghiệp với nông dân, lưu lại các hoạt động thực thi ở các quan chức nhà nước). Đánh giá phát triển thường cố gắng đánh giá xem một phương pháp thực hành mới có được sử dụng không, nhưng đánh giá phát triển có thể không đánh giá được mức độ thuần thục khi sử dụng phương pháp thực hành đó. Các chuyên gia được đào tạo về quan sát có thể được sử dụng trong công tác quan sát và đánh giá kỹ năng. Các tiêu chí được thiết lập và chỉ ra mức độ các hoạt động thực thi đạt đến các tiêu chí này. Nhiếp ảnh hoặc quay phim có thể được xem là một thực thi lưu trữ tài liệu.

Tóm tắt Không có phương pháp nào được xem là phương pháp thu thập thông tin tốt nhất. Những phương pháp trong số rất nhiều phương pháp được trình bày trong chương trình được sử dụng tùy theo nhu cầu đánh giá và tùy theo các câu hỏi cụ thể. Đánh giá nên sử dụng nhiều hơn một phương pháp thu thập thông tin. Việc lựa chọn phương pháp thu thập thông tin nên dựa trên • • • • •

348

Cán bộ đánh giá cần biết điều gì Dữ liệu cần thu thập hiện ở đâu Các nguồn lực và quỹ thời gian hiện có Mức độ phức tạp của dữ liệu cần thu thập Tần suất thu thập thông tin.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 8 Bài tập Thực hành 8.1:Thu thập thông tin từ hồ sơ Anh/chị được yêu cầu sử dụng các bộ hồ sơ để thẩm định phẩm chất và kinh nghiệm của các học viên tham gia hội thảo đào tạo về làm vườn. Xây dựng một bộ câu hỏi ngắn gồm năm câu để thu thập thông tin từ các bộ hồ sơ này.

Bài tập Thực hành 8.2: Thu thập thông tin qua Phỏng vấn Anh/chị được yêu cầu phát triển bảng hỏi dành cho cuộc phỏng vấn ngắn để đánh giá phản hồi của người tham gia về chất lượng hội thảo mà anh/chị vừa tham dự. Phát triển năm câu hỏi mở để hỏi ý kiến người tham gia về nội dung, mức độ và chất lượng của hội thảo. Nếu có thể, tìm một người bạn cũng tham dự vào hội thảo. Phỏng vấn người bạn này, và sau đó để người này phỏng vấn bạn, sử dụng bộ công cụ anh/chị đã xây dựng. Sau đó viết tổng kết chi tiết về hai cuộc phỏng vấn. Yêu cầu người bạn của mình nhận xét về độ chính xác, diễn đạt, và mức độ bao quát vấn đề của cuộc phỏng vấn.

Bài tập Thực hành 8.3: Thu thập thông tin qua Thảo luận nhóm Tập trung Anh/chị được yêu cầu thiết kế một thảo luận nhóm để đánh giá tác động của các hội thảo và gói kinh phí hỗ trợ để giúp phụ nữ khởi đầu và hoạt động kinh doanh quy mô nhỏ. Xây dựng bộ câu hỏi gồm năm câu để sử dụng trong thảo luận nhóm với nhóm phụ nữ đã tham gia vào chương trình sáu tháng trước đây. Đảm bảo tìm ra những tác động dự kiến mà chương trình đạt được và tìm hiểu xem chương trình đã ảnh hưởng đến cuộc sống, bạn bè và gia đình của người tham gia như thế nào.

Lựa chọn và xây dựng công cụ thu thập số liệu

349

Tài liệu tham khảo Abdallah, H. 2002. Cost-Effectiveness of Self-Assessment and Peer Review in Improving Family Planning Provider-Client Communication in Indonesia. Quality Assurance Project Case Study. Study conducted for the U.S. Agency for International Development by the Quality Assurance Project, Bethesda, MD. Academy for Educational Development, Population Communication Services. 2002. “Session 10 Transect Walks and Observation.” Empowering Communities: Participatory Techniques for Community-Based Programme Development, vol. 2, Participant Handbook. Washington, DC: Academy for Educational Development. http://pcs.aed.org/manuals/cafs/handbook/sessions10-12.pdf. ADB (Asian Development Bank), and ADBI (Asian Development Bank Institute). 2004. Improving Local Governance and Service Delivery: Citizen Report Card Learning Tool Kit. http://www.citizenreportcard.com/index.html#. BBC (British Broadcasting Corporation). 2008. “Data Validation and Verification.” GCSE Bitesize. http://www.bbc.co.uk/schools/gcsebitesize/ict/databases/3datavalidationrev1 .shtml. Behling, Orlando, and Kenneth S. Law. 2000. Translating Questionnaires and Other Research Instruments: Problems and Solutions. Quantitative Applications in the Social Sciences, Series 07-133. Thousand Oaks, CA: Sage Publications. Billson, Janet Mancini. 2002. The Power of Focus Groups for Social and Policy Research. Barrington, RI: Skywood Press. ———. 2004. The Power of Focus Groups: A Training Manual for Social, Policy, and Market Research: Focus on International Development. Barrington, RI: Skywood Press. Billson, Janet, and N. T. London. 2004. “The Power of Focus Groups.” International Program for Development Evaluation Training (IPDET) presentation, Ontario, July. Burgess, Thomas F. 2001. Guide to the Design of Questionnaires, ed. 1.1. University of Leeds, United Kingdom. http://www.leeds.ac.uk/iss/documentation/top/top2/top2-5.html. Cloutier, Dorothea, Bill Lilley, Devon Phillips, Bill Weber, and David Sanderson. 1987. A Guide to Program Evaluation and Reporting. University of Maine Cooperative Extension Service, Orono. CNCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department). 2006. Country-Led Joint Evaluation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. Cnossen, Christine. 1997. Secondary Research. Learning Paper 7, School of Public Administration and Law, Robert Gordon University, Aberdeen, United Kingdom. Dawson, Susan, and Lenor Manderson. 1993. Methods for Social Research in Disease: A Manual for the Use of Focus Groups. International Nutrition Foundation for Developing Countries, Boston. http://www.unu.edu/Unupress/food2/UIN03E/uin03e00.htm. Denzin, K. 1978. The Research Act. New York: McGraw-Hill. Dunham, Randall B. 1996. The Delphi Technique. http://www.medsch.wisc.edu/adminmed/2002/orgbehav/delphi.pdf. 350

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Early Childhood Research Institute on Measuring Growth and Development. 2008. Early Communication Indicator (ECI). http://cehd.umn.edu/ceed/projects/ecri/. EuropeAid Co-operation Office. 2005. Evaluation Methods. ec.europa.eu/europeaid/evaluation/methodology/egeval/index_en.htm. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson. Foddy, William. 1993. Constructing Questions for Interviews and Questionnaires. New York: Cambridge University Press. Fowler, Floyd J. Jr. 2002. Applied Social Research Methods Series, vol. 1 Survey Research Methods. 3rd. ed. Thousand Oaks, CA: Sage Publications. Frary, Robert B. 1996. “Hints for Designing Effective Questionnaires.” Practical Assessment, Research & Evaluation 5 (3). http://PAREonline.net/getvn.asp?v=5&n=3. Hofstede, G. 2001. Culture’s Consequences. 2nd ed. Thousand Oaks, CA: Sage Publications. Jackson, Gregg, and Rashmi Agrawal. 2007. “Guidelines for Developing Survey Instruments as a Part of the Designing and Conducting Surveys Workshop.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, Ontario. Kaynak, Erdener, Jonathan Bloom, and Marius Leibold. 1994. “Using the Delphi Technique to Predict Future Tourism Potential.” Marketing Intelligence and Planning 12 (7): 18–29. http://www.emeraldinsight.com/Insight/viewContentItem.do;jsessionid=372 EF38765D6F8133CDF8DABFB2071B4?contentType=Article&hdAction=lnkpdf&con tentId=854271. Kirigia, J. M. 1997. Economic Evaluation in Schistosomiasis Using the Delphi Technique to Assess Effectiveness. http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve&db=PubMed& list_uids=9107365&dopt=Abstract. Krueger, R. A., and M. A. Casey. 2000. Focus Groups. 3rd ed. Thousand Oaks, CA: Sage Publications. Kellogg Foundation. 2008. “Tips on Using Tests and Assessments.” Evaluation Toolkit. http://www.wkkf.org/Default.aspx?tabid=90&CID=281&ItemID=2810034&NID=282 0034&LanguageID=0. Lofland, John. 1971. Analyzing Social Settings. Belmont, CA: Wadsworth. Lofland, John, and L. H. Lofland. 1995. Analyzing Social Settings: A Guide to Qualitative Observation and Analysis. 3rd ed. Belmont, CA: Wadsworth Publication. McCaston, M. Katherine. 2005. Tips for Collecting, Reviewing, and Analyzing Secondary Data. Partnership and Household Livelihood Security Unit. http://pqdl.care.org/pv_obj_cache/pv_obj_id_8F453F01C87B8BB24774628B95B42 BBCBD020200. McNamara, Carter. 2007. General Guidelines for Conducting Interviews. http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874 Michigan State University Extension. 1994. Delphi Technique. http://web1.msue.msu.edu/msue/imp/modii/iii00006.html.

Lựa chọn và xây dựng công cụ thu thập số liệu

351

Miles, Matthew B., and A. Michael Huberman. 1994. Qualitative Data Analysis an Expanded Sourcebook. Thousand Oaks, CA: Sage Publications. Minnesota Department of Health. 2007. Community Engagement: Community Forums and Public Hearings. http://www.health.state.mn.us/communityeng/needs/needs.html. Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper 307, Washington, DC. http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/ IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. O’Brien, G. 2001. Data Flow, Application of Data Quality Flags, and Data Validation Processes for CCAQS. Preliminary draft. http://www.arb.ca.gov/airways/Documents/reference percent20tables/March percent2006, percent202001/DataFlow_PrelimDraft.pdf. Patton, Michael Q. 1987. How to Use Qualitative Methods in Evaluation. Thousand Oaks, CA: Sage Publications. ———. 2002. Qualitative Evaluation and Research Methods. 3rd ed. Thousand Oaks, CA. Sage Publications. Paul, Samuel, and Gopakumar K. Thampi. 2008. “Monitoring Public Service Delivery: Citizen Report Cards Score in India.” Capacity.org. 35 (December). United Nations Development Programme, New York. http://www.capacity.org/en/journal/tools_and_methods/citizen_report_cards_ score_in_india. Phuyal, Kamal. 2006. “Sharing Some Practical Experiences on Participatory Appreciative Planning Approach (PAPA): An Appreciative Approach to Working in Partnership with Community People.” Paper presented at the international workshop on “Action Learning: Lessons from the Field,” organized by the Faculty of Policy Studies, Chuo University, Tokyo, October. http://www.scn.org/cmp/modules/emp-papa.htm. Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa: Ottawa-Carleton Health Department. Rainhorn, J.-D. P. Brudon-Jakobowicz, and M. R. Reich. 1994. “Priorities for Pharmaceutical Policies in Developing Countries: Results of a Delphi Survey.” Bulletin of the World Health Organization 72(2): 257–64. 72 (2): 257–64. http://74.125.47.132/search?q=cache:D1zbVUz7oG0J:whqlibdoc.who.int/bulletin/1994/Vol72-No2/bulletin_1994_72(2)_257-264.pdf+Use+of+the+ delphi+technique+in+developing+countries&cd=3&hl=en&ct=clnk&gl=us& client=firefox-a. Sanders, J. R. 2000. Evaluating School Programs. 2nd ed. Thousand Oaks, CA: Sage Publications. Stafford, Frank P. 2006. Timeline Data Collection and Analysis: Time Diary and Event History Calendar Methods. Department of Economics, University of Michigan, Ann Arbor. http://www.atususers.umd.edu/wip2/papers_i2007/Stafford_Diaries.pdf.

352

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Stake, Robert E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage Publications. StatPac. 2007. Survey Software, Question Wording. http://www.statpac.com/surveys/index.htm#toc. Sue, Valerie M., and Lois A. Ritter. 2007. Conducting Online Surveys. Thousand Oaks, CA: Sage Publications. TC Evaluation Center. 2007. Wording Questions: Some General Guidelines. University of California, Davis. http://ucce.ucdavis.edu/files/filelibrary/5715/27621.pdf. Trochim, William M. K. 2006. Types of Data, Research Methods Knowledge Base. http:// www.socialresearchmethods.net/kb/datatype.php. UNESCAP (United Nations Economic and Social Commission for Asia and the Pacific). 1999. Guidelines on the Application of New Technology to Population Data Collection and Capture. http://www.unescap.org/stat/pop-it/pop-guide/capture_ch04.pdf. University of Wisconsin, Cooperative Extension. 1996. Program Development and Evaluation, Collecting Evaluation Data: Direct Observation. http://learningstore.uwex.edu/pdf/G3658-5.pdf. U.S. EPA (U.S. Environmental Protection Agency). 2007. CTSA-Chapter 2: Data Collection. http://www.epa.gov/dfe/pubs/lithography/ctsa/ch02/ch02.html. Wadsworth, Y. 1997a. Do It Yourself Social Research. 2nd ed. St. Leonards, New South Wales, Australia: Allen and Unwin. ———. 1997b. Everyday Evaluation on the Run. St. Leonards, New South Wales, Australia: Allen and Unwin. Wengraf, Tom. 2001. Qualitative Research Interviewing: Biographic Narrative and SemiStructured Methods. Thousand Oaks, CA: Sage Publications. Wiseman, V., L. Conteh, and F. Matovu. 2005. “Using Diaries to Collect Data in ResourcePoor Settings: Questions on Design and Implementation.” Health Policy and Planning 20 (6): 394–404. http://heapol.oxfordjournals.org/cgi/reprint/20/6/394. World Bank. 1996. “A Manual for Planning and Implementing the Living Standards Measurement Study Survey.” Working Paper 126, Washington, DC. ———. 2006. “Citizen Report Cards: A Presentation on Methodology.” Participation and Civic Engagement Group, Social Development Department, Washington, DC. http://info.worldbank.org/etools/docs/library/94360/Tanz_0603/Ta_0603/ CitizenReportCardPresentation.pdf. ———. 2007. “Community-Driven Development.” Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTSOCIAL DEVELOPMENT/EXTCDD/0,,menuPK:430167~pagePK:149018~piPK:149093~ theSitePK:430161,00.html. Yin, Robert K. 2003. Case Study Research: Design and Methods. 3rd ed. Thousand Oaks, CA: Sage Publications.

Lựa chọn và xây dựng công cụ thu thập số liệu

353

Trang Web Alphabetical List of Aptitude or Achievement Tests. http://www.yorku.ca/psycentr/tests/ alpha.html. Evaluation Portal. http://www.evaluation.lars-balzer.name/. International Council on Security and Development. 2006. “Think tank announces expert panel to review effectiveness of International Narcotics Control Board.” http:// www.icosgroup.net/modules/press_releases/narcotics_control_board. Measurement Group. Evaluation/Research Tools. http://www.themeasurement group.com/evalbttn.htm. Nielsen, J. 1997. The Use and Misuse of Focus Groups. http://www.useit.com/papers/ focusgroups.html. Standardized Monitoring and Assessment of Relief and Transitions. Instruments and Tools. http://www.smartindicators.org/IT.php?page=80.

354

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 9

Lựa chọn chiến lược chọn mẫu Chương này sẽ thảo luận về việc số lượng mẫu cần thu thập thông tin. Chương này cũng đề cập đến làm thế nào để chọn lựa được nguồn số liệu phản ánh gần đúng nhất toàn bộ tổng thể dân cư và giúp trả lời các câu hỏi đánh giá. Chương này gồm ba phần chính

• Tổng quan về chọn mẫu • Các loại mẫu: ngẫu nhiên và phi ngẫu nhiên • Quyết định về kích thước mẫu

355

Tổng quan về việc chọn mẫu ■■ Tổng thể: Tập hợp các đơn vị mà người đánh giá muốn đưa ra các suy diễn ■■ Tổng điều tra: Thu thập số liệu từ một tổng thể mẫu ■■ Mẫu:Tập con của tổng thể để thu thập số liệu

Một khi các nhà đánh giá quyết định thu thập số liệu từ một tổng thể nhất định (ví dụ như người dân, các cơ sở y tế, trường học, hoặc các đơn vị khác) họ phải quyết định xem họ cần thu thập số liệu từ toàn bộ mẫu tổng thể hay chỉ cần thu thập từ một phần của tổng thể. Việc thu thập số liệu từ toàn bộ tổng thể được gọi là tổng điều tra. Việc thu thập số liệu từ một phần của tổng thể được gọi là điều tra mẫu. Nếu toàn bộ tổng thể nhỏ, và chi phí để thu thập số liệu thấp thì tổng điều tra thường được chọn lựa. Khi tổng thể lớn và chi phí thu thập số liệu cao, thì việc điều tra mẫu là cần thiết. Điều tra mẫu đôi khi cũng được sử dụng để giảm bớt gánh nặng cho người trả lời. Mẫu được sử dụng khá thường xuyên trong cuộc sống và công việc. Ví dụ khi bạn cần thực hiện việc kiểm tra máu, thì phòng thí nghiệm chỉ lấy một mẫu máu của bạn chứ không lấy toàn bộ máu để kiểm tra. Các cuộc kiểm tra được thực hiện bằng cách kiểm tra mẫu với giả định rằng những gì được tìm thấy ở trong mẫu phản ánh chính xác những gì có trong máu của bạn. Việc chọn mẫu thường không chỉ được áp dụng cho các nghiên cứu về lượng lớn. Thậm chí khi thực hiện một nghiên cứu về chất, một tuần đi thực địa để đánh giá chương trình được thực hiện trên diện rộng, thì nhà đánh giá cần phải suy nghĩ kỹ xem vùng nào sẽ được lựa chọn để đánh giá. Những sự thiên lệch có thể xuất hiện nếu các cán bộ chương trình, những người thích cho mọi người thấy những hình ảnh tốt đẹp nhất về dự án, lựa chọn địa điểm và đối tượng để nghiên cứu. Những thiên lệch này có thể được loại bỏ bằng việc lựa chọn mẫu một cách ngẫu nhiện. Một sự hiểu biết về các khái niệm cơ bản về mẫu và chọn mẫu có thể cải thiện mức độ người đánh giá phản ánh đúng đắn nhất những gì đang diễn ra trong chương trình.

Các loại mẫu: Ngẫu nhiên và phi ngẫu nhiên ■■ Mẫu ngẫu nhiên: Là mẫu trong đó mỗi đơn vị trong tổng thể có cơ hội được lựa chọn như nhau ■■ Lựa chọn sai lệch: Sự sai lệch trong các bằng chứng xảy ra trong cách thu thập số liệu

356

Khi số liệu không thể được thu thập ở nhiều nơi, với từng người, từng trang trại, thì người đánh giá cần phải lựa chọn một phần của tổng thể, được gọi là mẫu, để nghiên cứu. Mẫu có thể là mẫu ngẫu nhiên hoặc mẫu phi ngẫu nhiên.

Mẫu ngâu nghiên Mẫu ngẫu nhiên là mẫu mà ở đó từng đơn vị trong toàn bộ tổng thể có cơ hội được lựa chọn vào mẫu là bằng nhau. Xổ số là một ví dụ của mẫu ngẫu nhiên vì các số có cơ hội như nhau được lựa chọn như là số chiến thắng. Một lợi ích của chọn mẫu ngâu nhiên là nó loại bỏ những sai lệch do lựa chọn hoặc những méo mó về số liệu từ phương pháp số liệu được thu thập. Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Nếu không tính đến điều này thì lựa chọn thiên vị có thể làm sai lệch các kết luận rút ra từ số liệu. Bởi vì từng quan sát có cùng cơ hội lựa chọn như nhau, nên phải loại bỏ lựa chọn sai lệch. Có nhiều hình thức sai lệch do lựa chọn. Thông thường là sai lệch do tự lựa chọn, mà bản thân nó cũng có vài dạng. Lựa chọn sai lệch xảy ra trong bất cứ chương trình nào mà mọi người tình nguyện và tìm thấy người tình nguyện trả lời khảo sát. Cơ sở của sự sai lệch là người tình nguyện và người trả lời thường chia sẻ những đặc điểm không tìm thấy trong những người không tình nguyện hoặc không trả lời. Một mẫu ngẫu nghiên cần phải đại diện cho toàn bộ mẫu tổng thể. Mẫu đó cho phép người đánh giá có thể khái quát hóa tổng thể từ mẫu được lựa chọn. Một danh sách đầy đủ các quan sát trong một tổng thể cần nghiên cứu, được gọi là khung chọn mẫu, cần phải có để lựa chọn ra mẫu ngẫu nhiên. Mỗi một đơn vị trong tổng thể cần phải được gắn với một số nhận dạng riêng. Các đơn vị sau đó được chọn từ tổng thể bằng phương pháp ngẫu nhiên nào đó như sử dụng bảng số ngẫu nhiên. Đây là một bảng gồm nhiều số ngẫu nhiên, được sắp xếp ngẫu nhiên. Một danh sách các trang web cung cấp các bảng ngẫu nhiên được đưa ra trong danh mục tài liệu tham khảo của chương này. Nhiều người sử dụng các phần mềm chọn số ngẫu nhiên để có được số ngẫu nhiên. Một số chương trình như Stattrek sẽ hỏi người sử dụng là họ cần bao nhiêu số ngẫu nhiêu và số thấp nhất và cao nhất mà họ cần sau đó các số ngẫu nhiên sẽ được chọn lựa. Có 6 loại mẫu ngẫu nhiên:

■■ Khung chọn mẫu: Tập hợp hoàn chỉnh các đơn vị mà từ đó mẫu được lấy ra

• Mẫu ngẫu nhiên đơn giản • Mẫu ngẫu nhiên khoảng • Mẫu có điểm bắt đầu ngẫu nhiên và phân khoảng cách cố định • Mẫu ngẫu nhiên phân tầng • Mẫu theo cụm ngẫu nhiên • Mẫu ngẫu nhiên đa bước Mẫu ngẫu nhiên đơn giản Mẫu ngẫu nhiên đơn giản là phương pháp thường được sử dụng và đơn giản nhất để chọn mẫu ngẫu nhiên. Nó được sử dụng khi mục đích chính là có được các kết luận về một mẫu tổng thể chứ không chỉ là các kết luận về một nhóm nào đó trong tổng thể. Một mẫu ngẫu nhiên đơn giản có thể được chọn lựa từ một mẫu gồm 50-500 người giống nhau hoặc mẫu lớn hơn cho một mẫu tổng thể không giống nhau. Nó có thể có được bằng nhiều cách. Ví dụ, người đánh giá có thể quan sát các hoạt động của một lớp học để đo lường thời gian học sinh bỏ ra để thực hiện các hoạt động học tập thực tiễn bằng cách lựa chọn một cách ngẫu nghiên lớp học, thời gian trong ngày, hoặc ngày trong tuần. Các nhà đánh giá có thể quan

Lựa chọn chiến lược chọn mẫu

357

sát lưu lượng giao thông trên đường từ làng tới một thị trấn thì có thể lựa chọn một cách ngẫu nhiên thời gian, hoăc ngẫu nhiên ngày trong tuần, thời gian trong năm hoặc các điểm quan sát trên đường. Các bước để xây dựng một mẫu ngẫu nhiên đơn giản như sau (Jackson 2008) 1. Xác định tổng thể một cách cẩn thận, chỉ rõ những gì cần phải được đưa vào mẫu và những gì phải loại khỏi mẫu. 2. Tìm hoặc xây dựng một khung chọn mẫu, tức là danh sách tất cả các đơn vị mẫu đã được gắn số nhất định. Các số này có thể không cần phải liên tục (sử dụng các số liên tục) nhưng việc có được mẫu sẽ nhanh chóng hơn nếu khoảng cách giữa các số được gắn với các đơn vị mẫu không quá lớn. 3. Quyết định quy mô mẫu 4. Xác định số chữ số của số lớn nhất cần phải sử dụng để đính vào mẫu 5. Tìm kiếm bảng số ngẫu nhiên 6. Quyết định một cách thức cố định để lựa chọn số (ví dụ từ trên xuống rồi từ cột phải sang trái, và chọn những chữ số đầu tiên) 7. Lựa chọn ngẫu nhiên một điểm bắt đầu trong bảng 8. Chọn số theo cách thức đã được lựa chọn, luôn luôn chọn chữ số như đã nêu trong bước 4. 9. Mỗi khi đọc một chữ số liên quan đến số của một đơn vị trong khung chọn mẫu, đánh dấu đơn vị được chọn đó. 10. Tiếp tục đến khi bạn có được số đơn vị mà bạn cần. 11. Nếu bạn có được số ngẫu nhiên giống như số bạn đã chọn thì bạn chọn bỏ số đó và chọn số tiếp theo. Bạn không thể chọn một đơn vị 2 lần. Ví dụ, một nhóm đánh giá chọn 100 file từ một tổng thể gồm 500. Tất cả các file đã được đánh số liên tục từ 001 đến 500 và xếp theo thứ tự. Nhóm đánh giá có thể sử dụng một chương trình chọn số ngẫu nhiêu với số file cần chọn là 100, số thấp nhất trong chuỗi là 001 và số cao nhất là 500.

■■ Chọn mẫu

theo khoảng cách ngẫu nhiên: Mẫu được chọn bằng cách ngẫu nhiên xác định khoảng cách giữa các số

358

Chọn mẫu theo khoảng cách ngẫu nhiên hoặc bắt đầu một cách ngẫu nhiên với một khoảng cách cố định. Chọn mẫu theo khoảng cách ngẫu nhiên có thể được sử dụng khi một tổng thể chưa được đanh số và có thể khó hoặc mất thời gian để đánh số. Giống như chọn mẫu đơn giản, chọn mẫu theo khoảng ngẫu nhiên sử dụng một bảng số ngẫu nhiên. Tuy nhiên thay vì sử dụng bảng đó để chọn lựa đơn vị vào trong mẫu, thì bảng đó được sử dụng để chọn lựa khoảng cách (việc đếm giữa các số), dựa vào đó để chọn ra mẫu. Việc chọn lựa mẫu theo khoảng ngẫu nhiên được tiến hành theo các bước (Jackson 2008):

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

1. Ước tính số lượng đơn vị của tổng thể 2. Quyết định kích thước mẫu mong muốn 3. Chia số đơn vị định lựa chọn vào mẫu cho số đơn vị trong tổng thể. Làm tròn số đó tới hai số sau dấu phẩy để có được độ dài trung bình của khoảng cách ngẫu nhiên 4. Nhân kết quả ở bước 3 với một phần năm và làm tròn đến hai số sau dấu phẩy để có được “số nhân” 5. Lựa chọn số bắt đầu một cách ngẫu nhiên. 6. Sử dụng một bảng số ngẫu nhiên để lựa chọn một số có một đơn vị, nhân số đó với “số nhân”, sau đó làm tròn đến số gần nhất, đếm từ điểm bắt đầu đến hết số vừa được làm tròn, lựa chọn đơn vị đó vào mẫu. 7. Lấy số ngẫu nhiên có một chữ số tiếp theo, nhân số này với“số nhân”, làm tròn, và đếm cho tới khi đến số vừa được làm tròn, lựa chọn đơn vị đó vào mẫu. 8. Tiếp tục để cho đến hết mẫu cho đến khi bạn đến được điểm bạn bắt đầu 9. CHÚ Ý: Việc quay lại đơn vị bắt đầu là quan trọng để đảm bảo rằng bạn đã đánh dấu từng vị trí nơi bạn rút một file với đầy đủ các đặc điểm nhận dạng để có thể trả file lại đúng chỗ của nó. Một mẫu theo khoảng ngẫu nhiên có thể được chọn bằng cách sử dụng các chương trình máy tính. Đôi khi trong một số trường hợp không thể chọn một mẫu ngẫu nhiên thực sự thì có thể sử dụng kỹ thuật chọn mẫu hệ thống khác, bắt đầu từ một vị trí ngẫu nhiên sau đó tiếp tục chọn các điểm ở vị trí thứ n tiếp theo. Mẫu chọn ngẫu nhiên điểm với khoảng cách cố định còn được gọi là mẫu gần ngẫu nhiên, vì điểm đầu tiên lựa chọn là ngẫu nhiên nhưng khoảng cách giữa các điểm lấy mẫu lại là phi ngẫu nhiên. Tuy kỹ thuật chọn mẫu này đơn giản hơn nhưng nó có những điểm yếu trong một vài trường hợp. Ví dụ, một đánh giá cần phải chọn mẫu các bản ghi hàng ngày của một thị trường mở cửa tất cả các ngày trong tuần. Tổng thể gồm 700 bản ghi (đơn vị) và cỡ mẫu cần thiết là 100 bản ghi. Trong trường hợp này, nếu khoảng cách bạn sử dụng là 7 thì tất cả các bản ghi được chọn vào mẫu đều là của một ngày cố định trong tuần. Và như vậy, mẫu này không đại diện cho tất cả các ngày trong tuần. Để tránh tình trạng này xảy ra, bạn nên sử dụng phương pháp chọn mẫu theo khoảng cách ngẫu nhiên. Một mẫu có điểm xuất phát ngẫu nhiên và khoảng cách cố định được chọn như sau

■■ Mẫu có điểm

xuất phát ngẫu nhiên và khoảng cách cố định: Kỹ thuật chọn mẫu hệ thống trong đó điểm xuất là ngẫu nhiên, sau đó chọn các điểm ở đơn vị thứ

1. Ước lượng số đơn vị trong tổng thể 2. Xác định quy mô mẫu mong muốn. 3. Chia kết quả ở bước 1 cho kết quả ở bước 2 để có được khoảng cách 4. Chọn lựa một điểm xuất phát ngẫu nhiên trong tổng thể.

Lựa chọn chiến lược chọn mẫu

359

5. Bắt đầu đếm cho đến khoảng cách được lựa chọn. Chọn đơn vị đó vào mẫu 6. Tiếp tục đếm và chọn các đơn vị như bước trên cho đến khi quay lại điểm xuất phát

■■ Mẫu ngẫu

nhiên phân tầng: Mẫu trong đó khung chọn mẫu được chia thành hai hoặc nhiều tầng (tổng thể nhỏ) để từ đó lựa chọn ngẫu nhiên người tham gia

■■ Mẫu ngẫu

nhiên phân cụm: Mẫu rút ra ngẫu nhiên để hình thành nhóm/cụm phân tích

Mẫu ngẫu nhiên phân tầng Thông thường, viêc chọn mẫu ngẫu nhiên đơn giản khó có thể đại điện cho tổng thể nếu trong tổng thể có những nhóm đơn vị đặc biệt. Để đảm bảo rằng những nhóm đó có đại diện được chọn lựa vào mẫu, người đánh giá cần phải phân tách tổng thể mẫu thành những nhóm nhỏ, dựa vào những đặc điểm có ý nghĩa như giới, tuổi, dân tộc hoặc đặc tính và chọn mẫu dựa trên các nhóm đó. Cách chọn mẫu này được gọi là chọn mẫu ngẫu nhiên phân tầng. Ví dụ người đánh giá muốn xem xét hiệu quả của một chương trình tác động đối với dân cư sống ở thành thị và nông thôn, phương pháp chọn mẫu đơn giản có thể cho một mẫu đại diện cho cả dân cư ở thành thị và nông thôn để có một phân tích có ý nghĩa. Cách chọn mẫu ngẫu nhiên phân tầng được thực hiện bằng cách chia tổng thể thành những nhóm không trùng lặp nhau (strata) (n1, n2, n3, ... ni, để n1 + n2 + n3 + ... ni, = n) và với từng nhóm nhỏ sử dụng phương pháp chọn mẫu đơn giản để có được mẫu cần nghiên cứu. Mẫu ngẫu nhiên phân theo cụm Mẫu ngẫu nhiên phân cụm là mẫu được lấy từ các cụm của các đơn vị phân tích. Các hộ gia đình thường là một cụm người, còn một thị trấn là một cụm các hộ gia đình. Các cụm phải có tính loại trừ lẫn nhau và phải có mối liên hệ toàn diện. Mẫu cụm thường được sử dụng trong các trường hợp sau. • Không có đầy đủ danh sách tất cả những người trong tổng thể nhưng có danh sách tất cả các cụm mà họ sinh sống • Người đánh giá có thể có một danh sách đầy đủ của toàn bộ tổng thể nhưng các hộ gia đình sống cách nhau quá xa. Việc người đánh giá phải đến các hộ sẽ làm tăng chi phí và thời gian cho việc đánh giá Trong mẫu ngẫu nhiên phân cụm, cụm được lựa chọn một cách ngẫu nhiên và số liệu được thu thập với tất cả đơn vị. Cách chọn mẫu này rất hữu ích nếu các nhóm đơn vị mục tiêu nằm cách xa nhau (hộp 9.1) Điểm yếu của mẫu ngẫu nhiên phân cụm là kết quả ước lượng các tham số (tức là các đặc điểm của cụm) cho toàn bộ tổng thể là ít chính xác hơn là cách cách chọn mẫu ngẫu nhiên đơn giản hoặc chọn mẫu phân tầng với cùng số mẫu như nhau. Có thể các cơ sở y tế lựa chọn trong Hộp phục vụ người bệnh với những đặc điểm kinh tế hay tôn giáo khác với những người không có trong

360

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 9.1 Dùng phương pháp chọn mẫu theo cụm để nhận diện những người bị AIDS cho phỏng vấn

Một nhóm đánh giá phỏng vấn khoảng 200 người bị AIDS sống trong một vùng. Không có danh sách người bị AIDS trong vùng. Để có được danh sách này là rất tốn kém và quá trình tạo ra danh sách cũng có thể dẫn đến những vấn đề về đạo đức và bảo mật thông tin. Tuy nhiên, trong vùng có 25 cơ sở y tế đang hoạt động và người đánh giá biết rằng hẫu hết mỗi cơ sở y tế phục vụ khoảng 50 bệnh nhân AIDS. Do đó họ quyết định lựa chọn ngẫu nhiên các cơ sở y tế và nghiên cứu tất cả các bênh nhân AIDS trong các cơ sở y tế được lấy mẫu. 25 cơ sở y tế phục vụ vùng này trải dài trong một vùng lớn với đường xác tồi tàn. Người đánh biết rằng hầu hết các cơ sở y tế đều phục vụ khoảng 50 bệnh nhân. Do đó, họ lựa chọn ngẫu nhiên 4 trong số 25 sơ sở y tế và nghiên cứu tất cả các bệnh nhân AIDS trong các cơ sở y tế này, cho một mẫu khoảng 200 bệnh nhân.

mẫu. Trong trường hợp này, kết quả thu được từ mẫu sẽ cho các ước lượng sai lệch về toàn bộ tổng thể những người bị nhiễm AIDS được các cơ sở y tế trong vùng điều trị. Chọn mẫu ngâu nhiên đa bước Chọn mẫu ngẫu nhiên đa bước kết hợp hai hay nhiều cách chọn mẫu ngẫu nhiên. Phương pháp này thường bắt đầu bằng chọn cụm ngẫu nhiên sau đó sử dụng phương pháp chọn mẫu ngẫu nhiên đơn giản hay chọn mẫu ngẫu nhiên phân tầng. Trong ví dụ trình bày ở hộp 9.1, chọn mẫu ngẫu nhiên đa bước được bắt đầu bằng việc chọn mẫu theo cụm gồm 8 cơ sở y tế. Sau đó chọn ngẫu nhiên 25 người bệnh từ mỗi cơ sở y tế này. Kỹ thuật này cho một mẫu gồm 200 người bệnh, như trên ví dụ trên, những mẫu này cũng được lựa chọn từ số cơ sở y tế lớn hơn. Có thể kết hợp chọn mẫu ngẫu nhiên và chọn mẫu phi ngẫu nhiên trong khuôn khổ chọn mẫu ngẫu nhiên đa bước. Ví dụ, các cơ sở y tế trong hộp 9.1 có thể được chọn một cách phi ngẫu nhiên và các bệnh nhân AIDS có thể được lựa chọn ngẫu nhiên từ từng cơ sở y tế. Điểm yếu của chọn mẫu đa bước và chọn mẫu theo cụm là kết quả thu được từ các mẫu này có thể không phải là ước lượng cụ thể của tổng thể so với chọn mẫu ngẫu nhiên. Trong ví dụ về các cơ sở chữa bệnh AIDS chỉ có 8 cơ sở y tế được chọn ngẫu nhiên từ 25 cơ sở y tế và 8 cơ sở này không có tính đại diện cho cả 25 cơ sở y tế.

Lựa chọn chiến lược chọn mẫu

■■ Mẫu ngẫu

nhiên đa bước: Là mẫu

trong đó có hai hoặc nhiều hơn phương pháp chọn mẫu ngẫu nhiên

361

Chọn mẫu phi ngẫu nhiên Trong trường hợp không thể thực hiện được viện chọn mẫu ngẫu nhiên, một cách tiếp cận khác có thể được sử dụng. Chọn mẫu phi ngẫu nhiên thường có 3 loại: theo mục đích, theo gợi ý và theo sự tiện lợi. Các kỹ thuật chọn mẫu phi ngẫu nhiên cho phép người đánh giá đưa ra những kết luận không đầy đủ về tổng thể. Cách chọn mẫu này tuy vậy vẫn có thể làm tăng thêm sức mạnh của các đánh giá ■■ Mẫu theo

mục đích: Mẫu trong đó sự lựa chọn được đưa ra theo những tiêu chí đã được xác định trước

■■ Mẫu theo các

trường hợp điển hình (trung vị): Mẫu

theo mục đích trong đó các đơn vị được lấy từ khoảng giữa của phân phối

■■ Mẫu có sự

khác biệt lớn nhất (không đồng nhất): Mẫu theo mục đích trong đó các đơn vị được lấy ra để đại diện cho khoảng của một tham số

■■ Mẫu theo số

lượng định trước: Mẫu theo

mục đích trong đó lựa chọn số cụ thể các loại đơn vị khác nhau

■■ Mẫu theo cực: Mẫu theo mục đích trong đó các đơn vị được lấy từ các điểm phía bên trái và bên phải của một phân phối

362

Chọn mẫu theo mục đích Chọn mẫu theo mục đích (còn được gọi là chọn mẫu chuyên gia), được sử dụng để đáp ứng những mục đích cụ thể của một nghiên cứu. Việc lựa chọn dựa trên những tiêu chí đã được quyết định trước, theo quan sát của người đánh giá, để có được những số liệu cần thiết. Chọn mẫu theo mục đích có các dạng được dùng rộng rãi như sau (Jackson 2008): • Mẫu theo các trường hợp điển hình (trung vị): các đơn vị được lựa chọn vào mẫu thường là các đơn vị điển hình hoặc có các đặc điểm chung nhất của tổng thể mẫu (những đơn vị nằm ở giữa của biểu đồ phân phối hình chuông). Mục đích của nghiên cứu là xem xét kỹ lưỡng các đơn vị điển hình chứ không phải các đơn vị không có tính điển hình. • Mẫu có sự khác biệt lớn nhất: các đơn vị được lựa chọn đại diện cho sự khác biệt lớn nhất về vấn đề được quan tâm. Họ được lấy từ các phần khác nhau của biểu đồ phân phối hình chuông hình chuông. • Mẫu theo số lượng định trước: số hoặc tỷ lệ đơn vị được lựa chọn từ các nhóm khác nhau (hoặc những phần khác nhau trong biểu đồ phân phối) là như nhau. Ví dụ, nhóm đánh giá có thể chọn 5 đơn vị từ phần ba đầu tiên, 5 từ phần ba giữa và 5 đơn vị từ phần ba thấp nhấp trong biểu đồ phân phối. • Chọn mẫu theo các cực: Các đơn vị được lựa chọn từ các cực khác nhau của biểu đồ phân phối, tức là các đơn vị được lựa chọn từ bên phải và bên trái của biểu đồ phân phối. Các mẫu này được sử dụng để nghiên cứu các đơn vị có ít điểm giống nhau nhất. • Mẫu xác nhận và phi xác nhận: Các đơn vị được lựa chọn được từ các đơn vị để thừa nhận hoặc phản bác lại các kiến thức, các nguyên tắc hoặc các lý thuyết được biết đến rộng rãi (ví dụ, mẫu gồm các dự án được chuẩn bị tốt và thành công và các dự án được chuẩn bị tốt nhưng thất bại) Chọn mẫu theo phương pháp quả bóng tuyết Chọn mẫu theo gợi ý (chọn mẫu theo phương pháp quả bóng tuyết). Chọn mẫu quả bóng tuyết (còn được gọi là chọn mẫu theo gợi ý) được sử dụng khi những người đánh giá không biết ai hoặc những gì cần phải đưa vào trong Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

mẫu. Mẫu này được lựa chọn khi không biết ranh giới tổng thể mẫu và cũng không có khung chọn mẫ. Các nhà đánh giá sử dụng cách chọn mẫu này để hỏi người dân đạt các tiêu chuẩn cho nghiên cứu hoặc những ai họ cần phải phỏng vấn. Mẫu quả bóng tuyết có chứa đựng sự sai lệch dựa vào xác nhận mang tính tham khảo. Một ví dụ về mẫu này được miêu tả trong Nambiar (2008). Do đó cần cẩn trọng khi sử dụng. Chọn mẫu theo sự thuận tiện Trong cách chọn mẫu thuận tiện này, việc lựa chọn mẫu dựa trên sự thuận tiện cho người đánh giá. Các ví dụ phổ biến của chọn mẫu theo sự thuận tiện trong đánh giá các dự án phát triển gồm: • Khảo sát các vùng dự án nằm gần sân bay nhất • Phỏng vấn các nhà quản lý dự án vào các ngày người đánh giá xuống địa bàn • Quan sát các khu vực do cán bộ dự án chọn • Nói chuyện với đại diện tổ chức phi chính phủ và các lãnh đạo địa phương (Jackson 2008) Cách chọn mẫu này thường rất yếu để đưa ra các kết luận từ thực tiễn hoặc các khuynh hướng từ số liệu bởi vì không có cách nào để biết được sự khác biệt của các mẫu này với tổng thể mẫu.

■■ Mẫu xác

nhận và phi xác nhận: Mẫu

theo mục đích trong đó các đơn vị được lấy ra từ những trường hợp đã biết để khẳng định hoặc đối ngược với kiến thức, nguyên tắc hoặc lý thuyết

■■ Mẫu dạng

quả bóng tuyết: Mẫu được rút ra bằng cách hỏi những người được phỏng vấn xem nên phỏng vấn những ai khác nữa

■■ Chọn Mẫu

thuận tiện:

Mẫu được chọn trên cơ sở sự thuận tiện cho người đánh giá

Điểm yếu của chọn mẫu phi ngẫu nhiên Mặc dù cách chọn mẫu phi ngẫu nhiên được sử dụng nhiều trong việc đánh giá các dự án phát triển, nhưng cách tiếp cận này cũng có những điểm yếu như sau • Các nhà hoạch định chính sách thường coi chọn mẫu phi ngẫu nhiên ít tin cậy hơn chọn mẫu ngẫu nhiên • Do chọn mẫu phi ngẫu nhiên không đáp ứng các giả thiết về tính đại diện thống kê, các phép thử về độ tin cậy thống kê và các tính toán về khoảng tin cậy không được sử dụng với mẫu phi ngẫu nhiên • Mẫu phi ngẫu nhiên thường bị sai lệch. Không có chọn mẫu ngẫu nhiên, thì không thể suy rộng cho cả tổng thể mẫu. Tuy nhiên, số liệu có thể hữu ích và có thể là tốt nhất trong những hoàn cảnh bắt buộc.

Chọn mẫu kết hợp Chọn mẫu ngẫu nhiên và chọn mẫu phi ngẫu nhiên có thể kết hợp được với nhau. Một nhóm đánh giá thu thập thông tin về trường học có thể chọn hai Lựa chọn chiến lược chọn mẫu

363

trường ở các cộng đồng dân cư nghèo nhất và hai trường ở các cộng đồng giàu nhất. Từ bốn trường này, họ có thể lựa chọn các học sinh một cách ngẫu nhiên để đưa vào mẫu.

Xác định kích thước mẫu

■■ Kích thước mẫu: Số quan sát trong một mẫu

■■ Sai số chọn

mẫu (hoặc độ lệch của sai số): Uốc

lượng của sai số do quan sát mẫu chứ không phải tổng thể ■■ Khoảng tin cậy: Khoảng trong đó giá trị của tổng thể thực nằm trong một xác suất nhất định

364

Thậm chí khi sử dụng mẫu ngẫu nhiên, vẫn có thể có những sai số; mẫu có thể khác với tổng thể. Thống kê được sử dụng để tính xác suất kết quả từ mẫu có khả năng đại diện cho tổng thể. Các nhà thống kê đã phát triển các lý thuyết và các công thức cho các ước lượng này và quyết định kích thước mẫu cần thiết. Phần này sẽ tập trung vào giải thích các khái niệm cơ bản về phân tích thống kế và việc sử dụng các khái niệm này trong việc thiết kế chương trình đánh giá. Trong việc lựa chọn kích thước mẫu, các nhà đánh giá cần phải quyết định mức độ tin cậy mà kết quả từ phân tích mẫu có thể làm đại diện cho toàn bộ tổng thể. Mức độ tin cậy thường được sử dụng là 95 phần trăm. Độ tin cậy 95 phần trăm có nghĩa là trong 100 lần, 95 lần những kết quả từ mẫu phản ánh chính xác tổng thể. Nếu nhóm đánh giá chọn độ tin cậy là 90 phần trăm, thì họ có thể chọn số mẫu ít hơn. Nếu họ muốn có độ tin cậy là 99 phần trăm thì họ cần mẫu lớn hơn. Sau khi chọn được kích thước mẫu, nhóm đánh giá cần phải quyết định mức độ chính xác họ cần cho các ước lượng. Không giống như sự sai lệch, sai số chọn mẫu có thể tính toán được. Nó là sự khác biệt trung bình giữa các ước lượng cho tất cả các mẫu được lựa chọn và giá trị thu được nếu tổng thể mẫu đã được nghiên cứu. Đây có thể được gọi là sai số chọn mẫu hoặc là độ lệch của sai số. Một điều tra có thể báo cáo rằng 48 phần trăm số đơn vị trong mẫu chấp nhận tăng thuế và 52 phần trăm thì phản đối với sai số chọn mẫu là +/- 3 điểm phần trăm. Điều này có nghĩa là nếu điều tra toàn bộ, con số chấp nhận tăng thuế có thể là 45-51 phần trăm (48 +/- 3) và khoảng 49-55 phần trăm (52 +/-3) không chấp nhận tăng thuế. +/- 3 điểm phần trăm này được gọi là khoảng tin cậy (không nên nhầm lẫn với khái niệm độ tin cậy). Chú ý rằng hai khoảng tin tin cậy này có thể trùng nhau một phần. Điều này có nghĩa là một người có thể không chắc chắn với độ tin cậy 95 phần trăm là nhiều người phản đối tăng thuế hơn là chấp nhận tăng thuế. Kết quả thu được từ mẫu là quá nhỏ để có thể kết luận một cách chắc chắn. Kích thước mẫu là hàm của tổng thể, độ tin cậy mong muốn và độ chính xác mong muốn. Một cỡ mẫu phù hợp có thể có hai cách để xác định. Thứ nhất là sử dụng công thức. Cách thứ hai là sử dụng một bảng tính trước số mẫu cần thiết với một mức độ tin cậy nhất định (bảng 9.1). Tổng thể càng nhỏ thì tỷ lệ giữa mẫu và tổng thể sẽ càng lớn. Nếu tổng thể gồm 300 đơn vị thì cần phải chọn mẫu gồm 169 đơn vị, tức là hơn một nửa tổng Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 9.1 Kích thước mẫu nhỏ nhất ở khoảng tin cậy 95 phần trăm với độ lệch sai số 5 phần trăm

Mẫu thổng thể

Kích thước mẫu

Mẫu tổng thể

Kích thước mẫu

550

226

600

234

700

248

800

260

900

269

100

1.000

278

150

108

1.200

291

200

132

1.300

297

250

152

1.500

306

300

169

3.000

341

350

184

6.000

361

400

196

9.000

368

450

207

50.000

381

500

217

100.000+

385

Nguồn: Krejcie và Morgan 1970.

thể, để có được độ tin cậy là 95 phần trăm. Một tổng thể gồm 900 đơn vị thì cỡ mẫu sẽ là 269 đơn vị, tức là nhỏ hơn một phần ba tổng thể. Nếu tổng thể gồm 100.000 đơn vị thì cỡ mẫu sẽ là 385, tức là khoảng 0,385 phần trăm tổng dân số. Khi các đơn vị trong mẫu (như quận/huyện, trường học, giáo viên, cha mẹ học sinh hoặc người dân) tham dự một cách tự nguyện vào một đợt đánh giá, không có gì đảm bảo rằng người đánh giá có thể tìm được những người này (thậm chí là với khung chọn mẫu cập nhật nhất), để có thể trả lời yêu cầu tham dự vào đánh giá, hoặc là trả lời một cách chắc chắn rằng họ sẽ tham dự vào đánh giá. Do vậy, nhiều nhà đánh giá đã chọn số mẫu lớn hơn số mẫu họ cần, tức là họ chọn nhiều đơn vị vào mẫu hơn là số đơn vị họ cần để cuối cùng họ có thể có được số mẫu như mong muốn. Tuy vậy, khi tỷ lệ tham dự thực tế cao hơn tỷ lệ tham dự dự kiến là 10 phần trăm, khả năng xuất hiện sai lệch trong trả lời sẽ cao và cần phải phân tích sâu (xem Chương Công cụ thu thập số liệu). Bảng 9.2 cho thấy số kích cỡ mẫu cho một tổng thể rất lớn (khoảng trên một triệu hoặc nhiều hơn). Nhiều điều tra cấp nhà nước sử dụng mẫu khoảng 1.100 với độ lệch sai số là +/-3 điểm phần trăm với khoảng tin cậy 95 phần trăm. Các công cụ có trên mạng Internet xác định kích cỡ tổng thể mẫu cần thiết để đạt được khoảng tin cậy và độ lệch sai số nhất định. Đường link dẫn đến với nguồn số liệu được đưa ra ở phần cuối của chương này.

Lựa chọn chiến lược chọn mẫu

■■ Tỷ lệ trả lời: Tỷ lệ phần trăm mẫu dự kiến để thu thập số liệu thực tế

365

Bảng 9.2 Kích cỡ mẫu với tổng thể từ 1 triệu trở lên

Khoảng tin cậy Độ lệch sai số (%)

99%

95%

±1

16,576

9,604

6,765

±2

4,144

2,401

1,691

±3

1,848

1,067

752

±5

666

384

271

Nguồn: Jackson 2007.

Tóm lại: • Độ chính xác và cụ thể được cải thiện bằng cách tăng kích thước mẫu. Để tăng tính chính xác và giảm sai sót của độ lệch sai số, tăng kích thước mẫu • Tiêu chuẩn cần đạt là khoảng tin cậy 95 phần trăm (độ lệch sai số là +/-5 điểm phần trăm) • Độ lệch sai số càng lớn, tính chính xác càng thấp • Tổng thể càng nhỏ, tỷ lệ giữa kích cỡ mẫu và số đơn vị trong tổng thể càng lớn Nếu một dự án đánh giá yêu cầu một chiến lược chọn mẫu đa cấp phức tạp, người đánh giá có thể xem xét khả năng được hỗ trợ. Hiệp hội Thống kê Hoa Kỳ có một danh sách các nhà tư vấn thống kê. Hiệp hội các nhà tư vấn thống kê thường hỗ trợ quản lý số liệu, phân tích số liệu và tư vấn về luận văn và các chương trình đào tạo về thống kê; HyperStart trực tuyến cung cấp kết nối tới nhiều nguồn khác và cũng hỗ trợ phân tích thống kê. Những trang web này xuất hiện ngay cuối chương này.

Tóm tắt Việc thu thập thông tin từ tất cả các nguồn khác nhau là không thể hoặc không thực tế. Chính vì vậy, những người đánh giá dự án thường thu thập thông tin từ các mẫu từ tổng thể. Có hai cách để chọn mẫu: chọn mẫu ngẫu nhiên và chọn mẫu phi ngẫu nhiên. Mẫu chọn ngẫu nhiên là mẫu mà từng đơn vị trong tổng thể có cơ hội được chọn vào mẫu như nhau. Chọn mẫu ngẫu nhiên để xem xét một phần của tổng thể rồi sau đó suy rộng kết quả cho cho toàn bộ tổng thể.

366

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Có 6 loại mẫu ngẫu nhiên: • • • • • •

mẫu ngẫu nhiên đơn giản mẫu theo khoảng ngẫu nhiên mẫu chọn từ một điểm ngẫu nhiên với khoảng cố định mẫu ngẫu nhiên phân tầng mẫu ngẫu nhiên theo nhóm mẫu ngẫu nhiên đa bước Có ba kiểu chọn mẫu phi ngẫu nhiên

• Chọn mẫu theo mục đích • Chọn mẫu quả bóng tuyết (giới thiệu) • Chọn mẫu theo sự thuận tiện Việc đánh giá không nên sử dụng một kiểu chọn mẫu duy nhất. Nhóm đánh giá có thể sử dụng kết hợp nhiều kiểu chọn mẫu khác nhau. Quy mô mẫu là một hàm của mẫu tổng thể, độ tin cậy mong muốn, và độ chính xác mong muốn. Thậm chí việc sử dụng một mẫu ngẫu nhiên vẫn có thể xảy ra các trường hợp sai số. Các nhà đánh giá sử dụng các phương pháp thống kê khác nhau để quyết định các độ tin cậy và khoảng tin cậy.

Lựa chọn chiến lược chọn mẫu

367

Thực hành Chương 9 Bài tập ứng dụng 9.1: Chọn mẫu Địa phương bạn chọn có tổng số dân là 300, tất cả đều được đăng ký tại địa phương. Mỗi người đều có một số nhận diện duy nhất. Bạn có thời gian và nguồn lực để lựa chọn ra một mẫu gồm 50 người. Bạn muốn suy rộng từ mẫu cho cả tổng thể. Điều này có thực hiện được không? Cách chọn mẫu nào bạn sẽ sử dụng? Giải thích rõ vì sao bạn lại chọn cách chọn mẫu đó.

Bài tập ứng dụng 9.2: Sử dụng bảng số ngẫu nhiên Một làng nhỏ bạn đang nghiên cứu có 90 hộ gia đình. Bạn có một dãy số nhà được đánh dấu cho từng hộ gia đình mà từ dãy số đó có thể chọn một mẫu ngẫu nhiên gồm 10 hộ gia đình. Bạn sử dụng bảng dưới đây như thế nào để có được mẫu đó?

368

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bài tập ứng dụng 9.3: Chiến lược chọn mẫu Làm việc theo nhóm nhỏ nếu có thể, chọn cách thức phù hợp hoặc phương pháp thống kê phù hợp cho từng câu hỏi cần đánh giá dưới đây. Sau đó quyết định chiến lược chọn lựa mẫu bạn cần sử dụng cho từng trường hợp và giải thích vì sao bạn chọn chiến lược đó. 1. Chất lượng đường làng ở vùng Tây Bắc Campuchia ngay sau mùa mưa kết thúc như thế nào? 2. Tỷ lệ trẻ em ở Tamil Nadu bị sốt sốt rét ít nhất 1 lần trước 10 tuổi? 3. Đặc tính nhân khẩu của những người đến khám bệnh tại các cơ sở y tế nông thôn Sri Lanka là gì?

Lựa chọn chiến lược chọn mẫu

369

Tài liệu tham khảo Easton, V. J., and J. H. McColl. 2007. Statistics Glossary: Sampling. http://www.stats.gla.ac.uk/steps/glossary/sampling.html. Guba, E., and Y. S. Lincoln. 1989. Fourth Generation Evaluation. Thousand Oaks, CA: Sage Publications. Henry, G. T. 1990. Practical Sampling. Thousand Oaks, CA: Sage Publications. Jackson, Gregg B. 2007. Sampling for IEG Managers. Presentation at George Washington University, Washington, DC, December 18. ———. 2008. Sampling in Development Evaluations. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June 30 and July 1. Kish, L. 1995. Survey Sampling. New York: John Wiley & Sons. Krejcie, R. V., and D. W. Morgan. 1970. “Determining Sample Size for Research Activities.” Educational and Psychological Measurement 30: 607–10. Kumar, R. 1999. Research Methodology: A Step-by-Step Guide for Beginners. Thousand Oaks, CA: Sage Publications. Laws, S., with C. Harper and R. Marcus 2003. Research for Development: A Practical Guide. Thousand Oaks, CA: Sage Publications. Levy, P., and S. Lemeshaw. 1999. Sampling of Populations. 3rd ed. New York: John Wiley & Sons. Lipsey, M. W. 1990. Design Sensitivity: Statistical Power for Experimental Research. Thousand Oaks, CA: Sage Publications. Lohr, S. 1998. Sampling: Design and Analysis. Pacific Grove, CA: Duxbury Press. Nambiar, Devaki. 2008. “The Delhi Snowball: Sampling Escapades in Urban India.” Paper presented at the Annual Meeting of the International Communication Association, Montreal, May 22–26. Neuman, W. Lawrence. 2006. Social Research Methods: Qualitative and Quantitative Approaches. 6th ed. Boston: Allyn and Bacon. Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. Thousand Oaks, CA: Sage Publications. Scheyvens, R., and D. Storey, eds. 2003. Development Fieldwork: A Practical Guide. Thousand Oaks, CA: Sage Publications. Stattrek. http://stattrek.com/tables/randon.asph. Tryfos, P. 1996. Sampling Methods for Applied Research. New York: John Wiley & Sons.

370

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Trang Web Alliance of Statistics Consultants. http://www.statisticstutors.com/#statistical-analysis. American Statistical Association Directory. http://www.amstat.org/consultant directory/index.cfm. Dr. Drott’s Random Sampler. http://drott.cis.drexel.edu/sample/content.html. HyperStat Online. “Chapter 11: Power.” http://davidmlane.com/hyperstat/power .html. HyperStat Online: Help with Statistics: Statistical Consultants and Tutors. http://davidmlane.com/hyperstat/consultants.html. Probability Sampling. http://www.socialresearchmethods.net/kb/sampprob.htm. Power Analysis. http://www.statsoft.com/textbook/stpowan.html. Research Randomizer. http://www.randomizer.org. StatPages.net. Web Pages that Perform Statistical Calculations, http://www.Stat Pages.net. Survey Research Methods Section. http://www.fas.harvard.edu/~stats/survey-soft/ survey-soft.html. The Survey System: Sample Size Calculator. http://www.surveysystem.com/sscalc .htm. UCLA Statistics Calculator: http://calculators.stat.ucla.edu.

Lựa chọn chiến lược chọn mẫu

371

CHƯƠNG 10

Lập kế hoạch và tiến hành phân tích số liệu Sau khi số liệu được thu thập, người đánh giá cần phân tích để tìm ra ý nghĩa của số liệu. Quá trình này bắt đầu với chiến lược phân tích số liệu. Số liệu định tính và định lượng yêu cầu các chiến lược và kỹ thuật phân tích khác nhau. Chương này có bốn phần chính

• • • •

Chiến lược phân tích số liệu Phân tích số liệu định tính Phân tích số liệu định lượng Liên kết số liệu định tính và số liệu định lượng

373

Chiến lược phân tích số liệu Phát triển một chiến lược phân tích số liệu là một phần quan trọng của quá trình lập kế hoạch. Các nhà đánh giá cần phải phát hiện các lựa chọn cho phân tích số liệu, những điểm mạnh và điểm yếu của từng lựa chọn khi họ lập kế hoạch đánh giá dự án. Trong ma trận thiết kế, mục tiêu cần phải cụ thể và chỉ ra những phân tích và biểu đồ nào sẽ được xây dựng sau khi thu thập được số liệu. Một sai lầm thường gặp là thu thập rất nhiều số liệu nhưng những số liệu này không bao giờ được sử dụng. Bất kể việc thiết kế chương trình đánh giá nhấn mạnh vào số liệu định lượng hay định tính, việc thu thập số liệu và phân tích số liệu theo cách nào cũng bị trùng lắp. Tại thời điểm thu thập số liệu, một phần nhỏ thời gian sẽ được dành cho phân tích số liệu, đặc biệt trong trường hợp một điều tra thử được tiến hành. Trong quá trình đánh giá tiếp theo, thời gian dành cho phân tích số liệu sẽ nhiều hơn và dành cho thu thập số liệu sẽ ít hơn. Số liệu định tính thường phù hợp trong một số trường hợp, ví dụ các phỏng vấn theo một cấu trúc nhất định sẽ được thực hiện để có được những hiểu biết sâu hơn về một chương trình can thiệp. Số liệu định tính được sử dụng để phân tích các câu trả lời cho các câu hỏi như: • Những khó khăn mà cán bộ dự án gặp phải là gì? • Vì sao những người tham gia vào dự án lại từ bỏ sớm? • Kinh nghiệm mà những người tham gia có được sau khi thực hiện dự án là gì? ■■ Phân tích số

liệu định tính: quá trình

dùng để phân tích thông tin thu thập được dưới dạng phi số như các bản viết tay, bản gỡ băng ghi âm các cuộc phỏng vấn bán cấu trúc hoặc các tài liệu và các phương tiện truyền thông để hiểu và diễn giải các hành vì và tình huống; quá trình này liên quan đến việc xác định các chủ đề.

374

Phân tích số liệu định lượng được sử dụng để trả lời các câu hỏi mà các công cụ thu thập số liệu có cấu trúc như các cuộc khảo sát được sử dụng. Số liệu được sử dụng để trả lời các câu hỏi như: • Điểm trung bình cho các nhóm tham gia vào dự án là như thế nào? • Người tham gia dự án đánh giá sự thích hợp của dự án, theo thang điểm từ 0-5, như thế nào? • Sự biến động trong câu trả lời là gì? • Sự khác biệt giữa các nhóm có ý nghĩa thống kê hay không?

Phân tích số liệu định tính Phân tích số liệu định tính được sử dụng để rút ra các kết luận từ những số liệu không phải là số được thu thập như là một phần của đánh giá. Phân tích các quan sát bán cấu trúc, các cuộc phỏng vấn có kết thúc mở, các tài liệu, và các ghi chép ở các cuộc phỏng vấn nhóm đều cần thiết cho kỹ thuật phân tích số liệu định tính. Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phân tích số liệu định tính được bắt đầu ngay từ lúc nhóm đánh giá làm việc tại hiện trường khi có những hiểu biết sâu hơn về dự án. Một phần của công việc tại hiện trường là ghi chép và theo dõi những hiểu biết này. Số liệu và phân tích số liệu có thể trùng lắp nên người đánh giá phải chú ý để không cho những diễn giải ban đầu hạn chế khả năng phân tích (bảng 10.1). Như Patton (2002, trang 436) đã viết: Việc thu thập số liệu dựa vào điều tra, các bài đánh giá chuẩn hóa, các thiết kế thử nghiệm, ranh giới giữa thu thập số liệu và phân tích số liệu là rõ ràng. Nhưng quy trình và bản chất tự nhiên của nghiên cứu làm cho sự khác biệt này mất đi tính tuyệt đối. Trên thực địa, các ý tưởng về các hướng nghiên cứu sẽ nảy sinh. Các mô hình nghiên cứu sẽ hình thành. Những đề tài nghiên cứu mới có thể phát sinh. Các giả thuyết được hình thành và có thể là điểm bắt đầu của các chuyến đi thực địa sau đó. Trong khi những bước đầu tiên của nghiên cứu tại thực địa thường có tính tổng quan và được tiến hành theo những chỉ dẫn của số liệu, các bước sau của thực địa mang đến những kết luận về việc thu thập thông tin – làm sâu hơn các vấn đề và xác nhận (hoặc phi xác nhận) các mô hình, các giả thiết đã có hình thành lên. Bảng 10.1 Gợi ý cho việc thu thập và phân tích số liệu định tính Nhiệm vụ

Thu thập số liệu.

Gợi ý

• Ghi chép chính xác và đầy đủ • Viết bình luận các cuộc phỏng vấn, ấn tượng, ghi chép từ các thảo luận nhóm ngay sau khi thông tin được thu thập • Thường xuyên so sánh các ghi chép trong quá trình thu thập thông tin • Gặp gỡ nhóm đánh giá thường xuyên để so sánh các ghi chép, xác định chủ đề, và quan sát

Tóm tắt số liệu.

• Viết một trang tóm tắt ngay sau khi kết thúc một cuộc phỏng vấn quan trọng hoặc thảo luận nhóm • Bao gồm toàn bộ những vấn đề chính • Xác định những vấn đề hay, có tính miêu tả hay quan trọng hoặc những thông tin thu thập được • Xác định các câu hỏi mới cần phải trả lời

Sử dụng công cụ để giám sát

• Thiết lập một file riêng cho những cảm nhận của bạn trong quá trình nghiên cứu, bao gồm cảm nhận, phản ứng. • Chi chép lại các ý tưởng khi nó nảy sinh • Giữ một file các trích dẫn từ số liệu thu thập được để sử dụng cho việc viết báo cáo

Lưu trữ dữ liệu

• Đảm bảo rằng tất cả số liệu ở một chỗ • Sao lưu tất cả số liệu đã thu thập, để bản gốc ở một file chính • Sử dụng các bản sao để viết, cắt và dán khi cần

Nguồn: Tác giả.

Lập kế hoạch và tiến hành phân tích số liệu

375

Đôi lúc, những thiếu hụt hoặc những sự không rõ ràng có thể tìm thấy trong quá trình phân tích, nếu chương trình, ngân sách và các nguồn lực khác cho phép, người điều tra có thể trở lại địa bàn để thu thập thêm số liệu để làm rõ những câu trả lời hoặc để có những quan sát mới. Trong việc thu thập số liệu, thành viên của một nhóm có thể gặp gỡ trao đổi với nhau hàng ngày hay hàng tuần để thảo luận những vấn đề mới nổi, hoặc điều chỉnh các điều khoản/ thực hiện những thay đổi nếu được đề cập.

Ghi chép cẩn thận

■■ Đánh giá đạc tam giác: Sử dụng ba hoặc nhiều hơn bộ số liệu, nguồn và loại thông tin hoặc phương pháp phân tích để làm rõ và bổ sung các đánh giá bằng các kết quả kiểm tra chéo

Khi thu thập số liệu định tính, việc thu được tất cả các quan sát một cách chính xác là rất quan trọng; việc ghi chép là việc cần thiết. Điều này có nghĩa là phải chú ý đến những gì mà mọi người nói và cách họ nói. Trong khi ghi chép, người đánh giá không nên biên dịch những gì nghe được. Thay vào đó, họ cần phải ghi lại những gì họ quan sát, kể cả những ngôn ngữ cử chỉ, và tất cả những gì có liên quan trong quá trình thu thập số liệu (ví dụ những ngắt quãng trong quá trình phỏng vấn). Các nhà đánh giá cần phải thu được những suy nghĩ tức thời, những phản ứng tức thời và những diễn giải và phải ghi chúng thành những phần khác nhau. Người điều tra cũng cần dành thời gian ngay sau khi kết thúc một cuộc phỏng vấn, quan sát, vẽ bàn đồ hoặc tiến hành thảo luận nhóm cho người đánh giá để xem xét, đánh giá và ghi chép vào sổ ghi chép để sau đó họ có thể có những đánh giá ban đầu. Điều này rất quan trọng bởi vì sẽ rất khó khăn và mất thời gian cho người đánh giá nếu họ phải nhớ và tìm hiểu lại những gì họ ghi chép sau một ngày nếu những gì họ ghi chép là không rõ ràng. Thậm chí nếu một phần thảo luận nào đó được ghi âm, người điều tra cũng cần phải bỏ ra một chút thời gian ghi chép lại những gì đã diễn ra ngay khi phần đó kết thúc. Việc này sẽ giúp người đánh giá có thể tiết kiệm nhiều giờ để nghe lại hoặc xem lại phần đó. Đánh giá đạc tam giác là việc sử dụng ba hay nhiều học thuyết, nguồn hoặc loại thông tin, hoặc kiểu phân tích để làm rõ và chứng minh một đánh giá nào đó bằng các kiểm tra lại các thông tin chéo. Sử dụng đánh giá chéo rất có ý nghĩa trong phân tích định tính. Xem xét các ví dụ về việc sử dụng các nguồn số liệu sau: • • • •

Phỏng vấn, thảo luận nhóm và bảng hỏi Bảng hỏi, số liệu hiện có và phỏng vấn chuyên gia Quan sát, báo cáo chương trình và bản đồ Phỏng vấn, nhật ký ghi chép và số liệu hiện có.

Việc kết hợp các kết quả từ bất kỳ ba nguồn nào cũng tạo ra những bằng chứng về một chủ đề. 376

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tổ chức số liệu định tính cho phân tích Sau khi thu thập số liệu đính tính, người điều tra sẽ có rất nhiều trang ghi chép và diễn giải các quan sát, các cuộc phỏng vấn và các nguồn số liệu khác. Việc tổ chức và biến các thông tin này trở nên có ý nghĩa là một công việc đầy thách thức. Có nhiều tài liệu đã được viết ra để chỉ dẫn cách tổ chức số liệu. Việc ghi chép lại quá trình này là quan trọng để chỉ ra giá trị của các kết quả thu được (IDRC 2008). Để bắt đầu tổ chức số liệu, người điều tra cần • Kiểm tra để đảm bảo rằng tất cả số liệu là đầy đủ • Sao chép số liệu thành nhiều bản • Tổ chức số liệu thành những file riêng biệt (IDRC 2008) Người đánh giá có thể tổ chức tệp dữ liệu theo nhiều cách khác nhau, sử dụng các bản sao cứng hoặc file điện tử, hoặc có thể là những tài liệu đã được sao chụp điện tử. Một số người còn tạo ra bốn file, file thứ nhất họ sắp xếp số liệu theo thứ tự, file thứ hai họ giữ các file phân tích hoặc các ghi chép hàng ngày, file thứ ba họ giữ các ghi chép có liên quan đến phương pháp luận của nghiên cứu, và file thứ tư giữ tất cả các ghi chép (IDRC, 2008). Patton (2002) chỉ ra những lựa chọn khác cho việc tổ chức và báo cáo các số liệu định tính. Patton nhắc các nhà đánh giá rằng việc phân tích số liệu cần phải bắt nguồn từ các câu hỏi đánh giá. Việc lựa chọn cách tổ chức số liệu cần phải đảm bảo có thể trả lời các câu hỏi đánh giá. • Cách tiếp cận trình bày sắp xếp số liệu theo thứ tự thời gian xuôi (bắt đầy câu chuyện từ lúc bắt đầu tới lúc kết thúc) hoặc ngược lại (bắt đầu từ điểm kết thúc rồi quay lại lúc bắt đầu để mô tả kết quả đã đạt được như thế nào). • Nghiên cứu trường hợp đưa ra những thông tin về người hoặc nhóm nào đó, các nguyên liệu chính thường được trình bày theo thứ tự xuất hiện. • Khuôn khổ phân tích bao gồm việc mô tả quá trình, minh họa các vấn đề chính (thường tương đương với các câu hỏi đánh giá chính), tổ chức câu hỏi và thảo luận những khái niệm chính như lạnh đạo so với những người đi theo

Đọc và Mã hóa Dữ liệu Định tính Việc xác định và sử dụng các nhóm để tổ chức thông tin là những bước ban đầu. Bước tiếp theo là đọc lướt dữ liệu. Sau vài lần đọc dữ liệu, người đánh giá cần bắt đầu phải nhận ra những chủ đề có thể khai thác từ dữ liệu. Patton (2002) đã cho thấy, việc có được những chủ đề trọng tâm giống như là việc xây dựng một chỉ dẫn cho một cuốn sách hoặc đặt tên cho một hệ thống tài liệu. Ông gợi ý rằng các nhà đánh giá phải xem xét xem những tài liệu có những chủ đề lớn gì và đặt tên cho từng chủ đề. Một khi dữ liệu đã được sắp xếp theo chủ đề, chúng cần phải được mã hóa (Hộp 10.1). Mã hóa là việc “dán nhãn” cho dữ Lập kế hoạch và tiến hành phân tích số liệu

377

Hộp 10.1 Ví dụ về mã hóa

Dưới đây là những ví dụ về mã hóa cho các thông tin thu thập được từ một dự án đánh giá một chương trình giáo dục. P là viết tắt cho người tham gia dự án. S là viết tắt của nhân viên dự án Mã: Ps Re Prog (phản ứng của người tham gia về dự án) Mã: Ps Re Ps (phản ứng của người tham gia về những người tham gia khác) Mã: Ob PP (quan sát về sự tương tác giữa những người tham gia dự án) Mã: Ob SS (quan sát sự tương tác của các nhân viên) Mã: Ob SP (quan sát về sự tương tác giữa nhân viên dự án và người tham gia) Mã: Phil (tuyên bố về triết lý của chương trình) Mã: Prc (ví dụ về tiền trình dự án) Mã: P/outs (tác động của dự án đền người tham gia, kết quả) Mã: S-G (tạo lập các nhóm nhỏ) Mã: GPrc (quá trình nhóm) Mã: C! (mâu thuẫn) Mã: C-PP (mâu thuẫn giữa những người tham gia dự án) Mã: C-SP (mẫu thuẫn giữa nhân viên và người tham gia dự án) Mã: C-SS (mâu thuẫn giữa nhân viên dự án) Nếu việc mã hóa được tiến hành thủ công, các từ viết tắt được viết ở lề ngay cạnh đoạn thông tin. Toàn bộ bảng mã được thiết kế cho từng file chứa tất cả những đoạn mã giống nhau Nguồn: Patton 2002.

■■ Phân tích nội

dung:

Một loại phân tích hệ thống dữ liệu định tính nhằm xác định và ghi chép thông qua mã sự xuất hiện của một số từ khóa, cụm từ khóa, hoặc khái niệm nhất định trong văn bản, bài nói hoặc các phương tiện truyền thông khác

378

liệu một cách hiệu quả và các thiết kế cách truy xuất dữ liệu. Nó nâng cao khả năng và đẩy mạnh việc phân tích (Miles và Huberman 1994, trang 65). Mã hóa là một quá trình lặp đi lặp lại. Khi tạo ra một danh sách các mã hóa trước khi đi thực địa là rất tốt, người đánh giá cần phải xem xét, đọc lại, định nghĩa lại, thêm và đôi khi phải loại bỏ những mã hóa trong quá trình đánh giá vì các ghi chép ở thực địa cho nhiều bằng chứng thực chứng hơn.

Tiến hành phân tích nội dung Phân tích dữ liệu định tính còn được gọi là phân tích nội dung. Nó chỉ ra và mã hóa sự hiện diện của một số từ, cụm từ và khái niệm trong từng câu nói, từng bài phát biểu hoặc các loại phương tiện truyền thông khác. Nó là cách tiếp cận hệ thống để chỉ ra và tổng kết các thông điệp ẩn trong dữ liệu.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phân tích nội dung liên quan đến phân tích các cuốn sách, các tờ rơi, các bài phát biểu, các tin tức và các tài liệu được viết khác, các bài phát biểu hoặc các phương tiện nghe nhìn. Việc này cũng được sử dụng với các nhật ký cũng như các trả lời mang tính định tính trong các cuộc điều tra, phỏng vấn và thảo luận nhóm. Phân tích nội dung cũng được dùng để kiểm tra sách giáo khoa của học sinh. Để xem xét các sách này có trình bày các kiến thức cần thiết để học một môn nhất định nào đó không, tách rời tài liệu ở những mức độ phù hợp và giới thiệu chúng theo cách thống nhất với môi trường trẻ sống và học. Phân tích sâu hơn có thể tìm hiểu xem liệu các cuốn sách đó có truyền đạt những dẫn chứng về chính trị hay bị sai lệch giải thích lịch sử. Phân tích nội dung thường bắt đầu với việc mã hóa dữ liệu. Quá trình này được sử dụng với giả định rằng những từ và cụm từ được sử dụng nhiều nhất phản ánh những vấn đề quan trọng có liên quan. VÌ vậy, phân tích nội dung thường được bắt đầu với tần suất xuất hiện từ, việc đo lường các khoảng cách (độ rộng của các cột trên bao), thời lượng sóng (với radio và truyền hình), và tần suất của các từ quan trọng. Phân tích nội dung còn vượt qua cả việc đếm từ, một người có thể phân tích nội dung, từ đó có thể mã hóa và tổ chức thành các nhóm có thể quản lý được. Những nhóm mã hóa mới này được xem xét cho tần suất trả lời và mối quan hệ (Hộp 10.2). Phân tích nội dung có thể được phân thành 2 loại: phân tích khái niệm và phân tích mối quan hệ. Một phân tích khái niệm xem xét tần suất xuất hiện của một số từ khóa trong một văn bản. Phân tích mối quan hệ vượt qua việc

Hộp 10.2 Sử dụng phân tích nội dung để xác định lợi ích của bơm tay

Để biết được dân làng quan niệm thế nào về việc sử dụng bơm tay để bơm nước, các nhà đánh giá đã phỏng vấn hơn 100 dân làng. Họ phân tích số liệu thu được bằng quá trình sau:

■■ Phân tích

khái niệm: là phương pháp phân tích xem xét tần suất xuất hiện của một cụm từ trong một văn bản ■■ Phân tích mối quan hệ: là phân tích vượt qua việc quyết định tần suất đề tìm hiểu mối quan hệ giữa các khái niệm

1. Đọc tất cả các câu trả lời và viết lại tất cả các câu trả lời. 2. Lựa chọn phương án trả lời được nhiều người lựa chọn, đưa ra một số giải thích ngắn gọn. Nhóm các phương án được trả lời nhiều nhất thành một nhóm. Nếu, ví dụ, phương án trả lời gồm “bơm tay dễ sử dụng hơn nhiều” và “nước thì luôn sạch và bơm chưa bao giờ bị hỏng”, người đánh giá có thể đưa ra các nhóm sau: dễ sử dụng, cung cấp nước sach, tin cậy 3. Đảm bảo rằng tắt cả các nhóm đều loại trừ nhau và người giải mã có thể xác định được câu trả lời nào thuộc nhóm nào 4. Kết thúc việc mã hóa 5. Lập bảng tần suất cho từng phương án trả lời. Nguồn: Narayan 1996.

Lập kế hoạch và tiến hành phân tích số liệu

379

xem xét tần suất để xem xét mối quan hệ giữa các khái niệm được đưa ra (Busch và đồng sự 2005). Ví dụ, phân tích khái niệm có thể xác định những loại thông qua danh sách sau: • ngôn ngữ trong chủ đề (cái gì được trợ giúp và cái gì cần các thành viên khác làm sáng tỏ) • sự tin tưởng và tưởng tượng về chủ đề được chia sẻ, trợ giúp và thách thức • lập luận của người tham gia xem quan điểm của họ có là thách thức không • nguồn thông tin mà người tham gia gợi nhớ lại để làm sáng tỏ quan điểm và kinh nghiệm và phản ứng của những người khác • lập luận, nguồn và loại thông tin khuyến khích thay đổi quan điểm và giải thích lại kinh nghiệm • giọng điệu, ngôn ngữ cơ thể và mức độ cảm xúc khi thành viên tham gia để cập đến một vấn đề khác (Catterall vàMaclaran 1997). Theo Kripendorff (2004), phân tích nội dung cần phải chỉ ra sáu câu hỏi: • Số liệu nào sẽ được phân tích? • Số liệu được định nghĩa thế nào? • Nhóm nào trong tổng thể được sử dụng để thu thập số liệu? • Bối cảnh của dữ liệu được phân tích • Ranh giới của phân tích là gì? • Mục tiêu của các kết luận là gì? Khi những câu hỏi đó đã được trả lời, việc lựa chọn sẽ có thể được quyết định dựa trên sự liên quan của số liệu. Neuendorf (2006) đã đưa ra một biểu đồ miêu tả quá trình phân tích nội dung. Quá trình này bắt đầu bằng việc xem xét những lý thuyết và những lý do cơ bản cho việc phân tích. Phân tích nội dung cũng là một thách thức. Các nhà đánh giá cần phải nhận thức được những vấn đề có thể xảy ra trong việc sử dụng cách phân tích này (bảng 10.2). Phân tích nội dung với sự trợ giúp của máy tính Nếu máy tính được sử dụng để thực hiện phân tích nội dung thì tất cả thông tin phải được mã hóa để máy tính có thể đọc được. Các nhà đánh giá có thể hoặc là đánh máy, scan hoặc là làm lại các file dữ liệu. Nhiều chương trình máy tính có thể giúp sắp xếp lại số liệu thu thập được từ quan sát, phỏng vấn hoặc thảo luận nhóm. Những chương trình này bao gồm các tác nghiệp như quản lý dữ liệu bằng từ khóa, xử lý văn bản, và các chương trình làm chỉ dẫn tự động. Một số chương trình phân tích có thể sử dụng với các phương tiện truyền thông khác.

380

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 10.1 Các bước nghiên cứu phân tích nội dung

1. Lý thuyết và tính cấp bách: Nội dung nào và vì sao? Bạn có câu hỏi nghiên cứu không? Giả thiết nào?

2. Quyết định về khái niệm hóa: những biến nào được sử dụng trong nghiên cứu? những biến đó được đinh nghĩa thế nào?

3. Các thước đo: Các thước đo phải tương ứng với khái niệm (sự hợp lý về nội dung) Đơn vị của số liệu sử dụng là gì? Có thể có nhiều hơn một đơn vị. Các biến được đo lường phải đủ rộng để có thể phân tách thành các nhóm không loại trừ lẫn nhau và phản ánh đầy đủ mọi khía cạnh. Một kế hoạch mã hóa phản ánh toàn bộ những đo lường được sử dụng cần phải thiết lập. Cả việc kiểm tra tính hợp lý về hình thức và hợp lý về nội dung cần phải được đánh giá tại điểm này. Mã hóa thủ công 4a. Kế hoạch mã hóa: Xây dựng: (1) sổ tay mã hóa (với tất cả các biến được giải thích đầy đủ) (2) Mẫu mã hóa

Mã hóa bằng máy tính 4b. Kế hoạch mã hóa: Với một phân tích nội dung sử dụng máy tính, bạn vẫn cần một sổ tay mã hóa - gồm một từ điển và cách áp dụng chúng. Bạn có thể sử dụng từ điển để định nghĩa các từ chính. Khi tạo ra một từ điển gốc, đảm bảo việc đầu tiên là tạo ra một danh sách tần suất từ một nội dung mẫu và kiểm tra các từ và cụm từ chính

5. Chọn mẫu: có một điều tra tổng thể về các nội dung cần nghiên cứu không (nếu có, chuyển sang bước 6). Làm thể nào để chọn ngẫu nhiên một phần của nội dung (bằng thời gian, vấn đề, trang, kênh hoặc các phương tiện khác)

6. Đào tạo và kiểm nghiệm ban đầu: Trong giai đoạn đào tạo, lúc những người có trách nhiệm phải mã hóa số liệu làm việc với nhau, tìm hiểu xem họ có đồng ý với cách mã hóa biến không. Sau đó, trong một thử nghiệm về mã hóa độc lập, cần ghi chép độ tin cậy của từng biến. Tại từng giai đoạn, sửa sổ tay mã hóa hoặc mẫu mã hóa nều cần thiết

7a. Mã hóa (bằng tay) sử dụng ít nhất hai người mã hóa để tạo tính tin cậy giữa những người mã hóa. Mã hóa cần phải làm một cách độc lập

7b. Mã hóa (bằng máy tính) Sử dụng từ điển để kiểm tra mẫu xem có thể tạo ra bảng tần suất cho từng từ điển hay không. Sử dụng biện pháp kiểm tra độ chính xác tại một số.

8. Kiểm tra độ chính xác lần cuối: Xác định độ chính xác cho từng biến

9. Lập bảng và báo cáo: Có thể sử dụng bằng nhiều cách khác nhau. Các số liệu và xác suất có thể trình bày riêng hoặc có thể sử dụng các bảng chéo. Xu hướng cũng có thể được sử dụng Nguồn: Neuendorf 2006.

381

Bảng 10.2 Điểm mạnh và những thách thức của phân tích nội dung Điểm mạnh

Thách thức

Xem xét trực tiếp các cuộc nói chuyện sử dụng các ghi chép và do vậy có được những mặt trọng tâm của tác động qua lại mang tính xã hội

Có thể mất rất nhiều thời gian

Cho phép các hoạt động có tính định tính và định lượng

Thường thiếu nền tảng lý thuyết hoặc cố gắng có được những kết luận có ý nghĩa về mối quan hệ và những tác động được đề cập trong nghiên cứu là quá lỏng lẻo

Có thể cung cấp các hiểu biết qua thời gian có giá trị về lịch sử thông qua phân tích nội dung Có thể được sử dụng cho các mục đích như phát triển hệ thống chuyên gia (vì kiến thức và các nguyên tắc có thể được mã hóa bằng các cách rõ ràng về mối quan hệ giữa các khái niệm) Là một cách để phân tích các mối quan hệ qua lại Cung cấp các thông tin chi tiết về các hình thức suy nghĩ phức tạp và ngôn ngữ sử dụng của con người

Có thể gặp lỗi, nhất là khi phân tích mối quan hệ được sử dụng để có được sự giải thích sâu xa và phức tạp hơn

Thường ngắn gọn, nhất là khi đề cập đến những nội dung phức tạp Thường chỉ biểu hiện tần suất của các chữ Thường bỏ qua bối cảnh tạo ra những nội dung đó, cũng như tình trạng của sự vật sau khi nội dung đã được viết ra Có thể khó mã hóa để sử dụng máy tính

Nguồn: Busch và cộng sự 2005.

■■ Phần mềm

phân tích dữ liệu với sự trợ giúp của máy tính (CAQDAS): Sử dụng máy tính để tìm, tổ chức, phân loại và giải thích dữ liệu

Phần mềm phân tích nội dung với sự trợ giúp của máy tính (CAQDAS)— hay còn được gọi là phần mềm phân tích dữ liệu định tính (phần mềm QDAS hay QDA) – tìm kiếm, tổ chức, phân nhóm, và chú thích các dữ liệu dưới dạng văn bản hoặc hình ảnh (hộp 10.3). Các chương trình loại này thường cho phép người đánh giá sơ đồ hóa mối quan hệ và khung lý thuyết cũng như giúp họ xây dựng các lý thuyết. Có thể kể tên các phần mềm này như Ethnograph, Qualpro, Hyperqual, Atlas-ti, QSR’s N6 (trước đây là NUD*IST) và NVivo 8, AnSWR, HyperRESEARCH, Qualrus, và những phần mềm khác. Trên website của Hiệp hội các nhà đánh giá Hoa Kỳ có một phần về các tài nguyên hữu ích cho người đánh giá. Một trong số những tài nguyên đó là phần “các phần mềm phân tích dữ liệu định tính”. Trong phần này có miêu tả tóm tắt các phần mềm, kể cả giá và các loại phương tiện truyền thông mà phần mềm này có thể xử lý cũng như địa chỉ website của phần mềm đó. Phần miêu tả tóm tắt cũng cho biết phần mềm đó có miến phí hoặc được sử dụng thử một thời gian không. Phân tích dữ liệu định tính bằng tay Porteous, Sheldrick và Stewart (1997) đã đưa ra những gợi ý có giá trị về việc phân tích dữ liệu định tính bằng phương pháp thủ công. Tất nhiên, nếu một lượng lớn dữ liệu được thu thập thì phần mềm xử lý dữ liệu vẫn được dùng nhiều hơn. Việc phân tích dữ liệu được bắt đầu khi có được những vật sau: • Một số bút đánh dấu (các mầu khác nhau cho các câu hỏi đánh giá khác nhau)

382

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 10.3 Các phương pháp mã hóa dữ liệu bằng phần mềm

Những gợi ý sau là hữu ích trong việc sử dụng các phần mềm phân tích dữ liệu: • Các bản ghi nhớ là cách đơn giản nhất để giải thích dữ liệu. Một file ghi chép có thể giúp người sử dụng có thể gắn nó vào dữ liệu. • Mã hóa tự do cho phép người đánh giá có thể đánh dấu và gắn một mã vào một phần của dữ liệu • Có nhiều cách mã hóa tự động. Cách thường được dùng nhất là có một chương trình máy tính tự động mã hóa các kết quả tìm kiếm. Dữ liệu cũng có thể tự động được ghi nhớ dựa trên những câu hỏi đã được định trước • Các gợi ý cho việc mã hóa tự động là một tính năng mới của Qualrus, theo đó một thuật toán gợi ý mã dựa trên những mã trước đó đã sử dụng • Các phần mềm N6, HyperRESEARCH, và Qualrus có thể mã hóa các loại hình ảnh, âm thanh. Những chương trình này cho phép mã hóa các file âm thanh hoặc video, hoặc hình ảnh. Một số phần mềm khác cho phép liên kết với các file âm thanh và hình ảnh bên ngoài. Nguồn: Khoa Khoa học Xã hội Đại học Loughborough 2007.

Hình 10.2 Biểu trắng cho phân tích dữ liệu định tính

Chủ đề/số tài liệu tham khảo

Trích dẫn

Phát hiện

Nguồn: Porteous, Sheldrick, và Stewart 1997.

Lập kế hoạch và tiến hành phân tích số liệu

383

• Một biểu các câu hỏi đánh giá khác nhau (hình 10.2) • Dữ liệu, bao gồm các ghi chép, bản gỡ băng ghi âm, và băng ghi âm của các cuộc phỏng vấn hoặc thảo luận nhóm • Các công cụ cho bảng hỏi tự điền, mẫu đăng ký, quan sát và các phân tích biểu đồ. Sử dụng ít nhất một trang giấy cho từng câu hỏi đánh giá. Ghi chép các câu hỏi đánh giá ở trên cùng của tờ giấy. Với từng câu hỏi, chọn một mã để đánh dấu dữ liệu. Nó có thể là màu của bút hoặc là dùng bút đánh dấu, hoặc nó có thể là một ký hiệu. Ghi lại mầu hoặc ký hiệu bạn sử dụng ở khoảng trống ở trên từng tờ. Để điền vào bảng, xem qua tất cả các ghi chép và các tài liệu thu thập được và mã hóa thông tin bằng cách sử dụng các bước sau: • Đọc tất cả các tài liệu, ghi chép và bản gỡ băng từ các ghi âm. • Sử dụng các bút đánh dấu có màu khác nhau để đánh dấu từng phần có liên quan đến các câu hỏi đánh giá. • Quay trở lại từ đầu và đọc lại tất cả các số liệu để xem lọc ra các câu trả lời cho câu hỏi đánh giá đầu tiên. • Trong cột “chủ đề” của bảng, ghi lại các ý kiến, ý tưởng hoặc suy nghĩ có liên quan đến câu hỏi đánh giá đầu tiên. • Để một khoảng trống giữa các “chủ đề”, có thể ghi lại mỗi ý kiến, ý tưởng hay suy nghĩ ở trên được đề cập bao nhiêu lần. • Ghi lại tất cả số lần mối mối ý kiến, ý tưởng hay suy nghĩ được đề cập. Những phần còn lại của bảng được ghi lại theo cách sau (hình 10.3): • Từ các ghi chép, lấy ra những câu hay ý tưởng đại diện nhất cho từng chủ đề. • Có những kết luận ban đầu về các điểm được nói đến và viết chúng vào cột “kết quả”. • Tổ chức các “kết quả” theo loại hoặc nhóm. • Sử dụng số lần trả lời (N = x) để có được sự chính xác và cảm nhận về tầm quan trọng. Khi một người sử dụng thẻ ghi chép khi phân tích dữ liệu định tính, mục đích là để tổng kết lại những gì đã nhìn thấy hoặc nghe từ các từ, cụm từ hoặc các chủ đề hoặc mô hình. Một chủ đề mới có thể xuất hiện trước hoặc sau và các tài liệu được phân tích đầu tiên có thể cần phải được đọc lại nếu một chủ đề đã được đề cập trước đó nhưng lại bị bỏ qua vì tính quan trọng của nó không rõ ràng từ ban đầu. Khi xác định các từ, vấn đề, chủ đề, hoặc mô hình, đánh dấu những vấn đề đó ở tài liệu để có thể tìm lại khi cần tìm những câu trích hoặc bối cảnh. Ban đầu có thể việc này mất nhiều thời gian, tuy nhiên với kinh nghiệm có được, việc tìm kiếm những thông tin có vẻ quan trọng trở nên nhanh hơn. 384

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Topic/number of references

Topic/number ofchỉnh references Hình 10.3 Một bảng hoàn về phân tích dữ liệu định tính Parents on topics Chủ đề/ Số tài decide liệu tham khảo Parents decide on topics Cha mẹ

Cover several topics per session Học một vài chủtopics đề trong tiết học Cover several pertừng session

Not enough time spent on each topic Không đủ thờitime gianspent cho từng chủ đề Not enough on each topic

Quotations Findings Quotations Findings ITrích think the There was Phát a strong feeling that dẫn hiện I think the There was a strong feeling that process of parents should be more process of trình quyết parents should be more Tôi nghĩ quá định Nhiều người cho rằng cha mẹ deciding would involved in the choice of topics. sẽ có giá trị. giaofnhiều hơn nữa deciding would involved incần thetham choice topics. be valuable. trong việc lựa chọn vấn đề. be valuable. Many participants (38 of 52 Sometimes we Many participants (38there of 52rằng (38 người Sometimes Thỉnh thoảng tôi phát Nhiều người cho thought just got into we achúnginterviewed) interviewed) thought there just into hiệngot raand một sốa vấn nhưngbe more trong 52 người should time for tham dự) cần topic then it đề lại hếttime giờ then hoặc sangbe more nhiều time thời gian should for hơn cho thảo topic and it discussion. was to chuyển những chủtođề khác mất. luận. discussion. was time leave or move to leave to thời Chúngortôimove cần nhiều Nhiều người tham gia (38 trong something else. something gian hơn đểelse. thảo luận số 52 người được phỏng vấn) We need more nghĩ rằng cần dành nhiều thời We need more time to discuss. gian hơn cho các thảo luận time to discuss.

Nguồn: Porteous, Sheldrick, và Stewart 1997.

Thông thường, một số ý kiến tuy quan trong nhưng lại ít được nhắc đến và ý kiến này cần phải được ghi chép lại. Sử dụng đánh giá của bạn nhưng cần nêu rõ rằng ý kiến đó chỉ nhận được một vài người đề cập. Trên trang web của đại học Tây Anh đã nói về phân tích số liệu như sau: Cuộc sống thường ít khi được đóng gói một cách đẹp đẽ trong một gói nhỏ. Luôn luôn có những ngõ cụt, những ý kiến cụt lủn hoặc không có liên quan gì với nhau. Luôn có những cám dỗ trong nghiên cứu định tính rằng bỏ qua những nhóm bất thường và không phù hợp với lý thuyết. Những sự bất thường này giống như việc bạn chỉ thấy một chiếc tất ở trong tủ của bạn, được gọi là hiện tượng túi tất. Tất cả các dự án nghiên cứu định tính sẽ có những sự bất thường không tuân theo một quy luật nào, vì vậy thay vì loại bỏ nó, cần phải xem xét nó như là một phần của tổng thể.

Diễn giải dữ liệu định tính Người đánh giá mô tả dữ liệu rồi diễn giải nó. Trước khi dữ liệu định tính được phân tích, nó cần phải được trình bày một cách rõ ràng, theo cách mô tả. Diễn giải dữ liệu nghĩa là tìm ra được những mối qua lại hai chiều, đưa ra các kết luận cùng với ý nghĩa của nó, và giải thích những trường hợp không đúng với phân tích. Nhiều người sợ sử dụng thống kê. Do vậy họ chọn sử dụng phương pháp nghiên cứu định tính và coi nó như là sự lựa chọn dễ dàng hơn. Trên thực tế, phân tích dữ liệu định tính tốt cần nhiều thứ hơn là một con mắt quan sát sự vật hiện tượng. Phân tích dữ liệu định tính có thể mất nhiều sức lực và thời gian, nhưng nó có thể cho biết những điều sâu xa về hành vi hay quá trình không dễ dàng thu được từ số liệu định lượng. Người đánh giá cần phải lên kế hoạch sao cho họ để ra thời gian cần thiết để làm việc này tốt. Lập kế hoạch và tiến hành phân tích số liệu

385

■■ Phân tích

trực giác: Phân tích dữ liệu liên quan đến phát hiện mô hình, chủ đề và phân nhóm

■■ Phân tích suy diễn: Phân tích dữ liệu sử dụng các khuôn khổ có sẵn

Phương pháp phân tích định tính có thể là các công cụ hiệu quả để xem xét các mối qua lại (một tài liệu rất tốt với hướng dẫn từng bước cho việc tiến hành phân tích số liệu định tính là tài liệu của Miles và Huberman 1994). Patton (2002) miêu tả 2 kiểu phân tích dữ liệu định tính: trực giác và suy diễn. Phân tích trực giác là việc phát hiện các mô hình, các chủ đề và các nhóm trong dữ liệu. Phân tích suy diễn là việc phân tích dữ liệu dựa trên khuôn khổ có sẵn. Thường thì dữ liệu định tính được phân tích theo phương pháp trực giác ở giai đoạn đầu (để xác định các nhóm, mô hình hoặc chủ đề). Một khi các nhóm, chủ đề hay mô hình đã được thiết lập, phân tích suy diễn sẽ được sử dụng. Giai đoạn này liên quan đế việc kiểm tra và xác nhận tính chính xác và phù hợp của phân tích trực giác. Có một số vấn đề về sự thiên lệch khi làm việc với dữ liệu định tính (nếu không dùng máy tính cho phân tích nội dung); mọi người thường nhìn thấy những gì họ muốn nhìn và bỏ qua những gì không phù hợp với kỳ vọng của họ. Điều này (nhưng không phải lúc nào cũng sửa chữa được sai sót này) đòi hỏi cần có thêm một người nữa thực hiện việc phân tích dữ liệu. Bằng việc so sánh hai kết quả phân tích, người đánh giá có thể phát hiện ra vấn đề mới hoặc tìm ra cách khác để hiểu dữ liệu. Khi báo cáo dữ liệu định tính, việc chỉ ra mỗi ý kiến được đề cập/đưa ra bao nhiêu lần không phải lúc nào cũng có thể làm được hoặc không phải lúc nào cũng có ý nghĩa. Bởi vì tất cả những người tham dự không được hỏi cùng một câu hỏi, do vậy rất khó có thể biết người trả lời nghĩ thế nào về câu hỏi. Cách khác để kiểm soát sự thiên lệch này là có hai người mã hóa xem xét cùng một tài liệu và mã chúng theo chủ đề. Nếu người đánh giá được đào tạo tốt và các định nghĩa được sử dụng và hệ thống đánh giá rõ ràng và được thống nhất từ trước, cả hai người đánh giá sẽ có cùng tỷ lệ chấp nhận với cách họ đánh giá tài liệu. Một tỷ lệ tương quan cao giữa cách đánh giá của những người khác nhau sẽ là một chỉ số cho độ tin cậy. Một tỷ lệ tương quan thấp chỉ ra rằng người đánh giá phải xem xét lại các định nghĩa, hệ thống đánh giá, hoặc cả hai. Bảng 10.3 tóm tắt những gợi ý cho việc tổ chức và diễn giải số liệu định tính.

Chuẩn bị báo cáo với dữ liệu định tính Nhiều đánh giá sử dụng cả dữ liệu định tính và số liệu định lượng. Nếu sử dụng cả hai cách tiếp cận (định tính và định lượng), người đánh giá cần phải tìm ra những lập luận làm rõ và minh họa một số số liệu định lượng. Ví dụ, nếu 55 phần trăm số người không thất vọng với việc tiếp cận can thiệp, việc đưa ra các bình luận về việc này (bằng cách sử dụng dữ liệu định tính) sẽ miêu tả tốt hơn nguồn gốc của sự thất vọng này. Người đánh giá sẽ muốn có được các câu nói có thể trích dẫn được. Các lời phát biểu của những người tham dự sẽ được lựa chọn vì họ rõ ràng chỉ ra một

386

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 10.3 Tổ chức và lý giải dữ liệu định tính Nhiệm vụ

Xây dựng các nhóm.

Gợi ý

• Sử dụng các chủ đề của nghiên cứu, ý tưởng, từ ngữ hoặc cụm từ. • Sử dụng các nhóm đủ lớn để nắm bắt được toàn bộ các quan điểm nhưng không quá lớn để mất ý nghĩa • Tạo lập các nhóm khác khác nhau.

Mã hóa các nhóm.

• Xây dựng kế hoạch mã hóa • Xây dựng một quy tắc ra quyết định cho việc mã hóa là mã hóa phải tổng hợp nhưng rõ ràng • Đào tạo người mã hóa sử dụng kế hoạch mã hóa

Kiểm tra độ tin • Tiến hành một kiểm tra thử với một mẫu nhỏ cậy khi sử • Kiểm tra độ tin cậy chéo – những người khác nhau có cách nhìn dụng nhiều giống nhau cho một vật giống nhau, và đưa ra các kết quả giống hơn một quan nhau không? sát. • Nếu không, chỉnh sửa và tiến hành kiểm tra thử lần nữa Phân tích số liệu.

• Sắp xếp số liệu • Xem xét việc để số liệu vào các thẻ • Xem xét để số liệu vào bảng • Xem xét việc sử dụng máy tính để phân tích dữ liệu • Sắp xếp số liệu nhìn đáy xu hướng hoặc các chủ đề

Diễn giải số liệu.

• Nếu có thể, có một nhóm gồm ít nhất hai người xem xét và gộp nhóm số liệu để so sánh kết quả và xem xét và chỉnh sửa nếu kết quả là khác nhau • Tìm kiếm ý nghĩa và tầm quan trọng từ dữ liệu • Kết nối các vấn đề và nhóm với quá trình của dự án, các kết quả của dự án hoặc cả hai. Liệu có chủ đề nào nổi lên khi những người trả lời thảo luận? Liệu một số chủ đề có liên quan hơn khi những người trả lời thảo luận về kết quả của dự án. Tìm kiếm những cách giải thích khác và những cách khác để hiểu dữ liệu

Chia sẻ và thẩm định thông tin.

• Thường xuyên chia sẻ dữ liệu với những người cung cấp thông tin chính

Viết báo cáo.

• Miêu tả chủ để chính (cách tiếp cận chủ đề) hoặc giới thiệu các tài liệu khi nó phản ảnh những gì đã xảy ra qua thời gian (cách tiếp cận lịch sử tự nhiên)

• Có những người xem xét bản thảo với mục đích để thu thập thông tin, các câu hỏi và các cách khác để diễn giải dữ liệu và những nguồn dữ liệu khác

• Ghi nhớ những quan điểm hay thậm chí những quan điểm này chỉ được một hoặc hai người đề cập đến • Luôn tập trung; với một lượng lớn dữ liệu, rất dễ bị sót dữ liệu • Chỉ đưa vào những thông tin quan trọng. Tự hỏi xem những thông tin đó có trả lời các câu hỏi đánh giá hay những thông tin đó có ích cho các bên hữu quan không. Nguồn: Áp dụng của Porteous 2005.

Lập kế hoạch và tiến hành phân tích số liệu

387

chủ đề hay một điểm quan trọng cần nhấn mạnh. Có quyền lực trong các câu này: rất nhiều người đọc báo cáo sẽ nhớ các lời trích dẫn, chứ không phải là một trang miêu tả. Để tránh những thiên lệch, người đánh giá cần phải thêm vào các câu trích dẫn miêu tả một chuỗi các vấn đề hay quan niệm về cùng một chủ đề.

Phân tích số liệu định lượng Phân tích số liệu định lượng là việc tóm tắt lại các thông tin về số được thu thập trong quá trình đánh giá. Người đánh giá nhập số liệu vào các file máy tính để tổ chức lại số liệu hoặc sử dụng các phần mềm số liệu để phân tích số liệu đã được nhập.

Mã hóa số liệu Số liệu định lượng cần phải được mã hóa để phân tích nhưng việc mã hóa số liệu định lượng dễ hơn so với mã hóa số liệu định tính. Mã hóa số liệu định lượng được sử dụng khi số liệu cần phải được chuyển thành các câu trả lời bằng số. Mã hóa cho phép số liệu được xử lý theo cách có ý nghĩa. Số liệu như chiều cao, cân nặng tuổi hoặc số ngày không đến trường không cần phải mã hóa vì chúng đã là số. Các loại số liệu khác như có trả lời hay không với câu hỏi xem người trả lời có tài khoản ngân hàng không – cần phải được mã hóa để phân tích. Một người đánh giá có thể sử dụng 1 cho câu trả lời có và 2 cho câu trả lời không. Một số loại số liệu được thu thập theo khoảng hay theo ý kiến. Ví dụ với câu hỏi “bạn thuộc nhóm tuổi nào dưới đây”. Mỗi nhóm tuổi có thể được mã thành các con số (ví dụ, dưới 18 tuổi mã là 1, từ 18-25 là 2, từ 26-35 là 3 và cứ tiếp tục). Một vài gợi ý cho việc lưu trữ số liệu định lượng có thể là có ích (xem hộp 10.4)

Hộp 10.4 Gợi ý cho lưu trữ số liệu định lượng

• Luôn luôn chắc chắn rằng các biến số đã được gán nhãn • Đảm bảo rằng từ điển số liệu đã được cập nhật sau mỗi lần thay đổi với nhãn số liệu hay cách mã hóa câu trả lời. Việc ghi chép tốt là rất quan trọng. • Luôn có một bản sao bộ số liệu để dùng trong trường hợp khẩn cấp. Sử dụng các số liệu tạm thời và số liệu cố định một cách khôn khéo. Cần phải tính toán xem những gì cần phải làm trong trường hợp bị mất số liệu • Luôn luôn giữ một bản sao của số liệu gốc. Nguồn: Sáng kiên đo lường chăm sóc sức khỏe trẻ em và vị thành niên 2009..

388

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Mỗi một người hoặc một bản ghi được gọi là “trường hợp”. Các file số liệu được làm từ các biến và các giá trị cho từng biến. Các biến là các vấn đề cần phải được phân tích. Việc người đánh giá chỉ ra từng biến được mã hóa thế nào và được đưa vào nhóm nào là rất quan trọng. Các mã hóa cần phải được ghi chép trong sổ tay mã hóa (đôi lúc được gọi là từ điển số liệu). Người mã hóa cần phải được tiếp cận với sổ tay này và được đào tạo để sử dụng chúng.

Làm sạch số liệu Làm sạch số liệu là quá trình loại bỏ những sai sót hoặc những mâu thuẫn trong số liệu để cải thiện chất lượng của số liệu (Rahm và Do 2000). Số liệu với những sai sót hoặc mâu thuẫn thường được coi là số liệu rác. Theo ước tính, một nửa số thời gian dành cho phân tích số liệu là để làm sạch số liệu. Thường ở thời điểm này việc làm sạch số liệu không được đánh giá đúng mức. Một khi số liệu đã được làm sạch, việc phân tích sẽ dễ dàng hơn nhiều (P.A.N.D.A. 2000). Một số nguồn gốc của sai sót thường gặp trong số liệu là:

■■ Làm sạch số liệu: Quá trình loại bỏ sai số hoặc mâu thuẫn trong số liệu để cải thiện chất lượng số liệu

• Thiếu số liệu • Không phù hợp hoặc câu trả lời trống • Lỗi đánh máy khi nhập liệu • Số liệu không được định dạng đúng • Nhầm cột (số liệu bị nhập vào cột bên cạnh) • Số liệu giả • Sai sót do làm mã • Sai sót trong quá trình phỏng vấn và lượng hóa • Số liệu cũ (P.A.N.D.A. 2000) Trong một số trường hợp, người trả lời không biết câu trả lời cho một câu hỏi hoặc từ chối trả lời. Trong một số trường hợp khác người trả lời bỏ qua câu trả lời. Một cách thông dụng để xử lý các trường hợp này là: • Không biết được mã là 8 • Từ chối trả lời hoặc bỏ trống số liệu được mã với số 9 Ví dụ, nếu số liệu do nhiều người nhập, một người thì sử dụng toàn bộ chữ hoa, người khác thì nhập chữ số đầu tiên hoặc họ bằng chữ hoa và các chữ khác là chữ thường, người khác nhập từng địa chỉ vào từng cột, người thì nhập địa chỉ vào một cột duy nhất…Thêm nữa số liệu lại được nhập với số liệu đã được đánh giá 10 năm trước. Và bảng hỏi lần này có nhiều câu hỏi hơn bảng hỏi trước đó. Như vậy, trong số liệu cũ sẽ có nhiều câu không trả lời cho nhiều câu hỏi.

Lập kế hoạch và tiến hành phân tích số liệu

389

Một vấn đề với số liệu là nhiều người trả lời từ chối trả lời một số câu hỏi. Người phỏng vấn thì tìm cách đoán xem làm thế nào để giải quyết vần đề này. Tuy vậy mỗi người phỏng vấn lại có cách khác nhau để mã hóa. Trong trường hợp người được phỏng vấn được hỏi lựa chọn từ 1 đến 5 (ví dụ 2,5). Một vài điều tra viên thì làm tròn đến hàng đơn vị, một vài người làm tròn đến số có 2 dấu phẩy trong khi một số người thì coi đấy là số liệu bị mất. Tất cả những vấn đề này được gây ra bởi lỗi của con người trong quá trình trả lời hoặc nhập liệu. Có thể tối thiểu hóa nhiều vấn đề nếu có những nguyên tắc cho mã hóa số liệu và nghiêm túc thực hiện các nguyên tắc này. Tuy nhiên, trong quá trình nhập số liệu vẫn luôn có lỗi. Chính vì lý do này nên cần kiểm tra việc nhập số liệu. Người đánh giá cũng cần thiết lập các nguyên tắc mã hóa việc trả lời và theo dõi so sánh với câu hỏi gốc (nhất là khi phát hiện ra lỗi). Người đánh giá cũng cần kiểm tra số liệu và cố gắng làm sạch số liệu. Một khi số liệu đã được nhập, số liệu cần phải được xem xét và làm sạch trước khi nó được phân tích. Ví dụ số liệu về trường học. Với các câu hỏi về giới tính, chỉ có 2 lựa chọn là 1 cho con trai và 2 cho con gái. Nếu có một cách trả lời khác thì cách trả lời đó phải được coi là sai số. Với câu hỏi về kiểm tra thể chất, các mã hóa có thể là 1 cho có, 2 cho không, 8 cho không biết, và 9 là bỏ sót hoặc từ chối trả lời. Những câu trả lời khác được coi là sai số. Để xác định được những sai số về số liệu chiều cao, người đánh giá có thể tìm những quan sát có chiều cao lớn hơn hoặc thấp hơn nhiều so với mức trung bình ở độ tuổi đó (O’Rourke 2000b). Nếu có nghi ngờ về tính chính xác của số liệu, người đánh giá có thể phải kiểm tra lại số liệu gốc để xác định lại tính chính xác (hoặc không chính xác) của số liệu đã được mã hóa. (Chapman 2005) đã chỉ ra các nguyên tắc và các phương pháp để làm sạch số liệu. Chapman cũng đưa ra một số tài nguyên trên mạng và các phần mềm. Khi những đề cập đến vấn đề liên quan đến sự đa dạng sinh học, phần lớn các số liệu đều là chung chung. Để diễn tả kỹ thuật làm sạch số liệu, Cody đã soạn một bài tập. Đường liên kết tới bài tập này được nêu ở cuối chương.) Các chương trình phần mềm cũng có thể giúp ích trong việc làm sạch số liệu. Các chương trình kiểm tra các số liệu quá khác biệt. Một ví dụ là phần mềm Winpure. Việc ghi chép lại quá trình làm sạch số liệu là việc quan trọng.

Sử dụng thống kê Số liệu định lượng được phân tích sử dụng các phương pháp thống kê. Phần này giới thiệu một vài khái niệm thống kê quan trọng mà những người thực hiện hoặc đọc các bản đánh giá cần phải biết.

390

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Các nhà thống kê phân thống kê thành hai nhóm: • Thống kê mô tả, theo định nghĩa hẹp nhất là diễn tả và tóm tắt số liệu định tính • Thống kê suy luận, là loại thống kê thường được dùng để phân tích số liệu định lượng bằng việc ước lượng một khoảng giá trị cho các biến đính tính hoặc định lượng dựa trên thông tin có được từ mẫu ngẫu nhiên. Một phần của việc tính toán này là các phát biểu có độ tin cậy, ở đó nói rằng xác suất mà giá trị tổng thể có thể nằm ở một khoảng giá trị nào đó Thống kê miêu tả Thường số liệu được tóm tắt theo hai kiểu thống kê miêu tả: • Đo lường xu hướng hội tụ: là cách diễn tả một nhóm số liệu để chỉ ra điểm hội tụ (điểm trung tâm) • Đo lường sự khác biệt: cách diễn tả một nhóm số liệu để chỉ ra nhóm đó được giải ra như thế nào Đo lường độ hội tụ. Ba cách đo lường sự hội tụ, thường được gọi là 3M. Một nhóm số liệu thường được miêu tả bằng biểu đồ gọi là phân phối tần suất để cho thấy tần suất của mỗi biến trong nhóm được chỉ ra như thế nào. Giá trị trung tâm sau đó được quyết định bằng 1 trong 3 cách đo lường giá trị trung tâm: trung bình, trung vị, và mode.

■■ Thống kê mô tả: Thống kê sử dụng để mô tả và tóm tắt số liệu định lượng ■■ Thống kê suy luận: Thống kê sử dụng để có được các kết luận cho tổng thể từ mẫu ■■ Đo lường xu

hướng hội tụ: Các đo lường

thống kê để chỉ sự giống nhau về tính chất của các quan sát ■■ Đo lường sự

khác biệt:

Thống kê đo lường sự khác biệt giữa các quan sát

Mode: là phương án trả lời thường được dùng nhiều nhất. Trung vị : là điểm giữa, điểm nằm giữa trong phân phối, một nửa giá trị trong phân phối lớn hơn và nửa còn lại nhỏ hơn. Thậm chí trong một bộ số liệu có số quan sát là chẵn thì trung vị được định nghĩa là giá trị trung bình của 2 điểm nằm giữa. Giá trị trung bình: tổng của tất cả các giá trị chia cho số giá trị thu được (tức là cỡ mẫu) Hai thống kê hay được sử dụng nhiều nhất là trung vị và trung bình. Bảng 10.4 cho biết số liệu về phần trăm dân số thành thị ở 16 nước. Giả sử bạn muốn tóm tắt thông tin này và báo cáo về phần trăm dân số thành thị trung bình của nhóm nước này. Điều này có nghĩa là tổng phần trăm dân số hành thị chia cho tổng số nước: (90+64+84+…+93)/16=71.3. Hai trường hợp trên và dưới 50 phần trăm của tất cả các trường hợp là 71 và 73. Chính vì vậy trung vị sẽ là 72. Mode sẽ là 47.6. Chú ý rằng trong trường hợp này, trung vị và trung bình là gần giống nhau nhưng mode lại thấp hơn rất nhiều.

Lập kế hoạch và tiến hành phân tích số liệu

391

Bảng 10.4 Tỷ lệ đô thị hóa theo nước ở Mỹ Latin và Trung Mỹ Nước

% dân số sống ở thành thị năm 2007

Nước

Sống ở thành thị săm 2007

Ắc-hen-ti-a

Hôn-đu-rát

Bô-li-vi-a

Mê-hi-cô

Bra-xin

Ni-ca-ra-goa

Chi-lê

Pa-na-ma

Cô-lôm-bi-a

Pa-ra-goay

Cốt-xta-ri-ca

Pê-ru

Ê-cu-a-đo

U-ru-goay

Goa-tê-ma-la

Vê-nê-duê-la

Nguồn: Ngân hàng thế giới, Các chỉ số Phát triển thế giới 2008, 162–64..

■■ Số liệu thực: Số liệu có thể phân thành một nhóm của nhiều nhóm không trùng lắp như giới tính, tôn giáo hoặc dân tộc ■■ Số liệu kiểu thứ tự: Số liệu có thể được sắp xếp theo bậc thang theo một quy tắc nhất định ■■ Số liệu

khoảng/tỷ lệ: Số liệu với một điểm 0 và có khoảng cố định, giống thước và có thể chia, và so sánh với các số tỷ lệ khác

■■ Khoảng: sự khác biệt giữa giá trị thấp nhất và giá trị cao nhất của một biến 392

Việc sử dụng đo lường xu hướng trung tâm nào lại phụ thuộc vào loại số liệu: số liệu thực, số thứ tự hoặc là khoảng cách/tỷ lệ (Bảng 10.5) • Số liệu thực, thỉnh thoảng được gọi là số liệu phân nhóm, là số liệu được phân thành một nhóm của nhiều nhóm không trùng lặp nhau như giới tính, tôn giáo hay quê quán. • Số liệu theo kiểu thứ tự là số liệu có thể sắp xếp theo một thang bậc nào đó. Nhưng khoảng cách giữa các câu trả lời liên tiếp có thể không phải là giống nhau. Bậc thang này có thể từ “quan trọng nhất” tới “kém quan trọng nhất” hay từ “rất đồng ý” tới “rất phản đối” để phản ánh số liệu theo thứ tự. Số thứ tự bậc thang không có điểm có giá trị là 0 • Số liệu khoảng cách/tỷ lệ lệ là các số thực. Các số này có điểm 0 và có khoảng cách cố định như thước và có thể chia và so sánh với các số tỷ lệ khác. Với các số liệu khoảng cách/tỷ lệ, sự lựa chọn cũng dựa trên đường phân phối xác suất. Nếu đường phân phối này có hình chuông, thì các giá trị trung bình, trung vị và mode là gần giống nhau. Trong trường hợp này, giá trị trung bình là giá trị phản ánh tốt nhất cách đo lường xu hướng trung tâm. Ngược lại nếu đường phân phối xác suất có những điểm cao và những điểm rất thấp thì giá trị trung bình không phải là trung tâm. Trong trường hợp này, trung vị sẽ là cách đo lường xu hướng trung tâm tốt hơn. Đo lường sự phân tán của số liệu. Có hai cách thường được sử dụng để đo lường sự phân tán của biến định lượng: là khoảng và độ lệch chuẩn. Khoảng là Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

sự khác biệt giữa giá trị lớn nhất và giá trị nhỏ nhất của Bảng 10.5 Các cách đo lường su hướng trung tâm theo các dạng một biến. Sử dụng bảng 10.4, khoảng của dân số thành số liệu được ưa thích Loại số liệu Cách đo lường xu hướng hội tụ tốt nhất thị là 93-47=46. Số liệu thực Mode Tuy nhiên khoảng không nói được nhiều vì nó được Số liệu theo Mode hoặc trung vị quyết định bởi hai quan sát trong khi các quan sát khác thứ tự bị bỏ qua. Khi hai quan sát này ở hai cực, khoảng không Số liệu khoảng Mode, trung vị hoặc trung nói được những giá trị khác nằm ở đâu. cách/tỷ lệ bình Cách thường được sử dụng để đo lường sự phân tán của số liệu là độ lệch chuẩn. Độ lệch chuẩn đo lường sự Nguồn: Tác giả. khác biệt của các giá trị với giá trị trung bình. Sự khác biệt này càng lớn thì độ lệch chuẩn càng lớn. Để hiểu rõ khái niệm độ lệch chuẩn, cần phải hiểu phân phối chuẩn (hình ■■ Phân phối chuẩn: Phân 10.4), thường được gọi là phân phối hình chuông. Trong phân phối chuẩn, phần phối xác suất liên lớn số liệu nằm ở khoảng giữa của phân phối. Có một số ít hơn các giá trị nằm tục, mô tả số liệu tập ở 2 đầu của đường phân phối. trung quanh một giá Số liệu không phải lúc nào cũng có phân phối chuẩn. Trong một vài trường trị trung bình hợp thì phân phối xác xuất có hình chuông bằng phẳng hơn trong khi một số có hình chuông nhọn hơn hoặc có điểm cao nhất nằm ở đầu hay cuối của đường phân phối (hình 10.5) Độ lệch chuẩn đo lường các số liệu tập hợp xung quanh giá trị trung bình. Nó đo lường khoảng cách từ giá trị của số liệu tới giá trị trung bình. Trong phân phối chuẩn, độ lệch chuẩn từ giá trị trung bình theo hướng nào cũng chiếm khoảng 68% số liệu. Hai độ lệch chuẩn từ giá trị trung bình chiếm khoảng 95% số giá trị. 3 độ lệch chuẩn chiếm khoảng 98% số liệu. Hình 10.4 Phân phối chuẩn

Tần suất

Giá trị

Nguồn: Tác giả.

Lập kế hoạch và tiến hành phân tích số liệu

393

Hình 10.5 Phân phổi phi chuẩn

Nguồn: Tác giả.

Hình 10.6 Độ lệch tiêu chuẩn trong phân phối chuẩn

Trung bình Một độ lệch tiêu chuẩn từ trung bình

Hai độ lệch tiêu chuẩn từ trung bình Ba độ lệch tiêu chuẩn từ trung bình x

O 68 95 98 Nguồn: Tác giả.

Nếu biểu đồ số liệu càng thoải thì độ lệch chuẩn càng lớn. Giá trị của độ lệch chuẩn cho biết các giá trị phân tán thế nào so với giá trị trung bình (hộp 10.5). Nếu mọi người đều được 75 điểm trong một bài kiểm tra, giá trị trung bình là 75 và độ lệch chuẩn sẽ là 0. Nếu mọi người được điểm từ 70 đến 80 với giá

394

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 10.5 Tính toán độ lệch tiêu chuẩn

Độ lệch tiêu chuẩn của một phân phối được tính như sau: 1. Tính trung bình 2. Với mỗi điểm số liệu, lấy số đó trừ đi trung bình để tìm được độ lệch 3. Bình phương độ lệch này 4. Cộng tất cả bình phương độ lệch 5. Trừ 1 từ số điểm số liệu 6. Lấy tổng bình phương độ lệch chia cho kết quả ở bước 5 7. Lấy căn bậc hai của kết quả bước 6 Công thức tính độ lệch tiêu chuẩn được cho bởi:

σ=

∑ (x − x )

N −1 ∑ (x − x ) σ = Trong đó = độ lệch tiêu chuẩn, ∑ = tổng, và x = giá trị trung bình. N −1 Thậm chí với một mẫu nhỏ, việc tính độ lệch chuẩn cũng là việc mất nhiều thời gian. Tuy nhiên đa số các chương trình thống kê, bao gồm cả Excel và SPSS đều hỗ trợ việc tính độ lệch tiêu chuẩn.

trị trung bình là 75 thì độ lệch chuẩn sẽ nhỏ hơn nếu mọi người được điểm từ 40-90 với giá trị trung bình là 75. Độ lệch chuẩn nhỏ = không có nhiều sự phân tán Độ lệch chuẩn lớn = có nhiều sự phân tán trong số liệu. Độ lệch chuẩn tốt hơn nhiều so với khoảng vì nó cho phép từng giá trị có tác động đến giá trị của nó. Tần suất sử dụng thống kê mô tả. Thỉnh thoảng một câu hỏi hỏi về một lượng cụ thể (ví dụ bạn có bao nhiêu con dê, hoặc bạn có thường xuyên sử dụng dịch vụ ngân hàng không”). Và người trả lời thường trả lời một con số cụ thể hoặc phần trăm. Trong trường hợp khác, người được phỏng vấn được hỏi đưa ý kiến về một vấn đề nào đó bằng cách chọn một mức phù hợp. Ví dụ người đánh giá hỏi xem người tham gia vào dự án có khả năng áp dụng những gì họ thu được từ chương trình can thiệp hay không và câu trả lời gồm có 5 mức từ “không áp dụng gì” đến “áp dụng được rất nhiều”. Khi phân tích loại số liệu này, cần phải thiết lập một quy tắc ”tập trung vào phần trăm những người trả lời ở hai mức thấp nhất và cao nhất, vào những người trả lời ở mức nằm Lập kế hoạch và tiến hành phân tích số liệu

395

Hộp 10.6 Hướng dẫn phân tích số liệu khảo sát định lượng

Một số gợi ý sau đây có thể giúp người đánh giá trong việc phân tích số liệu định lượng: 1. Chọn tiêu chuẩn để phân tích số liệu và sử dụng cách này một cách nhất quán. 2. Không gộp các câu trả lời ở trung bình với các nhóm ở mức thấp nhất hoặc mức cao nhất. 3. Không ghi chép câu trả lời “đồng ý” hoặc “không đồng ý” mà không ghi chép “rất đồng ý” và “rất không đồng ý”. 4. Phân tích và viết báo cáo với cả tỷ lệ phần trăm và số lượng câu trả lời cho từng nhóm. 5. Cung cấp số người trả lời như là một nguồn tham khảo. 6. Nếu có ít sự khác biệt trong các câu trả lời thì nâng ranh giới lên: kết quả sẽ ra sao nếu tập trung vào các câu hỏi nhận được đa số các câu trả lời là “rất hài lòng” và “rất phản đối”? 7. Cần nhớ rằng phân tích số liệu vừa là một nghệ thuật, vừa là kỹ năng. Việc phân tích số liệu sẽ dễ hơn nếu được đào tạo và thực hành. Nguồn: Tác giả.

giữa mức trung bình và mức thấp nhất hoặc mức cao nhất hoặc vào mức trung bình.” Mặc dù không có một quy tắc cố định nào ở đây, một số chỉ dẫn có thể có ý nghĩa (hộp 10.6) Hãy xem ví dụ về một cuộc điều tra khách hàng của các trung tâm y tế (bảng 10.6). Một cách để phân tích các số liệu này là viết rằng một nửa những người trả lời đồng ý hoặc hoàn toàn đồng ý rằng họ đã nhận được sự trợ giúp y tế tốt và 55 phần trăm đồng ý và hoàn toàn đồng ý rằng nhân viên của phòng khám sẵn sàng trả lời các câu hỏi. Tuy nhiên, 60 phần trăm người trả lời đồng ý hoặc hoàn toàn đồng ý rằng họ phải chờ khá lâu trước khi được khám bệnh. Trong phân tích này, người đánh giá quyết định sử dụng tỷ lệ phần trăm của cả những người đồng ý và hoàn toàn đồng ý. Nếu số liệu khác đi, người đánh giá có thể chọn cách khác. Ví dụ như kết quả đánh giá được trình bày ở bảng 10.7. Phân tích trong trường hợp này có thể viết rằng 80 phần trăm những người trả lời đồng ý hoặc hoàn toàn đồng ý là họ nhận được dịch vụ y tế tốt hơn và 70 phần trăm những người trả lời đồng ý hoặc hoàn toàn đồng ý rằng họ phải chờ khá lâu trước khi được khám. Điểm mạnh nhất có vẻ như là nhân viên y tế sẵn lòng trả lời câu hỏi của người bệnh với 95 phần trăm của những người trả lời nói rằng họ hoàn toàn đồng ý hoặc đồng ý rằng họ nhận được dịch vụ y tế tốt hơn.

396

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 10.6 Quan điểm của khách hàng về dịch vụ chăm sóc sức khỏe ở các cơ sở y tế địa phương (% người trả lời)

1. Với những kinh nghiệm về phòng khám địa phương, ông/bà có đồng ý hay không đồng ý với các mệnh đề sau không? Hoàn toàn phản đôi

Phản đối

Không phản đối cũng không đồng ý

Đồng ý

Hoàn toàn đồng ý

Tôi phải đợi rất lâu để được khám.

Các nhân viên y tế sẵn sàng trả lời câu hỏi của tôi

Tôi nhận được sự chăm sóc tốt ở các cơ sở y tế

Mệnh đề

Nguồn: Tác giả. Lưu ý: N = 36..

Bảng 10.7 Quan điểm của khách hàng về dịch vụ chăm sóc sức khỏe ở các cơ sở y tế địa phương (% người trả lời)

1. Với những kinh nghiệm về phòng khám địa phương, ông/bà có đồng ý hay không đồng ý với các mệnh đề sau không? Hoàn toàn phản đôi

Phản đối

Không phản đối cũng không đồng ý

Đồng ý

Hoàn toàn đồng ý

Tôi phải đợi rất lâu để được khám.

Các nhân viên y tế sẵn sàng trả lời câu hỏi của tôi

Tôi nhận được sự chăm sóc tốt ở các cơ sở y tế

Mệnh đề

Nguồn: Tác giả. Lưu ý: N = 36.

Miêu tả hai biến cùng một lúc. Tại nhiều thời điểm, người đánh giá muốn mô tả hai biến cùng một lúc. Ví dụ họ muốn mô tả tỷ lệ các bài học thực hành và bài học lý thuyết. Với từng lớp họ muốn biết tỷ lệ học sinh nữ và tỷ lệ học sinh nam. Phân tích số liệu cho thấy, ở các lớp thực hành tỷ lệ học sinh nam là 55 phần trăm và 45 phần trăm là học sinh nữ, trong khi ở các lớp học lý thuyết truyền thống thì tỷ lệ nữ là 55 phần trăm và tỷ lệ nam là 45 phần trăm.

Lập kế hoạch và tiến hành phân tích số liệu

397

■■ Bảng chéo: Phân phối chung giữa hai hoặc nhiều biến, thường dưới dạng bảng

■■ Biến độc lập: Biến giải thích sự thay đổi của một biến khác (phụ thuộc) ■■ Biến phụ thuộc: Sự thay đổi cần phải giải thích

Một bảng chéo cho biết sự phân phối chung giữa hai hoặc nhiều biến, thường dưới dạng ma trận. Trong khi phân phối tần suất cho biết phân phối giá trị của một biến, thì bảng chéo cho biết phân phối tần suất của hai hoặc nhiều biến cùng một lúc. Mỗi một ô cho biết phần trăm và số người đã chọn từng nhóm của từng biến. Số liệu về tỷ lệ nhập học có thể được diễn giải như sau: trong mẫu này học sinh nam (55%) có vẻ chọn lớp học thực hành nhiều hơn là học sinh nữ (45%). Phát hiện này hàm ý một mối quan hệ giữa giới tính và các lớp mà học sinh chọn. Nhưng mối quan hệ này có chắc chắn không. Nếu xem xét các đo lường về mối liên kết, việc hiểu được các khái niệm biến độc lập và biến phụ thuộc là rất quan trọng. Các biến độc lập là biến giải thích sự thay đổi của một biến khác (biến phụ thuộc). Ví dụ, trong một đánh giá về một khóa học, biến độc lập có thể là kinh nghiệm của giảng viên, trình độ của những người tham dự, giáo trình được sử dụng, độ dài của khóa đào tạo, phương pháp dạy được áp dụng v,v Biến phụ thuộc là biến được giải thích. Với ví dụ về khóa đào tạo như trên, biến phụ thuộc có thể là điểm của bài kiểm tra kiến thức, điểm của ma trận thiết kế cho một đánh giá, hoặc là việc thiết kế đánh giá được cải thiện. Người đánh giá thường quan tâm xem có sự khác biệt giữa giá trị trung bình của một biến định lượng cho các mẫu khác nhau. Ví dụ họ có thể quan tâm đến việc tìm hiểu các câu hỏi như: • Thu hoạch trung bình sau khi có dự án thủy lợi có cao hơn không? • Liệu tỷ lệ những người hài lòng với việc chăm sóc ở bệnh viện cũ có khác với tỷ lệ những người hài lòng với việc chăm sóc ở bệnh viện mới không?

■■ Đo lường

mối liên kết:

các đo lường cho biết mức độ mạnh mẽ trong quan hệ giữa hai biến với nhau ■■ Mối quan hệ

cùng chiều:

Mối quan hệ trong đó hai biến dịch chuyển cùng một hướng (cả hai cùng lên hoặc xuống) 398

Người đánh giá cần phải quyết định những sự khác biệt rõ ràng có thực sự phản ánh sự khác biệt trong toàn bộ trung bình tổng thể hay là sự khác biệt ngẫu nhiên trong mẫu được lấy từ hai tổng thể. Trong một phép thử thống kê, không có sự khác biệt giữa trung bình hoặc tỷ lệ giữa hai tổng thể thường được ngầm định. Điều này sẽ được đề cập ở phần thống kê suy diễn ở sau đây Đo lường mối liên kết (hoặc mối quan hệ) cho biết các biến có mối liên hệ chặt chẽ thế nào. Một mối quan hệ đơn giản không cho biết mối quan hệ tương quan. Nó chỉ hàm ý rằng một mối quan hệ là mối quan hệ hai chiều nếu mối quan hệ này là chặt chẽ. Đo lường mối liên kết thường được trình bày dưới dạng cấp độ có khoảng từ -1 đến +1. Một giá trị dương có nghĩa là các biến thay đổi cùng chiều: tức là các biến cùng lên hoặc cùng đi xuống. Mối quan hệ này được gọi là quan hệ cùng chiều. Giá trị tương quan của một mối quan hệ dương hoàn hảo sẽ có giá trị là +1.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một mối quan hệ âm cho biết các biến có mối quan hệ ngược chiều, tức là các biến này dịch chuyển ngược chiều nhau (ví dụ, khi tuổi tăng, thì sức khỏe sẽ giảm). Một mối quan hệ ngược chiều hoàn hảo sẽ có giá trị là -1. Giá trị tương quan càng gần 0, thì mối quan hệ càng yếu (một mối quan hệ không có sự tương quan sẽ có giá trị tương quan là 0); càng gần +1 hoặc -1 thì mối quan hệ tương quan càng mạnh.

■■ Mối quan hệ

ngược chiều: Mối quan hệ giữa các biến dịch chuyển ngược chiều nhau

Thống kê suy diễn Thống kê suy diễn cho phép người đánh giá có được một ước lượng về tổng thể dựa trên các đặc tính của mẫu ngẫu nhiên chọn từ tổng thể đó. Một trong những nỗi lo của sử dụng mẫu ngâu nhiên là những kết quả phản ánh không chính xác về mẫu và do vậy không tạo ra một bức tranh chính xác về tổng thể. Nếu người đánh giá chọn một mẫu khác, liệu kết quả họ có được có giống với kết quả họ thu được từ mẫu này không? Các kiểm định về ý nghĩa thống kê đo lường xác suất để thu được cùng kết quả nếu không có sự khác biệt trong tổng thể. Các nhà đánh giá gọi đây là giả thiết rỗng, nó luôn luôn dựa trên việc không có sự khác biệt trong tổng thể. Giả sử một điều tra dựa trên một mẫu ngẫu nhiên những người Pakistan cho thấy, sự khác biệt về thu nhập hàng năm giữa nam và nữ là 5000 rupi. Các phép thử có thể được thực hiện theo các sau: nếu không có sự khác biệt trong tổng thể, xác suất của việc tìm được trong mẫu một sự khác biệt 5000 rupi là bao nhiêu? Nếu có 5 phần trăm cơ hội hay thấp hơn, ta có thể kết luận rằng kết quả từ mẫu đã phản ánh chính xác tổng thể, tức là sự khác biệt về thu nhập hàng năm giữa nam và nữ là 5000 rupi và sự khác biệt đó có ý nghĩa thống kê. Một giá trị p (cho xác suất sai số) 5% có nghĩa rằng người đánh giá có 95% chắc chắn rằng kết quả mẫu không phải là do may mắn. Nó có nghĩa là kết quả thu được có ý nghĩa thống kê ở mức 0.05 Tất cả các kiểm định ý nghĩa thống kê dựa vào quy mô mẫu. Nếu mẫu là rất lớn, thì sự khác biệt nhỏ có ý nghĩa thống kê. Người đánh giá cần phải quyết định sự khác biệt này là quan trọng hay không, theo bản chất của nghiên cứu họ đang thực hiện. Có ba cách thường được sử dụng để kiểm định ý nghĩa thống kê là chi-bình phương, kiểm định t, và phân tích phương sai. Các cách này được trình bày vắn tắt ở dưới đây. Kiểm định chi-bình phương. Mặc dù kiểm định này không phải là cách tốt nhất để kiểm định mối quan hệ, chi bình phương là một trong những kiểm định thống kê phổ biến nhất vì nó dễ tính và dễ giải thích. Mục đích của kiểm định chi bình phương là để quyết định tần suất quan sát được có khác biệt lớn so với tần suất mà người ta kỳ vọng hay không. Kiểm định này được sử dụng để so sánh hai giá trị danh nghĩa (ví dụ, tình trạng hôn nhân và tôn giáo). Nó cũng

Lập kế hoạch và tiến hành phân tích số liệu

■■ Kiểm định

Chi-bình phương: kiểm định thống kê để xem tần suất quan sát có khác biệt lớn so với tần suất kỳ vọng hay không 399

được sử dụng để so sánh hai giá trị xếp bậc (các câu trả lời theo thang) hoặc là hỗn hợp giữa các biến thực và biến xếp bậc. Thống kê chi-bình phương là tổng của đóng góp từ từng ô trong bảng số liệu. Mội một ô trong bảng sẽ đóng góp gì đó vào thống kê chi-bình phương. Nếu một ô khác biệt nhiều so với tần suất kỳ vọng, đóng góp của ô đó vào tổng thống kê chi bình phương là lớn. Nếu một ô gần với tần suất kỳ vọng cho ô đó, thì đóng góp của ô đó cho thống kê chi bình phương là nhỏ. Một thống kê chi bình phương lớn có nghĩa là ở đâu đó trong bảng, tần suất quan sát có sự khác biệt lớn với tần suất kỳ vọng. Nó không nói là ở ô nào tạo ra thống kê chi bình phương cao, mà chỉ nói rằng có tồn tại ô đó. Thống kê chi bình phương đo lường xem hai biến có độc lập với nhau không dựa trên các số liệu quan sát được. Kiểm định chi-bình phương đo lường ý nghĩa của bảng chéo. Giá trị chi-bình phương không nên tính cho phần trăm. Bảng chéo phải sử dụng đơn vị phần trăm cần được chuyển sang bảng sử dụng giá trị tuyệt đối trước khi thực hiện kiểm định. Kiểm định này cũng có vấn đề nếu một ô nào đó có tần suất nhỏ hơn 5 (xem thảo luận sâu về vấn đề này tại Fienberg 1980). ■■ Kiểm định t: kiểm định thống kê để xem xét giá trị trung bình của một nhóm này có cao hơn giá trị trung bình của một nhóm khác không

Kiểm định t. Khi xem xét sự khác biệt giữa giá trị cho 2 nhóm, người đánh giá cần phải phán đoán sự khác biệt giữa giá trị trung bình với phân bổ hoặc sự khác biệt giữa các giá trị. Một kiểm định t giúp người đánh giá làm việc đó. Nó được sử dụng để đánh giá một nhóm các giá trị lớn hơn hoặc nhỏ hơn một cách thống kê giá trị trung bình của một nhóm giá trị khác. Phân tích này là phù hợp để so sánh giá trị trung bình của hai nhóm. Người đánh giá sử dụng thống kê t để so sánh giá trị trung bình của một nhóm bị ảnh hưởng bởi dự án và giá trị trung bình của nhóm so sánh.

■■ Phân tích

Phân tích phương sai. Kiểm định sẽ có vấn đề khi sử dụng để so sánh giá trị trung bình của ba hay nhiều nhóm. Khi một đánh giá cần phải so sánh giá trị của nhiều nhóm khác nhau cùng lúc, sử dụng phân tích phương sai (ANOVA) là phù hợp nhất.

phương sai (ANOVA): Một

kỹ thuật thống kê để đánh giá sự khác biệt giữa các bộ số liệu

400

ANOVA là kỹ thuật thống kê để đánh giá sự khác biệt giữa các bộ số liệu. Sử dụng EXCEL, nó được sử dụng để so sánh đồng thời giữa hai hoặc nhiều giá trị trung bình để quyết định xem những thay đổi được quan sát là do sự thay đổi của xác suất hoặc do một nhân tố hoặc nhiều nhân tố được kiểm định. ANOVA đánh giá các biến phụ thuộc có ảnh hưởng lên một một biến phụ thuộc liên tục. Nó giả định rằng tổng thể cho tất cả các nhóm được so sánh có độ lệch chuẩn giống nhau (giá thiết về sự tương đồng của phương sai) và các mẫu được chọn ngẫu nhiên từ tổng thể. Cần phải kiểm tra các giả thiết đó trước Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

khi sử dụng phương pháp ANOVA. Kiểm định ANOVA dựa vào tỷ lệ F – độ lệch do nhóm được thử nghiệm hay ảnh hưởng được chỉ ra bởi sự khác biệt giữa sai số thử nghiệm. Giả thiết rỗng (giả thiết Ho) là tỷ lệ này bằng 1.0 (tức là tác động tác động là giống với sai số kiểm định). Giả thiết này sẽ bị từ chối nếu tỷ lệ F đủ lớn nếu xác suất nó bằng 1 là nhỏ hơn một mức định trước nào đó, ví dụ 0.05 (1 trong 20).

Kết hợp dữ liệu định tính và số liệu định lượng Miles và Huberman (1994) thảo luận về vấn đề làm thế nào để dữ liệu định tính và định lượng có thể liên kết được với nhau. Họ bắt đầu thảo luận bằng việc trích dẫn một câu của Fred Kerlinger, một nhà nghiên cứu được đánh giá cao: “không có gì là số liệu định tính. Tất cả là 1 hoặc 0”. Sau đó Miles và Huberman đưa ra một quan điểm trái ngược: tất cả các dữ liệu là định tính. Lập luận về dữ liệu định tính và số liệu định lượng đã được đề cập nhiều năm ở Mỹ. Tuy vậy nó lại không phải là vấn đề trong các lĩnh vực liên quan đến phát triển. Đánh giá phát triển sử dụng cả dữ liệu định tính và số liệu định lượng để hiểu thế giới: “định lượng là định tính và định tính được đo lường có sức mạnh trong các đo lường đó” (Miles và Huberman 1994). Các phương pháp định tính cung cấp bối cảnh; các cách tiếp cận định lượng cho phép khái quát hóa các kết quả thu được vào những hoàn cảnh khác. Miles và Huberman cho rằng liên kết số liệu định lượng và dữ liệu đính tính trong một thiết kế nghiên cứu cho phép người đánh giá: • Xác nhận hoặc chứng thực từng loại dữ liệu • Đi sâu hoặc phát triển thêm các phân tích, cho các chi tiết phong phú hơn • Mở ra một hướng suy nghĩ mới thông qua việc chú ý đến những điểm khác biệt hoặc những nghịch lý, xoay vần ý tưởng và có những phát hiện mới. Green, Caracelli và Graham (1997) mô tả giá trị về mặt kiến thức và chính trị trong việc sử dụng các phương pháp nghiên cứu hỗn hợp trong đánh giá dự án như sau: • Kiến thức: chúng ta có thể biết sâu hơn về một sự vật nếu chúng ta sử dụng nhiều cách để hiểu được sự vật đó • Chính trị: tất cả hiểu biết đều có tính đảng phái, do vậy các cách hiểu khác nhau sẽ có giá trị và được tôn trọng. Họ lưu ý rằng “một đánh giá sử dụng hỗn hợp các phương pháp đánh giá một cách tốt sẽ khởi nguồn cho những cách suy nghĩ và giá trị khác nhau phối hợp hài hòa với nhau để hướng tới sự hiểu biết sâu hơn” và “các biện pháp

Lập kế hoạch và tiến hành phân tích số liệu

401

nghiên cứu khác nhau phù hợp với việc hiểu biết những trạng thái khác nhau của hiện tượng.” Hawkins (2005) đã liệt kê những lợi ích của việc sử dụng hỗn hợp các cách phân tích vào một đánh giá như sau: • Kiểm tra tính thống nhất có thể sử dụng với các bước kiểm tra chéo với mỗi biến chính có thể được tính toán hai hoặc nhiều lần một cách độc lập. • Những góc nhìn khác có thể thu được. Ví dụ trong khi người đánh giá coi thu nhập hoặc tiêu dùng là các chỉ số chính phản ánh tình trạng kinh tế hộ gia đình thì các nghiên cứu trường hợp lại cho thấy phụ nữ lại quan tâm đến tính dễ bị tổn thương, không có quyền lực hay bị bạo hành. • Các phân tích có thể thực hiện ở các mức khác nhau. Phương pháp điều tra có thể cung cấp các thông tin về tình trạng kinh tế của từng cá nhân, hộ gia đình hoặc của cộng đồng dân cư nhưng hiệu quả lại thấp hơn nếu sử dụng để phân tích các vấn đề trong xã hội (ví dụ, mâu thuẫn xã hội) hoặc tiến hành phân tích thể chế (ví dụ, các dịch vụ công hoạt động hiệu quả thế nào và dưới góc nhìn của cộng đồng mức độ hiệu quả của các dịch vụ công là đến đâu). Nhiều phương pháp phân tích định tính được thiết kế để phân tích các vấn đề như tiến trình xã hội, hành vi của tổ chức, cấu trúc xã hội và mâu thuẫn xã hội. • Các cơ hội được cung cấp các phản hồi để giúp người đánh giá có thể diễn giải các kết quả thu được. Các báo cáo điều tra thường xuyên bao gồm những tài liệu tham khảo không thống nhất trong các kết quả hoặc những sự khác biệt giữa các nhóm mà không thể giải thích bằng phân tích số liệu. Trong phần lớn các đánh giá mang tính định lượng, một khi thu thập số liệu hoàn thành, thì rất khó có thể quay lại địa bàn để thu thập thêm các số liệu khác. • Người đánh giá thường sử dụng phương pháp định tính để kiểm tra những quan sát đặc biệt không thuộc khoảng kỳ vọng. Trong nhiều trường hợp, các nhà phân tích ra một quyết định cảm tính là nếu một người nào đó có những câu trả lời nằm bên dưới hoặc bên trên những ranh giới nhất định thì sẽ bị loại bỏ. • Những lợi ích của việc sử dụng cách tiếp cận hỗn hợp phụ thuộc vào trình độ của người đánh giá. Dưới góc độ của người đánh giá sử dụng phương pháp định lượng, một phần phân tích định tính sẽ giúp chỉ ra những vấn đề cần phải đề cập trong đánh giá, cần phải chỉnh sửa câu hỏi để phù hợp với quan điểm của người trả lời; và cung cấp các thông tin về bối cảnh kinh tế, xã hội và chính trị mới mà dự án can thiệp được thực hiện. Nó cũng cho phép quay trở lại địa bàn để kiểm chứng và làm sâu thêm những phát hiện thú vị. • Các nhà đánh giá theo phương pháp định tính có thể có lợi khi sử dụng phương pháp định lượng. Các phương pháp chọn mẫu có thể sử dụng để suy rộng cho toàn bộ tổng thể. Việc lựa chọn mẫu có thể phối hợp với các 402

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

cuộc điều tra khác hoặc các điều tra được thực hiện trước đấy nên các kết quả của phân tích định tính có thể so sánh với kết quả của điều tra. Phân tích thống kê có thể sử dụng để kiểm soát các đặc điểm hộ gia đình và các điều kiện kinh tế xã hội của các khu vực nghiên cứu khác nhau, do vậy loại bỏ những giải thích khác cho những thay đổi quan sát được. Hawkins (2005) thảo luận khi nào sử dụng và không sử dụng phương pháp hỗn hợp. Theo Hawkins, phương pháp hỗn hợp có thể sử dụng trong các trường hợp sau: • Nghiên cứu cần có một sự hiểu biết sâu sắc về dự án và bối cảnh của dự án can thiệp. • Hạn chế về ngân sách và thời gian, phương pháp chéo có thể sử dụng để kiểm tra tính chính xác của thông tin thu thập được từ các nguồn khác nhau sử dụng các phương pháp khác nhau và các mẫu nhỏ. Phương pháp hỗn hợp không nên dùng trong các trường hợp sau: • Các câu hỏi có thể trả lời sử dụng một cách tiếp cận duy nhất. • Phải thực hiện việc suy rộng kết quả thu được và các chỉ số đó là rõ ràng • Không thể tuyển được các nhà đánh giá với kinh nghiệm trong các phương pháp cho việc thực hiện toàn bộ nghiên cứu (tốt hơn là sử dụng những phương pháp có thể tuyển được người có chuyên môn) • Cam kết của các đối tác về những mô hình cụ thể, loại trừ những mô hình khác, quá mạnh đến nỗi không mang tính thuyết phục bằng phương pháp hỗn hợp cho dù nó có tốt thế nào đi chăng nữa. • Thời gian có thể để nghiên cứu và diễn giải là hạn chế.

Tóm tắt Phân tích dữ liệu định tính sử dụng dữ liệu không dưới dạng số. Dữ liệu định tính có thể thu thập từ sử dụng các quan sát phi cấu trúc, các cuộc phỏng vấn kết thúc mở, phân tích các tài liệu có sẵn và thảo luận nhóm. Chú ý ghi chép trong quá trình thu thập dữ liệu định tính là rất quan trọng và các ghi chép này cần phải chi tiết. Phân tích nội dung là một quá trình phân tích dữ liệu định tính. Phân tích dữ liệu định tính là một việc tốn nhiều công sức và thời gian nhưng việc này có thể cho nhiều thông tin bổ ích. Sau khi thu thập dữ liệu định tính, người đánh giá cần phải tổ chức chúng. Dữ liệu có thể được phân loại để xu hướng và sự giống nhau có thể được nhìn thấy. Một khi dữ liệu đã được phân loại (bằng tay hay bằng phần mềm), dữ liệu có thể được mã hóa và diễn giải. Lập kế hoạch và tiến hành phân tích số liệu

403

Số liệu định lượng được phân tích theo thống kê mô tả hay thống kê diễn giải. Thống kê mô tả tóm tắt lại số liệu và cho biết giá trị trung bình thông qua 3M – trung bình, trung vị và mode. Đơn vị đo lường chung của sự phân tán số liệu là khoảng và độ lệch chuẩn. Các loại thống kê miêu tả khác thường được sử dụng là phân bố tần suất, phần trăm, tỷ lệ, tỷ số hay tốc độ thay đổi. Thống kê suy diễn cho phép người đánh giá ước lượng tổng thể mẫu dựa trên mẫu được lựa chọn ngẫu nhiên từ tổng thể đó. Các công cụ thường sử dụng trong thống kê suy diễn là kiểm định chi-bình phương, kiểm định t và ANOVA. Người đánh giá thường dùng cả phương pháp định tính và định lượng. Sử dụng nhiều hơn một phương pháp đánh mang lại nhiều lợi ích trong nhiều trường hợp. Tuy nhiên trong những trường hợp một vài câu hỏi được đặt ra và khá dễ để trả lời thì chỉ cần sử dụng một phương pháp phân tích số liệu là đủ.

404

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 10 Bài tập ứng dụng 10.1: Mã hóa và phân tích dữ liệu định tính Sưu tầm một số bài báo dài về một vấn đề phát triển. Sử dụng các bài báo này để thiết lập một bảng, điền tên cột là “bài báo” và “trích dẫn”. Sau đó, thêm trích dẫn lấy từ bài báo mà anh/chị thấy quan trọng. Khi anh/chị xác định được chủ đề của bài báo, thêm một cột và viết chủ đề bài báo đó vào cột mới thêm. Sau đó đánh dấu ô phù hợp tức là đoạn trích dẫn có đề cập đến chủ đề. Viết một tóm tắt các phát hiện từ các bài báo đó.

Bài tập ứng dụng 10.2: Tránh các lỗi thông thường trong quá trình giải thích số liệu định lượng 1. Tám mươi phần trăm những người được phỏng vấn thấy rằng chương trình là hữu ích. Vậy cách nào là cách diễn đạt tốt hơn: “Chương trình là hữu ích” hay “người tham dự thấy chương trình là hữu ích”? Những người tham dự phỏng vấn phải xác định những hạn chế và hỗ trợ cho chương trình. Bạn sẽ gặp vấn đề gì liên quan đến mặt được và mặt chưa được khi viết báo cáo kết quả? 2. Một điều tra viên yêu cầu sinh viên đánh giá những phần khác nhau của một khóa học. Đa số các sinh viên đánh giá từng cấu phần tốt. Vấn đề gì xảy ra nếu báo cáo viết rằng phần lớn (70%) số sinh viên cảm thấy khóa học thành công? 3. Bốn mươi phần trăm phụ nữ và ba mươi phần trăm đàn ông thích có sự thay đổi về chương trình. Vậy việc kết luận rằng đa số phụ nữ thích sự thay đổi về chương trình là có được không? 4. Năm mươi mốt phần trăm số người được hỏi thích có sự thay đổi chương trình. Như vậy việc kết luận rằng hơn một nửa số người được hỏi thích có sự thay đổi chương trình hay không? 5. Điều tra đã phỏng vấn 5 giáo viên trong số 20 giáo viên của khóa học. 5 giáo viên này nói rằng họ đã chuẩn bị tốt để giảng khóa học này. Việc báo cáo rằng tất cả các giáo viên đều chuẩn bị tốt hoặc 25% số giáo viên là chuẩn bị bài tốt hay không? 6. Số phụ nữ trong cơ quan chính trị tăng từ 2 lên 4 vị trí trong 50 người của cơ quan lập pháp. Có chính xác không khi nói rằng số phụ nữ tăng 100 phần trăm? 7. Người tham dự vào chương trình đào tạo có thu nhập cao hơn 20% những người không tham dự. Liệu có chính xác không nếu báo cáo viết rằng chương trình là nguyên nhân của 20% tăng thu nhập?

Lập kế hoạch và tiến hành phân tích số liệu

405

Bải tập ứng dụng 10.3: Phân tích kết quả bảng hỏi Hoàn thành điều tra sau và cùng ít nhất 2 người đồng sự hoàn thành nó. Thu thập các bảng hỏi và đánh giá kết quả. Làm việc một mình hoặc với những người khác. Tóm tắt kết quả theo bảng sau và rút ra một số kết luận về các kết quả tìm được. 1. Theo bạn thì bạn đã có bao nhiêu năng lực phân tích để thực hiện các công việc sau? Kỹ năng

Ít hoặc Không thể

Một ít

Tạm đủ

Đủ

Hoàn toàn Có thể

a. Thiết kế đánh giá. b. Phân tích số liệu. Triển khai khảo sát. d. Phỏng vấn nhóm tập trung e. Điều phối họp các bên liên quan f. Viết báo cáo đánh giá g. Chuẩn bị tóm tắt miệng.

406

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

2. Tại thời điểm này của chương trình đào tạo, bạn đồng ý hay phản đối những mệnh đề sau Mệnh đề

Hoàn toàn không đồng ý

Không đồng ý

Không đồng ý cũng không phản đối

không đồng ý

Hoàn toàn đồng ý

a. Tài liệu là mới đối với tôi. b. Tài liệu này là hấp dẫn. c. Thời gian dành cho bài giảng là đủ d. Thời gian dành cho thảo luận trên lớp là đủ. e. Bài tập là có ích f. Tài liệu học tập có thể được vận dụng trong công việc.

3. Bình luận thêm về khóa học.

Lập kế hoạch và tiến hành phân tích số liệu

407

Tài liệu tham khảo và đọc thêm Babbie, E., F. Halley, and J. Zaino. 2000. Adventures in Social Research. Thousand Oaks, CA: Pine Forge Press. Busch, Carol, Paul S. De Maret, Teresa Flynn, Rachel Kellum, Sheri Le, Brad Meyers, Matt Saunders, Robert White, and Mike Palmquist. 2005. Content Analysis. Writing@CSU, Colorado State University, Department of English, Fort Collins, CO. http://writing.colostate.edu/guides/research/content/. Child and Adolescent Health Measurement Initiative (CAHMI). 2006. “Promoting Healthy Development Survey: Implementation Guidelines.” Portland, OR: Oregon Health and Science University, Department of Pediatrics. ———. 2009. “Step 4: Monitor Survey Administration and Prepare for Analysis.” http://www.cahmi.org. Catterall, M., and P. Maclaran. 1997. “Focus Group Data and Qualitative Analysis Programs: Coding the Moving Picture as Well as the Snapshots.” Sociological Research Online 2 (1). http://www.socresonline.org.uk/socresonline/2/1/6.html. Chapman, Arthur D. 2005. Principles and Methods of Data Cleaning: Primary SpeciesOccurrence Data. Report for the Global Biodiversity Information Facility, Version 1.0, Copenhagen. http://www2.gbif.org/DataCleaning.pdf. Cody, Ronald. n.d. “Data Cleaning 101.” Robert Wood Johnson Medical School, Piscatawy, NJ. http://www.ats.ucla.edu/stat/sas/library/nesug99/ss123.pdf. Constable, Rolly, Marla Cowell, Sarita Zornek Crawford, David Golden, Jake Hartvigsen, Kathryn Morgan, Anne Mudgett, Kris Parrish, Laura Thomas, Erika Yolanda Thompson, Rosie Turner, and Mike Palmquist. 2005. Ethnography, Observational Research, and Narrative Inquiry. Writing@CSU, Colorado State University, Department of English, Fort Collins, CO. http://writing.colostate.edu/guides/research/observe/. Dehejia, Rajeev H., and Sadek Wahba. 2002. “Propensity Score-Matching Methods for Nonexperimenal Causal Studies.” Review of Economics and Statistics 84 (1): 151–61. http://www.nber.org/~rdehejia/papers/matching.pdf. Denzin, N., and Y. Lincoln, eds. 2000. Handbook of Qualitative Research. 2nd ed. Thousand Oaks, CA: Sage Publications. Fienberg, S. E. 1980. The Analysis of Cross-Classified Categorical Data. 2nd ed. Cambridge, MA: MIT Press. Firestone, W. 1987. “Meaning in Method: The Rhetoric of Quantitative and Qualitative Research.” Educational Researcher 16 (7): 16–21. http://edr.sagepub.com/cgi/content/abstract/16/7/16. Gao, Jie, Michael Langberg, and Lenard J. Schulman. 2006. Analysis of Incomplete Data and an Intrinsic-Dimension Helly Theorem. http://www.cs.sunysb.edu/~jgao/paper/clustering_lines.pdf. Glass, G., and K. Hopkins. 1996. Statistical Methods in Education and Psychology. 3rd ed. Boston: Allyn and Bacon.

408

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Greene, J. C., and V. J Caracelli. 1997. Advances in Mixed Method Evaluation: The Challenges and Benefits of Integrating Diverse Paradigms. New Directions for Evaluation No. 74. San Francisco: Jossey-Bass. Greene, J. C., V. J. Caracelli, and W. F. Graham. 1989. “Toward a Conceptual Framework for Mixed-Method Evaluation Designs.” Educational Evaluation and Policy Analysis 11 (3) 255–74. Hawkins, Penny. 2005. “Thinking about Mixed Method Evaluation.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. IDRC (International Development Research Centre). 2008. Qualitative Research for Tobacco Control, Module 6: Qualitative Data Analysis. Ottawa, Canada. http://www.idrc.ca/en/ev-106563-201-1-DO_TOPIC.html. Jaeger, R. M. 1990. Statistics: A Spectator Sport. 2nd ed. Thousand Oaks, CA: Sage Publications. Krippendorf, Klaus. 2004. Content Analysis: An Introduction to Its Methodology. 2nd ed. Thousand Oaks, CA: Sage Publications. Loughborough University Department of Social Sciences. 2007. New Methods for the Analysis of Media Content. CAQDAS: A Primer. Leicestershire, United Kingdom. http://www.lboro.ac.uk/research/mmethods/research/software/caqdas_ primer.html#what. Miles, Mathew. B., and A. Michael Huberman. 1994. Qualitative Data Analysis an Expanded Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications. Morse, Janice M., and Lyn Richards. 2002. “The Integrity of Qualitative Research.” In Read Me First for a User’s Guide to Qualitative Methods, ed. J. M. Morse and L. Richards, 25–46. Thousand Oaks, CA: Sage Publications. Narayan, Deepa. 1996. “Toward Participatory Research.” World Bank Technical Paper 307, Washington, DC. http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/ IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department. 2006. Country-Led Joint Evaluation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. Neuendorf, Kimberly A. 2006. The Content Analysis Guidebook Online. http://academic.csuohio.edu/kneuendorf/content/index.htm. O’Rourke, Thomas W. 2000a. “Data Analysis: The Art and Science of Coding and Entering Data.” American Journal of Health Studies 16 (3): 164–66. http://Findarticles.com/p/articles/mi_m0CTG/is_3_16/ai_72731731. ———. 2000b. “Techniques for Screening and Cleaning Data for Analysis.” American Journal of Health Studies 16: 217–19. http://Findarticles.com/p/articles/mi_m0CTG/is_4_16/ai_83076574. P.A.N.D.A. (Practical Analysis of Nutritional Data). 2000. “Chapter 2: Data Cleaning.” http://www.tulane.edu/~panda2/Analysis2/datclean/dataclean.htm. Patton, Michael. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA: Sage Publications.

Lập kế hoạch và tiến hành phân tích số liệu

409

Porteous, Nancy. 2005. “A Blueprint for Public Health Management: The ToolKit’s Approach to Program Evaluation.” Presentation at the International Program for Development Evaluation Training, June–July 2005. Ottawa, Ontario. Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department, Ottawa. http://www.phac-aspc.gc.ca/php-psp/tookit.html. Rahm, Erhard, and Hong Hai Do. 2000. “Data Cleaning: Problems and Current Approaches.” University of Leipzig, Germany. http://homepages.inf.ed.ac.uk/wenfei/tdd/reading/cleaning.pdf. Rossman, G. B., and B. L. Wilson. 1994. “Numbers and Words Revisited: Being ‘Shamelessly Methodologically Eclectic.’” Quality and Quantity 28: 315–27. Sieber, S. D. 1973. “The Integration of Fieldwork and Survey Methods.” American Journal of Sociology 78 (6):1335–59. Smith, J. A. 1991. The Idea Brokers: Think Tanks and the Rise of the New Policy Elite. New York: Free Press. StatSoft. 2008. Electronic Textbook. http://www.statsoft.com/textbook/glosp.html. Stemler, Steve 2001. “An Overview of Content Analysis.” Practical Assessment, Research & Evaluation 7 (17). http://PAREonline.net/getvn.asp?v=7&n=17. Swimmer, Gene. 2006. “Qualitative Data Analysis, Part I.” IPDET Handbook 2005. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. University of the West of England. 2006. Analysis of Textual Data. Bristol. http://hsc.uwe.ac.uk/dataanalysis/qualTextData.asp. U.S. GAO (General Accounting Office). 1996. Content Analysis: A Methodology for Structuring and Analyzing Written Material. GAO/PEMD-10.3.1. Washington, DC. (Available free of charge.) Washington State University. 2000. A Field Guide to Experimental Designs: What Is an ANOVA? Tree Fruit Research and Extension Center. Wenatchee, WA. http://www.tfrec.wsu.edu/ANOVA/basic.html. Weber, Robert Philip 1990. Basic Content Analysis. 2nd ed. Thousand Oaks, CA: Sage Publications. Weiss, Christopher, and Kristen Sosulski. 2003. Quantitative Methods in Social Science: QMSS E-lessons. Columbia Center for New Media Teaching and Learning, Columbia University, New York. http://www.columbia.edu/ccnmtl/projects/qmss/anova_about.html. Wolcott, H. F. 1990. “On Seeking—and Rejecting—Validity in Qualitative Research.” In Qualitative Inquiry in Education: The Continuing Debate, eds. E. W. Eisner and A. Peshkin, 121–52. New York: Teachers College Press.

410

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Trang Web Tài liệu và hướng dẫn trực tuyến CAQDAS (Computer-Assisted Qualitative Data Analysis Software). 2008. http://caqdas. soc.surrey.ac.uk/. Lane, D. M. Hyperstat Online Textbook. http://davidmlane.com/hyperstat/index .html. Statistics at Square One. http://bmj.bmjjournals.com/collections/statsbk/index .shtml. Stat Primer. http://www2.sjsu.edu/faculty/gerstman/Stat Primer.

Phần mềm máy tính phân tích dữ liệu định tính AEA (American Evaluation Association). http://www.eval.org/Resources/QDA.htm. AnSWR. http://www.cdc.gov/hiv/topics/surveillance/resources/software/answr/index. htm (developer site), http://www.cdc.gov/hiv/software/answr/ver3d.htm (free download site). Atlas-ti. http://www.atlasti.com/. CDC EZ-Text. http://www.cdc.gov/hiv/topics/surveillance/resources/software/ ez-text/index.htm (developer site), http://www.cdc.gov/hiv/software/ez-text.htm (free trial download site) Ethnograph. http://www.qualisresearch.com/default.htm. Friese, Susanne. 2004. Overview/Summary of Qualitative Software Programs. http:// www.quarc.de/software_overview_table.pdf. Hyperqual. http://home.satx.rr.com/hyperqual/. QSR Software. NVivo 8. http://www.qsrinternational.com/. Qualpro. http://www.qualproinc.com/.

Phần mềm máy tính SPSS. http://www.spss.com. OpenStat. Version 4. http://www.statpages.org/miller/openstat/. Tutorial for SPSS v. 11.5. http://www.datastep.com/SPSSTraining.html/. Getting Started with SPSS for Windows. http://www.indiana.edu/~statmath/stat/spss/ win/. WinPure. Data Cleaning Software. http://www.winpure.com.

Các ví dụ về phân tích dữ liệu Carleton University. Canadian Foreign Policy Journal. http://www.carleton.ca/npsia/cfpj. IISD (International Institute for Sustainable Development). http://www.iisd.org/measure/default.htm. Lập kế hoạch và tiến hành phân tích số liệu

411

IMF (International Monetary Fund). http://www.imf.org/external/pubs/res/index .htm. ———. http://www.imf.org/external/np/sta/index.htm. North-South Institute. http://www.nsi-ins.ca/ensi/research/index.html. OECD (Organisation for Economic Co-operation and Development). http://www .oecd.org/dac/. UNDP (United Nations Development Programme). Human Development Report 2002. http://www.undp.org/hdr2002. UNEP (United Nations Environmental Programme). http://www.grid.unep.ch. UNESCO (United Nations Educational, Scientific, and Cultural Organization). http:// www.uis.unesco.org/en/stats/stats0.htm. UNHCR (United Nations High Commission for Refugees). http://www.unhcr.ch/cgi-bin/ texis/vtx/home. UNSD (United Nations Statistics Division). http://unstats.un.org/unsd/databases .htm. USAID (U.S. Agency for International Development.) http://www.usaid.gov/educ_training/ged.html. ———. http://www.dec.org/partners/eval.cfm. U.S. Census Bureau. http://www.census.gov/ipc/www/idbnew.html. WHO (World Health Organization). http://www.who.int/health-systems-performance. ———. Statistical Information System (WHOSIS). http://www.who.int/topics/statistics/ en/. World Bank. http://www.worldbank.org/data. ———. World Development Indicators 2005. http://worldbank.org/data/wdi2005.

412

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

ĐỐI MẶT VỚI THÁCH THỨC

“ Khi chúng ta làm mọi điều tốt nhất có thể, chúng ta không bao giờ biết rằng điều kì diệu sẽ xảy đến trong cuộc đời chúng ta hay sẽ xảy đến ở một nơi khác” —HELEN KELLER

Chương 11: Đánh giá các dự án can thiệp phức tạp

• • • • • •

Bức tranh tổng thể về các đánh giá các dự án phát triển Đánh giá các chương trình liên kết Đánh giá các chương trình quốc gia Đánh giá chương trình cấp ngành Đánh giá theo chủ để Đánh giá các chương trình liên kết toàn cầu và khu vực

CHƯƠNG 11

Đánh giá các dự án can thiệp phức tạp Tác động đến phát triển ngày càng trở nên phức tạp, tạo ra những thách thức mới, kỳ vọng mới, những mẫu hình mới chống lại nghèo đói, các phương pháp mới và khách hàng mới cho nhà đánh giá. Chương này thảo luận việc đánh giá các dự án liên kết, các dự án quốc gia, theo chủ đề, lĩnh vực và các dự án ở tầm quốc tế. Chương này gồm sáu phần chính:

• • • • • •

415

Bức tranh tổng thể về Đánh giá Phát triển Đánh giá cần phải có một bức tranh tổng thể. Làm như vậy có nghĩa là việc đánh giá không chỉ dừng lại ở đánh giá một dự án, một chương trình, chính sách duy nhất mà còn phải đánh giá cả các dự án, chương trình và chính sách có liên quan. Một bức tranh tổng thể có thể để cập đến những kinh nghiệm chung, tác động của các can thiệp trong ngành như y tế, giáo dục hoặc giao thông vận tải. Ví dụ, một bộ muốn quyết định tác động và bài học từ các can thiệp nhằm cải thiện phúc lợi xã hội của trẻ em hay phụ nữ, một nhà tài trợ có thể muốn xem xét tính hiệu quả của chiến lược đối với ngành giáo dục. Càng ngày, để đáp lại Tuyên bố Paris và Hiệp ước Accra, các chương trình vay vốn nhà tài trợ phải dựa trên các tiếp cận ngành (SWAps). Các nhân tố kinh tế, chính trị, xã hội phức tạp ảnh hưởng tới các hoạt động phát triển và việc đánh giá các chương trình phát triển. Các hoạt động trong lĩnh vực phát triển và đánh giá phát triển ngày càng trở nên có nhiều đối tác, bao gồm sự tham gia của các tổ chức phi chính phủ như khu vực tư nhân, các tổ chức triển khai và vận động chính sách phi lợi nhuận, và các tổ chức xã hội khác. Tác động tới phát triển không theo một đường tuyến tính. Mặc dù có mối quan hệ “nếu-thì” trong các tác động tới phát triển, nhưng nhiều nhân tố kinh tế, chính trị, môi trường, xã hội, tương tác với chương trình và có thể có ảnh hưởng tới kết quả của chương trình. Người đánh giá cần phải xác định rõ những nhân tố này và thiết kế đánh giá để có thể tách rời ảnh hưởng của những nhân tố đó. Khi sự phức tạp trong các hoạt động đánh giá ngày tăng, sự tương tác giữa các nhân tố này ngày càng trở nên phức tạp. Các quốc gia và đối tác phải xác định những tác động gộp của việc mang đến thay đổi của một ngành, một quốc gia hay của một vấn đề liên ngành như biến đối khí hậu. Người đánh giá cần phải quản lý các chương trình đánh giá trong bối cảnh của những phức tạp này. Nhưng sự phức tạp của các dự án đánh giá không chỉ đơn giản tăng lên là do phạm vi đánh giá ngày càng rộng. Cùng với sự nhận biết ngày càng tăng về gánh nặng của việc đánh giá đối với năng lực còn yếu hoặc chưa đủ kinh nghiệm của các nước đang phát triển, Tuyên bố Paris và Hiệp ước Accra đã nhấn mạnh sự cần thiết của sự tham gia của nhiều đối tác để đám bảo chất lượng của việc trợ giúp tại quốc gia đó và kết quả của sự trợ giúp đó Phát triển đã tiến đến một mức toàn diện hơn, đề cập nhiều hơn đến cải cách chính sách, xây dựng năng lực và quan tâm đến các vấn đề toàn cầu. Cũng như vậy, đánh giá cũng mở rộng, thông qua • Tái định hướng trọng tâm chỉ từ mức ở dự án, chương trình hay hoạt động sang tầm quốc gia, ngành, vấn đề, khu vực và toàn cầu 416

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Xác định cách thức tốt nhất để tổng hợp kết quả của tác động đến các hoạt động và tầm quốc gia nhằm đánh giá kết quả quốc tế hoặc chương trình • Tìm cách đánh giá ảnh hưởng của thiết kế chương trình, cách tiếp cận đối tác, và quản trị dự án đến kết quả chung • Tìm cách ứng dụng ở mức cao hơn và hướng đến ứng dụng một cách hệ thống (Health, Grasso, và Johnson 2005). Đánh giá quốc gia là một cách để thu được hiểu biết chung về những gì đang diễn ra và cho một cái nhìn sâu sắc về ảnh hưởng chung và kinh nghiệm phát triển của một nước. Nhưng làm thế nào để thực hiện các đánh giá này không phải lúc nào cũng rõ ràng. Các đánh giá ngành hay vấn đề - ở một quốc gia hay nhiều quốc gia – có thể đưa ra một bức tranh lớn. Họ có thể sử dụng nhiều cách tiếp cận, trong đó có thể có sự kết hợp số liệu sẵn có, phỏng vấn, thăm địa bàn, điều tra và phỏng vấn nhóm tập trung. Chương này xem xét 5 loại quan điểm rộng về: • • • • •

Đánh giá liên kết Đánh giá các chương trình quốc gia Đánh giá chương trình cấp ngành Đánh giá theo chủ đề Đánh giá các chương trình liên kết toàn cầu và khu vực.

Phối hợp đánh giá chung Đánh giá liên kết là đánh giá có nhiều hơn một tổ chức tham gia. Có nhiều mức độ liên kết, phụ thuộc vào mức độ các đối tác hợp tác với nhau trong quá trình đánh giá, tổng hợp các tài nguyên dùng cho đánh giá và kết hợp báo cáo đánh giá. Đánh giá liên kết có thể giúp vượt qua những vấn đề về quyền hạn trong đánh giá hiệu quả của một dự án, một chiến lược và sự bổ sung những nỗ lực của các đối tác khác, chất lượng của điều phối viện trợ vv… (OECD 2002, tr26)

■■ Đánh giá liên kết: Đánh giá có nhiều hơn một tổ chức tham gia

Đánh giá liên kết đã được thực hiện từ đầu những năm 1990. Nó đã tăng lên cả về chất và lượng kể từ khi ban hành Tuyên bố Paris năm 2005 và Hiệp ước Accra năm 2008. Tuy nhiên, khái niệm được hình dung về sự phụ thuộc vào hệ thống số liệu dựa vào kết quả của quốc gia vẫn còn yếu. Đánh giá của Tuyên bố Paris chỉ ra rằng các đánh giá liên kết đang ngày càng tăng, không những chỉ về số lượng các đánh giá mà còn cả chất lượng và hữu dụng hơn. Tuy nhiên, các nhà tài trợ, do không thể phụ thuộc vào hệ thống số liệu quốc gia mạnh, nên vẫn phải đối mặt với những áp lực thực hiện báo cáo các kết quả dự trên hệ thống riêng của họ. Đánh giá liên kết có thể được thực hiện bởi:

Đánh giá các dự án can thiệp phức tạp

417

• • • •

Nhà tài trợ + nhà tài trợ Nhà tài trợ + nước đối tác Nhiều nhà tài trợ + Nhiều nước đối tác Đối tác + đối tác (Chen và Slot 2007).

Breier (2005) đã chỉ ra các hình thức đánh giá liên kết dựa trên cách thức làm việc. Theo thỏa thuận nhiều đối tác truyền thống, sự tham gia được mở rộng cho đối tác có quan tâm, những người tham gia và đóng góp tích cực như nhau vào quá trình đánh giá. Theo thỏa thuận nhiều đối tác có đủ điều kiện, việc tham gia chỉ dành cho các đối tác đáp ứng được các yêu cầu nào đó, như là thuộc một nhóm nào đó (như EU) hoặc có lợi ích/vai trò trong vấn đề được đánh giá . Việc lập kế hoạch cho việc đánh giá liên kết là rất quan trọng cho sự thành công. Theo Breier: Một trong những bài học từ kinh nghiệm đánh giá liên kết là có đủ thời gian ban đầu khi bắt đầu xây dựng và thống nhất khuôn khổ hiểu biết chung về mục đích, mục tiêu, trọng tâm và phạm vi đánh giá đề xuất. Nếu không đủ thời gian và sự kiên nhẫn để thực hiện điều này, như trường hợp ở một số đánh giá đã phân tích, thì khả năng cao xảy ra là quá trình đánh giá gặp những khó khăn về sau (2005, trang 40)

Khi đánh giá liên kết chỉ liên quan đến một vài cơ quan thì cơ cấu quản lý có thể đơn giản: • Người đánh giá có thể quyết định gặp gỡ thường xuyên và chia sẻ các quyết định về quản lý. • Người đánh giá có thể quyết định xem các đối tác có cùng tham gia một cách công bằng trong việc quản lý nhưng đưa một hoặc nhiều đối tác vào vị trí lãnh đạo. • Người đánh giá có thể quyết định phân công quản lý cho đối tác duy nhất, còn các đối tác khác xem xét lại kết quả chính (OECD 2006) Với các đánh giá liên kết lớn, cấu trúc quản lý thường gặp là một hệ thống 2 bậc, gồm (a) một Ban quản lý và (b) một nhóm quản lý đảm trách công việc hoạt động hàng ngày của đánh giá. Với cơ cấu này, sự chậm trễ diễn ra rất lớn trong việc quyết định liệu một vài cơ quan sẽ tham dự với tư cách là những đối tác im lặng, ban quản lý tham gia chi tiết đến mức nào trong quá trình ra quyết định và có bao nhiêu đối tác sẽ tham gia vào nhóm quản lý hàng ngày và trách nhiệm họ phải gánh vác là thế nào (OECD 2006, trang 20)

Một lựa chọn khác là cách tiếp cận linh hoạt hay phân cấp. Mỗi một đối tác có thể quản lý những cấu phần cụ thể của đánh giá theo kiểu hình răng cưa.

418

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Cũng có thể vận dụng cách tiếp cận hỗn hợp, theo đó một vài cấu phần sẽ được liên kết thực hiện và các cấu phần khác sẽ được thực hiện bởi các đối tác nào đó (OECD 2006). Cả cấu trúc tập trung và phi tập trung đều có những điểm mạnh và điểm yếu. Quản lý phi tập trung theo vấn đề cần đánh giá giúp việc phân công công việc và trao trách nhiệm dễ dàng hơn, dẫn đến quá trình quản lý hiệu quả hơn. Tuy vậy cấu trúc phi tập trung cũng gây ra sự trùng lắp và có thể bỏ qua một số vấn đề quan trọng. Áp dụng cấu trúc quản lý tập trung cho phép từng đối tác phải có đầu vào và có ảnh hưởng đến tất cả các cấu phần của đánh giá, nhưng cấu trúc này lại thiếu tính sở hữu và tính cấp bách vốn là đặc tính của chiến lược phi tập trung. Các đối tác cần phải xem xét điểm mạnh và điểm yếu của mỗi cơ cấu và quyết định cơ cấu nào phù hợp với đòi hỏi của đánh giá. DAC chỉ ra những lĩnh vực chính mà các đối tác đánh giá chung phải đạt được thỏa thuận: • Những quy tắc về việc quản lý đánh giá • Điều khoản tham chiếu cho việc đánh giá • kỹ thuật thu thập và phân tích số liệu • các biện pháp chọn lựa nhóm đánh giá (đấu thầu, thuê khoán) • ngân sách, chi phí và tài trợ • Báo cáo kết quả, trong đó có những quy định về công bố kết quả (OECD 2006) Breier (2005) chỉ ra các cách giải quyết vấn đề liên quan đến luật pháp trong đánh giá liên kết. Những vấn đề này bao gồm: • Nhu cầu thuê khoán của các đối tác khác nhau • những thủ tục thống nhất phản ánh hệ thống luật pháp, các yêu cầu và việc thực thi của đối tác có trách nhiệm làm đại diện cho nhóm • thỏa thuận về thanh toán một khoản với đàm phán hợp đồng, bao gồm các điều khoản liên quan đến xóa bỏ hợp đồng (do thực hiện kém) • yêu cầu báo cáo tiến độ để thấy rằng tiền tài trợ đã được sử dụng đúng mục tiêu Khi cấu trúc đã được hình thành và những quy tắc đã được thiết lập, các nhà quản lý đánh giá liên kết chuyển sang các vấn đề về vận hành và quản lý. Freeman (2006) đã đề xuất 16 nguyên tắc để tổ chức và quản lý một nhóm đánh giá bên ngoài (bảng 11.1). Một nguồn tài liệu tham khảo có giá trị là cuốn “Hướng dẫn quản lý các đánh giá liên kết” (đường link đến website của cuốn sách này được để ở cuối chương này)

Đánh giá các dự án can thiệp phức tạp

419

Bảng 11.1 Lựa chọn, Tổ chức, và Quản lý Nhóm Đánh giá bên ngoài và Báo cáo Kết quả Vấn đề

Chọn nhóm đánh giá bên ngoài

Quy tắc

• Đảm bảo rằng có chuyên gia có hiểu biết về đánh giá các dự án hợp tác phát triển lớn, phức tạp • Giữ tổ chức càng đơn giản càng tốt và nếu có thể chọn làm việc với tổ chức trước đây bạn đã từng làm • Đưa các tư vấn địa phương vào một quá trình đấu thầu cạnh tranh quốc tế và đưa họ vào việc lựa chọn chiến lược và thiết kế đánh giá. • Trong một nghiên cứu có nhiều nước tham dự, mỗi một nhóm đi thực địa cần phải gồm nhiều người từ nhiều tổ chức khác nhau chứ không nên chỉ có mối tổ chức chuyên môn về địa lý hoặc thể chế.

Quản lý các nhóm đánh giá bên ngoài

• Cam kết thực hiện đánh giá rõ ràng ở mức chung với các tổ chức đánh giá bên ngoài chính • Tổ chức các cuộc họp với các nhóm đánh giá để xây dựng cách tiếp cận chung về đo lường và viết báo cáo • Nếu có thể, hình thành một nhóm quản lý để báo cáo đến ban quản lý dự án • Dành đủ thời gian cho các cuộc họp của Ban quản lý dự án cho thảo luận và tìm ra những điểm chung • Trong đánh giá liên kết, đảm bảo rằng các nhà đánh giá bên ngoài làm việc cởi mở và minh bạch và đảm bảo có sự kết nối một cách trực tiếp từ phương pháp đến những bằng chứng thu được và các phát hiện, kết luận và gợi ý chính sách • Trong việc thảo luận bổ sung các nguồn lực bổ sung, nếu cần thiết, cần có nhóm đánh giá và nhóm quản lý bắt đầu bằng việc đồng ý với phân công lao động như đã nêu ra ở hợp đồng gốc (và sử dụng nguồn lực ban đầu) và công việc đã tạo ra những vấn đề mới, những môi quan tâm mới và những vấn đề nổi lên do những hoàn cảnh không nhìn thấy trước. Để làm được việc đó, nhóm đánh giá cần phải chuẩn bị kế hoạch chi tiết về chi phí và thời gian cho từng công viêc mới phát sinh.

Tổ chức các nhóm quản lý bên ngoài

• Đảm bảo rằng tổ chức chính trong nhóm đánh giá cam kết mạnh mẽ và có kinh nghiệm trong việc thực hiện các cuộc đánh giá các chương trình hợp tác phát triển quốc tế. Dự án cần phải phù hợp với công việc và thị trường của tổ chức đó. • Đảm bảo rằng các bên có liên quan duy trì định hướng tích cực trong suốt thời gian thực hiện đánh giá • Đảm bảo rằng nhóm đánh giá bên ngoài thương thảo với tất cả các thành viên của ban quản lý để tránh những thiên vị về định chế và xử sự công bằng • Đầu tư một khoản ngân sách đáng kể để tuyên truyền và theo dõi các hoạt động.

Báo cáo kết quả của nhóm quản lý bên ngoài

• Trình bày các phát hiện ban đầu trước khi dự thảo báo cáo. • Thảo báo cáo với một thái độ cởi mở để nâng cao chất lượng của báo cáo, trong khi đó đảm bảo rằng những người đánh giá có thể và sẵn sàng giữ trách nhiệm của họ về phát hiện và các kết luận của báo cáo.

Nguồn: Theo Freeman 2007.

420

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá các Chương trình Quốc gia Quan điểm lớn tập trung vào hỗ trợ quốc gia. Việc đánh giá một chương trình quốc gia (đôi khi được gọi là đánh giá chương trình hỗ trợ quốc gia hoặc đánh giá chương trình quốc gia) là việc đánh giá toàn bộ chương trình hỗ trợ cho một quốc gia. Chương trình đánh giá quốc gia là một nghiên cứu thực chứng để so sánh những gì đã làm được với những gì đã được lên kế hoạch. Nó có thể

■■ Đánh giá

chương trình quốc gia: Đánh

giá toàn toàn bộ chương trình hỗ trợ cho một quốc gia

• đánh giá sự thích hợp mang tính chiến lược của một chương trình hỗ trợ quốc gia với nhu cầu của quốc gia đó • kiểm chứng việc triển khai của các đối tác để quyết định xem những kết quả dự kiến có đạt được hay không • chỉ ra những thành công và thất bại trong các ngành khác nhau hay những cách tiếp cận khác nhau được sử dụng ở quốc gia đó và xác định những nhân tố góp phần cho hoạt động • xác định sự hiệu quả của viện trợ của một nhà tài trợ cho quốc gia đó (OECD 1999) Đánh giá chương trình quốc gia thường được dựa trên các tiêu chí DAC về tính thích hợp, hiệu quả, tác động và bền vững. Nó có thể xem xét hoạt động của các nhà tài trợ, của nước nhận viện trợ hoặc của cả hai (xem hộp 11.1) Một chương trình đánh giá quốc gia có thể phải đối mặt với những thách thức như: • Các chương trình hỗ trợ quốc gia thương thiếu các mục tiêu chặt chẽ và các kết quả rõ ràng, mới phản ánh cách tiếp cận theo cơ hội • Các can thiệp tương tự nhau thường được tài trợ bởi nhiều nguồn, làm cho việc đánh giá trở nên khó khăn hơn (chú ý: việc đồng tài trợ khác với việc các nhà tài trợ tài trợ cho các hoạt động can thiệp giống nhau) • Thường không có bản đồ của các hoạt động hỗ trợ quốc gia. Điều này làm cho việc biết được những ai đang làm gì ở một khu vực nào đó trở nên khó khăn hơn. • Như trong bất kỳ một cuộc đánh giá nào “ luôn luôn có danh tiếng và nỗi sợ có thể đe dọa sự hăng hái và cam kết của chương trình và nhân viên của đối tác. Việc đánh giá chương trình quốc gia, giống các đánh giá khác, cần phải thực hiện với sự nhạy cảm cần thiết (OECD 1999 trang 18) Mạng lưới DAC về đánh giá phát triển đã đề xuất những gợi ý sau: • Một phần lớn cấu phần của chương trình đánh giá cần phải được phối hợp thực hiện, với sự tham gia đầy đủ và tích cực của phía nhận viện trợ và các đối tác khác. • Các nước đang phát triển cần phải cho thấy sự tích cực hơn nữa trong việc khởi xướng nhận trách nhiệm đi đầu trong các việc lên kế hoạch, điều phối và lập thời gian biểu của các chương trình đánh giá. Đánh giá các dự án can thiệp phức tạp

421

Hộp 11.1 Ví dụ về Phương pháp Đánh giá Chương trình Quốc gia

Từ năm 1995, Nhóm đánh giá độc lập (IEG) của Ngân hàng thế giới đã thực hiện hơn 70 đánh giá các chương trình và phát triển một phương pháp luận rõ ràng (Ngân hàng thế giới 2008). Phương pháp luận của IEG là cách tiếp cận từ dưới lên và từ trên xuống. Với từng mục tiêu cụ thể, việc đánh giá hỗ trợ quốc gia sẽ đánh giá • Tính thích hợp của mục tiêu • Tính cấp thiết của chiến lược của ngân hàng trong việc đạt được mục tiêu bao gồm sự cân bằng giữa các công cụ cho vay và không cho vay. • Hiệu quả của các chiến lược được thực thi • Các kết quả đạt được Việc đánh giá được thực hiện theo 2 bước. Bước thứ nhất là xem xét từ trên xuống dưới để đánh giá chương trình của Ngân hàng có đạt được mục tiêu hoặc các kế hoạch đã đề ra và có tác động đến sự phát triển của quốc gia hay không. Bước thứ hai là xem xét từ dưới lên những sản phẩm hoặc dịch vụ của ngân hàng sử dụng (các khoản vay, dịch vụ phân tích và tư vấn, và phối hợp viện trợ) để đạt được mục đích. Hai bước này để kiểm tra tính thống nhất của các kết quả tìm được và các khía cạnh của tác động. Sau đó, một đánh giá được thực hiện để xem xét đóng góp của ngân hàng, các nhà tài trợ, chính phủ và các nhân tố khác trong việc đạt được các mục tiêu. Khi IEG đánh giá những tác động kỳ vọng của một chương trình hỗ trợ, nó xem xét mức độ các mục tiêu chiến lược đã đạt được. Thông thường, các chương trình đều diễn giải mục tiêu sử dụng các mục đích cao hơn như Mục tiêu phát triển thiên niên kỷ và xóa đói giảm nghèo. Chiến lược hỗ trợ quốc gia cũng có thể được thiết lập như là một mục tiêu trung hạn, như cải thiện các dịch vụ xã hội hoặc thúc đẩy các chương trình phát triển nông thôn. Việc đánh giá được thực hiện để xem xét những mục tiêu trước mắt có tạo ra những lợi ích ròng kỳ vọng không và các kết quả được nêu ra trong Chiến lược hỗ trợ quốc gia có chính xác không. Ở những chỗ mối liên kết qua lại không được chỉ rõ, người đánh giá phải cố xây dựng mối quan hệ này thông qua các bằng chứng thực tế. Người đánh giá cũng cần phải đánh giá tính cấp thiết, hiệu quả và kết quả của các mục tiêu trước mắt và mục tiêu lâu dài. Những người đánh giá cũng đánh giá mức độ sở hữu của các mục tiêu thiên niên kỷ. Ví dụ, các ưu tiên bao gồm MDGs, bảo vệ quyền con người, dân chủ, giới và môi trường. Lý tưởng nhất là những vấn đề này được xác định và đề cập trong chiến lược phát triển quốc gia, cho phép người đánh giá tập trung vào xem xét những cách tiếp cận được sử dụng có phù hợp không. Chiến lược cũng có thể bao trùm những tranh chấp hoặc bỏ qua những hạn chế phát triển, làm giảm tính liên quan của dự án, tính sở hữu và làm gia tăng những ảnh hưởng tiêu cục như vi phạm những yêu cầu bảo vệ. Tất cả những nhân tố đó cần phải được xem xét để đánh giá kết quả của dự án. Điểm quan trọng là thậm chí khi dự án Ngân hàng Thế giới hoạt động tốt, nhưng quốc gia đó không thực hiện tốt dự án thì hỗ trợ cũng được coi là không đạt được kết quả mong muốn và ngược lại.

422

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Các nước đang phát triển cần phải được hỗ trợ để xây dựng năng lực cho việc khởi xướng và lãnh đạo các phối hợp đánh giá chung. • Điều phối tốt hơn và chia sẻ kiến thức là việc cần làm giữa các đối tác khác nhau giữa các nước nhận viện trợ. Một mạng lưới theo dõi và đánh giá cấp quốc gia và các hiệp hội nghề nghiệp cần phải được xây dựng và phát triển • Một khi một chương trình đánh giá chung được thực hiện với sự tham dự của nhiều nước đang phát triển, các nước này cần phải được hỗ trợ để gặp gỡ nhau, chia sẻ quan điểm và các đầu vào (OECD 2005 trang 7) Nhóm hợp tác đánh giá của các ngân hàng phát triển đa phương gần đây đã xuất bản tiêu chuẩn thực hiện cho các chương trình đánh giá quốc gia. Những tiêu chuẩn này dự kiến để hài hòa hóa hơn nữa các tiêu chuẩn đánh gia, tiến trình và các bước đánh giá và để kết quả của các đánh giá dễ dàng so sánh hơn. Một đường dẫn tới website của tài liệu này được đưa ra ở cuối chương này. Các chương trình đánh giá quốc gia có thể bắt đầu với một điều khoản tham chiếu rõ ràng do các đối tác và các tổ chức phát triển cùng phát triển. Điều khoản này cần phải xác định chính xác những gì mà các bên có liên quan kỳ vọng. Khuôn khổ thời gian cần phải nêu rõ trong điều khoản tham chiếu. Điều khoản tham chiếu cần: • Nêu rõ ràng mục đích của việc đánh giá, các tiêu chuẩn đánh giá và cách các phát hiện thu được sẽ được sử dụng • Nêu rõ những ưu tiên ban đầu của tổ chức cho chương trình quốc gia (ví dụ, xóa đói giảm nghèo, tăng sản lượng thu hoạch) • Nêu rõ các bước báo cáo, công bố và các bước tiếp theo. Việc công bố toàn bộ các phát hiện là lý tưởng nhất Bởi vì những khó khăn trong việc tìm kiếm các điểm đối xứng, có điểm so sánh là quan trọng với các chương trình đánh giá quốc gia. So sánh thường được so sánh với các quốc gia tương đồng, thường là trong cùng một khu vực. Khi một chương trình đánh giá quốc gia được công bố rộng rãi hơn, thì khả năng so sánh chéo càng dễ dàng. Như đã được chỉ ra GPS, sự phức tạp của các chương trình đánh giá quốc gia càng gia tăng. Như nhà một phản ứng của Tuyên bố Paris và Hiệp ước Accra, có một nhu cầu đánh giá với sự tham gia của các đối tác trong các chương trình hỗ trợ quốc gia vượt qua những yêu cầu của MDBs và bao gồm tất cả nguồn hỗ trợ từ bên ngoài, chính vì vậy các thách thức cần phải lớn hơn.

Đánh giá các Dự án ngành Đánh giá các Dự án ngành là việc đánh giá chương trình can thiệp trong các dự án lớn như giáo dục, y tế, nhà ở và giao thông vận tải. Hướng dẫn đánh giá Đánh giá các dự án can thiệp phức tạp

■■ Đánh giá

chương trình cấp ngành: Đánh giá các chương trình can thiệp ở các ngành chủ chốt như giáo dục, y tế, nhà ở, giao thông vận tải

423

■■ Đánh giá

theo chủ đề: Đánh giá một số vấn đề chọn lọc hoặc một số chủ đề trong các hoạt động phát triển

424

dự án của Tổ chức di dân quốc (IOM) đã định nghĩa việc đánh giá dự án cấp ngành là “đánh giá các hoạt động của cứu trợ trong một ngành, ở một nước hay nhiều nước.” Một ngành là các hoạt động trong một lĩnh vực cụ thể như giáo dục, y tế, giao thông hay nông nghiệp (IOM 2006 trang 30). Vì đánh giá ngành xem xét nhiều dự án với những mục đích và nhà tài trợ khác nhau nên thường phức tạp hơn các đánh giá dự án khác. Nó có thể phức tạp như đánh giá các chương trình quốc gia (và thậm chí là phức tạp hơn nên nó được thực hiện ở nhiều quốc gia). Giống như việc đánh giá các chương trình quốc gia, việc đánh giá các dự án ngành thường là đánh giá thực chứng. Việc so sánh các đánh giá chương trình quốc gia và các đánh giá theo ngành là hữu ích tại IEG. Ở cấp quốc gia, IEG thường tiến hành tổng kết toàn bộ các dự án của nhóm ngân hàng thế giới ở tại thời điểm thích hợp trong một ngành. Với các đánh giá ngành IEG tiến hành xem xét toàn bộ các dự án thuộc ngành đó trong một khoảng thời gian thích hợp và ở các nước được lựa chọn. Tuy nhiên, trong trường hợp đánh giá ngành, IEG thường gặp các vấn đề liên quan đến khái niệm. Ví dụ, một dự án là đa ngành, liệu IEG chỉ chọn các dự án mà ngành đang được quan là là ngành chính hay chọn cả những dự án mà ngành đang được quan tâm chỉ là ngành phụ trong dự án đó. Do vậy, mặc dù cả đánh giá các dự án cấp quốc gia hay đánh giá các dự án theo ngành đều cần xem xét lại toàn bộ các dự án, thì vấn đề này trở nên phức tạp hơn cho việc xem xét tổng kết theo ngành. Các vấn đề tương tự cũng gặp phải thường liên quan đến thiết kế và phương pháp đánh giá. Với nhóm ngân hàng thế giới, và với nhiều nhà tài trợ khác, các phương pháp đánh giá dự án cấp quốc gia đã có những quy chuẩn. Nhưng các phương pháp đánh giá theo ngành thường chung chung với việc thiết kế và phương pháp đánh giá được quyết định bởi câu hỏi đánh giá cụ thể và nguồn lực có cho nghiên cứu. Trong khi đa số bao gồm các nghiên cứu trường hợp của từng nước, nhưng điều này cũng không phải là cần thiết. Khi nghiên cứu trường hợp được sử dụng, các câu hỏi quan trọng về việc lựa chọn trường hợp và phương pháp cũng phải được giải quyết. Sở hữu và trách nhiệm của các đối tác là các vấn đề chính trong chương trình đánh giá dự án cấp ngành (Bộ Ngoại giao Đan Mạch 1999). Cả các tổ chức phát triển và các tổ chức đối tác đều quan tâm đến việc cải thiện việc cấp viện trợ, tính minh bạch và tính bền vững trong ngành. Mô tả vắn tắt dưới đây về việc phối hợp đánh giá chung trong ngành y tế Tanazia làm nổi bật những mối quan tâm chính (hộp 11.2)

Đánh giá theo chủ đề Đánh giá theo chủ đề có liên quan đến một số mặt hoặc một số chủ để trong các hoạt động phát triển (Bộ Ngoại Giao Đan Mạch 1999, tr. 30). Những chủ đề Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 11.2 Phối hợp đánh giá ngành y tế Tazania giai đoạn 1999-2006

Trong những năm 1990, Ngành y tế Tan-da-ni-a đối mặt với những trì trệ. Dịch vụ y tế tại địa phương đối mặt với thiếu hụt nghiêm trọng các loại thuốc, thiết bị cơ bản cũng như phải đối mặt với tình trạng cơ sở hạ tầng xuống cấp, quản lý yếu, thiếu giám sát và thiếu động cơ làm việc. Ngành này cũng gặp phải vấn đề xuống cấp của dịch vụ y tế bệnh viện. Thiếu sự hợp tác trong cung cấp dịch vụ y tế giữa khu vực công cộng, các tổ chức phi chính phủ, và các nhà cung cấp dịch vụ tư nhân. Dịch vụ y tế thiếu nguồn tài chính với chi tiêu y tế chỉ đạt 3.46 đô la đầu người. Ngoài ra thiếu sự phối hợp trong các nỗ lực hỗ trợ ngành y tế của các đối tác phát triển. Chính phủ Tan-da-ni-a và các đối tác hỗ trợ phát triển (Bỉ, Ca-na-đa, Đan Mạch, Đức, Hà Lan, và Thụy sỹ) đã đối phó với vấn đề này bằng một quá trình bắt đầu bằng việc thiết lập một ủy ban lập kế hoạch chung vào giữa thập niên. Vào năm 1999, quá trình này đạt được kết quả là một kế hoạch phát triển chiến lược ngành y tế. Chương trình việc làm ngành y tế (POW) và một thỏa thuận hỗ trợ ngành này nằm trong khuôn khổ của cách tiếp cận ngành. POW và sau đó là kế hoạch chiến lược ngành y tế đã bắt đầu một quá trình cải cách ngành y tế với mục tiêu giải quyết những yếu kém trong ngành và đạt được một số mục đích và mục tiêu đã đươc đề cập trong Mục tiêu Phát triển Thiên niên kỷ và Chiến lược quốc gia về tăng trưởng và giảm nghèo (NSGPR/MKUKUTA). POW và HSSP2 xác định một số lĩnh vực ưu tiên cho các can thiệp mang tính chiến lược: • nâng cao dịch vụ y tế tại địa phương và cải cách và nâng cao dịch vụ y tế tại các cấp cao hơn • thay đổi vai trò của bộ y tế và phúc lợi xã hội thành một tổ chức đưa ra chính sách hỗ trợ • cải cách hệ thống hỗ trợ trung ương (bao gồm cơ sở hạ tầng, hệ thống thông tin quản lý y tế, cung cấp thuốc men, giao thông vận tải và công nghệ thông tin) • áp dụng và triển khai một chiến lược quốc gia phòng chống HIV/AIDS như là một cấu phần của HSSP2 • cải thiện mối quan hệ giữa chính phủ và các đối tác phát triển để nâng cao quá trình dung hòa và định hướng chung cho nguồn lực bên ngoài và nguồn lực của Tan-da-ni-a trong một mối quan hệ hiệu quả hơn. • tính cấp thiết của kế hoạch chiến lược và triển khai trong ngành y tế để đạt được Mục tiêu Phát triển thiên niên kỷ và các mục tiêu và mục đích của ngành y tế trong NSGPR và tính phù hợp của các hỗ trợ từ bên ngoài. • tiến trình và những thành tựu của từng ưu tiên trong 9 ưu tiên chiến lược của quá trình cải cách ngành y tế. còn nữa

Đánh giá các dự án can thiệp phức tạp

425

Hộp 11.2 tiếp

• thành tựu trong cải thiện khả năng tiếp cận, chất lượng dịch vụ và các chỉ tiêu y tế trong giai đoạn đánh giá. • những thay đổi liên quan đến hợp tác trong giai đoạn đánh giá, bao gồm sự tiến triển trong những nỗ lực hài hóa hóa và việc sử dụng các phương thức hỗ trợ khác nhau Đánh giá tập trung vào bốn nội dung: • mức độ phù hợp của chiến lược ngành y té và các kế hoạch triển khai để đạt được các mục tiêu thiên niên kỷ về y tế, cũng như các mục tiêu chung và mục tiêu cụ thể của NSGRP về y tế, và mức độ phù hợp của các hỗ trợ từ bên • mức độ tiến triển và thành tựu đạt được của chín chiến lược ưu tiên trong quá trình cải cách ngành y tế • thành tựu đạt được trong vấn đề nâng cao khả năng tiếp cận, nâng cao chất lượng dịch vụ và cải thiện các kết quả về y tế trong giai đoạn đánh giá • các thay đổi về hợp tác trong giai đoạn đánh giá, trong đó có đánh giá các nỗ lực dung hòa và sắp xếp cũng như sử dụng các hình thức hỗ trợ khác nhau. Việc đánh giá được thực hiện từ tháng 12 năm 2006 đến tháng 9 năm 2007 do một nhóm gồm 8 tư vấn về y tế và đánh giá tiến hành, trong đó có 3 người U-gan-đa và Ma-na-uy. Phương pháp chính được sử dụng bao gồm: • Nghiên cứu tài liệu • Phỏng vấn các chuyên gia tại cấp quốc gia • Tự đánh giá của các phòng khám địa phương, do Bộ Y tế và Phúc lợi xã hội thực hiện tại 16 huyện của Tan-da-ni-a • Các nghiên cứu trường hợp được thực hiện tại 6 tỉnh (bao gồm cả những cuộc thảo luận với thành viên cộng đồng), do nhóm đánh giá thực hiện • Phân tích dòng chảy tài chính và nguồn lực cho ngành y tế ở cấp quốc gia, khu vực và tỉnh • Đánh giá số liệu về kết quả y tế ở cấp quốc gia Những thông tin đánh giá từ các phương pháp trên được sử dụng để kiểm nghiệm chéo để phát hiện ra những điểm giống và nâng cao tính chính xác của các phát hiện và kết luận. Nguồn: Bộ Ngoại giao Đan Mạch 2007.

được nổi lên từ các tuyên bố chính sách. Tổ chức phát triển có thể quyết định, ví dụ, rằng tất cả các dự án hoặc chương trình sẽ để cập đến một vấn đề hoặc một vài vấn đề cụ thể như giới, môi trường, sự bền vững xã hội hoặc xóa đói

426

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

giảm nghèo. Mối một vấn đề phải được đề cập tại toàn bộ các bước của dự án và ở dưới mọi hình thức viện trợ. Cũng như các đánh giá chương trình quốc gia và ngành, cách tiếp cận với đánh giá theo chủ đề cũng là từ dưới lên và từ trên xuống. Các chủ đề được đánh giá trong một dự án theo cấu trúc của dự án; các thông tin đánh giá cung cấp đầy đủ cho đánh giá theo chủ đề. Thêm vào đó, việc đánh giá theo chủ đề vượt qua cả cấp dự án để nhìn tổng thể tất cả các dự án; một số nước sẽ được lựa chọn cho các nghiên cứu sâu (nghiên cứu trường hợp). Một đánh giá theo chủ đề sẽ xem xét nhiều loại thông tin khác nhau (hộp 11.3) sau đó sẽ lấy các thông tin tổng hợp từ các nguồn đó. Một trong những phát hiện chính của đánh giá theo chủ đề về vấn đề nô lệ trẻ em là vai trò của giới: đa số trẻ em liên quan đến vấn đề này là nữ và những người lớn có liên quan cũng là phụ nữ. Nghiên cứu này phân biệt nó bằng sự nhạy cảm của nó với vấn đề liên quan đến giới.

Hộp 11.3 Ví dụ về Đánh giá theo Chủ đề: Đánh giá về trẻ em nhặt rác ở châu Phi, châu Á, và châu Âu

WASTE là một tổ chức có nỗ lực hướng tới cải thiện bền vững điều kiện sống của người nghèo thành thị và môi trường đô thị. Tổ chức lao động quốc tế đã hợp đồng với WASTE để thực hiện đánh giá về lao động trẻ em trong lĩnh vực nhặt rác. Mục đích của việc đánh giá này là cung cấp cho ILO những chỉ dẫn để có thể giải quyết vấn đề khai thác trẻ em trong lĩnh vực này. Việc đánh giá đã xác định đánh giá công việc thu nhặt rác và các cách tiếp cận khác nhau để chỉ ra vấn đề lao động trẻ em trong mối quan hệ với công việc gom nhặt rác. Thông tin thu thập từ nhiều dự án khác nhau được tiến hành trong lĩnh vực này do Chương trình quốc tế về loại bỏ lao động trẻ em và từ những nỗ lực của các tổ chức khác. Đánh giá đã đưa ra đánh giá chiến lược và những gợi ý cho ILO (Đánh giá này có tiêu đề là Addressing the Exploitation of Children in Scavenging (Waste Picking): A Thematic Action Agenda on Child Labour, và có thể tải xuống từ website của ILO). WASTE thực hiện các nghiên cứu thực địa ở Ai Cập, Ấn Độ, Rumani, Tan-da-ni-a, và Thái Lan và chuẩn bị các báo cáo bổ sung dựa trên các kết quả chính. Ở Tan-da-ni-a, báo cáo có trình bày tổng quan các tài liệu có liên quan, phỏng vấn nhân viên của nhiều tổ chức và ban quản lý dự án, phỏng vấn các bên có liên quan, và đi thăm hai điểm trung chuyển ở thành phố và điểm chôn rác ở Dar es Salaam và phỏng vấn những người nhặt rác và đại diện từ hội những người nhặt rác. Nguồn: Duursma 2004; WASTE 2005.

Đánh giá các dự án can thiệp phức tạp

427

Các đặc trưng của cách tiếp cận với các vấn đề nhạy cảm giới là: • Một khuôn khổ lý thuyết có nhận thức rõ bản chất tự nhiên về giới tính trong phát triển và đóng góp của cân bằng giới trong việc phát triển kinh tế xã hội • Việc thiết lập một bộ số liệu giới tại cấp quốc gia, ngành và địa phương nhằm đồng bộ hóa các số liệu liên quan đến giới và chỉ ra những vấn đề về giới cần phải được đề cập trong việc thiết kế và thực hiện các đánh giá dự án. Việc thiếu các số liệu phân tách theo giới thường được coi là thiếu sự quan tâm đến vấn đề giới. Ở những nơi số liệu không phân tách theo giới, việc xác định các chiến lược phát triển bộ số liệu phù hợp là rất quan trọng để có thể tiến hành các phân tích về giới tốt hơn trong tương lai. Các chính sách này bao gồm: • Đảm bảo rằng các phương pháp thu thập số liệu cho biết đầy đủ thông tin của cả nam và nữ và những vấn đề chính liên quan đến giới như phân công lao động, phân tích việc sử dụng thời gian, kiểm soát nguồn lực và ra quyết định trong gia đình và cộng đồng được đưa vào trong thiết kế nghiên cứu. • Đảm bảo rằng thông tin được thu thập về, và từ các thành viên hộ gia đinh và từ chủ hộ (thường là đàn ông) không chỉ là nguồn thông tin duy nhất. • Sử dụng các phương pháp thu thập thông tin đã bao gồm yếu tố giới ở những giai đoạn phù hợp • Đảm bảo rằng nhóm nghiên cứu có sự cân bằng giữa nam và nữ • Đảm bảo rằng các bên có liên quan được tham khảo ý kiến trong quá trình thiết kế, phân tích và công bố kết quả đánh giá và nhóm tư vấn bao gồm cả nam và nữ (Ngân hàng Thế giới 2007e) Lập kế hoạch và đánh giá các chương trình phát triển thường sử dụng cách tiếp cận “không phân biệt giới”, một cách tiếp cận có giả thiết là cả nữ và nam đều có các nhu cầu về phát triển giống nhau. Trong đa số các xã hội, nam giới thường lấn át việc ra quyết định ở cấp cộng đồng và hộ gia đình. Chính vì vậy cách tiếp cận không phân biệt giới sẽ chủ yếu phản ứng lại với những ưu tiên của đàn ông. Việc bỏ qua những nhu cầu và năng lực của người phụ nữ sẽ giảm khá lớn tính hiệu quả và công bằng của chính sách và các chương trình. Cách thức qua đó nhiều công cụ thiết kế và đánh giá các chương trình phát triển được áp dụng đã không chú ý đến vấn đề giới nên thậm chí khi tham khảo ý kiến cộng đồng hay điều tra hộ gia đình được thực hiện để có được các cách nhìn về mọi lĩnh vực trong cộng đồng thì những mối quan tâm của phụ nữ cũng thường không được nắm bắt đầy đủ.

428

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Đánh giá các Chương trình Hợp tác Khu vực và Toàn cầu Đánh giá các Chương trình Hợp tác Khu vực và Toàn cầu (GRPPs) là một cách tiếp cận ngày càng trở nên quan trọng trong việc cung cấp các hỗ trợ phát triển để giải quyết các vấn đề toàn cầu và khu vực. Các chương trình hợp tác toàn cầu và khu vực chủ yếu tập trung vào một lĩnh vực hay một chủ đề nào đó như nông nghiệp, môi trường, y tế, tài chính hoặc thương mại quốc tế. Các chương trình hợp tác toàn cầu và khu vực là việc hợp tác trong đó • các đối tác đóng góp và gộp nguồn lực (tài chính, kỹ thuật, nhân lực và danh tiếng) để đạt được những mục tiêu đã được đồng ý trong lâu dài • các hoạt động của chương trình có phạm vi toàn cầu, khu vực hoặc đa quốc gia • các đối tác thiết lập một tổ chức mới với cấu trúc và cơ quan quản lý để thực hiện các hoạt động này.

■■ Chương trình

Hợp tác Khu vực và Toàn cầu (GRPP):

Sự hợp tác chương trình mà các bên tham gia đóng góp và gộp các nguồn lực để đạt được các mục tiêu đã được thống nhất có phạm vi toàn cầu, khu vực hoặc đa quốc gia

Một chương trình hợp tác mới thường được thiết lập sau khi một nhóm các nhà hoạt động toàn cầu và khu vực xác định một vấn đề hoặc một cơ hội yêu cầu các hoạt động cộng đồng nhưng những việc này thường vượt qua ranh giới quốc gia. Những nhà hoạt động toàn cầu có thể là những nhà tài trợ, và những người nhận viện trợ và có thể thuộc khu vực công hoặc tư. Ví dụ việc quản lý nguồn nước ở khu vực sông Mekong và sông Nile. Các vấn đề và cơ hội không thể được giải quyết một cách hiệu quả trong phạm vi một quốc gia bởi vì có nhiều quốc gia (6 ở khu vực sông Mekong và 19 ở khu vực sông Nile) có liên quan đến việc quản lý các sông này. Hơn thế nữa phần lớn nền kinh tế là kết quả của các hoạt động phối hợp ở mức toàn cầu hay khu vực (thế hệ công nghệ mới, các trường hợp điển hình ở nhiều quốc gia) Các chương trình thường tập trung vào việc sản xuất hoặc bảo vệ các loại hàng hóa công cộng (ví dụ, các nghiên cứu kỹ thuật để nâng cao chất lượng hạt giống hoặc tăng tính đa dạng sinh học) hoặc giảm các vấn đề chung của toàn cầu (như HIV/AIDS hoặc ô nhiễm môi trường). Các loại hàng hóa công cộng là hàng hóa không có tính cạnh tranh (cung cấp cho một người hoặc một quốc gia không làm giảm cung của hàng hóa đó cho các quốc gia khác) và không loại trừ (một khi cung cấp cho một người hoặc một quốc gia thì tất cả cùng hưởng lợi) và những người được hưởng lợi vượt qua ranh giới quốc gia. Đối tác của các chương trình hợp tác toàn cầu thường có những góc nhìn và những động cơ khác nhau. Một cấu trúc quản trị chính thức được thiết lập để đưa ra các mục tiêu hoặc các tiêu chuẩn chính thức về thành viên hoặc tham dự vào chương trình, quá trình ra quyết định và đôi lúc là tiêu chuẩn phân phối.

Đánh giá các dự án can thiệp phức tạp

429

Có khoảng 150 chương trình đa đối tác đã được thiết lập. Mức độ phân bổ trải từ vài triệu đô la đến hơn 1 tỷ đô la Mỹ một năm. Hoạt động của các chương trình này có thể chỉ hạn chế ở việc chia sẻ kiến thức, mạng lưới kiến thức hoặc có thể bao gồm các trợ giúp kỹ thuật, đầu tư hoặc các hoạt động thị trường/ thương mại. Các ví dụ về các chương trình này là nhóm tư vấn nghiên cứu nông nghiệp quốc tế, Chương trình HIV/ADIS và giao thông ở Tây Phi, Hợp tác tài nguyên nước sạch toàn cầu, khung tổng hợp cho thương mại, thuốc chống sốt rét… Các đặc điểm của các chương trình gây khó khăn cho hoạt động đánh giá bao gồm: • Bản chất của chương trình và sự hợp tác có hai ý nghĩa. Thứ nhất, những quan điểm khác nhau và những đói tác khác nhau cần phải được quan tâm. Thứ hai, tính hiệu quả của cấu trúc quản lý cũng cần phải được đánh giá cả theo tiêu chuẩn liên quan đến việc vận hành tốt và đóng góp của chương trình (tốt hay xấu) • Không giống như các dự án, các chương trình không có thời gian biểu cụ thể để đạt được các mục tiêu. Các mục tiêu và chiến lược phát triển khi nguồn tài chính tăng (hoặc giảm), sự thay đổi của các nhà tài trợ hoặc đối tác tham gia, hoặc sự thay đổi những điều kiện bên ngoài. • Chi phí phát sinh và lợi ích nhận được các cấp khác nhau (địa phương, quốc gia và toàn cầu). • Khía cạnh hàng hóa công cộng toàn cầu và khu vực của dự án hợp tác toàn cầu và khu vực có nghĩa là có sự phân rẽ giữa chi phi và lợi ích thu được tại cấp quốc gia và toàn cầu. Điều này làm cho việc đánh giá chi phí- hiệu quả phức tạp hơn và việc đánh giá hiệu quả của việc điều phối và liên kết giữa quốc gia và quốc tế là cần thiết • Vì khuôn khổ thời gian là không cố định và dài hơn so với các dự án, các nhà đánh giá có thể được yêu cầu xem xét tiến độ đạt được các mục tiêu chiến lược trong trung hạn như việc huy động nguồn lực để mở rộng chương trình, trao nhiều trách nhiệm cho những người thực hiện ở địa phương, sự độc lập với các cơ quan ở nước sở tại, đóng cửa hoặc rút lui hay thay đổi mô hình hợp tác với các chương trình toàn cầu mới nổi lên. Với sự tham dự ngày càng tăng của Nhóm Ngân hàng thế giới vào các chương trình hợp tác toàn cầu và khu vực và vai trò ngày càng lớn của nó trong việc đạt được các kết quả về phát triển bền vững trên toàn cầu, trong năm 2006, Nhóm đánh giá độc lập của Ngân hàng Thế giới đã khởi xướng hai hoạt động mới để hỗ trợ tiếp tục thẩm tra và nâng cao hoạt động của họ. Thứ nhất, để đáp lại yêu cầu từ OECD/mạng đánh giá DAC (được Nhóm đánh giá của UN và Nhóm hợp tác đánh giá đánh giá các ngân hàng hỗ trợ phát triển đa phương), IEG đã nỗ lực phát triển những nguyên tắc và tiêu chuẩn chung để đánh giá 430

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

các chương trình hợp tác toàn cầu và khu vực. Sản phẩm đầu tiên là cuốn “Cẩm nang cho việc đánh giá các chương trình hợp tác toàn cầu và khu vực” (Ngân hàng Thế giới 2007f). Công việc tiếp theo là xuất bản một báo cáo bổ trợ nhằm đưa ra các hướng dẫn chi tiết hơn và các ví dụ thực tế. Thứ hai, IEG bắt đầu rà soát lại các đánh giá độc lập trong các dự án hợp tác toàn cầu và khu vực mà Ngân hàng thế giới có tham gia để đánh giá chất lượng của các báo cáo này, đưa ra các thông tin phản hồi, cung cấp các đánh giá độc lập về kết quả và các hàm ý chính sách, đánh giá sự tham gia của Ngân hàng Thế giới như là một đối tác trong chương trình. Bẩy trong số các chương trình này đã được rà soát và đã được công bố rộng rãi. Các bài học cũng đã được rút ra. Việc đánh giá và rà soát các chương trình về thuốc chữa bệnh sốt rét (Medicines for Malaria Venture – MMV) là một ví dụ. Được thành lập từ năm 1999, MMV có mục tiêu giảm gánh nặng của bệnh sốt rét cho các nước bị hoành hành bởi dịch này bằng cách tìm kiếm, phát triển và cung cấp những thuốc chống sốt rét với mức giá có thể chấp nhận được thông qua quan hệ hợp tác công – tư. Đến năm 2006, toàn bộ đóng góp tài chính lên tới 151 triệu đô la. Ban thư ký của chương trình, được thành lập như là một tổ chức phi lợi nhuận độc lập theo luật pháp Thụy sĩ, được đặt tại Geneva, và có một văn phòng tại New Dehli. Ban giám đốc của MMV gồm 11 cá nhân xuất sắc trong lĩnh vực công nghiệp, khoa học và tổ chức y tế thế giới và quỹ Bill & Melinda Gates, tổ chức cung cấp 60% ngân sách. Các nhà tài trợ đã thuê thực hiện đánh giá độc lập vào năm 2005. Ban giám đốc đã hợp tác với các nhà đánh giá, mặc dù ban giám đốc không phải là người đi thuê đánh giá. Việc đánh giá được tiến hành bởi một nhóm bốn người, do một giáo sư về y tế cộng đồng nổi tiếng người châu Phi làm trưởng nhóm. Điều khoản tham chiếu được sử dụng như là tiêu chuẩn đánh giá chuẩn với các câu hỏi đánh giá được xoáy sâu vào các mặt liên quan đến chương trình phối hợp toàn cầu và bản chất của các hoạt động được MMV tài trợ. Các thảo luận sau đây sẽ miêu tả những tiêu chuẩn đó đã được sử dụng thế nào trong việc đánh giá một chương trình phức tạp: Mức độ phù hợp. Các câu hỏi về tính cấp thiết của mục tiêu của chương trình được đặt ra: có sự đồng thuận về vấn đề cần giải quyết và sự cần thiết của chương trình để giải quyết vấn đề đó không? Việc đánh giá đã chỉ ra tính cấp thiết của chương trình trong việc đạt được mục tiêu thiên niên kỷ về việc hạn chế sự lây lan của các bệnh truyền nhiễm. Đây cũng là một hàng hóa công cộng. Việc đánh giá tính cấp thiết của đánh giá dự án cũng được sử dụng theo các tiêu chuẩn bổ trợ, tức là dự án cần phải được thực hiện tại cấp địa phương thấp nhất có thể. Nhóm đánh giá đã hỏi “chương trình có cung cấp các dịch vụ mà các phòng khám ở địa phương và quốc gia đó không thể cung cấp hay không”.

Đánh giá các dự án can thiệp phức tạp

431

Bởi vì đề cập đến một mặt hàng công cộng, nhóm đánh giá đã kết luận rằng các nguyên tắc bổ trợ đã được thực hiện. Nhóm đánh giá xem xét các giá trị gia tăng của MMV liên quan đến các nguồn cung và dịch vụ khác (xem xét cả những chương trình khác có liên quan đến sốt rét và các chương trình phát triển thuốc chống sốt rét của các công ty tư nhân). Nó cũng đánh giá sự cần thiết của mục tiêu dự án so với nhu cầu của người được hưởng lợi. Chương trình được xem xét sự cần thiết theo tiêu chuẩn này vì nó không chỉ đề cập đến vấn đề phát triển thuốc mà còn đến việc cung cấp và tiếp cận dịch vụ Nhóm đánh giá cũng hỏi các câu hỏi như: chiến lược và thiết kế chương trình có liên quan không? Việc lựa chọn các cách can thiệp có liên quan và phù hợp không? Phạm vi địa lý và phạm vi tác động là thế nào? Hợp tác công tư được áp dụng đến mức độ nào? Có cách thiết kế dự án nào khác để trở nên có liên quan hơn không? Tính hiệu quả (việc đạt được mục tiêu). Nhóm đánh giá xem xét cả sản phẩm và kết quả đạt được, trong mối tương quan với kỳ vọng, cũng như các nhân tố có tác động tích cực và tiêu cực đến việc đạt được mục tiêu. Khía cạnh này của đánh giá là phụ thuộc rất nhiều vào chất lượng của khuôn khổ theo dõi và đánh giá dự án và việc thu thập số liệu. Vai trò của các nhân tố sau được xem xét: • Sự tham dự của các bên hữu quan • Hiệu quả của việc quản lý các cấu phần dự án • Hiệu quả của việc quản lý hợp tác công tư • Việc sử dụng các cách tiếp cận khoa học • Hiệu quả của các cách tiếp cận chính tới kết quả không lường trước Hiệu suất. Mặc dù không được nêu rõ như là một tiêu chuẩn riêng biệt trong điều khoản tham chiếu, các nhà đánh giá nhận thức được vai trò của chi phí cơ hội của các biện pháp cung cấp dịch vụ hiệu quả hơn. Họ đánh giá chi phí quản lý và chi phí hành chính trong tổng chi phí và xu hướng của các chi phí này và so sánh chúng với các tiêu chuẩn khác như chi phí phát triển thuốc men cho các loại bệnh khác, và chi phí của việc phát triển một loại thuốc tương tự trong một công ty dược tư nhân lớn. Quản trị. Nhóm đánh giá cũng đánh giá sự hợp pháp trong việc quản trị MMV bằng cách nhìn vào đại diện của các nước chịu ảnh hưởng của bệnh này trong ban điều hành, việc sử dụng các chuyên gia khoa học như các nhà nghiên cứu của WHO và các quốc gia có dịch, các chứng cứ về sự tự tin của các đối tác trong các chiến dịch huy động nguồn lực thành công và phản ứng với việc đánh giá.

432

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Nhóm đánh giá đã đánh giá vai trò của quản trị trong việc vận hành dự án theo các chức năng quan trọng sau: • xây dựng chiến lược (cấu trúc của dự án thông báo tốt như thế nào về những đánh giá về phương hướng mới để giải quyết tình hình cấp thuốc ở cấp quốc gia) • sự hợp tác với các cơ quan khác cùng nhiệm vụ (nhóm đánh giá gợi ý cần phải tập trung nhiều hơn tới khía cạnh này) • sự huy động nguồn lực (nhóm đánh giá gợi ý cần phải tích cực hơn trong việc tăng nguồn lực cần thiết và đa dạng hóa sự trợ giúp của các nhà tài trợ) Các câu hỏi về tính bền vững/chiến lược trung hạn. Nhóm đánh giá xem xét liệu lợi ích của chương trình có tính bền vững, theo khía cạnh tài chính và vận động chính sách và hỗ trợ, trong điều kiện hiện tại hay không. Đánh giá cũng đánh giá xem những thay đổi có thể thực hiện để tạo điều kiện thuận lợi hơn cho sự bền vững (quy mô của dự án có cần thay đổi, liệu mối quan hệ với các tổ chức khác có cần phải làm cho hiệu quả hơn, liệu việc sắp xếp tổ chức và quản trị khác có nên được xem xét không). Đánh giá cũng đề cập đến việc cải thiện công tác giám sát và đánh giá. Điều khoản tham chiếu yêu cầu các nhà đánh giá phải thử nghiệm một khuôn khổ được các nhà tài trợ đưa ra để đánh giá tính hiệu quả của phối hợp công tư. Hơn nữa, các nhà đánh giá cũng đưa ra gợi ý về cải thiện việc giám sát để hỗ trợ công tác giám sát và đánh giá trong tương lai. Phương pháp luận của đánh giá này là nghiên cứu tài liệu về dự án, phỏng vấn các bên có liên quan ở cấp dự án và cấp triển khai dự án, quan sát các cuộc họp của hội đồng tư vấn khoa học, và đi thăm những nơi triển khai dự án. Đánh giá các chương trình toàn cầu đánh giá sự độc lập và chất lượng của các đánh giá. Nó xem xét ai là người thuê đánh giá và việc đánh giá được quản lý như thế nào để xem xét mức độ độc lập. Nó cũng xem xét xem đánh giá có bao trùm mọi khía cạnh của công việc đã đề cập ở điều khoản tham chiếu không. Nó cũng xem xét chất lượng của các đánh giá và tác động cuối cùng của nó (mức độ ban quản lý dự án thực hiện các gợi ý). Đánh giá này đã cung cấp một đánh giá độc lập về kết quả của đánh giá. Nó khẳng định rằng nó đã cung cấp một nền tảng vững chắc cho các hoạt động tiếp theo của ban quản lý dự án và ngân hàng. Đánh giá chương trình toàn cầu đánh giá hoạt động của Ngân hàng thế giới như là một đối tác, xem xét việc sử dụng quyền lực của nó để xây dựng chương trình, sự hỗ trợ về tài chính, một nhân tố quan trọng trong lúc khởi động dự án nhưng có vai trò giảm dần một cách tương đối với các nhà tài trợ khác qua thời gian, sự tham gia của ngân hàng trong việc thiết lập các cơ quan quản lý và các ban của dự án. Nó xác định những vấn đề liên quan đến vai trò của Ngân hàng

Đánh giá các dự án can thiệp phức tạp

433

Thế Giới trong chương trình. Đánh giá cũng tổng kết những bài học từ các đánh giá và xem xét, bao gồm cả những đánh giá về chính chương trình (việc cần thiết để thành lập một khuôn khổ theo dõi và đánh giá) và những gì có thể áp dụng ở các chương trình khác (sự cần thiết của việc phối hợp một cách hiệu quả và tham vấn với những đối tác chính cả ở cấp quốc gia và toàn cầu) và những gì có thể áp dụng ở các dự án phối hợp công ty khác để cung cấp dịch vụ).

Tóm tắt Gần đây, các nhà đánh giá đã nỗ lực tìm ra những ảnh hưởng của nhiều hoạt động can thiệp với một khung lý thuyết tập trung vào một quốc gia, một ngành hay một chủ đề. Những cách tiếp cận này đã cố gắng xác định cách can thiệp nào có ảnh hưởng lớn hơn. Nhiều cách tiếp cận phức tạp phức tạp hơn được sử dụng khi xem xét các dự án, chương trình hay chính sách đa mục tiêu để xác định sự tương tác và các cách thức chia sẻ nguồn lực. Các đánh giá đó bao gồm những đánh giá chung, đánh giá các chương trình quốc gia, các giá các chương trình ngành, đánh giá theo chủ đề, và đánh giá các chương trình hợp tác toàn cầu và khu vực.

434

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tài liệu tham khảo ADB (Asian Development Bank). 2006a. Indonesia: Capacity Building Project in the Water Resources Sector. Project Performance Evaluation Report for Indonesia. http://www. adb.org/Documents/PPERs/INO/26190-INO-PPER.pdf. ———. 2006b. Private Sector Development and Operations: Harnessing Synergies with the Public Sector. http://www.oecd.org/dataoecd/6/59/39519572.pdf. AfDB (African Development Bank). 2005. Morocco: Evaluation of Bank Assistance to the Education Sector. http://www.oecd.org/dataoecd/36/19/37968449.pdf. Bamberger, Michael. 2005. IPDET Handbook for Evaluating Gender Impacts of Development Policies and Programs. International Program for Development Evaluation Training, Ottawa. Bamberger, Michael, Mark Blackden, Lucia Fort, and Violeta Manoukian. 2001. “Integrating Gender into Poverty Reduction Strategies.” In The PRSP Sourcebook. 335–74. Washington, DC: World Bank. http://povlibrary.worldbank.org/files/4221_chap10.pdf. Breier, Horst. 2005. Joint Evaluations: Recent Experiences, Lessons Learned and Options for the Future. Draft report to the Development Assistance Committee Network on Development Evaluation, Organisation for Economic Co-operation and Development, Paris. Chen, Jhaoying, and Hans Slot. 2007. “Country-Led Joint Evaluation: Dutch ORET/MILIEV Programme in China.” Presentation at the sixth meeting of the Development Assistance Committee Network on Development Evaluation, Paris, June. http://www.oecd.org/dataoecd/63/28/38851957.ppt. Compton, Donald W., M. Baizerman, and S. H. Stockdill, eds. 2002. The Art, Craft, and Science of Evaluation Capacity Building. New Directions for Evaluation 93 (Spring) (publication of the American Evaluation Association). Danish Ministry of Foreign Affairs. 1999. Evaluation Guidelines. 2nd ed. Copenhagen. http://www.um.dk/NR/rdonlyres/4C9ECE88-D0DA-4999-9893-371CB351C 04F/0/Evaluation_Guidelines_1999_revised.pdf. ———. 2006. Evaluation Guidelines. Copenhagen. ———. 2007. Joint External Evaluation: The Health Sector in Tanzania 1999–2006. http:// www.oecd.org/dataoecd/53/46/39837890.pdf. Duursma, M. 2004. Child Labour in Scavenging, Tanzania, Dar es Salaam. Updated August 16, 2005. http://www.waste.nl/page/724. “Evaluation of the Implementation of the Paris Declaration. Synthesis Report.: 2008, 26. Freeman, Ted. 2007. “Joint Evaluations.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June–July. Fullan, M. 1993. Change Forces. London: Falmer Press. GTZ (Gesellschaft für Technische Zusammenarbeit). 2004. National Monitoring of Sustainable Poverty Reduction Strategy Papers PRSPs. Eschborn, Germany. http://

Đánh giá các dự án can thiệp phức tạp

435

siteresources.worldbank.org/INTISPMA/Resources/Training-Events-and-Materials/ summary_MainReport.pdf. Heath, John, Patrick Grasso, and John Johnson. 2005. World Bank Country, Sector, and Project Evaluation Approaches. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. House, Ernest R. Guiding Principles for Evaluators. 1995. New Directions for Program Evaluation No. 66. San Francisco: Jossey-Bass. IOM (International Organization for Migration). 2006. IOM Evaluation Guidelines. Office of the Inspector General. http://www.iom.int/jahia/webdav/site/myjahiasite/shared/shared/mainsite/about_ iom/eva_techref/Evaluation_Guidelines_2006_1.pdf. Johnson, John. 2007. “Confronting the Challenges of Country Assistance Evaluation.” International Program for Development Evaluation Training (IPDET) presentation, Carleton University, Ottawa, June 26–27. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Mackay, Keith. 1999. Evaluation Capacity Development: a Diagnostic Guide and Action Framework. ECD Working Paper 6 (January), World Washington, DC. http://lnweb18. worldbank.org/oed/oeddoclib.nsf/a4dd58e444f7c61185256808006a0008/7f2c924 e183380c5852567fc00556470?OpenDocument. ———. 2006. Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management. World Bank, Independent Evaluation Group, Washington, DC. http://siteresources.worldbank.org/INTISPMA/Resources/ecd_15.pdf. ———. 2007. How to Build M&E Systems to Support Better Government. World Bank, Washington, DC. http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf. Mertens, D. M. 1994. “Training Evaluators: Unique Skills and Knowledge.” New Directions for Program Evaluation 62: 17–27. MLB (Multilateral Development Bank), EC (Evaluation Cooperative Group), and WGEC (Working Group on Evaluation Criteria and Ratings for Public Sector Evaluation). 2003. Good Practice Standards for Evaluation of MDB Supported Public Sector Operations. http://www.ifc.org/ifcext/oeg.nsf/AttachmentsByTitle/MDB-ECG/US$FILE/MDBECG_Good-Practice.pdf. OECD (Organisation for Economic Co-operation and Development). 1999. “Evaluating Country Programmes,” Development Assistance Committee, Vienna Workshop, March 11–12. http://www.oecd.org/dataoecd/41/58/35340748.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results Based Management. Development Assistance Committee, Paris. ———. 2005. Workshop on “Challenging the Conventional Wisdom: The View from Developing Country Partners,” Network on Development Evaluations, Development Assistance Committee, Nairobi, April 20–21. http://www.oecd.org/dataoecd/20/44/34981186.pdf.

436

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

———. 2006. DAC Evaluation Series: Guidance for Managing Joint Evaluations. Development Assistance Committee, Paris. http://www.oecd.org/dataoecd/29/28/37512030.pdf. Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.” Canadian Journal of Program Evaluation. Special Issue: 137–54. http://www.phac-aspc.gc.ca/php-psp/pdf/toolkit/enhancing_managers_ evaluation%20_capacity%20_CJPE_1999.pdf. UNFPA (United Nations Population Fund). 2005. State of World Population 2005.http:// www.unfpa.org/swp/2005/english/notes/index.htm. WASTE. 2005. Thematic Evaluation on Child Labour in Scavenging Africa, Asia, and Europe Assessment. Gouda, the Netherlands. http://www.waste.nl/page/720. World Bank. 2001a. Design Paper for a Multipartner Evaluation of the Comprehensive Development Framework. Comprehensive Development Framework Secretariat, Washington, DC. http://www.worldbank.org/evaluation/cdf/cdf_evaluation_design_paper.pdf. ———. 2001b. Engendering Development—through Gender Equality in Rights, Resources and Voice. Washington, DC: World Bank. ———. 2001c. The PRSP Sourcebook. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPRS/0,,menuPK:384207~pagePK:149018~piPK:149093~theSitePK:384201,00 .html. ———. 2005. Evaluation of World Bank’s Assistance to Primary Education. Operations Evaluation Department, Washington, DC. http://www.worldbank.org/oed/education/evaluation_design.html. ———. 2007a. Country Assistance Evaluation: CAE Retrospective. Independent Evaluation Group, Washington, DC. http://www.worldbank.org/ieg/countries/cae/featured/cae_retrospective.html. ———.2007b. Global Program Review: Medicines for Malaria Venture. Independent Evaluation Group, Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006 a0046/d591aea3bbb897de852573130077a0cb?OpenDocument. ———. 2007c. Impact Evaluations: Bangladesh Maternal and Child Health. Independent Evaluation Group, Washington, DC. http://www.worldbank.org/oed/ie/bangladesh_ie.html. ———. 2007d. Poverty Monitoring Systems. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPAME/0,,contentMDK:20203848~menuPK:435494~pagePK:148956~piPK: 216618~theSitePK:384263,00.html. ———. 2007e. PRSP Sourcebook. Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPRS/0,,contentMDK:20175742~pagePK:210058~piPK:210062~theSitePK: 384201,00.html.

Đánh giá các dự án can thiệp phức tạp

437

———. 2007f. Sourcebook for Evaluating Global and Regional Partnership Programs: Indicative Principles and Standards. Independent Evaluation Group, Washington, DC. http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/sourcebook. pdf. ———. 2008. CAE Methodology. Independent Evaluation Group, Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/EXTOED/EXTCOUASSEVA/ 0,,contentMDK:21107046~menuPK:3098030~pagePK:64168445~piPK:64168309~t heSitePK:2832047,00.html.

Trang Web International Labour Organization. http://www.ilo.org. Stufflebeam, D. L. 1999. Evaluation Plans and Operations Checklist. http://www .wmich.edu/evalctr/checklists/plans_operations.htm. ———. 2001. Guiding Principles Checklist. http://www.wmich.edu/evalctr/checklists/ guiding_principles.pdf. World Bank. ADePT: Stata Software Platform for Automated Economic Analysis. http:// econ.worldbank.org/programs/poverty/adept. ———. Core Welfare Indicators Questionnaire (CWIQ). http://www4.worldbank.org/afr/ stats/cwiq.cfm. ———. Global and Regional Partnership Programs. http://www.worldbank.org/ieg/ grpp.

438

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

HƯỚNG DẪN Hành động nên vươn tới tột bậc của tri thức.” —Bhagavad gita

Chương 12: Quản lý một Hoạt động Đánh giá

• • • •

Quản lý Ma trận Thiết kế Đề xướng hoạt động Đánh giá Quy định và Trách nhiệm của các Bên Tham gia Quản lý Con người, Hoạt động, và Ngân sách

Chương 13: Trình bày Kết qủa

• Cơ sở trao đổi thông tin • Viết Báo cáo Đánh giá • Sử dụng các Thông tin dễ hiểu • Thuyết trình

Chương 14: Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

• Hành vi đạo đức • Chính trị và Đánh giá • Bộ Tiêu chuẩn và Nguyên tắc Đánh giá

CHƯƠNG 12

Quản lý một Dự án Đánh giá

Đánh giá có thể là một nhiệm vụ phức tạp; buộc mọi người phải có trách nhiệm, hoàn thành đúng thời hạn, và làm việc hiệu quả cao là một công việc đầy thử thách. Chương này bàn về các cách thức chuyên gia đánh giá lên kế hoạch, quản lý, đáp ứng tiêu chuẩn chất lượng, và chia sẻ kết quả để hoạt động đánh giá của họ được các nhà hoạch định chính sách sử dụng nhằm đưa ra những điều chỉnh hiệu quả. Chương này gồm bốn phần:

• Quản lý Ma trận Thiết kế • Đề xướng một Đánh giá • Vai trò và Trách nhiệm của những bên tham gia chính • Quản lý Con người, Nhiệm vụ, và Ngân sách

441

Quản lý Ma trận Thiết kế Lên kế hoạch chính là điểm mấu chốt cho một đánh giá thành công. Nếu hoạt động đánh giá được lên kế hoạch kém, thì không có phân tích nào – cho dù có công phu và phức tạp bao nhiêu đi chăng nữa – có thể cứu vãn được. Như một câu cách ngôn Trung Quốc, ngay cả một hành trình một ngàn dặm cũng phải được bắt đầu từ bước đi đầu tiên. Khả năng đạt được một đích đến sẽ được củng cố chắc chắn hơn nếu bước đi đầu tiên và các bước tuần tự tiếp theo đưa người lữ hành đi đúng hướng. Đi loanh quanh mà không có mục tiêu hoặc hướng đi cụ thể sẽ phung phí thời gian, năng lượng, và nguồn lực – không chỉ của người lữ hành, mà còn của cả chuyên gia đánh giá. Đi vô định cũng làm giảm khả năng một người có thể đến được nơi cần đến. Do đó, khôn ngoan hơn cả là phải chuẩn bị cho một hành trình, từ việc chuẩn bị các bản đồ cần thiết; nghiên cứu các tuyến đường khác nhau; và ước lượng thời gian, chi phí, rủi ro có thể gặp phải. Như đã trình bày trong các chương trước, ma trận thiết kế đánh giá là một phương pháp rõ ràng để lên sơ đồ cho một đánh giá. Ma trận thiết kế đánh giá tập trung vào từng yếu tố cơ bản để thiết kế một đánh giá. Khung ma trận không phải là khuôn mẫu cứng nhắc; mà nó có thể được điều chỉnh để phù hợp với nhu cầu đánh giá. Như bất kỳ kế hoạch nào, nó cũng có thể xem xét tỉ mỉ một quy trình lặp đi lặp lại khi cập nhật và sửa đổi. Khi cần có thông tin mới, sẽ cần thực hiện các điều chỉnh một số ý tưởng và phương pháp tiếp cận. Một ma trận đánh giá tốt chưa phải là điều kiện đầy đủ để tiến hành một đánh giá tốt. Các thiết kế tốt nhất vẫn có thể dẫn đến hoạt động đánh giá chất lượng thấp, ví dụ trong trường hợp người thực hiện không có kỹ năng cần thiết để triển khai thiết kế đó, thì đánh giá sẽ không được tiến hành kịp để hỗ trợ các quyết định quan trọng, hoặc ngân sách sẽ cạn ngay từ khi đang thu thập dữ liệu.

Đề xướng Hoạt động Đánh giá Người quản lý hoạt động đánh giá chịu trách nhiệm xác định và bổ sung những kỹ năng thực hiện một đánh giá mà cán bộ đánh giá còn thiếu. Những cán bộ có kỹ năng đánh giá không nhiều và nhu cầu về lực lượng lao động này lại cao. Do đó, các đánh giá phát triển thường được ký kết với một công ty tư vấn hoặc một chuyên gia tư vấn độc lập. Một số tổ chức, như Liên minh Châu Âu, ký kết hợp đồng đánh giá với các chuyên gia tư vấn bên ngoài cho hầu hết các đánh giá. Để bảo đảm trọn vẹn tính khách quan, các chuyên gia tư vấn phải không có liên quan trước đó với chương trình được đánh giá

442

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Sử dụng chuyên gia tư vấn hợp đồng có những thuận lợi và cả những khó khăn. Thuận lợi là tư vấn hợp đồng có thể có kiến thức chuyên sâu về ngành và hình thức chương trình được đánh giá; có thể nói tiếng địa phương và có kiến thức địa phương; và, nếu có sự cạnh tranh, thì có thể là chuyên gia đánh giá đưa ra chi phí – hiệu quả thấp nhất. Khó khăn ở đây là hợp đồng đánh giá tốn kém (quy trình đấu thầu có thể tốn nhiều chi phí hơn bản thân chi phí hợp đồng) và đồng thời không thể phát triển năng lực cho cán bộ trong tổ chức.

Kêu gọi Đề xuất Quy trình thuê một công ty tư vấn, và đôi khi là chuyên gia tư vấn, thường bắt đầu từ một Kêu gọi Đề xuất (RFP). Phụ thuộc vào tổ chức và quy định và thủ tục mời thầu, hợp đồng có thể đưa ra dựa trên một nguồn duy nhất, từ việc mời thầu một số công ty, hoặc từ cạnh tranh công khai. Người quản lý đánh giá hoặc một hội đồng được thành lập để đưa ra các góp ý của mình dựa trên các tiêu chí cụ thể, từ đó lựa chọn đề xuất. Hawkins (2005) đề xuất rằng một Kêu gọi Đề xuất nên gồm các thông tin sau:

■■ Kêu gọi Đề xuất: Thư mời thầu dự án

• mục đích đánh giá • bối cảnh nghiên cứu • các yêu cầu thông tin cơ bản • mục tiêu đánh giá • các yêu cầu kết quả • thời gian thực hiện • tiêu chuẩn để lựa chọn tư vấn • chi tiết hợp đồng với người quản lý dự án • thời hạn nhận đề xuất • ngân sách và các nguồn lực khác. Việc lựa chọn đề xuất phải do một hội đồng có các thành viên hiểu biết và có kinh nghiệm về đánh giá, có hiểu biết về lĩnh vực của chương trình, có kiến thức về văn hóa và có quyền sở hữu những phát hiện và quyền sử dụng chúng. Hội đồng này cần sử dụng các tiêu chí có trong Kêu gọi Đề xuất để lựa chọn. Cần phải ghi biên bản đầy đủ về những hoạt động liên quan đến quá trình lựa chọn đề xuất. Hawkins khuyên dùng các tiêu chí sau để lựa chọn tư vấn: • Các nội dung trong Kêu gọi Đề xuất có được đáp ứng đầy đủ không? • Các nội dung trong Kêu gọi Đề xuất có được đáp ứng đầy đủ không? • Chiến lược thông tin và báo cáo được nêu ra là gì?

Quản lý một Dự án Đánh giá

443

• Năng lực của nhà tư vấn có được minh chứng không? Có văn bản thể hiện không? • Chi phí nhà tư vấn đưa ra? Chi phí có cụ thể không? Khi một tư vấn đã được ký hợp đồng, người quản lý đánh giá vẫn phải có trách nhiệm với tư vấn hợp đồng cũng như hoạt động đánh giá. Công tác quản lý bao gồm • • • • •

đặt ra mục đích và mục tiêu cụ thể rõ ràng giữ quyền sở hữu với kết quả nghiên cứu giám sát hoạt động và phản hồi định kỳ đưa ra các quyết định đúng thời điểm cởi mở thương thuyết với tư vấn hợp đồng nếu cần thay đổi hợp đồng.

Điều khoản Giao việc ■■ Điều khoản

giao việc (TOR): Nêu rõ bối

cảnh thực hiện, mục tiêu, mục đích của đánh giá; các bổn phận và trách nhiệm của từng thành viên trong nhóm đánh giá; và thời gian biểu của hoạt động

Điều khoản giao việc (TOR) ghi rõ bối cảnh thực hiện, mục tiêu, và mục đích của đánh giá; và thời gian biểu của công việc. Một TOR thường mô tả toàn bộ hoạt động và đưa ra các thoả thuận ban đầu. TOR cũng có thể là một thỏa thuận giữa khách hàng và người quản lý đánh giá, giữa người quản lý đánh giá với nhà thầu, hoặc giữa người quản lý đánh giá với cán bộ đánh giá. Mọi thành viên trong nhóm đánh giá phải có hiểu biết rõ ràng về các nhiệm vụ đánh giá cụ thể, thường được viết thành các Điều khoản giao việc TOR cần xác định chân thực các yêu cầu cần được thực hiện trong một khoảng thời gian xác định. TOR có thể gồm có ma trận thiết kế, hoặc yêu cầu sản phẩm bàn giao đầu tiên là phát triển ma trận thiết kế. Nó cũng có thể là các thỏa thuận về đạo đức và tiêu chuẩn khi thực hiện và báo cáo hoạt động đánh giá (xem chương 14, bàn về đạo đức và tiêu chuẩn đánh giá). Quy trình phát triển một TOR hoàn chỉnh có thể có ích để đảm bảo rằng các bên tham gia đều được tham gia thảo luận và đưa ra quyết định về các vấn đề đánh giá. TOR đưa ra những hướng dẫn cơ bản để tất cả những bên tham gia đều hiểu các kỳ vọng đặt ra cho hoạt động đánh giá (hộp 12.1). Theo Từ điển Chú giải Thuật ngữ Đánh giá và Quản lý dựa trên Kết quả (OECD 2002), một TOR cho hoạt động đánh giá phải thể hiện được • • • • •

444

mục đích và phạm vi đánh giá các phương pháp sử dụng các tiêu chuẩn để đánh giá tình hình thực thi hoặc thực hiện phân tích phân bổ nguồn lực và thời gian các yêu cầu về báo cáo.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 12.1 Bí quyết viết Điều khoản Giao việc cho Hoạt động Đánh giá

Các gợi ý dưới đây có thể có ích trong việc soạn Điều khoản Giao việc cho hoạt động đánh giá: • Nêu rõ các mục tiêu đánh giá và xác định rõ: – các vấn đề chung và các câu hỏi đánh giá sơ bộ – các bên tham gia chính và kỳ vọng của họ đối với việc sử dụng đánh giá – phương pháp tiếp cận đánh giá tổng thể được áp dụng – các sản phẩm kỳ vọng thu được từ hoạt động đánh giá, thời gian nộp từng sản phẩm, và cách sử dụng mỗi sản phẩm – chuyên môn cần thiết từ các thành viên trong nhóm đánh giá – các yêu cầu về logistics. • Không trình bày các mục tiêu với các thuật ngữ chuyên ngành. Phải ghi rõ đánh giá được kỳ vọng trong việc hỗ trợ tổ chức như thế nào. • Tập trung vào các câu hỏi sơ bộ. • Tránh lựa chọn quá nhiều câu hỏi. Một đánh giá tập trung kỹ vào một vài nội dung sẽ tốt hơn nếu nghiên cứu sơ sài nhiều nội dung rộng. Nguồn: Tổng hợp từ UNDP 2006.

Một TOR điển hình bao gồm các nội dung sau: • • • • • • • • •

tên ngắn gọn và súc tích mô tả chương trình hoặc dự án nguyên nhân và các kỳ vọng đối với đánh giá miêu tả phạm vi và trọng tâm đánh giá (các vấn đề và các câu hỏi nghiên cứu) xác định sự tham gia của các bên tham gia (ai sẽ tham gia, ai sẽ làm gì, trách nhiệm giải trình) mô tả quá trình đánh giá (những việc cần thực hiện) danh sách các sản phẩm cần nộp (kế hoạch công tác, báo cáo chuyển tiếp, báo cáo cuối cùng, thuyết trình báo cáo) xác định các yêu cầu cần thiết (học vấn, kinh nghiệm, kỹ năng, năng lực) chi phí dự án, dựa trên hoạt động, số người tham gia, chi phí chuyên gia, và các chi phí khác.

TOR được dùng để bổ sung chứ không phải thay thế cho ma trận thiết kế. TOR tập trung vào nhiệm vụ. Ma trận thiết kế là kế hoạch để thực hiện đánh giá.

Quản lý một Dự án Đánh giá

445

Vai trò và Trách nhiệm của các Bên tham gia Nhiều người tham gia vào một hoạt động đánh giá. Họ có năng lực và đảm nhận vai trò, nhiệm vụ khác nhau. Những vai trò chủ chốt là khách hàng (người yêu cầu đánh giá), các bên tham gia, người quản lý đánh giá, và cán bộ đánh giá (nhà thầu hoặc cán bộ). Những người tham gia vào những vai trò hạn chế hơn là những nhà phân tích dữ liệu, người tư vấn, nhà phê bình, và người thu thập thông tin. Vai trò và nhiệm vụ của mỗi người tham gia đánh giá cần phải được xác định và thống nhất rõ ràng.

Khách hàng chính Một đánh giá có có thể có nhiều bên tham gia, nhưng thường chỉ có một khách hàng chính yêu cầu và cấp kinh phí cho hoạt động đánh giá. Các vấn đề cụ thể mà khách hàng muốn được làm rõ, ý đồ sử dụng kết quả đánh giá, và các đề xuất về thời gian tương ứng là mô hình chung của đánh giá Chuyên gia đánh giá được khuyến khích họp với khách hàng sớm để thảo luận về những vấn đề sau: • • • • •

Bản chất và bối cảnh yêu cầu đánh giá Yêu cầu, vấn đề hoặc lợi ích dẫn tới yêu cầu đánh giá Các yêu cầu quan trọng về thời gian đối với các phát hiện đánh giá Các câu hỏi quan trọng mà đánh giá cần nghiên cứu Kế hoạch và tần suất trao đổi thông tin.

Danh sách liệt kê các hoạt động Đánh giá Chủ chốt của Scriven (2007) mô tả tầm quan trọng của cuộc họp với khách hàng trước khi tiến hành đánh giá để xác định chi tiết các yêu cầu mà các khách hàng đã nhận ra hoặc được thúc đẩy để cân nhắc rõ ràng và chi tiết. Scriven gợi ý đưa ra những câu hỏi sau: • Nói một cách chính xác thì cái gì phải được đánh giá? • Bối cảnh có tác động như thế nào trong hoạt động đánh giá? • Cán bộ đánh giá có đánh giá hiệu ứng của chương trình nói chung hay chỉ đánh giá sự đóng góp của từng cấu phần chương trình? Cán bộ đánh giá có đánh giá nguyên lý của khách hàng về cách thức tiến hành các cấu phần này không? • Đánh giá có cần xem xét đến tác động ở mọi khía cạnh liên quan hay chỉ một số điểm? • Đánh giá là đánh giá hình thành, tổng kết, và/hoặc đánh giá mô tả? Như đã bàn trong chương 4, nhóm đánh giá phải cùng với khách hàng chính đưa ra kế hoạch trao đổi thông tin.

446

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Một kế hoạch trao đổi thông tin sẽ giúp chuyên gia đánh giá làm việc với khách hàng, cũng như với các bên tham gia chính, với các phương tiện truyền thông, và với công chúng. Nó xác định vì sao, cái gì, ở đâu và làm thế nào để cung cấp và thu nhận thông tin. Nó lập ra một kế hoạch trao đổi thông tin, thường có sự tham gia của các phương tiện truyền thông và các đối tượng nhận thông tin khác nhau. Lập ra một kế hoạch truyền thông đặc biệt quan trọng khi đánh giá có những thông tin nhạy cảm. Chuyên gia đánh giá thường xem truyền thông là hoạt động diễn ra vào cuối chu trình hoạt động, khi báo cáo đã được hoàn thành. Thực tế thì truyền thông và thiết lập kế hoạch truyền thông phải được bàn đến từ trước và được điều chỉnh trong suốt quá trình thực hiện. Trao đổi thông tin nên được sử dụng để hỗ trợ cho đánh giá, nâng cao hoạt động đánh giá và các phương pháp của nó, phục vụ việc đạt được, và thúc đẩy việc sử dụng các phát hiện đánh giá.

Các bên tham gia Như đã nêu ở chương 4, các bên tham gia là những người và những tổ chức không phải là khách hàng tham gia vào hoạt động can thiệp. Điển hình, họ là những người bị ảnh hưởng từ một hoạt động can thiệp, kể cả trong khi đang thực hiện hoặc ở những năm sau khi can thiệp kết thúc. Những bên tham gia có thể là bộ phận nội bộ hoặc các đơn vị bên ngoài tổ chức. Vai trò của họ trong một đánh giá có thể nằm trong giai đoạn xác định vấn đề cho đến đặt ra các câu hỏi đánh giá hoặc cung cấp dữ liệu. Trong đánh giá có sự tham gia, các bên tham gia có thể có nhiệm vụ ở nhiều cấp trong hoạt động đánh giá. Những đánh giá này có thể bao gồm các bên tham gia được lựa chọn để tham gia vào nhóm đánh giá, liên quan đến hoạt động phát triển câu hỏi nghiên cứu, thu thập và phân tích dữ liệu. Các bên tham gia có thể hỗ trợ hoạt động đánh giá và tư vấn về các kết quả cũng như đề xuất nếu họ tham gia vào quá trình đánh giá. (Xem chương 5 để biết về các hoạt động đánh giá có sự tham gia của cộng đồng.) Đưa những nhà phê bình dự án, chương trình, hoặc chính sách được đánh giá vào hoạt động đánh giá có thể có ích. Xét về mức độ tham gia xác định các vấn đề quan trọng mà đánh giá cần đặt ra (và có thể làm giảm tính tin cậy của đánh giá nếu bị bỏ qua), sự tham gia của những nhà phê bình thúc đẩy hoạt động đánh giá (CDC 2001). Tài liệu nguồn về Sự tham gia của cộng đồng của Ngân hàng Thế giới đưa ra những hướng dẫn hữu dụng về việc lôi kéo các bên tham gia phù hợp với đánh giá có sự tham gia (Ngân hàng Thế giới 1996). Khi các bên tham gia đã được xác định, sự tham gia của họ cũng cần được chọn lọc. Chuyên gia đánh giá phải làm việc với các bên tham gia theo nhiều cách khác nhau. Các đánh giá đặc biệt là cần thiết để bảo đảm các nhóm thường nằm ngoài quá trình ra quyết định phải

Quản lý một Dự án Đánh giá

447

có tiếng nói. Để làm được điều này, chuyên gia đánh giá trước tiên phải tổ chức các nhóm “chưa có tiếng nói”, sắp xếp đại diện, đưa ra các nội dung có sự tham gia của các nhóm, và dùng các phương pháp, kỹ xảo để tiếng nói của các bên tham gia ở mọi cấp độ được lắng nghe. Với nhiều bên tham gia, một đề nghị “đánh giá có sự tham gia” từ bên ngoài có thể mang đến sự nghi ngờ. Kinh nghiệm với những cơ quan nhà nước, những công chức nhà nước, và các dự án tài trợ có thể mang lại những ấn tượng tiêu cực cần phải được thay đổi. Có thể xây dựng niềm tin thông qua việc chia sẻ thông tin, làm việc qua đơn vị trung gian, và khởi động sớm và rộng rãi. Một cách để xây dựng lòng tin là chia sẻ thông tin về những hoạt động dự kiến của đánh giá. Chuyên gia đánh giá có thể thực hiện điều này thông qua các cuộc họp cá nhân hoặc họp nhóm lớn như hội thảo cấp thành phố. Trong những cuộc họp này, chuyên gia đánh giá có thể chia sẻ thông tin về cách thức và lý do thực hiện đánh giá. Những đại biểu trong cuộc họp có thể có cơ hội để nêu ra những kỳ vọng và quan ngại của mình. Nếu đánh giá là đánh giá có sự tham gia, một khi niềm tin đã được xây dựng, thì các đại biểu có thể được mời để cam kết tham gia vào hoạt động đánh giá. Đưa các thư mời lên Trang Web và kêu gọi cam kết là một cách truyền thông mở với cộng đồng nghiên cứu và giới học giả, với các tổ chức phi chính phủ, và những người có quan tâm. Tất nhiên, điều này phải được thực hiện khi các yếu tố đầu vào vẫn có thể được xem xét và điều chỉnh. Hiệu quả nhất là chuyên gia đánh giá đưa các phản hồi về các nhận xét và các hoạt động đã được thực hiện (hoặc các lý do không áp dụng các đề xuất nhận được). Trong một số trường hợp cá biệt, sự mất niềm tin lớn đến mức cần phải có những đơn vị trung gian để làm cầu nối giữa người đánh giá và các bên tham gia. Trong những trường hợp này, một bên có được sự tín nhiệm của bên tham gia có thể phải dùng đến vị trí của mình để kết nối người đánh giá và các bên tham gia. Chuyên gia đánh giá cũng có thể đến thăm các bên tham gia, đặc biệt là những đối tượng bị ảnh hưởng trực tiếp bởi can thiệp. Chuyên gia đánh giá có thể tự giới thiệu và hỏi xem các bên tham gia đã bao giờ nghe nói đến đánh giá chưa, và họ nghĩ gì về đánh giá. Sự phản hồi không chính thức này có thể được so sánh với những gì mà chuyên gia đánh giá nghe được từ các nguồn tin của mình. Nó cũng phục vụ việc tìm ra con đường để kiểm chứng tính thống nhất và kiểm tra các sai lệch. Tạo tiếng nói của các bên tham gia trong việc thiết kế đánh giá có sự tham gia làm tăng khả năng giải quyết khó khăn và tăng sự đồng thuận về các vấn đề nảy sinh. Có được cam kết sớm với các bên tham gia, và đó có thể là phương pháp tránh xung đột. Với những người cảm thấy bị thua thiệt khi thiết kế đánh giá, thì vị trí đối nghịch có thể xuất hiện như một lập trường quan điểm duy nhất; thua thiệt càng lớn thì sự đối nghịch càng cao. Khi sự đối nghịch được thúc đẩy, thì rất khó khăn – nếu không muốn nói là không thể - giải quyết vấn đề. 448

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Người quản lý đánh giá Người quản lý đánh giá là người quản lý thiết kế, chuẩn bị, thực hiện, phân tích, báo cáo, phổ biến, và tiếp tục hoạt động đánh giá. Người quản lý đánh giá có thể phải quản lý nhiều đánh giá cùng một lúc. Trong một số trường hợp, một chuyên gia đánh giá có thể vừa là người quản lý vừa là người thực hiện đánh giá. Trách nhiệm của người quản lý đánh giá có thể được nhóm thành ba cấp: chuẩn bị, thực hiện, và duy trì (UNFPA 2007). Chuẩn bị bao gồm các công việc đầu tiên để xác định hoạt động đánh giá và xây dựng Kêu gọi Đề xuất, Điều khoản giao việc, và ma trận thiết kế đánh giá cùng với các logistics. Nó cũng yêu cầu người quản lý phải:

■■ Người quản

lý đánh giá:

Người quản lý việc thiết kế, chuẩn bị, triển khai, phân tích, báo cáo, phổ biến, và tiếp tục một hoạt động đánh giá

• Xác định mục đích, và xác định những người sử dụng kết quả đánh giá • Xác định những người cần phải tham gia vào quá trình đánh giá. • Họp với những bên tham gia chính. • Xác định phạm vi và phương pháp tiếp cận, ma trận thiết kế đánh giá, và những câu hỏi đánh giá. • Soạn Điều khoản giao việc cho đánh giá, nêu rõ thời gian đánh giá. • Xác định các kỹ năng và kinh nghiệm cần thiết để thực hiện đánh giá. • Nghiên cứu sự phát triển và thử nghiệm các bộ công cụ thu thập dữ liệu và thu thập các thông tin sẵn có. Sử dụng có chọn lọc và bảo đảm các nguồn thông tin sẵn có là đáng tin cậy và có chất lượng cao để đưa ra được các kết quả đánh giá có ý nghĩa; thông tin thu được phải được quản lý. • Lựa chọn, tuyển dụng, và lập hồ sơ của những cán bộ đánh giá dựa theo mục tiêu đánh giá, ma trận, kế hoạch hoạt động, và các tập huấn nếu cần thiết. • Bảo đảm các hồ sơ/dữ liệu về thông tin cơ bản được nộp trước khi tiến hành đánh giá để nhóm đánh giá có thời gian để nghiên cứu tài liệu. • Xem xét kế hoạch thực địa. • Bảo đảm nguồn kinh phí sẵn sàng cho hoạt động đánh giá Triển khai là việc thực hiện đánh giá, gồm có phân tích, lập hồ sơ và báo cáo. Nó yêu cầu người quản lý phải: • Đảm bảo cán bộ đánh giá hoàn toàn có thế tiếp cận các tài liệu, báo cáo, ấn phẩm, và các thông tin liên quan khác. • Theo dõi tiến độ đánh giá; đưa ra phản hồi và hướng dẫn cho các cán bộ đánh giá trong mọi giai đoạn thực hiện. • Đánh giá chất lượng của báo cáo đánh giá, và thảo luận về điểm mạnh và điểm yếu của nó với cán bộ đánh giá để đảm bảo báo cáo dự thảo đáp ứng được TOR, các phát hiện đánh giá có sức thuyết phục, và các đề xuất đưa ra là thực tế và xác đáng.

Quản lý một Dự án Đánh giá

449

• Sắp xếp cuộc họp với chuyên gia đánh giá và các bên tham gia chính để thảo luận và nhận xét về dự thảo báo cáo. • Phê chuẩn sản phẩm cuối cùng, và bảo đảm các kết quả báo cáo được trình bày cho các bên tham gia. Bước cuối cùng, tiếp tục, là đánh giá quá trình thực thi, phổ biến kết quả, theo dõi các đề xuất, và tiến hành các thao tác kế tiếp. Trong bước này, trách nhiệm của người quản lý bao gồm: • Đánh giá quá trình thực thi của chuyên gia đánh giá và ghi biên bản. • Phổ biến các kết quả đánh giá cho những cơ quan tham gia và những đối tượng khác. • Thúc đẩy triển khai các đề xuất và sử dụng kết quả đánh giá trong hoạt động lên chương trình hiện tại hoặc trong tương lai; theo dõi thường xuyên để bảo đảm các đề xuất được thực hiện đúng. • Dẫn dắt nhóm rút ra bài học kinh nghiệm để xác định những gì tốt và có thể được thực hiện lại, và những gì đáng lẽ ra phải được thực hiện khác đi Trong cả ba giai đoạn trên, người quản lý đánh giá có thể phải điều hành các buổi họp nhóm, tạo điều kiện cho mọi người tham gia chia sẻ ý kiến và ý tưởng của mình. Là một người điều hành, người quản lý chịu trách nhiệm • lên chương trình • hỗ trợ nhóm đi theo đúng chương trình • bảo đảm mọi ý kiến được lắng nghe • quan sát quy trình ra quyết định (quá trình nhất trí hoặc biểu quyết) .

Cán bộ đánh giá Cán bộ đánh giá là những người thực hiện các công việc chính trong hoạt động đánh giá. Số lượng cán bộ đánh giá phụ thuộc vào quy mô và phạm vi của hoạt động đánh giá, ngân sách, và số lượng cán bộ đánh giá sẵn có. Chương trình Phát triển Liên Hiệp Quốc (UNDP 2006) đã xác định các tiêu chuẩn của một cán bộ đánh giá tốt: • chuyên về vấn đề đánh giá • có kiến thức về các vấn đề phát triển, đặc biệt là những vấn đề liên quan đến mục tiêu chính, hoặc khả năng nhìn bao quát “tổng thể” • quen thuộc với các công việc của tổ chức và cách thức thực hiện công việc • các kỹ năng đánh giá như thiết kế, thu thập thông tin, và chuẩn bị báo cáo • các kỹ năng công nghệ thông tin. Quỹ Dân số Liên Hiệp Quốc (UNFPA 2007) xác định các trách nhiệm tiềm ẩn của chuyên gia đánh giá:

450

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Xác định các yếu tố đầu vào liên quan đến thiết kế đánh giá, đưa ra phương pháp và cụ thể hóa các mục tiêu và câu hỏi đánh giá. • Tiến hành đánh giá. • Tổng hợp các thông tin/tài liệu sẵn có. • Thiết kế/điều chỉnh các bộ công cụ để thu thập thông tin bổ sung nếu cần; thực hiện hoặc điều phối việc thu thập thông tin bổ sung • Thực hiện khảo sát thực địa; tiến hành phỏng vấn. • Trong đánh giá có sự tham gia của cộng đồng, điều hành sự tham gia của các bên tham gia. • Cung cấp báo cáo/tóm tắt tiến độ thường xuyên cho người quản lý đánh giá. • Xử lý và tổng hợp thông tin, trình bày phát hiện, phát triển và thảo luận kết luận và đề xuất, và rút ra bài học kinh nghiệm. • Tham gia thảo luận về dự thảo báo cáo đánh giá; sửa hoặc điều chỉnh tất cả các lỗi hoặc các hiểu lầm. • Hướng dẫn báo cáo/thảo luận để thuyết trình phát hiện đánh giá trong hội thảo. • Hoàn thiện báo cáo đánh giá, chuẩn bị bài thuyết trình về kết quả đánh giá. Nhiều tổ chức đang nỗ lực xây dựng các tiêu chí năng lực nghề nghiệp cho những người tham gia thực hiện đánh giá. Việc cấp chứng chỉ cho những cán bộ đánh giá cũng đang được bàn đến. (Năng lực và chứng chỉ cho cán bộ đánh giá được trình bày ở chương 15).

Quản lý con người, Nhiệm vụ và Ngân sách Nhiều so sánh đã được thực hiện để mô tả quản lý dự án. Một số người so sánh quản lý dự án với trò tung hứng, vì người quản lý dự án phải để ý đến nhiều thứ cùng một lúc (con người, hoạt động, thời gian, ngân sách, chất lượng). Những người khác so sánh quản lý dự án với việc điều khiển một dàn đồng ca, vì người quản lý đứng tách ra và chỉ đạo nhiều người có năng lực với các kỹ năng khác nhau.

Quản lý con người Để bảo đảm nhóm đánh giá phối hợp ăn ý thì cần đến nhiều kỹ năng. Phần này trình bày các phương pháp giải quyết xung đột và kỹ năng xây dựng nhóm mà người quản lý cần có.

Quản lý một Dự án Đánh giá

451

Người quản lý cũng cần phải kiểm soát nỗi sợ hãi của “người chủ” dự án. Một số người có thể lo lắng đánh giá sẽ tập trung vào các điểm tiêu cực. Họ có thể sợ một số phát hiện đánh giá tiêu cực có thể bất lợi đối với toàn bộ một chương trình tốt. Sự sợ hãi có thể nảy sinh do thiếu các tác động khó đo lường của chương trình dẫn đến các kết luận sai lầm cho rằng chương trình không hiệu quả, với các hậu quả tiêu cực so với kinh phí bỏ ra. Một cách để chuyên gia đánh giá có thể vượt qua sự sợ hãi của chủ chương trình được đánh giá là lôi kéo họ tham gia vào việc xác định các vấn đề đánh giá. Cán bộ đánh giá cũng cần tạo cơ hội cho chủ dự án xem xét kế hoạch hoạt động đánh giá, các phát hiện và các khuyến nghị. Các kỹ năng giải quyết xung đột Các xung đột thường xảy ra trong nhóm những người cùng thực hiện nhiệm vụ. Hai kỹ năng cần thiết nhất để giải quyết xung đột và kỹ năng trao đổi thông tin và kỹ năng lắng nghe. Kỹ năng trao đổi thông tin là quan trọng, gồm có việc sử dụng ngôn ngữ ”ngôi thứ nhất-tôi” thay vì sử dụng ngôn ngữ của “ngôi thứ hai-anh”. Kỹ năng lắng nghe là sự xác nhận rằng người nghe đã hiểu đúng ý của người nói (“Tôi nghe anh nói là… có đúng không?”). Không phải mọi xung đột đều dẫn đến kẻ thắng người thua. Các xung đột có tính chất xây dựng nhất kết thúc khi cả hai bên “cùng thắng” (hộp 12.2).

Hộp 12.2 Các kỹ năng Giải quyết Xung đột

Người quản lý có thể giải quyết xung đột theo nhiều cách khác nhau: • Đưa các vấn đề xung đột ra cuộc họp. Để mỗi bên đưa ra ý kiến tóm tắt về quan điểm của mình mà không bị ngắt lời. Nếu một người không cho người khác nói xong ý kiến của mình hoặc có thái độ công kích, phải ngăn người đó lại. • Cho phép tất cả mọi người thể hiện suy nghĩ của mình. Đây là cách làm để giảm xung đột. • Yêu cầu mỗi người có liên quan mô tả những gì mà anh ta/cô ta muốn người của phe kia thực hiện. • Lắng nghe cả hai phía. Tự hỏi mình xem môi trường làm việc có phải là nguyên nhân gây ra xung đột này không. Nếu có, xem xét đến các cách thức để thay đổi môi trường làm việc và giải quyết xung đột. • Không thiên vị cho bên nào. Nhắc những người tham gia nhớ đến mục đích hoặc mục tiêu của đánh giá và cố gắng tìm ra phương pháp để cả hai bên cùng đạt được mục đích. • Yêu cầu những người tham gia cùng giải quyết vấn đề tranh cãi. Để họ tiếp tục họp để giải quyết xung đột. Đưa ra thời hạn để tổng kết tình hình.

452

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Kỹ năng xây dựng nhóm Làm việc nhóm cần đến nhiều kỹ năng, gồm có: • Kỹ năng lắng nghe: Các thành viên trong nhóm phải phát triển và sử dụng tốt kỹ năng nghe tích cực. Những kỹ năng này có thể là tài sản giá trị nhất của một nhóm. • Kỹ năng đặt câu hỏi: Các thành viên trong nhóm có thể hỏi những câu hỏi để làm rõ hoặc xây dựng cho những ý kiến của người khác. • Kỹ năng thuyết phục: Các thành viên trong nhóm có thể cần phải trao đổi ý tưởng, xây dựng, bảo vệ và xem xét lại ý tưởng của mình. • Sự tôn trọng: Các thành viên trong nhóm phải tôn trọng ý kiến của người khác, khuyến khích và ủng hộ các ý tưởng và nỗ lực của họ. • Giúp đỡ: Các thành viên trong nhóm cần giúp những thành viên khác thông qua sự sẵn sàng hỗ trợ khi cần. Quản lý nhóm cần đến nhiều kỹ năng bổ sung (hộp 12.3). Nhiều kỹ năng cần đến để có được nhóm làm việc tổt nhất. Lên ý tưởng được dùng để thu thập ý tưởng của một nhóm trong một thời gian ngắn. Mỗi người đóng góp một ý tưởng về câu hỏi đánh giá, được viết lên bảng. Một người đưa ra ý tưởng, và người khác đưa ra ý tưởng khác. Người điều hành phải đi hết cả nhóm cho đến khi không có ý kiến nào được đưa ra. Nguyên tắc cơ bản là mọi ý tưởng đều được viết lên bảng – không có ý tưởng tồi. Không có thảo luận về ý tưởng. Theo cách này, mọi ý tưởng đều được

■■ Lên ý tưởng: kỹ năng để thu thập ý tưởng của nhóm trong một thời gian ngắn

Hộp 12.3 Các cách nâng cao Hoạt động nhóm

Các gợi ý dưới đây có thể giúp người quản lý cải thiện cách thức làm việc tập thể của các thành viên trong nhóm: • Thông tin về mục tiêu và tầm quan trọng của từng công việc cụ thể. • Lắng nghe tích cực, giúp những người khác nói lên ý nghĩ của mình với cách truyền đạt hiệu quả nhất. • Phối hợp với đồng nghiệp và những người khác trong các hoạt động tích cực, đánh giá sự đóng góp và ý kiến riêng của mỗi người. • Bỏ qua những phân biệt cá nhân để tìm kiếm câu trả lời cho những câu hỏi khó vì quyền lợi của những người bị ảnh hưởng do hoạt động của chương trình, dự án hoặc hoạt động đánh giá • Bỏ qua các ý kiến bảo thủ trong phát hiện báo cáo. Nguồn: NEIR TEC 2004.

Quản lý một Dự án Đánh giá

453

■■ Sắp xếp ý tưởng: Điều hành nhóm để thu thập ý tưởng từ mọi thành viên và nhóm gộp, sắp xếp chúng theo mức độ quan trọng

lắng nghe. Cả nhóm sau đó sẽ bắt đầu tìm ra các ý tưởng chung, và lập ra danh sách ý tưởng mới. Sắp xếp ý tưởng là một hoạt động điều hành nhóm được sử dụng để thu thập ý tưởng từ mọi thành viên và nhóm gộp, sắp xếp chúng theo mức độ quan trọng. Nó bắt đầu từ việc đưa ra ý tưởng, thông qua hoạt động xây dựng ý tưởng hoặc biểu đồ chung. Mỗi ý tưởng được viết lên một thẻ riêng và đính lên tường. Khi không có thêm ý tưởng nào được đưa ra, các thành viên được yêu cầu phải đọc tất cả các ý tưởng và sắp xếp các thẻ ý tưởng theo từng nhóm có chủ đề hoặc khái niệm tương tự nhau. Các thành viên sau đó sẽ tìm ra tên cho mỗi khái niệm/chủ đề. Người điều hành tiếp theo sẽ hướng dẫn thảo luận về tầm quan trọng của mỗi nhóm ý tưởng và vì sao mỗi ý tưởng lại quan trọng hoặc không quan trọng. Trong bước này các khái niệm hoặc chủ đề không có tầm quan trọng thích hợp sẽ bị loại; các ý tưởng trong các chủ đề này có thể bị loại hoặc chuyển sang các nhóm ý tưởng khác. Khi các thành viên tổng hợp các nhóm ý tưởng trên tường, họ cũng có thể đề nghị người điều hành thay đổi ý tưởng vào các nhóm khác. Khi thành viên đã hài lòng với các khái niệm/chủ đề cũng như các nhóm thành phần, người điều hành tiếp tục xếp hạng các nhóm. Mỗi thành viên được đưa cho một số đề can, tùy theo số lượng chủ đề/ý tưởng mà người điều hành muốn lựa chọn dựa trên tầm quan trọng của chúng. Nếu có năm, thì mỗi thành viên được nhận năm đề can ghi điểm. Các thành viên được yêu cầu dán một điểm lên từng chủ đề trong năm chủ đề họ cho là quan trọng nhất. Sau đó người điều hành sẽ xác định năm chủ đề có số điểm cao nhất và xếp hạng chúng theo số điểm. Quy trình này có thể lặp lại với các ý tưởng trong từng chủ để nếu muốn.

Quản lý Nhiệm vụ ■■ Sơ đồ nhiệm vụ: Bảng chỉ rõ nhiệm vụ, người chịu trách nhiệm, và thời gian bắt đầu và hoàn thành ■■ Biểu đồ Gantt: Biểu đồ được sử dụng để minh họa thời gian biểu của một dự án

454

Đôi khi quản lý nhiệm vụ có vẻ dễ dàng hơn quản lý con người, nhưng quá trình này cũng có những thách thức riêng. Giữ trọng tâm vào mục đích đánh giá và những nhiệm vụ quan trọng nhất là mấu chốt của quá trình. Một sơ đồ nhiệm vụ có thể giúp lên danh sách những nhiệm vụ giao cho từng người với thời điểm bắt đầu và hoàn thành nhiệm vụ (bảng 12.1). Biểu đồ Gantt cũng có thể được sử dụng (hình 12.1). Biểu đồ Gantt là một công cụ giám sát hữu hiệu. Cột của mỗi nhiệm vụ có thể được điền vào để thể hiện tiến độ thực tế so với kế hoạch đặt ra. Biểu đồ cũng có thể thể hiện sự phụ thuộc của một nhiệm vụ này vào sự hoàn thành của một nhiệm vụ khác hoặc thể hiện sự tập trung mà quá nhiều nhiệm vụ phải hoàn thành dồn vào cùng một thời điểm. Nhiều gói phần mềm có mẫu của biểu đồ Gantt.

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 12.1 Sơ đồ Nhiệm vụ Mẫu Thời gian Bắt đầu

Thời gian Hoàn thành

Anna, Miguel, và Kabir

7/1

7/4

Tổng hợp tài liệu chương trình/dự án (giấy tờ, báo cáo giám sát) cụ thể theo từng can thiệp

Kabir

7/5

7/23

Lên kế hoạch và gặp gỡ khách hàng.

Anna

7/15

7/31

Xác định các bên tham gia chính, lên kế hoạch gặp.

Kabir và

7/15

7/17

Tổng kết các cuộc họp với khách hàng và các quyết định được đưa ra. Anna

8/1

8/3

Tiến hành các cuộc họp với bên tham gia, tóm tắt nội dung họp.

8/5

8/15

7/1

8/31

Nhiệm vụ

Người chịu trách nhiệm

Tiến hành tổng hợp tài liệu, và xác định các vấn đề nội bộ và bên ngoài.

Miguel Anna và Miguel Lên thiết kế đánh giá ban đầu.

Anna

Nguồn: Tác giả.

Hình 12.1 Mẫu Biểu đố Gantt Nhiệm vụ

Tuần 1

Tuần 2

Tuần 3

Tuần 4

Tuần 5

Tuần 6

Tuần 7

Tiến hành tổng quan tài liệu Tiến hành họp với các bên tham gia. Thảo nguyên lý thay đổi.

Nguồn: Tác giả.

Hoạt động phải được giám sát để bảo đảm nhiệm vụ được giao được hoàn thành đúng kế hoạch. Nếu tiến độ kỳ vọng không được hoàn thành, người đánh giá cần phải xác định các chướng ngại và tìm cách để gỡ bỏ chúng. Điều quan trọng là các thành viên trong nhóm phải cảm thấy vững tâm khi báo cáo về khó khăn, vì việc giải quyết vấn đề sẽ dễ dàng hơn nếu được phát hiện sớm. Việc lên kế hoạch quan trọng, nhưng giữ cho kế hoạch linh hoạt khi đối mặt với các trở ngại cũng quan trọng không kém. Cần phải đưa ra những điều chỉnh về phân bổ thêm thời gian hoặc nguồn lực hoặc giảm khối lượng nhiệm vụ đi.

Quản lý một Dự án Đánh giá

455

Quản lý Ngân sách Theo Sanders (1983), một gói ngân sách đánh giá thường có 10 loại: • Lương và lợi nhuận của cán bộ đánh giá • Chi phí chuyên gia • Đi lại và chi phí ăn ở (cho cán bộ và chuyên gia) • Truyền thông (bưu phí, chi phí điện thoại …) • In ấn và sao chép • Xử lý dữ liệu • Tài liệu in ấn • Cung cấp thiết bị • Hợp đồng thầu phụ • Chi phí quản lý (thiết bị, điều hành). Horn (2001) đưa ra một danh sách chi tiết để xây dựng ngân sách đánh giá. Danh sách này cụ thể các thành phần chi phí dưới các hình thức của các nhóm chi phí trên. Người quản lý đánh giá có thể tính toàn chi phí cho mỗi nhóm để tính tổng chi phí đánh giá. Nếu ngân sách đánh giá lên quá cao, thì cần phải nghĩ đến các phương pháp tiết kiệm chi phí do Fitzpatrick, Sanders, và Worthen (2004) đưa ra: • Sử dụng tình nguyện viên hoặc lao động giá rẻ. • Sử dụng chuyên gia địa phương để thực hiện thu thập dữ liệu để giảm chi phí đi lại. • Tập huấn nhân công ở mức lương thấp hơn để thực hiện một số nhiệm vụ chọn lọc. • Mượn thiết bị, nhân lực, vật chất, và nguồn tiếp tế. • Tìm kiếm đóng góp từ các tổ chức mà chuyên gia tư vấn độc lập được thuê. • Thu hẹp phạm vi đánh giá (có thể là hoãn lại một vài cấu phần để thực hiện sau). • Sử dụng các phương pháp, dữ liệu hoặc báo cáo có sẵn. • Sử dụng phương pháp thu thập dữ liệu không tốn kém có thể đáp ứng được độ • chính xác và không mang lại hậu quả nghiêm trọng. • Sử dụng phương tiện truyền thông đại chúng để phổ biến kết quả đánh giá. • Nâng cao hiệu suất từ việc quản lý hiệu quả. Tỷ lệ ngân sách của chương trình hoặc dự án dành cho đánh giá phụ thuộc vào nhiều nhân tố, tính minh bạch của dự án hoặc chương trình, phạm vi được xác định để đánh giá, rủi ro về uy tín nếu đánh giá không triệt để. Cẩm nang Đánh giá (1998) của Quỹ Kellogg chỉ ra rằng ngân sách đánh giá nên chiếm từ

456

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

5-10 phần trăm tổng ngân sách dự án. Các chuyên gia đánh giá khác đề xuất mức 1-3 phần trăm tổng chi phí chương trình hoặc dự án dành riêng cho đánh giá (tỷ lệ nhỏ hơn đối với các dự án lớn

Quản lý dự án Quản lý dự án là quản lý mọi mặt dự án cùng một lúc – thời gian, phạm vi, chi phí, và các nguồn lực sẵn có. Quản lý dự án là một quá trình gồm có nhiều mặt khác nhau. Có nhiều mô hình quản lý dự án và nhiều chương trình cấp chứng chỉ cho hoạt động quản lý dự án. Michael Greer (2001), một chuyên gia quản lý dự án, đã phát triển một mô hình chú trọng đến hoạt động và kết quả. Mô hình của ông chia quản lý dự án thành năm giai đoạn: • Bắt đầu • Lên kế hoạch • Triển khai • Kiểm soát • Kết thúc. Mỗi giai đoạn được chia thành các bước, được Greer gọi là các hoạt động. Ông chỉ ra 20 hoạt động được thực hiện trong 5 giai đoạn trên (bảng 12.2).

Quản lý một Dự án Đánh giá

457

Bảng 12.2 20 Hoạt động Quản lý dự án của Greer Giai đọan/hoạt động

Kết quả thực thi hiệu quả

Khởi đầu

1. Xác định nhu cầu và tính khả thi của dự án.

• Cung cấp tài liệu xác nhận nhu cầu đối với các sản phầm bàn giao của dự án, mô tả, theo nghĩa rộng, sản phẩm bàn giao, các công cụ để tạo ra sản phẩm bàn giao, chi phí để tạo và triển khai các sản phảm, và lợi ích thu được khi triển khai các sản phẩm bàn giao

2. Đạt được sự cho phép thực hiện dự án.

• Quyết định “Đi tiếp – dừng lại” của nhà tài trợ.

2. Sự ủy quyền cho mỗi giai đoạn.

• Quyết định “Đi tiếp – dừng lại” do nhà tài trợ đưa ra, cho phép người quản lý dự án sử dụng các nguồn lực của tổ chức cho các hoạt động trong giai đoạn cụ thể

• Người quản lý dự án được bổ nhiệm để chính thức chấp nhận dự án và cho phép người quản lý dự án sử dụng các nguồn lực cho hoạt động dự án; Một văn kiện dự án được viết ra để (a) chính thức công nhận dự án, (b) được người quản lý trên cấp dự án và ở cấp tổ chức đủ thẩm quyền phê chuẩn để quản lý dự án có thể sử dụng các nguồn lực cần cho dự án, và (c) ủy quyền cho quản lý dự án phân bổ các nguồn lực cho hoạt động dự án

• Văn bản phê chuẩn chính thức cho một giai đoạn dự án, (a) chính thức công nhận giai đoạn dự án và (b) được phê chuẩn bởi một người quản lý trên cấp dự án và ở cấp quản lý đủ thẩm quyền để có thể đáp ứng được các yêu cầu của dự án Lập kế hoạch

4. Mô tả mục tiêu dự án.

• Quyết định mục tiêu dự án • Kế hoạch quản lý mục tiêu. • Phát triển đề cương

5. Xác định và sắp xếp hoạt động dự án

• Lên danh sách các hoạt động sẽ thực hiện • Cập nhật vào đề cương đã phát triển • Biểu đồ mạng lưới dự án

6. Ước lượng khoảng thời gian cho các hoạt động và các nguồn lực cần thiết.

• Ước lượng và đưa ra khoảng thời gian cần thiết cho từng hoạt động

7. Phát triển kế hoạch dự án.

• Bổ sung các chi tiết, như cách sử dụng nguồn lực theo thời kỳ, lên kế hoạch chuyển tiền, kế hoạch yêu cầu/ nhận báo cáo,

8. Ước tính chi phí.

• Chi phí ước tinh để hoàn thành mỗi hoạt động

• Đưa ra các yêu cầu về nguồn lực • Cập nhật vào danh sách hoạt động

• Bổ sung chi tiết, các dự toán và hạn chế. • Kế hoạch quản lý chi phí trình bày cách kiểm soát những thay đổi trong chi phí

458

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Giai đoạn/hoạt động

9. Xây dựng ngân sách và kế hoạch chi tiêu.

Kết quả thực thi hiệu quả

• Chi phí cơ sở hoặc ngân sách theo thời gian để đánh giá/chi phí giám sát • Kế hoạch chi tiêu, nêu cụ thể chi phí nguồn lực được sử dụng bao nhiêu và vào lúc nào

10. Xây dựng kế hoạch chất lượng chính thức (không bắt buộc)

• Kế hoạch quản lý chất lượng, bao gồm các bổ nhiệm về tổ chức

11. Xây dựng kế hoạch thông tin chính thức (không bắt buộc)

• Kế hoạch quản lý thông tin, gồm có cơ cấu thu thập, phân phối, mô tả thông tin được phổ biến, các kế hoạch cung cấp thông tin, phương pháp để cập nhật kế hoạch thông tin

12. Tổ chức và tuyển cán bộ.

• Bổ nhiệm vai trò và trách nhiệm

• Danh sách kiểm chứng chất lượng

• Sắp xếp cán bộ • Các biểu đồ tổ chức với các thông tin chi tiết tương ứng • Cán bộ dự án • Quy định hướng dẫn nhóm dự án

13. Xác định rủi ro và lên kế hoạch đối phó (không bắt buộc)

• Tài liệu mô tả các rủi ro tiềm ẩn, mô tả nguyên nhân, hình thức biểu hiện, và cách thức để nhận biết rủi ro

14. Kế hoạch thu hút các nguồn lực bên ngoài (không bắt buộc) thể thu hút được.

• Kế hoạch quản lý mô tả cách thức lựa chọn nhà thầu • Văn bản về công việc hoặc về các yêu cầu mô tả các đơn vị (sản phẩm hoặc dịch vụ) có • Tài liệu đấu thầu • Tiêu chí đánh giá (các công cụ để đánh giá đề xuất của nhà thầu) • Tiêu chí đánh giá (các công cụ để đánh giá đề xuất của nhà thầu)

15. Kế hoạch tổ chức dự án.

• Tiêu chí đánh giá (các công cụ để đánh giá đề xuất của nhà thầu)

16. Kết thúc giai đoạn lên kế hoạch dự án.

• Kế hoạch dự án được nhà tài trợ thông qua bằng văn bản (“đèn xanh” để bắt đầu thực hiện dự án)

17. Kiểm tra và điều chỉnh kế hoạch nếu cần thiết.

• Kế hoạch dự án được nhà tài trợ thông qua bằng văn bản (“đèn xanh” để bắt đầu thực hiện dự án) Còn nữa

Quản lý một Dự án Đánh giá

459

Bảng 12.2 Tiếp tục Giai đoạn/hoạt động

Kết quả hoạt động hiệu quả

Triển khai

18. Thực hiện các hoạt động dự án.

• Kết quả công việc (sản phẩm bàn giao) • Các yêu cầu thay đổi (dựa trên các dự án kéo dài hoặc hợp đồng dự án) • Báo cáo tiến độ định kỳ • Đánh giá và các điều chỉnh (nếu cần) về nhóm thực hiện • Yêu cầu mời thầu/kêu gọi dự án, lựa chọn nhà thầu (bên cung cấp), và xây dựng lại hợp đồng • Quản lý các hợp đồng để đạt được kết quả công việc mong muốn

Kiểm soát

19. Kiểm soát các hoạt động dự án.

• Quyết định về việc chấp thuận các sản phẩm đã được kiểm định • Các hoạt động điều chỉnh, ví dụ như thực hiện các sản phẩm bàn giao, điều chỉnh cho phù hợp với quy trình làm việc, vv… • Cập nhât kế hoạch và mục tiêu dự án • Danh sách các bài học kinh nghiệm • Chất lượng dự án được nâng cao • Danh sách đánh giá hoàn chỉnh (nếu thích hợp)

Kết thúc

20. Kết thúc hoạt động dự án.

• Sự chấp thuận chính thức được ghi thành văn bản, nêu rõ nhà tài trợ đã chấp nhận sản phẩm của giai đoạn này hoặc của dự án. • Sự chấp thuận chính thức của nhà thầu về sản phẩm công việc và cập nhật vào tài liệu của nhà thầu • Các biên bản cập nhật dự án dành để lưu trữ • Kế hoạch tiếp tục và/hoặc bàn giao sản phẩm công việc

Nguồn: Greer 2001. In lại với sự cho phép.

Tóm tắt Lập kế hoạch là cần thiết để bảo đảm đánh giá đạt được các mục tiêu đã định. Mỗi cán bộ thực hiện hoạt động đánh giá cần phải hiểu vai trò và nhiệm vụ của mình trong tương quan với vai trò và nhiệm vụ của những người khác. Điều khoản giao việc ghi rõ các nhiệm vụ được in thành văn bản cho tất cả mọi người. Để giải quyết các câu hỏi về nhân lực, thời gian, nhiệm vụ, chi phí, người quản lý phải nhớ duy trì mục tiêu đánh giá. Mọi quyết định phải được dựa trên mục đích đạt được mục tiêu đánh giá. 460

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 12 Bài tập ứng dụng 12.1 Điều khoản giao việc Đọc các điều khoản tham chiếu sau, và theo các hướng dẫn ở đoạn dưới. Theo đề xuất của Tổ chức Thương mại Quốc tế (WTO), nhóm liên cơ quản lý chương trình Mô hình Phức hợp đã đề nghị Ngân hàng Thế giới chỉ đạo việc tiến hành tổng kết tình hình thực hiện chương trình trong vòng hai năm qua. Là một chương trình có nhiều cơ quan phối hợp thực hiện, Mô hình Phức hợp cố gắng hỗ trợ các nước kém phát triển nhất có được thuận lợi về cơ hội trong hệ thống thương mại quốc tế. Chương trình cung cấp các hỗ trợ liên quan đến thương mại, từ các hội nghị chuyên đề về các quy định của WTO đến sự cải thiện cầu cảng. Nó có chức năng hỗ trợ từng nước xác định nhu cầu và sau đó đưa chương trình đề nghị hỗ trợ vào một cuộc họp bàn tròn để nhận sự ủng hộ từ nhà tài trợ. Đánh giá tổng kết nên bao gồm các nội dung sau: • sự nhận thức về mục tiêu của Mô hình Phức hợp (đạt được thông quan tìm hiểu quan điểm của các bên liên quan) • tổng kết hoạt động hỗ trợ liên quan đến thương mại (xây dựng tổ chức, xây dựng nhân lực và xây dựng năng lực và cơ sở hạ tầng kinh doanh) • xem xét chính sách, gồm có sự mở rộng Mô hình Phức hợp và mở rộng thương mại và môi trường chính sách kinh tế vĩ mô • quản lý Mô hình Phức hợp • khuyến nghị cho tương lai. Khi xem xét các nội dung trên, chuyên gia tư vấn nên đánh giá mức độ phù hợp của hoạt động so với mục tiêu của nó. Họ cũng cần đánh giá chi phí-hiệu quả của Mô hình để đạt được mục tiêu và tính hiệu quả của việc phối hợp các tổ chức hạt nhân giám sát Mô hình, các hội nghị bàn tròn, và các hoạt động khác. Chuyên gia tư vấn được kỳ vọng kiểm tra việc lưu trữ hồ sơ về hoạt động, tiến hành phỏng vấn với cán bộ hoạt đông ở mỗi cơ quan liên quan, và thu thập ý kiến từ những đại diện của các quốc gia kém phát triển nhất cũng như các chính phủ và đại diện doanh nghiệp ở tối thiểu hai nước nghèo nhất được hưởng hỗ trợ từ Mô hình Phức hợp, một trong số đó nên là một quốc gia Châu Phi (Bốt-xoa-na và U-gan-đa chẳng hạn). Đại diện của các đơn vị tài trợ chính cũng nên được tham vấn. Báo cáo có thể dài 20 trang, chưa tính đến các phụ lục.

Làm việc theo cặp nếu có thể, xem xét và nhận xét điều khoản giao việc và trả lời các câu hỏi sau: 1. Điều khoản tham chiếu này có đầy đủ nội dung cần thiết không? 2. Những nội dung nào đã hoàn chỉnh? 3. Những nội dung nào nên được hoàn thiện thêm?

Quản lý một Dự án Đánh giá

461

Bài tập ứng dụng 12.2: Anh/chị đã sẵn sàng để làm một Người quản lý chưa? Đọc kỹ danh sách các đặc điểm cần có ở một người quản lý (Reh 2007). Xác định những kỹ năng anh/chị đã có và những kỹ năng cần hoàn thiện. Về con người

• Anh/chị phải tự tin vào bản thân và năng lực của mình. Anh/chị hài lòng với con người củaaAnh/chị, nhưng vẫn học hỏi và phấn đấu. • Anh/chị là người hướng ngoại. Anh/chị không cần phải sống cuộc sống của mọi người, nhưng cũng không thể sống trong ốc đảo. Quản lý là một kỹ năng liên quan đến con người – không phải một công việc dành cho những ai không giao lưu với người khác. • Anh/chị trung thực và thẳng thắn. Thành công của anh/chị phụ thuộc nhiều vào niềm tin của những người khác. • Anh/chị là “người trong cuộc”, không phải “người ngoài cuộc”. Anh/chị lôi kéo mọi người vào công việc anh/chị đang làm. Anh/chị không loại trừ những người khác chỉ vì họ thiếu một số đặc điểm nào đó. • Anh/chị phải có phong thái. Những người quản lý là những người chỉ huy. Những nhà lãnh đạo hiệu quả có tư chất làm cho người khác phải chú ý khi họ bước vào phòng. Trong công việc

• Anh/chị sát sao nhưng không cứng nhắc; đáng tin cậy nhưng có thể thay đổi ý kiến. • Anh/chị đưa ra quyết định nhưng dễ dàng tiếp nhận ý kiến của người khác. • Anh/chị hơi điên khùng. Suy nghĩ của anh/chị không bó hẹp. Anh/chị thử những điều mới mẻ, và, nếu thất bại, anh/chị chấp nhận sai lầm nhưng không hối tiếc vì đã thử. • Anh/chị không sợ “làm toán.” Anh/chị lên kế hoạch và lịch trình và thực hiện theo nó. • Anh/chị nhanh nhẹn và có thể nhanh chóng thay đổi kế hoạch, nhưng không phải mất kiên định. • Anh/chị xem thông tin là công cụ để sử dụng, không phải quyền lực để lợi dụng.

462

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tài liệu tham khảo Bemelmans Videc, M. L., R. C. Rist, and E. Vedung. 1997. Sticks, Carrots, and Sermons: Policy Instruments and Their Evaluation. Piscataway, NJ: Transaction Publishers. Billson, Janet Mancini. 2004. The Power of Focus Groups: A Training Manual for Social, Policy, and Market Research: Focus on International Development. Burlington, RI: Skywood Press. CDC (U.S. Centers for Disease Control and Prevention). 2001. Introduction to Program Evaluation. http://www.cdc.gov/tobacco/tobacco_control_programs/surveillance_ evaluation/evaluation_manual/00_pdfs/Chapter1.pdf. Chelimsky, E. 1987. “The Politics of Program Evaluation.” Social Science and Modern Society 25: 24–32. de Regt, Jacomina. 1996. “Mozambique: Country Implementation Review.” In World Bank Participation Sourcebook, 83–88. Washington, DC: World Bank.http://www. worldbank.org/wbi/sourcebook/sb0211.pdf. ESRC (Economic and Social Research Council). 2007. “Welcome to ESRC Today. Top Ten Tips.” http://www.esrc.ac.uk/ESRCInfoCentre/Support/Communications_toolkit/communications_strategy/index.aspx. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson Education. Greer, Michael. 2001. “20 Key Project Manager Actions and Results.” In The Project Manager’s Partner. Amherst, MA: HRD Press. http://www.michaelgreer.com/20-actns.htm. ———. 2008. Michael Greer’s Project Management. http://www.michaelgreer.com. Hawkins, Penny. 2005. “Contracting Evaluation.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June 30–July 1. Horn, Jerry 2001. A Checklist for Developing and Evaluating Evaluation Budgets. http:// www.wmich.edu/evalctr/checklists/evaluationbudgets.pdf. Kellogg Foundation. 1998. Evaluation Handbook. Battle Creek, MI. http://www.wkkf.org/Pubs/tools/Evaluation/Pub770.pdf. King, Jean A., Laurie Stevahn, Gail Ghere, and Jane Minnema. 2001. “Toward a Taxonomy of Essential Evaluator Competencies.” American Journal of Evaluation 222: 229–47. http://www.nbowmanconsulting.com/Establishing percent20Essentialpercent 20Programpercent20Evaluator percent20Competencies.pdf. Kirkhart, K. E. 2000. “Reconceptualizing Evaluation Use: An Integrated Theory of Influence.” In The Expanding Scope of Evaluation Use, ed. V.J. Caracelli and H. Preskill, 5–24. New Directions for Evaluation No. 88. San Francisco: Jossey-Bass. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. Washington, DC: World Bank.

Quản lý một Dự án Đánh giá

463

Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.” Evaluation Review 13 (3): 243–56. Leeuw, Frans. 1991. “Policy Theories, Knowledge Utilization and Evaluation.” OECD World Forum on Statistics: Knowledge and Policy, vol. 4, 73–91. Organisation for Economic Co-operation and Development, Paris. McNamara, C. 1999. Checklist for Program Evaluation Planning. http://www.managementhelp.org/evaluatn/chklist.htm. Muir, Edward. 1999. “They Blinded Me with Political Science: On the Use of Non–Peer Reviewed Research in Education Policy.” Political Science and Politics 32 (4): 762–64. NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department [the Netherlands]). 2006. CountryLed Joint Evaluation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. NEIR TEC (Northeast and the Islands Regional Technology in Education Consortium). 2004. Gathering Together and Planning: Exploring Useful Skills for Educators to Develop Through Collaborative Evaluation. http://www.neirtec.org/evaluation/PDFs/Gathertogether3.pdf. OECD (Organisation for Economic Co-operation and Development). n.d. DAC Evaluation Quality Standards for Test Phase Application. Development Assistance Committee, Paris. http://www.oecd.org/dataoecd/30/62/36596604.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Management. Development Assistance Committee, Paris. Patton, Michael Q. 1977. “In Search of Impact: An Analysis of the Utilization of Federal Health Evaluation Research.” In Using Social Research in Public Policy Making, ed. C. H. Weiss, 141–64. Lexington, MA: Lexington Books. ———. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2005. “Qualitative Methods and Analysis for Development Evaluation.” International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June 27–29. Reh, F. John. n.d. “How to Be a Better Manager.” http://management.about.com/cs/midcareermanager/a/htbebettermgr.htm. ———. 2007. “Management Tips.” http://management.about.com/cs/generalmanagement/a/mgt_tips03.htm. Rist, Ray C., and N. Stame. 2006. From Studies to Streams: Managing Evaluative Systems. Piscataway, NJ: Transaction Publishers. Rossi, Peter Henry, Howard E. Freeman, and Mark W. Lipsey. 1999. Evaluation: A Systematic Approach. Thousand Oaks, CA: Sage Publications. Rutman, L. 1980. Planning Useful Evaluations: Evaluability Assessment. Thousand Oaks, CA: Sage Publications. Sanders, James R. 1983. “Cost Implications of the Standards.” In The Cost of Evaluation, eds. M. C. Alkin and L. C. Solman, 101–17. Thousand Oaks, CA: Sage Publication. Schwartz, R. 1998. “The Politics of Evaluation Reconsidered: A Comparative Study of Israeli Programs.” Evaluation 4: 294–309.

464

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Schwartz, R., and J. Mayne. 2004. Quality Matters: Seeking Confidence in Evaluating, Auditing, and Performance Reporting. Piscataway, NJ: Transaction Publishers. Scriven, Michael. 2007. “Key Evaluation Checklist.” http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf/. Stufflebeam, Daniel L. 1999. “Evaluations Plans and Operations Checklist.” http://www.wmich.edu/evalctr/checklists/plans_operations.pdf. Tilley, Nick. 2004. Applying Theory-Driven Evaluation to the British Crime Reduction Programme: The Theories of the Programme and of Its Evaluations. Thousand Oaks, CA: Sage Publications. UNFPA (United Nations Population Fund). 2007. “Tool No. 5: Planning and Managing an Evaluation.” Programme Manager’s Planning, Monitoring and Evaluation Toolkit. New York. http://www.unfpa.org/monitoring/toolkit/5managing.pdf. Weiss, Carol H. 1973. “Where Politics and Evaluation Research Meet.” Evaluation 1: 37–45. ———. 2004. Identifying the Intended Uses of an Evaluation. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. http://www. idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC. Wholey, J. S. 1979. Evaluation: Promise and Performance. Washington, DC: Urban Institute. ———. 1994. “Assessing the Feasibility and Likely Usefulness of Evaluation.” In Handbook of Practical Program Evaluation, eds. Joseph S. Wholey, Harry P. Hatry, and Kathryn E. Newcomer, 15–39. San Francisco: Jossey-Bass. Widavsky, A. 1972. “The Self-Evaluating Organization.” Public Administration Review 32: 509–20. World Bank. 2006. The World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm.

Trang Web Canadian Evaluation Society. Professional Designation Project. http://www .evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN. Conflict Resolution Information Source. http://www.crinfo.org/index.jsp. Conflict Resolution Network. http://www.crnhq.org/. EIB (European Investment Bank Group). 2008. “What Is the EIB Group?” http://www.eib. org/attachments/general/whatis_eibgroup_2008_en.pdf. ESRC (Economic and Social Research Council). “ESRC Society Today: Communication Strategy.” http://www.esrc.ac.uk/ESRCInfoCentre/Support/ Communications_toolkit/communications_strategy/index.aspx. Europe Aid Co-operation Office. 2005. Evaluation Methods. http://ec.europa.eu/ europeaid/evaluation/methodology/index_en.htm. ———. 2006. Methodological Bases. http://ec.europa.eu/europeaid/evaluation/ methodology/methods/mth_en.htm. European Commission. 2008. Evaluation Network. http://ec.europa.eu/regional_ policy/sources/docgener/evaluation/tech_en.htm. Evalnet. 2000. http://www.evalnet.co.za/services/.

Quản lý một Dự án Đánh giá

465

IBSTPI (International Board of Standards for Training, Performance, and Instruction). Competencies for Internal Staff and External Consultants Conducting Evaluations in Organizational Settings. http://www.ibstpi.org/Competencies/evaluatorcompetencies.htm. IDRC (International Development Research Centre). 2004. Evaluation Planning in Program Initiatives. http://web.idrc.ca/uploads/user-S/108549984812guideline-web. pdf. MSH (Management Sciences for Health), and UNICEF (United Nations Children’s Fund). “Quality Guide: Stakeholder Analysis.” In Guide to Managing for Quality. http://bsstudents.uce.ac.uk/sdrive/Martin percent20Beaver/Week percent 202/Quality percent20Guide percent20- percent20Stakeholder percent20 Analysis.htm. Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evaluation. http://www.tbssct.gc.ca/eval/dev/Professionalism/profession_e.asp. UNDP (United Nations Development Programme). 2006. Planning and Managing an Evaluation Website. http://www.undp.org/eo/evaluation_tips/evaluation_ tips.html. UNFPA (United Nations Population Fund). 2004. Programme Manager’s Planning, Monitoring and Evaluation Toolkit. http://www.unfpa.org/monitoring/toolkit/5managing. pdf. Weiss, Carol. Identifying the Intended Use(s) of an Evaluation. International Development Research Centre. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2= DO_TOPIC. Western Michigan University Evaluation Center. Evaluation Checklists. http://www. wmich.edu/evalctr/checklists/checklistmenu.htm. ———. The Checklist Project. http://evaluation.wmich.edu/checklists.

Ví dụ về Điều khoản Tham chiếu ADB (Asian Development Bank). 2008. Model Terms of Reference Diagnostic City Water Assessment (Links). http://www.adb.org/Water/tools/City-WaterAssessments.asp. CIDA (Canadian International Development Agency). Model for Evaluation Terms of Reference. http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/ Performancereview4/US$file/tor_sample_text.pdf. FAO (Food and Agriculture Organization of the United Nations). FAO Model Terms of Reference for a Joint Evaluation Mission. http://www.fao.org/pbe/pbee/ common/ecg/233/en/torseng.doc. UNDP (United Nations Development Programme). 2002. Handbook on Monitoring and Evaluating for Results. http://www.undp.org/eo/documents/HandBook/ME-HandBook.pdf.

466

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 13

Trình bày Kết quả Đánh giá

Khi đã thu thập và xử lý gần xong dữ liệu là thời điểm chia sẻ những kết quả ban đầu và lên kế hoạch để công bố kết quả cuối cùng. Chia sẻ những bài học kinh nghiệm là một trong những phần quan trọng nhất của một đánh giá. Đây là điều kiện tiên quyết để thực hiện thay đổi. Trình bày kết quả có thể được viết (thông qua biên bản và báo cáo) hoặc trình bày miệng (thông qua báo cáo tóm tắt và thuyết trình). Chương này gồm bốn phần:

• • • •

Xây dựng Chiến lược Truyền thông Viết Báo cáo Đánh giá Hiển thị thông tin bằng hình ảnh Thuyết trình

467

Xây dựng Chiến lược Truyền thông Một đánh giá không được sử dụng để cung cấp thông tin cho các hoạt động ra quyết định là đánh giá ít giá trị. Khi một người thiết kế một đánh giá, quan trọng là phải nhớ đến mục tiêu cung cấp thông tin hữu ích cho các bên tham gia, những người đứng đầu trong hoạt động ra quyết định. Đánh giá không tìm kiếm tri thức và cũng không hoạt động vì tri thức. Đây là điểm khác biệt mấu chốt giữa đánh giá và nghiên cứu. Điều quan trọng ở đây là các kết quả của hoạt động đánh giá được thông tin rõ ràng, chính xác, và theo một phương thức để người nhận tin có thể sử dụng tốt nhất thông tin có được Một chiến lược truyền thông là một cấu phần quan trọng trong đánh giá phát triển. Chúng tôi đã nhấn mạnh trong toàn bộ cuốn sách này rằng sự trao đổi thông tin tốt cần được bắt đấu từ giai đoạn đầu tiên và xuyên suốt quá trình đánh giá. Trao đổi thông tin không phải là một hoạt động chỉ diễn ra khi kết thúc đánh giá. Khách hàng và những cơ quan tham gia chính cần được tham gia không chỉ vào hoạt động lập kế hoạch đánh giá mà còn phát triển cơ chế và công cụ để trao đổi các phát hiện và thu lại phản hồi. Chiến lược truyền thông nên được phát triển hợp lý ngay từ ban đầu. Nó cần xác định • • • • •

ai cần nhận thông tin đánh giá thông tin nào là cần thiết thông tin nên được lưu dưới dạng nào khi nào thì thông tin cần được cung cấp ai là người chịu trách nhiệm cung cấp thông tin.

Một chiến lược truyền thông tốt bao quát mọi giai đoạn và sản phẩm của hoạt động đánh giá. Nó sử dụng nhiều hình thức trao đổi thông tin được điều chỉnh cho phù hợp với từng bên tham gia cụ thể. Chiến lược truyền thông của một đánh giá có thể bắt đầu từ thảo luận thăm dò ý tưởng với những người yêu cầu đánh giá, tiếp theo là những cuộc thảo luận với nhóm các cơ quan tham gia ở địa phương (bảng 13.1). Sau cuộc họp với người yêu cầu đánh giá là biên bản tóm tắt chính thức về thiết kế ban đầu của hoạt động đánh giá. Các nhóm tham gia địa phương có thể nhận thông báo bằng thư điện tử cho biết thiết kế ban đầu đã có trên trang web để được nhận xét. Các cuộc trao đổi thông tin không chính thức rất có giá trị trong suốt hoạt động đánh giá. Ví dụ, khách hàng và các cơ quan tham gia chính có thể được cập nhật thông tin về tiến độ đánh giá thông qua điện thoại hoặc thư điện tử. Kết quả cuối cùng có thể được phổ biến cho nhiều bên khác nhau dưới nhiều hình thức. Ví dụ, nhà tài trợ có thể nhận bản tóm tắt chi tiết về các phát

468

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 13.1 Mẫu Danh sách Kế hoạch Thông tin cho giai đoạn bắt đầu và thiết kế Đánh giá Người nhận thông tin

Hoạt động

Hình thức Thông tin

Người Thực hiện

Thời gian

Công tác bắt đầu

Khách hàng

Bàn về nội dung và thời gian của chương trình.

Họp

Trưởng nhóm

6/1

Cơ quan nhà nước và tổ chức phi chính phủ địa phương

Bàn về nội dung chương trình.

Họp

Trưởng nhóm B

6/5

Cán bộ chương trình

Bàn về nội dung chương trình.

Họp

6/11

Quan chức địa phương

Bàn về nội dung chương trình

Họp

6/10

Hội đồng tư vấn

Xác định đối tượng và gửi thư mời.

E-mail

6/14

Lên kế hoạch và tổ chức họp sơ bộ về các nội dung chương trình.

Họp với hội đồng tư vấn

6/25

Đề nghị đóng góp ý kiến cho nội dung chương trình.

E-mail thông báo khởi xướng đánh giá

6/25

Xem và thảo luận về kế hoạch dự thảo.

Họp với hội đồng tư vấn

7/15

Cộng đồng đánh giá phát triển

Web site

Thiết kế

Hội đồng tư vấn

Đưa ra thiết kế cuối cùng.

E-mail

Khách hàng

Chia sẻ thiết kế cuối cùng.

Tóm tắt miệng

Cộng đồng đánh giá phát triển

Xem xét thiết kế dự thảo.

Web site (đóng góp ý kiến)

7/30

Trưởng nhóm

7/22

7/31

Nguồn: Tác giả.

hiện đánh giá, kèm theo bản báo cáo kết thúc chính thức. Cán bộ chương trình ở địa phương có thể có bản báo cáo sơ bộ và bản tóm tắt. Với báo cáo cuối cùng, cán bộ đánh giá có thể sử dụng biên bản tóm tắt, thuyết trình, hoặc báo cáo bằng văn bản. Các cuộc họp báo có thể được sử dụng để phổ biến thông tin đến đông đảo người nhận hơn. Nếu lên kế hoạch cho một cuộc họp báo, thì cần phải thảo luận về thời gian và chương trình với các bên tham gia chính. Một điều quan trọng là phải có quy trình phản hồi để tạo cơ hội cho các bên tham gia và cán bộ đánh giá cùng nhau thảo luận về các phát hiện, bản chất vấn đề, các phương án hoạt động, và các bước tiếp theo. Nếu tổ chức các cuộc

Trình bày Kết quả Đánh giá

469

thảo luận nhóm lớn, cán bộ đánh giá nên xác định mọi khó khăn trong việc cùng trao đổi thông tin về kết quả đánh giá cho các nhóm bên tham gia khác nhau. công cụ hiệu quả nhất để phổ biến các phát hiện đánh giá (Torres, Preskill, và Piontek 1997). Cán bộ đánh giá có thể cần phải sử dụng nhiều công cụ thông tin khác nhau để truyền tải nội dung báo cáo, như sổ tay, video, văn bản, và tóm tắt ngắn với biểu đồ và đồ thị (hộp 13.1).

Hộp 13.1 Sử dụng Kỹ xảo Truyền thông Sáng tạo để Tăng sự thu hút đối với Kết quả Đánh giá

Để công bố kết quả đánh giá cho các bên tham gia, Lawrenz, Gullickson, và Toal (2007) đã sử dụng nhiều kỹ xảo sáng tạo. 1. Họ viết một bản tường thuật trường hợp điển hình, sau đó phổ biến nó thông qua nhiều kênh, trong đó có Internet, để đáp ứng nhu cầu của người nhận thông tin. Bản tường thuật trường hợp điển hình mô tả những chuyến thực địa đến 13 dự án của cá nhóm đánh giá. Nó không chỉ xem xét đến nhu cầu của khách hàng mà còn cả nhu cầu của những người có thể thu được lợi ích từ các phát hiện này. 2. Họ tổ chức các kết quả đánh giá thành chín bài nghiên cứu (bao gồm sự hợp tác, phổ biển thông tin, phát triển tài liệu, phát triển nghề, cải thiện chương trình, tuyển dụng và bổ nhiệm, tính bền vững, hội đồng tư vấn, và đánh giá) và đưa lên các Trang Web của họ. Những trang tin này tổng kết các báo cáo thực địa, dữ kiệu điều tra, và các nghiên cứu trước đó. 3. Để thu hút sự quan tâm đến các bài nghiên cứu này, họ in các cuốn sổ tay để quảng cáo. Cuốn sổ tay đã gợi lên sự quan tâm đến các bài nghiên cứu được xuất bản toàn bộ trong một tạp chí, công bố kết quả đến nhiều người hơn dự định. 4. Họ đưa lên mạng sổ tay thực địa, bao gồm các quy trình tiến hành thực địa. Sau khi đã đăng lên trang Web, họ nhận ra rằng nhiều tổ chức và các nhà nghiên cứu rất quan tâm đến nó. 5. Họ soạn một cuốn sổ tay mô tả những bước hoạt động chủ yếu để đạt được tính bền vững cho chương trình mà họ đã nghiên cứu, và đăng lên trang Web dưới dạng PDF. Cuốn sổ tay này được những người trong giới đón nhận do dễ sử dụng và cung cấp thông tin trực tiếp về việc nâng cao chất lượng dự án. 6. Họ tổ chức hội thảo truyền hình từ xa để thảo luận sâu về một trong số các nội dung ý tưởng của họ. 7. Họ đưa đường link về biên bản lưu hội thảo truyền hình này lên trang Web. Các thông tin trên trang web bao gồm các đường link của các thông tin về những người nghiên cứu, những người thuyết trình chính trong hội thảo, và các tài liệu tham khảo và các đoạn video. Tất cả những thông tin này được đăng trên trang Web và in ra đĩa CD.

470

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Viết Báo cáo Đánh giá Mục đích của báo cáo là mang thông tin đến cho người đọc. Để làm được điều này, cần phải theo các hướng dẫn sau: • Khi viết báo cáo phải luôn nghĩ đến mục đích và đối tượng nhận báo cáo. Tìm hiểu càng nhiều càng tốt về người nhận báo cáo, và viết báo cáo theo cách thích hợp nhất để người đọc có thể hiểu được. • Sử dụng ngôn ngữ – đơn giản – chủ động – tích cực – quen thuộc – nhạy cảm về văn hóa. • Tránh các tên viết tắt đến mức có thể. • Hạn chế phần thông tin bối cảnh vừa đủ để giới thiệu báo cáo nêu rõ bối cảnh thực hiện. Các thông tin thêm về bối cảnh có thể đính kèm như một phụ lục nếu cần. • Cung cấp đủ thông tin về thiết kế và phương pháp đánh giá để người đọc có niềm tin vào độ tin cậy của báo cáo nhưng vẫn có thể nhận ra hạn chế nếu có. Cảnh báo người đọc về những cách hiểu sai lầm về các phát hiện. Và, các thông tin chi tiết lại được đính kèm trong một phụ lục. • Viết tóm tắt tổng thể (được trình bày dưới đây). • Tổ chức dữ liệu trong nội dung báo cáo thành các phần nội dung chủ yếu hoặc những câu trả lời cho các câu hỏi đánh giá. • Đặt những điểm quan trọng lên đầu mỗi phần, những phần phụ để ở phần sau. Bắt đầu mỗi đoạn bằng cách nêu rõ vấn đề nó trình bày. • Hỗ trợ các kết luận và khuyến nghị bằng bằng chứng. • Đưa các thông tin về kỹ thuật, ma trận thiết kế và các công cụ điều tra vào một phụ lục. • Dành thời gian để sửa, sửa, và sửa !! • Nhờ một người chưa đọc một tài liệu nào trong báo cáo đọc và tìm lỗi sai của bản thảo báo cáo. Đề nghị người đọc tìm lỗi sai hoặc chỉ ra những ý chưa rõ ràng. • Nếu có thể, tìm một người nhận xét độc lập có chuyên môn về nội dung đánh giá và có kiến thức về phương pháp luận đánh giá để duyệt bản thảo và đề xuất những sửa đổi cho báo cáo nếu cần. Nếu không có người duyệt độc lập, thì nhờ một đồng nghiệp không tham gia vào đánh giá để duyệt báo cáo.

Tóm tắt báo cáo Tóm tắt của báo cáo chỉ ra những câu hỏi đánh giá; mô tả phương pháp sử dụng; và tóm tắt các phát hiện đánh giá, các kết luận và khuyến nghị Nó giúp Trình bày Kết quả Đánh giá

■■ Tóm tắt báo

cáo:

Một tóm tắt ngắn gọn về báo cáo xác định các câu hỏi đánh giá; mô tả phương pháp sử dụng; và tổng kết các phát hiện, kết luận và khuyến nghị trong báo cáo 471

người đọc nhanh chóng nắm được thông điệp chính của báo cáo. Tóm tắt tổng thể báo cáo không đơn thuần là phiên bản cô đọng của phần kết luận trong báo cáo. Nó cũng không phải là gợi ý để hứa hẹn phần thông tin được trình bày phía sau. Tóm tắt phải là một văn bản độc lập dành cho những người quá bận rộn để có thể đọc toàn bộ báo cáo chính. Theo Scriven (2207, tr.1), mục đích của tóm tắt báo cáo là tổng kết các kết quả, chứ không chỉ quá trình: Trong suốt quá trình đánh giá, luôn đặt ra câu hỏi, từ những gì đã thu được, thì tất cả tóm tắt sẽ như thế nào, và nó liên kết với yêu cầu của khách hàng, các cơ quan tham gia, và của người đọc như thế nào; điều này sẽ giúp bạn tập trung vào những gì vẫn cần phải thực hiện và biết được vấn đề gì cần quan tâm nhiều nhất.

Tóm tắt báo cáo nên ngắn gọn: hai trang là lý tưởng; hơn bốn trang là quá dài. Cần phải lặp lại điều này: hai trang là lý tưởng, và hơn bốn trang là quá dài Một tóm tắt báo cáo nên gồm những nội dung sau: • Tổng quan ngắn gọn hoặc một đoạn giới thiệu về mục đích của nghiên cứu và các nội dung nghiên cứu, viết làm sao để thu hút được sự chú ý của người đọc. • Mô tả đánh giá, nêu ra những câu hỏi chính, tóm tắt ngắn gọn mục tiêu và phương pháp đánh giá. • Nêu đầy đủ thông tin bối cảnh thực hiện nghiên cứu. • Tóm tắt các phát hiện chính của đánh giá. Xem xét để xác định những phát hiện nào là quan trọng nhất đối với người đọc • Đưa ra gợi ý để người đọc biết được thông tin được viết ở trang số bao nhiều. • Các kết luận và Khuyến nghị.

Nội dung báo cáo Phần nội dung báo cáo nên gồm có những phần sau, thường được chia thành các chương (hoặc các phần trong các báo cáo ngắn hơn): • Giới thiệu • Mô tả hoạt động đánh giá • Các phát hiện • Kết luận • Khuyến nghị. Phần giới thiệu báo cáo gồm có các phần sau: • mục đích của hoạt động đánh giá • bối cảnh đánh giá • mục đích và mục tiêu của chương trình, mô tả thông qua mô hình biến thiên • các câu hỏi đánh giá.

472

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Phần mô tả ngắn gọn về đánh giá gồm những phần sau: • Mục đích • Mục tiêu • Câu hỏi đánh giá • Phương pháp đánh giá • Các hạn chế • Người tham gia thực hiện (hội đồng tư vấn, công ty tư vấn). Phần phát hiện đánh giá tiếp theo phần mô tả đánh giá. Cán bộ đánh giá cần nêu rõ • Trình bày kết quả đánh giá để người đọc có thể hiểu rõ ràng • Chỉ nêu những phát hiện quan trọng nhất • Tổ chức các phát hiện xung quanh câu hỏi nghiên cứu, các nội dung hoặc vấn đề quan trọng • Sử dụng biểu đồ, bảng biểu, hoặc các đồ họa khác để nêu bật những điểm quan trọng. Phần cuối cùng của báo cáo là kết luận và khuyến nghị, đây là phần thường được đọc đầu tiên. Cán bộ đánh giá thường gặp khó khăn khi phân biệt phát hiện đánh giá và kết luận. Các phát hiện là những gì được tìm thấy trong hoạt động đánh giá. Chúng có thể chỉ ra mức độ đạt được hoặc không đạt được một tiêu chí nào đó. Các phát hiện thường có bằng chứng để củng cố lập luận. Kết luận dựa trên đánh giá chuyên nghiệp về các phát hiện. Chúng đưa ra kết luận về mục tiêu cụ thể cũng như mục tiêu tổng thể của dự án, chương trình, hoặc chính sách. Trong phần kết luận không trình bày nội dung thông tin nào mới. Các khuyến nghị đưa ra các lời khuyên về hoạt động. Chúng thể hiện những gì báo cáo muốn khách hàng hoặc các bên tham gia chính thực hiện. Khuyến nghị thường không dễ viết. Không nên đưa ra chỉ thị thái quá, vì làm như vậy là hạ thấp đặc quyền của ban quản lý trong việc xác định các giải pháp cụ thể cho từng vấn đề khó khăn. Ví dụ, một đánh giá có thể đề xuất triển khai một chính sách đánh giá đối với các hoạt động hỗ trợ kỹ thuật. Nó không thể soạn chính sách hoặc cụ thể hóa các yêu cầu về chính sách. Tuy nhiên, nó có thể cụ thể hóa những nội dung chủ chốt nên được đưa vào chính sách đánh giá. Đồng thời, các khuyến nghị cũng không được quá chung chung. Các khuyến nghị phải rõ ràng và đủ cụ thể để tất cả mọi người hiểu được cần phải làm gì để đáp ứng chúng, tổ chức hoặc đơn vị nào phải thực hiện, và khi nào thì phải hoàn thành. Các báo cáo không nên đưa ra “một bản danh sách” khuyến nghị. Cán bộ đánh giá nên hạn chế số khuyến nghị đưa ra vào khoảng ba hoặc bốn khuyến

Trình bày Kết quả Đánh giá

473

nghị. Tốt hơn là nhóm gộp các khuyến nghị với các phần nhỏ nếu cần để có thể kiểm soát số lượng (ba hoặc bốn). Phần diễn đạt khuyến nghị cũng cần phải cân nhắc. Điều quan trọng cần phải nhớ là báo cáo không đưa ra quyết định, mà con người mới đưa ra quyết định. Khuyến nghị đạt được mục đích không đáng kể nếu không được thực hiện. Một cách để tiếp tục thực hiện khuyến nghị là xây dựng hệ thống theo dõi khuyến nghị. Hệ thống này cho phép các bên tham gia giám sát việc thực hiện các khuyến nghị đánh giá. Nó theo dõi từng khuyến nghị từ hoạt động đánh giá và tiến trình triển khai khuyến nghị, bao gồm • ngày đề xuất • người thực hiện • phản hồi/tiến độ. Bảng 13.2 là một ma trận đơn giản có thể dùng cho hệ thống theo dõi khuyến nghị. Trong ma trận này, cán bộ đánh giá có thể điền vào những cột đầu tiên, nhưng người quản lý theo dõi và bảo đảm các khuyến nghị được thực hiện theo đúng nhiệm vụ đã giao. Ví dụ như Công ty Tài chính Quốc tế (IFC), tổ chức tài trợ cho khu vực tư nhân của nhóm Ngân hàng Thế giới, có hệ thống theo dõi khuyến nghị riêng. Các báo cáo đánh giá do Nhóm Đánh giá độc lập của IFC (IEG) thực hiện có đưa ra các khuyến nghị cho hoạt động Quản lý và Phản hồi Quản lý của IFC. Những khuyến nghị này được thảo luận tại Ủy ban Hiệu quả và Phát triển của IFC (CODE). CODE kỳ vọng nhận được các báo cáo về thực trạng thực hiện khuyến nghị định kỳ, nêu rõ mức độ áp dụng và tình hình thực hiện. IEG cùng với lãnh đạo của IFC đã phát triển Biên bản Giám sát Hoạt động Quản lý (MATR, phát âm như “matter”). MATR được thiết kế để bảo đảm tính toàn vẹn của quy trình báo cáo, trong đó cả IEG và IFC đều không thể thay đổi các đánh giá xếp hạng. Hình 13.1 minh họa hai giai đoạn của MATR. Trong giai đoạn đầu tiên, IEG và IFC thống nhất về các chỉ số đánh giá thực thi của mỗi khuyến nghị mới. Giai đoạn thứ hai, thực trạng và mức độ áp dụng mỗi khuyến nghị đang thực hiện được cập nhật và

Bảng 13.2 Hệ thống Theo dõi Khuyến nghị Khuyến nghị

Nguồn

Ngày

Người thực hiện

Phản hồi/tiến độ

1. 2. 3. 4. Nguồn: Tác giả.

474

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 13.1 Hai giai đoạn MATR để Theo dõi Khuyến nghị của IFC

Bước một Sơ đồ Chỉ số Đề xuất của IEG

Phản hồi từ lãnh đạo

Bước thứ hai

Người quản lý thực hiện lập nhóm và đề xuất chỉ báo.

Nhóm thực hiện nhận xét về chỉ báo được đề xuất.

Từ chối

Bước đầu tiên

Ban lãnh đạo chỉ định người quản lý thực hiện.

MATR

Duyệt

IEG duyệt hoặc từ chối chỉ báo được đề xuất.

Duyệt

Lãnh đạo duyệt hoặc từ chối chỉ báo đề xuất.

Từ chối Giai đoạn Hai Chu trình Giám sát

Lưu hành công khai (chỉ riêng đánh giá)

Người quản lý thực hiện lập nhóm và đưa ra thực trạng và mức độ áp dụng (LOA); lãnh đạo nhận xét.

Nhóm thực hiện đóng góp ý kiến nhận xét.

Lưu hành nội bộ

MATR

IEG báo cáo thực trạng; LOA và IEG nhận xét.

Từ chối

Management assigns task manager.

Đề xuất của IEG

Lãnh đạo duyệt hoặc bác bỏ. Duyệt

Nguồn: Nhóm Đánh giá Độc lập của Tổ chức Tài chính Quốc tế 2008.

475

báo cáo định kỳ cho CODE. Đánh giá của IEG và IFC không cần phải giống nhau. Khi khuyến nghị được thực hiện, bị loại trừ, hoặc không còn phù hợp thì sẽ bị ngừng hoạt động. Các đề xuất của IEG không được lãnh đạo IFC duyệt thì cũng không được theo dõi.

Trình bày Thông tin bằng Hình ảnh Các thông tin bằng hình ảnh có thể làm cho báo cáo sinh động hơn, làm cho thông tin trao đổi rõ ràng hơn so với văn bản chữ, và thu hút người đọc vào những điểm quan trọng. Do đó, sử dụng hiệu quả đồ họa tăng tầm ảnh hưởng của một báo cáo đánh giá.

Hình minh họa Hình minh họa có thể giúp làm sáng tỏ các điểm được trình bày trong đoạn văn. Tuy nhiên, nên sử dụng chúng một cách hợp lý, chứ không bao giờ để trang trí. Các hình minh họa ở trang bìa của báo cáo phải liên quan đến chủ đề tổng quát; hình minh họa trong báo cáo phải có lý do cụ thể và xác đáng cho sự xuất hiện của mình. Mọi hình minh họa đều phải được nêu trong đoạn văn, để hướng dẫn người đọc tìm thông tin khi nhìn vào hình. Các ví dụ về hình minh họa có thể sử dụng trong đánh giá là bản đồ, tranh vẽ, sơ đồ, và ảnh. Trong một vài trường hợp phải có được sự đồng ý của tác giả khi sử dụng những hình minh họa này. Bản đồ Bản đồ được dùng trong báo cáo để • Chỉ địa điểm của chương trình • Cung cấp bối cảnh • Mô tả phạm vi địa lý của chương trình • Trình bày cơ sở chọn mẫu • Chỉ ra tỷ lệ và các cấp độ của địa hình sử dụng các khung và các đường liên kết điểm (Cummings 2003 Khi vẽ bản đồ, cần • chắc chắn chúng dễ đọc và dễ hiểu (khung và hình nền phải được phân biệt dễ dàng) • sử dụng bản gần đây nhất • xác định nguồn • sử dụng mũi tên la bàn khi phù hợp để chỉ tọa độ

476

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tranh vẽ và sơ đồ Trong khi thu thập dữ liệu, cán bộ đánh giá đôi khi có thể đề nghị người trả lời vẽ tranh (hình 13.1). Những tranh vẽ này có thể được dùng để • tăng phần sinh động cho báo cáo • làm cho báo cáo mang dấu ấn cá nhân • phản ánh một phương pháp tiếp cận • thay thế cho các hình minh họa phức tạp hơn mà khả năng kỹ thuật không đủ để thể hiện chúng • thể hiện sự hài hước • thể hiện các suy nghĩ của người trả lời một cách trực tiếp. Sơ đồ được sử dụng để minh họa một công việc được thực hiện như thế nào hoặc mối quan hệ giữa các đối tượng. Sơ đồ rất có ích khi việc mô tả bằng lời một quá trình hoặc một tình huống còn khó hơn vẽ nó ra. Ảnh Ảnh có thể là phần bổ sung có ích đối với báo cáo. Chúng có thể • cung cấp bối cảnh • minh họa công tác thực địa (quy trình) • minh họa các quan sát trực tiếp (loại nhà ở, các điều kiện chật hẹp trong một vùng các nhà lân cận nhau) • để người đọc làm quen với địa bàn • đưa ra dẫn chứng (Cummings 2003). Như các loại hình minh họa khác, ảnh không được dùng với mục đích trang trí. Levin, Anglin, và Carney (1987) đã tổng kết và tóm tắt các thông tin về việc sử

Minh họa 13.1 Hình dung của Trẻ em về làng mình trước và sau can thiệp

Source: Cummings 2003.

Trình bày Kết quả Đánh giá

477

dụng tranh ảnh và hình minh họa. Họ đưa ra hai kết luận về tác dụng của tranh ảnh đối với quá trình thu nhận thông tin quan từ đoạn văn: • Khi hình minh họa thích hợp với nội dung, thì có thể có ích cho việc thu nhận thông tin. • Khi hình minh họa KHÔNG tương thích với nội dung, thậm chí tệ hơn là mâu thuẫn với nội dung, thì thông tin KHÔNG được tiếp nhận, và còn có thể bị hiểu sai. Do đó, phải có lý do xác đáng và cụ thể khi sử dụng ảnh và các loại tranh trong báo cáo.

Đồ thị và Biểu đồ Đồ thị và Biểu đồ trình bày dữ liệu bằng hình ảnh. Điều lý tưởng ở đây là bản thân chúng là một câu chuyện không cần diễn tả bằng lời. ■■ Sơ đồ tổ chức: Sơ đồ thể hiện cơ cấu tổ chức và cơ chế báo cáo trong một tổ chức

Sơ đồ tổ chức Một sơ đồ tổ chức môt tả hệ thống tổ chức trong một tổ chức (hình 13.2). Các sơ đồ này xác định rõ ràng và cụ thể trách nhiệm và cơ chế báo cáo. Sơ đồ tổ chức thường được đưa vào báo cáo đánh giá, vì hiểu cơ cấu của một tổ chức có thể là bước đầu tiên để hiểu báo cáo. Hầu hết các chương trình soạn thảo văn bản đều có chức năng vẽ các sơ đồ này.

Hình 13.2 Ví dụ về Sơ đồ Tổ chức

Người lãnh đạo

Giám đốc (1)

Trợ lý giám đốc (1)

Giám đốc (2)

Hội đồng tư vấn

Giám đốc (3)

Trợ lý giám đốc (2)

Trợ lý giám đốc (3)

Quản lý Quản lý Quản lý

Kiểm toán nội bộ

Đánh giá và Giám sát

Quản lý Quản lý Quản lý

Nguồn: Tác giả.

478

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Biểu đồ Gantt Biểu đồ Gantt thường được dùng khi lập kế hoạch (hình 13.1). Chúng đặc biệt hữu dụng cho công tác quản lý dự án, đặc biệt là lập kế hoạch dự án. Đồ thị Đồ thị có thể truyền tải một thông điệp rõ ràng mà không cần nhiều chi tiết tỉ mỉ. Mỗi đồ thị phải có tên, đánh số, và nguồn dữ liệu. Tên đồ thị có thể bao gồm cả năm mà dữ liệu thể hiện (nếu có) (bảng 13.3). Có ít nhất bốn loại đồ thị hoặc biểu đồ dùng để thể hiện dữ liệu. Mỗi loại có mục đích khác nhau (bảng 13.4). Đồ thị đường kẻ. Đồ thị đường kẻ thường miêu tả sự biến thiên của một biến (hoặc nhiều biến) theo thời gian (hình 13.4 và 13.5). Ví dụ, cán bộ đánh giá có thể sử dụng đồ thị đường kẻ để thể hiện giá lương thực tăng hay giảm trong các tháng trong năm, thay đổi về dân số trong nhiều năm, hoặc điểm số hàng ngày của sinh viên trong một học kỳ sáu tuần. Đồ thị đường kẻ có thể thể hiện một đơn vị hoặc nhiều đơn vị thay đổi trong cùng một giai đoạn. Đồ thị đường kẻ là một phương pháp hiệu quả để thể hiện thang đo liên tục, ví dụ như thang đo khoảng hoặc thang đo tỷ lệ. Thang đo khoảng được chia thành các khoảng trong đó khoảng cách giữa các khoảng có ý nghĩa. Ví dụ về thang đo khoảng là số lượng, ví dụ như lượng thu nhập, số năm học, hoặc số phiếu. Thang đo tỷ lệ là thang đo khoảng có điểm không tuyệt đối. Thu nhập là thang đo tỷ lệ vì không đô la thực tế là “không có thu nhập.”

■■ Biểu đồ Gantt: Biểu đồ dùng để minh họa kế hoạch dự án ■■ Đồ thị: Thể hiện bằng hình vẽ mối quan hệ giữa hai hoặc nhiều bộ phận dữ liệu ■■ Đồ thị đường kẻ: Đồ thị tạo ra bằng cách nối các điểm dữ liệu với nhau thành một đường kẻ; thường dùng để chỉ sự thay đổi theo thời gian.

Hình 13.3 Ví dụ về Biểu đồ Gantt Nhiệm vụ

Tuần 1

Tuần 2

Tuần 3

Tuần 4

Tuần 5

Tuần 6

Tuần 7

Tiến hành tổng quan tài liệu. Tổ chức các cuộc họp với các cơ quan tham gia. Soạn nguyên lý thay đổi.

Nguồn: Tác giả.

Trình bày Kết quả Đánh giá

479

Bảng 13.3 Các thành phần trong Đồ thị Tên

Mô tả

Tên

Mọi đồ thị và biểu đồ đều có tên để người đọc biết được ngay lập tức nội dung của đồ thị

Trục hoành hoặc trục x

Trục hoành hoặc trục x là đường kẻ ngang của đồ thị đường kẻ hoặc đồ thị cột, đại diện cho một biến (ví dụ thời gian)

Trục tung hoặc trục y

Trục tung hoặc trục y là đường kẻ đứng của đồ thị đường kẻ hoặc đồ thị cột, đại diện cho biến thứ hai (ví dụ như giá cả)

Gốc tọa độ

Gốc tọa độ là điểm nối giữa trục tung và trục hoành

Đường lưới

Nhiều biểu đồ sử dụng các đường lưới để so sánh dữ liệu ở các mức cụ thể. Chỉ nên dùng một số ít đường kẻ tọa độ để tránh làm hình vẽ bị rối.

Tên trục

Tên trục x và trục y là rất quan trọng. Chúng xác định cái gì được đo lường, và đơn vị đo lường (năm, mét, cân, dặm vuông, thể tích, đô la, cấp). Ví dụ • Chi phí (US$) • Khoảng cách (km)

Tỷ lệ trục

Trục x và trục y cần có độ dài thích hợp để thể hiện các giá trị. Chọn độ dài cẩn trọng để có thể bao quát hết toàn bộ các giá trị trong dữ liệu. Tỷ lệ giữa các trục cũng cần phải lựa chọn để minh họa tốt nhất mối quan hệ giữa các biến.

Giá trị thực

Nhiều đồ thị và biểu đồ cũng thể hiện cả các giá trị thực của đại lượng dưới dạng chữ trong hình. Những giá trị thực này giúp cho người đọc nắm được bối cảnh cụ thể mà đồ thị thể hiện.

Tọa độ

Tọa độ là điểm trên đồ thị mà giá trị x và giá trị y gặp nhau. Cách thể hiện tọa độ (điểm, đỉnh, chóp cột) phụ thuộc vào loại đồ thị sử dụng.

Nguồn: Tác giá.

Hình 13.4 Sự giảm nhiệt độ trung bình ở tỉnh A, từ Tháng Hai – Tháng Tám 2008

Độ C

24 18

20 10 0

480

Thg2

Thg3

Thg4

Thg5

Thg6

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 13.4 Các dạng và Mục đích khác nhau của Đồ thị Dạng đồ thị

Ví dụ

Mục đích

Đồ thị đường kẻ

Thể hiện xu thế theo thời gian.

Đồ thị cột

So sánh các đặc tính tuyến tính hoặc đơn chiều

Đồ thị cột so sánh

So sánh giá trị của hai hay nhiều nhóm đặc tính trong cùng một biến.

Đồ thị hình tròn

Thể hiện từng phần của tổng thế.

Đồ thị chấm

Thể hiện xu thế hoặc mối quan hệ

Nguồn: Tác giả.

Hình 13.5 Điểm đọc ở ba trường trong quận, 2004/05

120 Trường 3 Trường 2

Điểm đọc

90 60

Trường 1

30 0

Kỳ 1

Kỳ 2

Kỳ 3

Năm học 2005

Kỳ 4 481

■■ Biểu đồ hình cột: Dạng biểu đồ sử dụng hình chữ nhật nằm ngang hoặc nằm dọc để thể hiện và so sánh số lượng

Biểu đồ hình cột. Biểu đồ hình cột sử dụng các cột (hình chữ nhật dài) để thể hiện số lượng và cho phép so sánh các con số. Chúng cần được đặt tên kỹ để bảo đảm người đọc hiểu được nhân tố nào đang được thể hiện Có hai dạng biểu đồ cột: Biểu đồ cột đơn thể hện các thông tin về một biến và đồ thị nhiều cột cung cấp thông tin của nhiều hơn một biến. Các cột có thể được vẽ theo chiều ngang hoặc chiều dọc. Sử dụng biểu đồ đa cột để so sánh hai hay nhiều nhóm dữ liệu trên cùng một biến. Ví dụ, người đánh giá muốn so sánh tỷ lệ thu hồi đất mỏ ở ba khu vực trên cả nước. Họ có thể sử dụng biểu đồ nhiều cột để thể hiện thông tin. Một ví dụ khác, biểu đồ hai cột được dùng để so sánh tỷ lệ trả lời bảng hỏi của trẻ em trai và trẻ em gái. Biểu đồ cột thường được dùng để thể hiện thang đo định danh hoặc thang đo thứ bậc. Thang đo định danh hoặc thang đo thứ bậc không có quan hệ thứ tự, và việc gán các số vào các nhóm chỉ đơn thuần để phân biệt (1 = phía Đông, 2 = phía Nam, 3 = phía Bắc). Những nhóm này phải được giải thích rõ ràng trong chú thích. Dưới đây là các ví dụ về biểu đồ cột. Hình 13.6 là điểm bài trắc nghiệm kỹ năng làm cha mẹ cho bốn phụ nữ mang thai. Biểu đồ đơn cột thể hiện dữ liệu của một biến cụ thể cho một nhóm (hình 13.6). Biểu đồ đa cột đưa ra dữ liệu của một biến cụ thể cho nhiều hơn một nhóm (hình 13.7).

■■ Biểu đồ hình tròn: Hình tròn được chia thành nhiều phần, mỗi phần thể hiện độ lớn của từng nhóm

Biểu đồ hình tròn. Biểu đồ hình tròn dùng khi có ít nhóm thành phần (hình 13.8). Nó không được dùng khi số nhóm thành phần vượt quá tám hoặc ít hơn ba nhóm.

Hình 13.6 Điểm Trắc nghiệm kỹ năng làm cha mẹ theo khu vực

100

87 75

Điểm (phần)

60 45 40 20 0

Phía Tây

Nguồn: Tác giả, dữ liệu không có thật.

482

Phía Bắc

Phía Đông

Phía Nam

Chủ đề

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hình 13.7 Tỷ lệ trả lời của Trợ lý và Giám đốc

Hình 13.8 Chi phí Điện Cao nhất trong quý ba (Đô la Ca-na-đa, 2008)

100

204.00

Giám đốc

90 Tỷ lệ trả lời trung bình

313.00

Quý 1

Quý 2

50 Trợ lý

678.00

905.00

Quý 3 Quý 4

30 20 10 0

2 Câu hỏi

Nguồn: Tác giả, dữ liệu không có thật.

Biểu đồ dạng chấm. Biểu đồ dạng chấm là đồ thị thể hiện mối quan hệ các điểm dữ liệu bằng cách đánh dấu nó trên trục tung và trục hoành (hình 13.9). Nếu các giá trị có quan hệ với nhau thì sẽ thể hiện dưới dạng đường kẻ hoặc đường cong. Tương quan càng rõ thì các điểm giá trị càng gần với đường kẻ

Hình 13.9 Giá trị trung bình giữa Điểm trắc nghiệm và Lớp

100 90

Điểm trung bình

80 70 60 50 40 30 20 10 0 0

Nguồn: Tác giả, dữ liệu không có thật.

6 Lớp

12 483

hoặc đường cong. Đồ thị chấm tròn không phải là một mô hình cụ thể mà không thể hiện được rõ mối quan hệ giữa hai biến.

Bảng biểu Bảng biểu được dùng để thể hiện thông tin đã được tổ chức lại. Có hai dạng bảng có thể sử dụng trong báo cáo: bảng số liệu và bảng phân loại (ma trận). Bảng số liệu Bảng số liệu dùng để thể hiện các thông tin dạng số trong các bảng, chỉ dùng khi bộ số liệu nhỏ (Tufte 1983). Các bảng số liệu lớn hơn thường là cơ sở để trình bày số liệu dưới dạng khác, như đồ thị đường kẻ hoặc đồ thị cột, và thường được đưa thành các phụ lục. Như với tranh và hình minh họa, người đọc không tự biết được cần phải tìm gì trong một bảng số liệu. Cần phải có tiêu đề của bảng số liệu cho biết phải nhìn vào đâu và nó có liên quan đến nội dung thông tin như thế nào. Một mô tả ngắn về nội dung bảng biểu nên được trình bày trong báo cáo. Khi sử dụng bảng số liệu, luôn trích nguồn dữ liệu kèm theo năm thu thập dữ liệu. Eherenburg (1977) đã tổng kết các nguyên tắc hướng dẫn thiết kế bảng hiểu để thể hiện thông tin. • Làm tròn số để có không nhiều hơn hai chữ số thập phân, giúp người đọc có thể so sánh, đối chiếu. [Chú ý: Chúng tôi đề nghị làm tròn đến toàn bộ số nguyên; người đọc ít khi muốn cụ thể đến cấp số thập phân.] • Đưa giá trị tổng và giá trị trung bình ở các cột và các hàng (nếu thích hợp) để giúp người đọc có thể so sánh từng nhóm. • Đưa những số liệu quan trọng nhất vào các cột để người đọc có thể so sánh dễ dàng. Khi định dạng bảng, nhớ rằng quá nhiều dòng (chia các ô của bảng) có thể gây khó đọc. Hai ví dụ dưới đây là ví dụ, bảng 13.5 là ví dụ về bảng dữ liệu có quá nhiều dòng kẻ. Bảng 13.6 là bảng số liệu có ít dòng kẻ hơn. Chú ý cách đặt trọng tâm số liệu trong bảng thứ hai, chứ không phải tập trung vào các dòng kẻ. Đồng thời, chú ý đến hàng cuối của bảng thể hiện giá trị trung bình của các cột số liệu. Bảng phân loại (ma trận) Một bảng phân loại, hay còn gọi là ma trận, có định dạng thể hiện các thông tin được tổ chức theo các đặc điểm khác nhau (bảng 13.7). Ít nhất có hai loại

484

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bảng 13.5 Ví dụ về Bảng số liệu có quá nhiều dòng Thông tin cá nhân của Người trả lời Số thứ tự người trả lời

Chiều cao

Cân nặng

Tuổi

Khu vực

7.2

Phía Bắc

7.1

Phía Đông

7.6

Phía Bắc

7.2

Phía Nam

7.0

Phía Nam

7.8

Phía Bắc

7.3

Phía Tây

7.3

Phía Tây

7.5

Phía Đông

7.9

Phía Nam

Giá trị trung bình

38.09

27.36

6.72

Bảng 13.6 Ví dụ về Bảng số liệu có ít dòng kẻ Thông tin cá nhân của Người trả lời Số thứ tự

Chiều cao

Cân nặng

Tuổi

Khu vực

7.2

Phía Bắc

7.1

Phía Đông

7.6

Phía Bắc

7.2

Phía Nam

7.0

Phía Nam

7.8

Phía Bắc

7.3

Phía Tây

7.3

Phía Tây

7.5

Phía Đông

7.9

Phía Nam

Trung bình

7.0

Nguồn: Tác giá (số liệu không có thật). Chú ý: N = 10.

Trình bày Kết quả Đánh giá

485

Bảng 13.7 Ví dụ về Bảng phân loại Chiến lược giảm nghèo:Nghiên cứu Trường hợp quốc gia Quốc gia

Ngày bắt đầu

Số năm Thực hiện

Hoàn thành

Ê-ti-ô-pi-a

17-9-2002

4,7

Đã hoàn thành

Ghi-nê

25-7-2002

4,9

Đã hoàn thành

Mô-ri-ta-ni

6-2-2001

6,3

Đã hoàn thành

Mô-dăm-bích

25-9-2001

5,7

Đã hoàn thành

Tan-da-ni-a

30-11-2000

6,3

Đã hoàn thành

Nguồn: Áp dụng theo Ngân hàng Thế giới 2004. Ghi chú: Dữ liệu tháng Năm 2007:

đặc điểm thể hiện sự tương đồng hoặc khác biệt giữa các nhóm được phân loại. Bảng phân loại giúp thể hiện những thông tin phức tạp. Ma trận thiết kế chính là một ma trận.

Nâng cao tính Hiệu quả của Thông tin bằng hình ảnh Theo Edward Tufte, một chuyên gia về thông tin bằng hình ảnh cho biết, trình bày đồ họa phải đạt được các mục tiêu sau: • Cung cấp số liệu. • Gợi cho người xem nghĩ về bản chất của hình họa hơn là phương pháp, thiết kế hình họa, kỹ thuật hoặc sản phẩm đồ họa, hoặc bất cứ cái gì khác. • Tránh xuyên tạc nội dung phản ánh của số liệu. • Trình bày nhiều số trong phạm vi nhỏ. • Làm cho các bộ số liệu lớn có ý nghĩa. • Khuyến khích người đọc so sánh các nhóm dữ liệu khác nhau. • Thể hiện số liệu ở nhiều mức độ chi tiết, từ tổng thể đến bộ phận. • Thống nhất với mô tả thống kê và trình bày miệng về bộ số liệu (Tufte 1983). Tufte gọi số lượng nét đậm dùng để thể hiện số liệu là “mực số liệu.” Hầu hết mực được sử dụng để tạo một hình họa là mực dữ liệu; nên dùng càng ít mực số liệu càng tốt đối với các đường lưới, nhãn, hoặc các yếu tố phụ khác (hộp 13.2). Ông coi những trang trí không có ý nghĩa bổ sung thêm thông tin là “rác đồ thị.”

486

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Hộp 13.2 Hướng dẫn Tạo Hình họa Hiệu quả

Các hướng dẫn sau có thể tận dụng tối đa mực dữ liệu và tăng tính hiệu quả của hình minh họa: • • •

• •

• • • •

• • • • •

Trình bày đủ số liệu để truyền tải thông điệp, nhưng hạn chế số lượng các số liệu trong một đồ thị. Đảm bảo đồ thị truyền tải được thông điệp và thông điệp này có nghĩa với người đọc. Sử dụng kiểu chữ (phông chữ) dễ đọc, cỡ chữ không dưới cỡ 10. Tránh dùng quá nhiều cỡ chữ và kiểu chữ. Đồ thị phải dễ nhìn (chữ viết theo chiều ngang nếu được, và tránh chen vào các phần khác của đồ thị). Tập trung vào số liệu chứ không phải khung chứa dữ liệu Tránh càng nhiều càng tốt các đường lưới đậm; đường lưới quá dày đặc; có nhiều điểm đánh dấu hơn mức cần thiết; tránh các số liệu đơn giản, các hộp, đường kẻ, và điểm đánh dấu rườm rà; và hạn chế chú thích. Thay các hộp xung quanh các hình được đánh dấu theo đường lưới x hoặc y. Ẩn các đường lưới trong đồ thị cột đi. Sử dụng điểm (không phải đường kẻ) để đánh dấu tọa độ thực của giá trị x và y. Chỉnh sửa các đồ thị bằng cách thay các cột thành các đường kẻ, xóa những nét không diễn tả số liệu, và bắt đầu trục x và trục y từ các giá trị trong số liệu [sắp xếp theo thứ tự]. Giữ tỷ lệ trung thực, và cụ thể hóa chúng rõ ràng. Đưa ra thông tin về tỷ lệ theo mức độ cần thiết, nhưng hạn chế ở mức ít nhất có thể. Tránh các đường viền dày đặc và không cần thiết. Nên biết rằng các bóng nền có thể không hiện rõ khi in lên. Nên sử dụng nhiều khoảng trắng, để tạo độ thoáng cho hình ảnh. Nêu rõ nguồn thông tin

Nguồn: Tufte 1983.

Hình 13.10 là một ví dụ về một hình có quá nhiều rác đồ thị. Nền và các đường lưới không giúp nhấn mạnh thêm thông điệp của hình. Nhãn số liệu ở trên mỗi cột làm người đọc bị phân tâm. Hình 13.11 cũng là đồ thị đó nhưng không có rác đồ thị. Hầu hết các đường nét trong đồ thị là nét số liệu.

Trình bày Kết quả Đánh giá

487

Hình 13.10 Ví dụ về một Đồ thị Rườm Rà không cần thiết

54 46

50 38

Tần suất

40 27

34 20

1 2 3

10 0

Phía Đông

Phía Tây

Phía Bắc

Phía Nam

Nguồn: Tác giả.

Hình 13.11 Ví dụ về Đồ thị được sắp xếp hợp lý và tối đa hóa Nét dữ liệu

1 2 3

Điểm

40 30 20 10 0

Phía Ðông

Phía Tây

Phía Bắc

Phía Nam

Nguồn: Tác giả.

Thuyết trình Nhiều người sợ phải phát biểu nơi đông người. Nỗi sợ này có thể được giải quyết bằng việc chuẩn bị kỹ và tập trình bày trước.

488

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Khi chuẩn bị bài trình bày, cần trả lời các câu hỏi sau: • Ai là người nghe? Họ kỳ vọng gì? Họ muốn chi tiết đến mức nào? • Vấn đề chính của bài trình bày là gì? Ba thông điệp quan trọng nhất mà Tôi muốn người nghe nhớ là gì? Tôi muốn người nghe làm gì với thông tin tôi trình bày? • Có khó khăn gì về ngôn ngữ hoặc kỹ thuật để truyền đạt thông tin đến người nghe không? • Làm thế nào để có thể biết trước được người nghe đón nhận bài thuyết trình của mình như thế nào? • Thời gian để thuyết trình kéo dài trong bao lâu? • Các thiết bị nghe nhìn nào Tôi có thể sử dụng (slide, máy chiếu)? ” Khi chuẩn bị bài thuyết trình, phải luôn nghĩ đến người nghe, tập trung vào thông điệp chính, và tôn trọng nguyên tắc vàng đã được kiểm chứng qua thời gian “Cho họ biết bạn sẽ nói gì với họ, trình bày, và sau đó nhắc lại cho họ nhớ bạn đã nói gì.” Một trong những cách tốt nhất để nâng cao chất lượng thuyết trình là luyện tập. Tập dượt thuyết trình một mình trước khi tập dượt trước những người khác. Đề nghị mọi người nhận xét sau khi tập dượt, và điều chỉnh bài thuyết trình từ ý kiến đóng góp của mọi người. Đảm bảo bài thuyết trình kéo dài đủ thời gian và không vượt quá thời gian. Khi thuyết trình, hãy nói chuyện với người nghe, chứ không phải với cuốn sổ của mình. Giao tiếp bằng mắt với nhiều người trong phòng. Nếu sử dụng máy chiếu, in phần trình bày của mình và đặt trước mặt để bạn không bao giờ phải đứng quay lưng lại người nghe để nhìn vào màn hình.

Sử dụng các tài liệu đọc Tài liệu đọc có thể hỗ trợ cho bài thuyết trình. Chúng có thể ở được trình bày dưới dạng slide, máy chiếu, bảng, và tài liệu phát tay. (Nếu sử dụng slide hoặc máy chiếu, chắc chắn là bạn có kế hoạch dự phòng nếu bị mất điện hoặc thiết bị trục trặc.) Thông tin bằng văn bản củng cố thêm cho thông tin được truyền đạt trực tiếp. Do đó, nên phát một số tài liệu phát tay khi bắt đầu thuyết trình, đặc biệt khi thuyết trình cho những người không sử dụng cùng ngôn ngữ trình bày (hộp 13.3). Đây cũng là một thuận lợi để mọi người ghi chú vào tài liệu. Nếu không có tài liệu phát tay, thì ít người nào đủ khùng để viết lại bài thuyết trình! Bất lợi của việc phát tài liệu cầm tay trước khi bắt đầu thuyết trình là mọi người có xu hướng nhìn vào tài liệu thay vì tập trung vào những gì người thuyết trình nói. Nếu vì lí do này mà bạn phát tài liệu vào cuối buổi thuyết trình, thì hãy thông báo cho người nghe biết họ sẽ nhận được tài liệu. Nếu bài thuyết trình có nhiều Trình bày Kết quả Đánh giá

489

Hộp 13.3 Hướng dẫn Chuẩn bị Bài thuyết trình trên PowerPoint và Tài liệu phát tay

Tài liệu phát tay có thể được làm nổi bật dựa theo những hướng dẫn sau: • • • •

Hạn chế đến tối đa số lượng từ. Dùng không quá tám dòng văn bản cho một slide . Để nhiều khoảng trống. Trình bày dễ nhìn. Số lượng slide ở mỗi trang chỉ nên tương đương hai slide cho dễ đọc.

dữ liệu hoặc bảng biểu phức tạp, thì cân nhắc phát những bảng này khi trình bày đến nội dung liên quan.

Sử dụng các chương trình dùng cho Thuyết trình Các chương trình Thuyết trình, như PowerPoint, có thể hiển thị nội dung chuyên nghiệp hơn. Tuy nhiên, cần sử dụng hợp lý, nếu không sẽ biến buổi nói chuyện thành một màn trình chiếu đơn tuần. Để tăng phần sinh động cho bài thuyết trình, người diễn thuyết nên hạn chế số lượng slide, chỉ sử dụng chúng để truyền tải những điểm quan trọng nhất (hộp 13.4). Lạm dụng quá mức các slide có thể làm hỏng bài thuyết trình. Nó cũng có nguy cơ “đặt mọi thứ lên giá treo hàng” và “áp đặt ý kiến của người thuyết trình lên người nghe” (Tufte 2003). Như Tufte đã lưu ý: Người nghe phải chịu trận trước sự liên tục tuần tự nhàm chán từ slide này đến slide kia. Khi thông tin được sắp xếp theo thời gian, khó để hiểu được bối cảnh và các đánh giá các mối tương quan. Những lập luận dưới dạng văn bản đọc thường có hiệu quả hơn khi các thông tin liên quan được trình bày kề nhau.

Hộp 13.4 Hướng dẫn sử dụng slide

Các hướng dẫn sau có thể nâng cao tính hiệu quả của slide trong thuyết trình: •

• •

Bắt đầu bằng một slide thu hút được sự chú ý của người nghe. Dành cho người nghe 10 giây để đọc slide; sau đó dành năm phút để giải thích tầm quan trọng của nội dung trong slide. Sử dụng các slide để minh họa các điểm quan trọng, các con số đáng chú ý, các câu quan trọng khó nắm bắt bằng lời, và các kết luận quan trọng. Chiếu slide; sau đó trình bày cho người nghe câu chuyện ẩn đằng sau nó.

Nguồn: Theo Taylor 2007.

490

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thông thường, chi tiết càng được nhấn mạnh thì càng rõ ràng và dễ hiểu. Điều này đặc biệt hiệu quả với dữ liệu thống kê, khi sử dụng phân tích thống kê để so sánh. (Tufte 2003).

Tóm tắt Công bố kết quả đánh giá có vai trò quan trọng đối với bản thân việc tiến hành đánh giá: nếu thông điệp của một đánh giá không được công bố, thì ngay từ đầu, việc tiến hành đánh giá đã không có nhiều ý nghĩa. Đánh giá được trình bày miệng hay bằng văn bản thì cũng phải phù hợp với nhu cầu của người nghe/người đọc. Cả báo cáo miệng và báo cáo viết đều có thể được củng cố bằng việc sử dụng đồ thị. Bằng việc tuân thủ các nguyên tắc được trình bày trong chương này, cán bộ đánh giá có thể nâng cao tầm ảnh hưởng mà đánh giá có thể có.

Thực hành Chương 13 Bài tập ứng dụng 13.1: Hoàn thiện một Báo cáo Đánh giá Lên danh sách các tiêu chí để đánh giá thế nào một báo cáo đánh giá truyền tải tốt phương pháp, phát hiện, kết luận và khuyến nghị đến người nhận báo cáo. Sử dụng các tiêu chí này để đánh giá một báo cáo mới được viết xung quanh bạn. Cho điểm nó dựa trên từng tiêu chí đánh giá của bạn (A là xuất sắc, B là tốt, C là trung bình, và NI cho báo cáo chưa đạt). Xác định các điều chỉnh có thể thực hiện để báo cáo truyền đạt thông điệp hiệu quả.

Bài tập ứng dụng 13.2: Điều chỉnh một Báo cáo phù hợp với một đối tượng Cũng với báo cáo bạn đánh giá trong bài tập trước, xác định những đối tượng có thể quan tâm đến phát hiện hoặc phương pháp đánh giá của nó. Xem xét những khía cạnh đánh giá có thể là mối quan tâm lớn nhất của từng đối tượng nhận báo cáo, mức độ chi tiết mà từng nhóm quan tâm, và cách thức truyền đạt thông điệp chính của báo cáo một cách tốt nhất để đáp ứng nhu cầu và mức độ ưu tiên của từng nhóm. Phân tích và lên danh sách kiểm tra thể hiện từng nhóm đối tượng nên nhận thông tin theo hình thức nào, khi nào, và từ ai.

Trình bày Kết quả Đánh giá

491

Tài liệu tham khảo Busuladzic, Dino, and James Trevelyan. 1999. Demining Research: An Ergonomic Aspect of Humanitarian Demining. University of Western Australia, Perth. http://www.mech.uwa.edu.au/jpt/demining/tech/dino/ergonomics.html. Cummings, Harry. 2003. “Using Graphics in Development Evaluations.” International Program for Development Evaluation Training (IPDET) presentation, Carleton University, Ottawa, June 16–July 11. Druker, Phil 2006. Advanced Technical Writing. University of Idaho, Moscow, Idaho. http://www.class.uidaho.edu/adv_tech_wrt/week14/conclusion_ recommendation_final_report.htm. Ehrenberg, A. S. C. 1977. “Rudiments of Numeracy.” Journal of the Royal Statistical Society 140: 277–97. Independent Evaluation Group of the International Finance Corporation. 2008. Enhancing Monitoring and Evaluation for Better Results: Biennial Report on Operations Evaluation in IFC 2008. Washington D.C.: World Bank. http: www.ifc.org/.../BROE2008_FullReport/$FILE/BROE+for+disclosure-final+V8final.pdf. Kaplan, Craig S. 2003. “Presentation Tips.” Craig Web Experience. http://www.cgl.uwaterloo.ca/~csk/presentations.html. Lawrenz, Frances, Arlen Gullickson, and Stacie Toal. 2007. “Dissemination: Handmaiden to Evaluation Use.” American Journal of Evaluation 28 (3): 275–89. Lentz, Michelle 2007. “Tufte and Visual Presentation.” http://www.writetech.net/2007/02/presentation_st.html. Lester, P. M. 2000. Visual Communication: Images with Messages. 2nd ed. Kentucky: Wadsworth Cengage Learning. Levin, J. R., G. J. Anglin, and R. N. Carney. 1987. “On Empirically Validating Functions of Pictures in Prose.” In the Psychology of Illustration, vol. 1, eds. D. A. Willows and H. A. Houghton, 51–85. London: Springer-Verlag. MIGA. 2007. Annual Report 2007–08. http://www.miga.org/documents/IEG_MIGA_2007_Annual_Report.pdf. Scriven, Michael. 2007. “Key Evaluation Checklist.” http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Taylor, Dave. 2007. “Use PowerPoint to Enhance Your Presentation, Not Cripple It.” http://www.intuitive.com/blog/use_powerpoint_to_enhance_your_ presentation_not_cripple_it.html. Torres, R., H. S. Preskill, and M. E. Piontek. 1997. Evaluation Strategies for Communicating and Reporting. Thousand Oaks, CA: Sage Publications. Tufte, Edward R. 1983. The Visual Display of Quantitative Information. Cheshire, CT: Graphics Press. ———. 1990. Envisioning Information. Cheshire, CT: Graphics Press. ———. 1997. Visual Explanations: Images and Quantities, Evidence and Narrative. Cheshire, CT: Graphics Press.

492

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

———. 2003. “PowerPoint Is Evil: PowerPoint Corrupts. PowerPoint Corrupts Absolutely.” Wired 11.09, September. http://www.wired.com/wired/archive/11.09/ppt2.html. ———. 2006. Beautiful Evidence. Cheshire, CT: Graphics Press. ———. 2008. The Work of Edward Tufte. http://www.edwardtufte.com/tufte/. Wallgren, Anders, Britt Wallgren, Rolf Persson, Ulf Jorner, and Jan-Aage Haaland. 1996. Graphing Statistics and Data. Thousand Oaks, CA: Sage Publications. World Bank Operations Evaluation Department. 2004. “The Poverty Reduction Strategy Initiative: An Independent Evaluation of the World Bank’s Support through 2003.” World Bank, Washington, DC.

Trang Web Statistics Canada. Using Graphs. http://www.statcan.ca/english/edu/power/ch9/using/ using.htm. Torok, George. Presentation Skills Success. http://www.presentationskills.ca/.

Trình bày Kết quả Đánh giá

493

CHƯƠNG 14

Cẩm nang dành cho cán bộ đánh giá: đạo đức đánh giá, tính chính trị, tiêu chuẩn, và nguyên tắc đánh giá Cán bộ đánh giá có nhiều nhiệm vụ, lập kế hoạch, tổ chức và thiết kế đánh giá, thu thập, phân tích và trình bày dữ liệu. Họ cũng phải chịu những áp lực nội bộ và sức ép từ bên ngoài. Họ có thể bị yêu cầu thay đổi kế hoạch, tổ chức hoặc báo cáo đánh giá để đáp ứng yêu cầu của người khác. Đôi khi sự điều chỉnh được chấp thuận; nhưng có lúc, họ cần phải cân nhắc đến đạo đức và tính chính trị. Đạo đức và tính chính trị trong đánh giá là vấn đề của tất cả cán bộ đánh giá, đặc biệt là những người hoạt động ở những quốc gia có bộ máy quản lý yếu kém và có lịch sử tham nhũng. Các sức ép từ bên trong một tổ chức phát triển cũng có thể là áp lực đối với vấn đề đạo đức. Chương này bàn về những cân nhắc về đạo đức và chính trị trong hoạt động đánh giá. Chương này có ba phần chính

• Hành vi đạo đức • Chính trị và Đánh giá • Bộ Tiêu chuẩn và Nguyên tắc Đánh giá 495

Hành vi Đạo đức Đạo đức là tập hợp các giá trị và niềm tin để định hướng lựa chọn. Đạo đức cân nhắc những câu hỏi lớn, như “Chúng ta nên sống như thế nào?” Hãy nghĩ về câu hỏi này. Ai xác định “như thế nào” (cách thức), “nên” (hoài bão), “chúng ta” (một nhóm đồng ý kiến), và “sống” (cùng với người khác) (World IQ 2008)? Đạo đức phụ thuộc vào người đưa ra quyết định. Nó dựa trên quan điểm của họ vào cái đúng, cái sai, điều hay, điều dở. Luật được soạn ra nhằm xác định và kiểm soát hành vi đạo đức, nhưng luật không thể bao quát hết tất cả các tình huống có thể xảy ra. Hơn nữa, hành vi có thể hợp pháp nhưng vẫn phi đạo đức (ví dụ, nhận một món quà nhỏ của một người sẽ được đánh giá hoặc để thay đổi phong thái báo cáo theo hướng tích cực hoặc tiêu cực hơn, bất chấp các bằng chứng có được). Các cán bộ đánh giá thường phải gặp những tình huống không phân định đúng sai rõ ràng; có quá nhiều vùng mờ. Nhưng họ vẫn hy vọng thực hiện đánh giá đúng đạo đức. Do cơ sở để quyết định điều gì hợp đạo đức là các giá trị và niềm tin, nên các nền văn hóa khác nhau sẽ có quy định khác nhau. Do đó, điều quan trọng là cần phải ý thức được cái gì là hợp pháp và hợp đạo đức ở quốc gia mà hoạt động đánh giá được tiến hành. Cán bộ đánh giá cũng nên biết về bất kỳ luật nào yêu cầu phải báo cáo hành vi phạm tội hoặc một hành vi nghi ngờ phạm pháp. Ví dụ, tại Hoa Kỳ, quấy rối tình dục là một tội. Nó được xác định là những hành vi theo đuổi tình dục gây khó chịu cho người khác, các đòi hỏi tình dục, và các lời nói hoặc cử chỉ ám chỉ bản chất tình dục khi việc báo cáo hoặc từ chối hoàn toàn, dứt khoát các đòi hỏi trên ảnh hưởng đến tình trạng việc làm hoặc công việc của một người, gây ra hành vi thù địch, chống đối, hoặc tạo môi trường làm việc không thân thiện (Luật Cơ hội Tuyển dụng Công bằng, Hoa Kỳ 2002). Không thể báo cáo về hành vi quấy rối tình dục cũng có thể mang lại rắc rối về pháp lý. Cán bộ đánh giá nên có ý thức tìm hiểu về luật ở nước mà họ làm việc cũng như các hướng dẫn và nguyên tắc của cơ quan mình. Nhiều tổ chức phát triển đã phát triển và thông qua bộ tiêu chuẩn về đạo đức hoặc cẩm nang hướng dẫn.

Hối lộ và Ngộ nhận trong Đánh giá Cán bộ đánh giá phải có khả năng “nói lên quyền lực của sự thật.” Cần phải có ý chí độc lập, luôn đặt câu hỏi và óc phân tích. Fitzpatrick, Sanders, và Worthen (2004) đưa ra năm hình thức “hối lộ đánh giá”: • sẵn sàng bóp méo sự thật và đưa ra các phát hiện tích cực, do cạnh tranh về lợi ích hoặc do biết trước về mức tiền thưởng hoặc tiền phạt (sự tự nguyện này có thể có chủ định hoặc vô thức) • bị ảnh hưởng từ những ý kiến không có căn cứ do thực hiện hoạt động đánh giá tùy tiện, thất thường và thiếu chuyên nghiệp 496

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• ”các phát hiện” đánh giá “được đánh bóng” do người đánh giá bị ảnh hưởng bởi thành kiến và định kiến • kêu gọi sự hợp tác từ khách hàng hoặc những người tham gia bằng những lời hứa không thể thực hiện được • thất bại trong việc đưa ra những cam kết không thể thực hiện được. House (1995) nhìn nhận hối lộ từ một cách nhìn khác. Ông chỉ ra rằng cán bộ đánh giá chỉ đơn thuần hiểu lầm trách nhiệm của mình. Ông xác định “năm ngộ nhận”: • Chủ nghĩa vị khách hàng: ngộ nhận rằng làm bất cứ điều gì khách hàng yêu cầu hoặc bất cứ điều gì mang lại lợi ích cho khách hàng là hợp đạo đức • Chủ nghĩa vị hợp đồng: ngộ nhận rằng cán bộ đánh giá phải tuân thủ các điều khoản trong hợp đồng một cách vô điều kiện, kể cả nếu điều đó xâm phạm lợi ích của cộng đồng • Chủ nghĩa vị phương pháp: niềm tin rằng tuân thủ các phương pháp điều tra đã được thừa nhận có thể bảo đảm cho tính đạo đức của hành vi do cán bộ đánh giá thực hiện, ngay cả khi một số phương pháp thực tế có thể đẩy cán bộ đánh giá vào tình thế tiến thoái lưỡng nan • Chủ nghĩa tương đối: ngộ nhận rằng mọi thông tin về ý kiến của nhiều người trả lời mà cán bộ đánh giá thu thập được là có trọng lượng như nhau, như là không có cơ sở để cho rằng ý kiến của những nhóm ngoại biên thì ít được ưu tiên hơn ý kiến của những nhóm trung tâm • Thuyết ưu tú: ngộ nhận về việc coi trọng những tiếng nói của những người có quyền lực trong xã hội vì cán bộ đánh giá tin rằng những người có tiếng nói thì có uy tín và quyền thế hơn những người không có quyền lực hoặc không có tiếng nói.

Nhận diện Những trở ngại về Đạo đức Morris và Cohn (1993) đã khảo sát các thành viên trong Hiệp Hội Đánh giá Mỹ về quan điểm của họ về các vấn đề rắc rối xét về đạo đức. Danh sách các rắc rối về đạo đức dưới đây được điều chỉnh từ khảo sát này: • Khách hàng ấn định nội dung các phát hiện đánh giá trước khi thực hiện đánh giá hoặc lên kế hoạch sử dụng các đánh giá mà bỏ qua những nghi vấn về đạo đức. • Khách hàng đưa ra các câu hỏi nghiên cứu vượt quá giới hạn đánh giá, mặc dù chúng không phù hợp. • Khách hàng cố tình điều chỉnh các phát hiện trước khi công bố chúng. • Khách hàng gâp sức ép đối với cán bộ đánh giá, buộc họ phải sửa bài trình bày về các phát hiện đánh giá.. • Khách hàng phong bế hoặc phớt lờ các phát hiện. • Khách hàng gây sức ép đối với cán bộ đánh giá về vấn đề vi phạm nguyên tắc bảo mật. Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

497

• • • •

Khách hàng lạm dụng phát hiện đánh giá. Các bên tham gia hợp pháp bị gạt ra khỏi quá trình lập kế hoạch. Cán bộ đánh giá phát hiện ra hành vi bất hợp pháp, phi đạo đức, hoặc nguy hiểm. Cán bộ đánh giá do dự trong việc trình bày toàn bộ phát hiện, mà không có lý do cụ thể. • Cán bộ đánh giá không tự tin vào tính khách quan của mình khi trình bày phát hiện đánh giá. • Mặc dù không phải chịu sức ép từ khách hàng hoặc các bên tham gia về tính bảo mật, cán bộ đánh giá vẫn lo ngại một số phát hiện có thể vi phạm nguyên tắc này • Các phát hiện được sử dụng như bằng chứng chống lại người khác. Bên cạnh những vấn đề rắc rối về đạo đức này là những vấn đề đạo đức gắn với thiết kế của một hoạt động đánh giá. Các vấn đề đạo đức có thể phát sinh trong các quyết định ngẫu nhiên về việc ai sẽ nhận hoạt động can thiệp và ai sẽ được đưa vào nhóm kiểm soát. Nếu, trong giai đoạn dự án, một hoạt động can thiệp chứng minh được triển vọng của nó, những người không được nhận can thiệp có thể đòi quyền tiếp cận nó. Khả năng tiếp cận này làm thay đổi thiết kế đánh giá và hoạt động đánh giá. Để hoạt động đánh giá trở nên có ích đối với các nhà quản lý, các tổ chức phát triển, những người tham gia, công chúng, thì chúng phải trung thực, khách quan, và công bằng. Công việc của cán bộ đánh giá là bảo đảm dữ liệu được thu thập, phân tích, và báo cáo trung thực và công bằng. Sự ảnh hưởng vào thời điểm bắt đầu một hoạt động đánh giá có thể khó nhận biết. Đôi khi có sức ép đối với việc lảng tránh hỏi một số loại câu hỏi đánh giá nhất định hoặc buộc chuyển hướng đánh giá theo hướng ít nhạy cảm hơn. Một số vấn đề nhất định có thể không được đẩy đến mức phản ánh tiêu cực về một tổ chức hoặc một chương trình. Khách hàng có thể nói, “Chúng tôi biết, và anh biết chúng tôi có một vấn đề phải giải quyết, và chúng tôi đã bắt đầu hoạt động điều chỉnh, nhưng chúng tôi không cần công khai vấn đề này và để nó ảnh hưởng đến sự hỗ trợ dành cho chương trình.” Có thể có sự kháng cự trong việc điều tra nhân viên, các thành viên tham gia chương trình, hoặc công chúng do các vấn đề nhạy cảm (theo hướng tiêu cực) có thể bị phơi bày. Trong những trường hợp khác, một số người có thể bị gạt ra khỏi cuộc họp hoặc phỏng vấn, hoặc các chuyến thực địa có thể bị hạn chế do “thiếu thời gian.” Cán bộ đánh giá nên đấu tranh đưa ra những vấn đề cần phải tránh, tránh bị lôi kéo, và bảo đảm mọi quan điểm đều được lắng nghe và xem xét. Các nỗ lực gây ảnh hưởng đến đánh giá thường diễn ra trong giai đoạn thực hiện đánh giá. Khi hầu hết các cán bộ đánh giá có thể nhanh chóng nhận biết hành vi đút lót, nhưng không phải lúc nào cũng có thể nhận ra những hình thức tinh vi nhằm gây ảnh hưởng. Đề nghị kết giao, mời ăn tối, hoặc các hoạt động giải trí có thể là một thiện ý hiếu khách với người đang xa nhà. Chúng cũng có 498

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

thể là nỗ lực gây ảnh hưởng đến quan điểm của cán bộ đánh giá và cuối cùng là ảnh hưởng đến báo cáo. Đôi khi có người chỉ cho cán bộ đánh giá những dấu hiệu tham nhũng hoặc gian lận. Cán bộ đánh giá không nên cố phân loại xem thông tin này là nỗ lực đánh lạc hướng trọng tâm từ vấn đề này sang vấn đề khác, hay nỗ lực ganh đua với người khác của người cung cấp thông tin, hay thực sự có hiện tượng tham nhũng và gian lận hay không. Cán bộ đánh giá không được đào tạo như những thanh tra viên chuyên nghiệp. Do đó, họ không nên điều tra để xác minh xem manh mối kia có thực hay không. Thay vào đó, họ nên thông báo thông tin đó đến cấp quản lý thích hợp để điều tra. Ở những tổ chức phát triển nhất, có những cơ chế để báo cáo những hành vi bị nghi ngờ là vi phạm đạo đức hoặc gian lận. Ví dụ, ở Ngân hàng Thế giới, Cơ quan Điều tra Liêm chính điều tra các manh mối về hạnh kiểm xấu của nhân viên cũng như các manh mối về gian lận và tham nhũng trong các hoạt động của Ngân hàng Thế giới. Những cơ quan này thường có “đường dây nóng” để báo cáo các hành vi vi phạm, gian lận, hoặc lạm dụng. Thành viên trong nhóm đánh giá phải quen với chính sách và các tiêu chuẩn của tổ chức mình để giải quyết những thông tin nhận được về gian lận, lạm dụng, và hành vi vi phạm. Những cơ chế này có thể là một phần trong sổ tay nhân viên, sách phát tay, hoặc ghi trong hợp đồng lao động. Cán bộ đánh giá cần phải lưu ý rằng họ bị ràng buộc bởi chính sách và tiêu chuẩn của tổ chức. Phương châm “không gây hại” chắc chắc cần áp dụng cho hoạt động đánh giá. Trừ phi hành vi gian lận hoặc lạm dụng bị nghi ngờ hoặc báo cáo để điều tra, các hoạt động đánh giá không được làm tổn hại đến người tham gia. Có nghĩa là người tham gia không bao giờ bị xác minh hoặc bị đưa vào những tình huống bị đe dọa. Nếu tính bảo mật của người tham gia được đảm bảo và tên họ lại được tiết lộ sau đó, thì có nghĩa là bạn đã gây tổn hại cho họ. Cần thiết phải đảm bảo tính bảo mật, nhưng có những trường hợp không dễ để thực hiện được điều đó. Ví dụ, cán bộ đánh giá của một chương trình giáo dục bị một số người trả lời phỏng vấn tố cáo dùng tiền của chương trình để trục lợi cá nhân. Cán bộ đánh giá nên làm gì? Công bố những phát hiện này có nghĩa là mang lại nguy cơ làm lộ danh tính những người đã bí mật cung cấp thông tin. Nhưng không tiết lộ để có điều tra đặc biệt thì lại dẫn đến hành vi đồng lõa. Tình huống này minh chứng cho lợi ích của những đường dây nóng khuyết danh. Nó có thể giúp người có thông tin nói với chuyện với người giám sát hoặc người quản lý (không liên quan đến hành vi vi phạm) về tình huống và các khả năng xảy ra. Cán bộ đánh giá nên đặc biệt thận trọng khi được yêu cầu trả lời những câu “không trích dẫn” với phóng viên, quản lý chương trình, hoặc thành viên trong ban lãnh đạo. Ít nhất, cán bộ đánh giá phải xác định rõ “trả lời những câu không lưu trong văn bản báo cáo” có ý nghĩa gì với người yêu cầu họ trả lời.

Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

499

Chính trị và Đánh giá Đánh giá luôn luôn được thực hiện trong một bối cảnh chính trị; thực tế đơn giản là một đánh giá được thực hiện có thể được sử dụng để thúc đẩy nghị trình của một cá nhân hoặc tổ chức. Người ta thường nói tri thức là sức mạnh; hoạt động đánh giá cung cấp tri thức có thể được dùng như một công cụ kiểm soát hành vi. Hoạt động này thường tạo ra kẻ thắng người thua. Quyền lực có thể làm hao mòn tính liêm chính của một đánh giá. Nó có thể quyết định đến cách thức và mức độ sử dụng một đánh giá. Các đánh giá tích cực giúp đảm bảo nguồn tài trợ, mở rộng các dự án thử nghiệm thành các chương trình hoàn chỉnh, củng cố uy tín và tầm ảnh hưởng, và xây dựng sự nghiệp cho những người tham gia hoạt động can thiệp. Cán bộ đánh giá nhận định ra những vấn đề nghiêm trọng để nâng cao can thiệp và nâng cao các kết quả trong tương lai, nhưng chúng cũng có thể giảm ngân sách dự án hoặc dẫn đến quyết định ngừng dự án và làm mất uy tín, mất quyền lực, và giảm ảnh hưởng của những người tham gia can thiệp.

Nguyên nhân của Tính Chính trị trong Đánh giá Đánh giá là một dạng tri thức tổ chức. Do đó, quyền lực chống lại sự phơi bày sự thật luôn gắn liền với quá trình đánh giá. Murray (2002) chỉ ra nguyên nhân làm cho quyền lực không thể tránh khỏi trong đánh giá là do có quá nhiều yếu tố chủ quan. Các yếu tố chủ quan dẫn đến sự khác biệt trong những người tham gia đánh giá. Cán bộ đánh giá thu thập thông tin về quan điểm thực tế từ những bên tham gia và những người được đánh giá. Các quan điểm này có thể khác nhau, thường gây ra bất đồng ở các giai đoạn khác nhau trong quá trình đánh giá và tăng hành vi chính trị. Murray (2002 tr.2) gán cơ sở của các bất đồng là “những vấn đề gắn với các yếu tố kỹ thuật trong phương pháp đánh giá và các thuộc tính bản chất của con người.” Ông cũng cho biết sự yếu kém trong kỹ thuật và sự yếu đuối của con người trong các hoạt động đánh giá có thể gây ra các ảnh hưởng chính trị. Từng dạng được trình bày dưới đây. Yếu kém về kỹ thuật Hầu hết các đánh giá hoạt động hiệu quả nhất trong hoạt động đánh giá các mục đích đã đặt ra, đánh giá các mục tiêu, và bộ nguyên tắc. Nhưng cán bộ đánh giá, khách hàng, và các bên tham giá khác có thể gặp khó khăn trong việc thống nhất cái gì sẽ được đo lường. Thêm vào đó, việc xác định trọng tâm đánh giá cũng có thể khó khăn. Một đánh giá tốt xác định lý thuyết thay đổi và các giả thiết cơ bản của chương trình. Nếu thuyết thay đổi cũng do các bên tham gia chương trình xây dựng, thì nó có thể bảo đảm sự thống nhất chung về mục đích và mục tiêu, hoạt động của chương trình, và các kết quả 500

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

mà chương trình có trách nhiệm phải đạt được. Do đó lý thuyết thay đổi có thể giúp tránh những xung đột tiềm ẩn trong việc hiểu biết về chương trình trước khi chúng trở thành những vấn đề chính trị. Murray (2002) chỉ ra một vấn đề kỹ thuật phổ biến thứ hai dẫn đến các rắc rối về quyền lực: đánh giá một cấp trong tổ chức và công bố phát hiện cho một cấp khác. Điều này gây ra rắc rối khi liên kết thực hiện giữa các cá nhân, chương trình, hoặc phòng ban và sự phối hợp trong tổ chức nói chung không được thiết lập rõ ràng. Một lần nữa, lý thuyết thay đổi là một cách giúp xác định các giả thiết cơ bản. Bản chất yếu đuối của con người Con người thường làm những gì mang lại lợi ích cho bản thân mình. Họ có thể có những thiên vị không chủ định có ảnh hưởng đến cách thực hiện đánh giá hoặc phân tích kết quả. Cutt và Murray (2000) xác định ba yếu tố con người có thể ảnh hưởng đến hoạt động đánh giá: • tư duy “lẩn tránh trách nhiệm” (LGAB) • hội chứng “lý giải thực tế một cách chủ quan” (SIR) • các nhân tố về lòng tin. Tư duy LGAB là đặc tính chung của con người: con người muốn thành công và tránh bị gắn với thất bại. Hầu hết các đánh giá đều có mục đích phản ánh cả thành công và thất bại. Tuy nhiên, cán bộ đánh giá có thể không báo cáo được toàn bộ mức độ thất bại do e ngại họ sẽ bị gắn cùng với thất bại. Trong trường hợp LGAB, người ta sẽ nỗ lực giải thích các kết quả tiêu cực là ngoài tầm kiểm soát. Đổi lại, họ có thể không thừa nhận phạm vi và phương pháp tiếp cận đánh giá (một lý do cho thấy sự đồng thuận ngay từ đầu về thiết kế đánh giá là rất quan trọng). Hội chứng SIR xuất hiện khi giải thích dữ liệu đánh giá. Hai người cùng chứng kiến một sự kiện có thể mô tả nó khác nhau, “một giáo viên không kiểm soát được lớp học” hoặc “một giáo viên tâm huyết với lớp.” Cán bộ đánh giá có sẵn niềm tin và quan điểm từ trước đối với công việc diễn ra. Kết quả đánh giá có thể được giải thích một cách chủ quan dựa trên những niềm tin và quan điểm đó. Ví dụ, cán bộ đánh giá tin rằng, một giáo viên tốt là có học sinh ngồi trên ghế, phát biểu khi được gọi, thì có thể có xu hướng nhìn ra những sự kiện lộn xộn hoặc mất kiểm soát. Cán bộ đánh giá có con học trong “một lớp mở” thì có xu hướng nhìn nhận những sự cố đó là biểu hiện hòa đồng với học sinh của một giáo viên. Hội chứng SIR là một trong những lý do mà phần này chỉ ra rằng cán bộ đánh giá cần tiến hành tổng quan tài liệu để biết về vấn đề gì đang diễn ra và những vấn đề gì đã được các hoạt động đánh giá giải quyết trong những chương trình tương tự nhau. Một cách khác để giảm các định kiến chủ quan là sử dụng nhiều phương pháp thu thập dữ liệu, ví dụ như bảng hỏi, phỏng vấn, quan sát có cấu trúc, với nhiều nguồn khác như một chiến lược đạc tam giác. Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

501

Một nhân tố khác được Cutt và Murray chỉ ra là yếu tố về niềm tin. Nó có thể gây ra (hoặc là nguyên nhân) của LGAB và SIR. Niềm tin là sự tin tưởng vào sự chính trực hoặc khả năng của một người. Nếu một người cảm thấy người khác không trung thực hoặc không có năng lực, thì sẽ không tin tưởng người đó. Họ có thể e ngại về nguy cơ bị làm hại. Niềm tin được đo ở nhiều cấp độ, từ tin tưởng một phần (chỉ trong những bối cảnh hoặc vấn đề nhất định) đến tin tưởng hoàn toàn (trong mọi hoàn cảnh). Khi có nghi ngờ, thì có khả năng các hội chứng LGAB và SIR sẽ đẩy tính chính trị vào các mối quan hệ. Những chương trước đã đưa ra nhiều cách để xây dựng lòng tin, từ việc lôi kéo các bên tham gia vào việc thiết kế đánh giá cho đến những cách thức xây dựng lòng tin cụ thể.

Nhận diện các Tiểu xảo Chính trị Không thể giữ cho hoạt động đánh giá tách bạch hoàn toàn với quyền lực. Thách thức ở đây là kiểm soát các tình huống chính trị mà cán bộ đánh giá có thể tự nhận biết. Để giúp cán bộ đánh giá làm được điều này, Murray (2002) đã chia các tiểu xảo quyền lực theo vai trò của những người có liên quan. Hiểu những tiểu xảo này có thể giúp cán bộ đánh giá kiểm soát tình huống. Các tiểu xảo quyền lực của người bị đánh giá Người bị đánh giá thường muốn tránh sự xem xét chính thức ngoài ý muốn đối với các hoạt động của họ. Họ có thể phản ứng bằng cách • từ chối nhu cầu đánh giá • cho rằng hoạt động đánh giá có thể mất nhiều thời gian vào những công việc không trọng tâm hoặc hoạt động đánh giá đã quá tải, và đề nghị hủy đánh giá • cho rằng đánh giá là tốt nhưng dùng nhiều mẹo để trì hoãn • tìm cách thiết lập quan hệ cá nhân gần gũi với cán bộ đánh giá để thuyết phục họ tin mình. Khi hoạt động đánh giá đã bắt đầu và dữ liệu đã được thu thập, thì cũng bắt đầu có những tiểu xảo quyền lực. Người cung cấp thông tin có thể • bỏ sót hoặc bóp méo các thông tin cán bộ đánh giá yêu cầu họ cung cấp, để thông tin có vẻ không đến nỗi tệ • cung cấp cho cán bộ đánh giá lượng thông tin khổng lồ, gây khó khăn cho cán bộ đánh giá trong việc phân loại thông tin nào là thích hợp và thông tin nào không • bịa ra dữ liệu mới vào cuối giai đoạn đánh giá. Khi dữ liệu đã được thu thập và cán bộ đánh giá đã sẵn sàng để phân tích dữ liệu, người bị đánh giá có thể phản ứng bằng cách • phủ nhận sự tồn tại của vấn đề 502

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• hạ thấp tầm quan trọng của vấn đề, tuyên bố rằng họ đã biết về vấn đề đó và đang thực hiện điều chỉnh, hoặc đổ trách nhiệm cho những người hoặc những nguyên nhân khác ngoài tầm kiểm soát của họ • cho rằng thông tin không phù hợp vì mọi việc đã thay đổi. Các tiểu xảo quyền lực của các cơ quan tham gia khác Các cơ quan tham gia khác cũng có thể ảnh hưởng đến tính chính trị của một đánh giá. Những cơ quan tham gia khác nhau thì có chương trình nghị sự và mối quan tâm khác nhau. Nếu các cơ quan tham gia không được tham gia phát triển các câu hỏi chính của đánh giá, thì họ có thể đi đến quyết định là đánh giá nghiên cứu sai vấn đề. Thêm vào đó, họ có thể nhờ đến cả những đơn vị khác, như phương tiện truyền thông, để chỉ trích tổ chức và phản ảnh cách thức đánh giá được thực hiện. Các tiểu xảo quyền lực của cán bộ đánh giá Cán bộ đánh giá cũng có thể sử dụng tiểu xảo đánh giá. Trong quá trình thu thập dữ liệu, một số cán bộ đánh giá có thể phá vỡ tiến trình bằng cách tự thu thập những thông tin “nằm ngoài biên bản.” Những thông tin không chính thức này sau đó có thể được đưa vào giai đoạn phân tích và trình bày đánh giá. Hầu hết các tiểu xảo được cán bộ đánh giá sử dụng trong giai đoạn trình bày đánh giá. Những tiểu xảo này bao gồm • lẩn tránh hoặc không xác định các chuẩn mực đánh giá • áp dụng các tiêu chí không xác định trong việc đưa ra quyết định • áp dụng các giá trị không xác định và áp dụng tư tưởng cá nhân khi phân tích dữ liệu, ví dụ như quyết định một nguồn dữ liệu nào đó là không đáng tin • phớt lờ những dữ liệu không thích hợp với kết luận của cán bộ đánh giá.

Kiểm soát tính Chính trị trong Đánh giá Do tính chính trị trong đánh giá là không thể tránh khỏi, nên việc học cách kiểm soát nó là điều quan trọng. Trong suốt quá trình đánh giá, cán bộ đánh giá nên xây dựng niềm tin. Lý tưởng là, trong mỗi giai đoạn đánh giá, cần tổ chức các thảo luận mở để tạo cơ hội cho tất cả các bên tham gia cùng bàn bạc về những quan tâm hay ít nhất là đưa ra ý kiến đồng ý hay không đồng ý. Murray (2002) bàn về tầm quan trọng về việc bảo đảm rằng mọi bên tham gia vào hoạt động đánh giá phải hiểu trọn vẹn logic cơ bản. Ông đề xuất rằng lý thuyết thay đổi (hay mô hình logic) là một cách để kết nối logic nhằm hạn chế cơ hội nảy sinh hiểu nhầm. Còn cách nào khác để xây dựng lòng tin? Xây dựng lòng tin thường mất thời gian và có nhiều trở ngại. Murray gợi ý lôi kéo tất cả các bên tham gia vào quá trình đánh giá, đặc biệt là những người được đánh giá. Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

503

Thương thuyết để Cân bằng Các bên tham gia Một trong những thách thức lớn nhất đối với cán bộ đánh giá là giải quyết vấn đề với nhiều bên tham gia. Cán bộ đánh giá cần có kỹ năng hòa giải tốt để kiểm soát các lợi ích và sự cạnh tranh của các cơ quan tham gia. Markiewicz (2005) đưa ra bốn nguyên tắc và thực hành để hòa giải một hoạt động đánh giá. Các nguyên tắc hòa giải trong đánh giá Các nguyên tắc sau đây được điều chỉnh từ Markiewicz (2005) từ bộ nguyên tắc trong hòa giải đánh giá: • • • • • •

Nhận ra bản chất chính trị vốn có của hoạt động đánh giá. Đánh giá đóng góp của các bên tham gia. Đánh giá vị trí của các bên tham gia và lập kế hoạch đánh giá. Bảo đảm cán bộ đánh giá là người chủ động trong các bên tham gia. Phát triển kỹ năng hòa giải trong các tình huống xung đột. Phát triển kỹ năng kiểm soát xung đột với các cơ quan tham gia.

Một chiến thuật mấu chốt là tổ chức các cơ quan tham gia vào các nhóm tham khảo, các hội đồng chỉ đạo, hoặc hội đồng tư vấn để giám sát quá trình đánh giá. Phương pháp này phù hợp với mẫu “cán bộ đánh giá là người điều hành” (không thường áp dụng cho các đánh giá độc lập có mục đích chính là đánh giá trách nhiệm giải trình). Điều quan trọng là những nhóm này có vai trò và chức năng xác định rõ ràng. Các nhóm hoặc hội đồng cần có nguyên tắc căn bản xác định mức độ chủ động của thành viên trong nhóm đối với quá trình đánh giá. Theo Markiewicz (2005), khi cán bộ đánh giá đã có được độ tin tưởng và được các bên tham gia chấp thuận ở mức độ nào đó, thì anh ta có thể cần phải hòa giải những vấn đề xung đột hoặc cạnh tranh giữa các bên. Cán bộ đánh giá cần đảm nhiệm vai trò như chất xúc tác để giúp các bên tham gia tìm ra được giải pháp cho vấn đề của mình. Để làm được điều này, cán bộ đánh giá cần có kỹ năng giao tiếp tốt, trong đó có khả năng lắng nghe chủ động, hỏi câu hỏi thích hợp, và kiểm tra lại để tránh hiểu nhầm. Cán bộ đánh giá cũng cần phải giữ cho quá trình hòa giải tập trung và điều hành, khuyến khích trao đổi thông tin giữa các bên tham gia. Cán bộ đánh giá cần phải phát triển kỹ năng hòa giải. Trong một vài trường hợp cán bộ đánh giá có thể cần phải tự sắp xếp để tham gia các khóa đào tạo và thực hành bổ túc kỹ năng hòa giải (cán bộ đánh giá với vai trò là người điều hành). Một cách khác để cán bộ đánh giá phát triển kỹ năng hòa giải là chia sẻ kinh nghiệm về giải quyết xung đột với đồng nghiệp trong quá trình làm việc (cả kinh nghiệm thành công và không thành công). Patton (1997) gợi ý tổ chức ít nhất bốn cuộc họp (có thể nhiều hơn đối với các dự án dài hạn): • Cuộc họp đầu tiên: trọng tâm của đánh giá 504

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Cuộc họp thứ hai: phương pháp và các bộ công cụ đánh giá • Cuộc họp thứ ba: các bộ công cụ cần phát triển trước giai đoạn thu thập dữ liệu • Cuộc họp thứ tư: rà soát lại dữ liệu để thống nhất về cách phân tích để đưa ra được các phát hiện. Điều này tương tự với những bước được đề xuất trong ấn bản này. Markiewicz bàn về vai trò tích cực của cán bộ đánh giá đối với các bên tham gia. Hai đặc điểm bà xem là có giá trị là phản ứng tốt và linh hoạt, để các bên liên quan tham gia vào hoạt động. Bà cũng bàn về các khó khăn có thể có khi cán bộ đánh giá quá gần gũi hoặc thường xuyên quan hệ cá nhân với các bên tham gia. Patton đề nghị giữ trọng tâm trong hoạt động quan sát và hỗ trợ các bên tham gia cùng thực hiện. Làm như vậy có thể giúp giữ cho mọi mối quan hệ khách quan và tránh ảnh hưởng bởi định kiến và sai lầm khi đưa ra phát hiện. Thực hành kỹ năng hòa giải trong đánh giá Markiewicz (2005) xác định bước hòa giải đánh giá: • Bước đầu tiên: Mọi người cùng ngồi vào bàn hòa giải • Bước trung gian: Tổ chức các hoạt động hòa giải • Bước cuối cùng: Thực hiện các bước tiến tới sự đồng thuận Để sử dụng mô hình này, người hòa giải đánh giá cần phải có nhiều kỹ năng vừa mang tính thông hiểu vừa kiên quyết. Người hòa giải cần các kỹ năng thấu hiểu để tạo ra bầu không khí có ích cho hoạt động hòa giải, cần các kỹ năng quyết đoán để kiểm soát tình hình. Sự thông hiểu có thể được định nghĩa là “quá trình chứng minh sự hiểu chính xác, không quy kết về nhu cầu, lợi ích và vị trí của phía bên kia” (Mnoonkin, Peppet, và Tulumello 2000, tr.46). Nó gồm có hai nội dung: khả năng nhìn nhận bằng con mắt của người khác và khả năng truyền đạt quan điểm của mình. Sự thông hiểu là hiểu về kinh nghiệm của người khác trên tinh thần chia sẻ. Markiewicz (2005) tin rằng sự thông hiểu là một đặc điểm quan trọng để thu được thông tin về các mục tiêu, giá trị và ưu tiên khác. Nó trở thành chất xúc tác để khơi gợi sự cởi mở ở những người khác và là một công cụ đắc lực trong hòa giải. Khi cán bộ đánh giá hiểu rõ về quan điểm của mỗi bên tham gia, anh ta có thể diễn đạt lại cho các bên tham gia cùng có mặt (Hale 1998). Cán bộ đánh giá sau đó nên hỏi lại các bên xem cách hiểu đó có đúng không và đề nghị họ làm rõ nếu có sự khác biệt. Lắng nghe tích cực và chủ động giúp cán bộ đánh giá hiểu những gì được nói, đặt những câu hỏi thích hợp, và kiểm tra cách hiểu về những gì các bên tham gia trình bày. Tính kiên quyết là khả năng thể hiện và bảo vệ cho nhu cầu, lợi ích, và vị trí của một người (Mnookin, Peppet, và Tulumello 1996). Khi hòa giải đánh giá, tính quyết đoán được mô tả là quyền điều hành. Cân bằng giữa sự thấu hiểu và quyết đoán có thể không dễ dàng. Mnookin, Peppet, và Tulumello (1996) xem sự Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

505

thông hiểu và tính quyết đoán là hai bộ phận độc lập trong ứng xử hòa giải. Khi kết hợp với nhau, chúng có thể góp phần quan trọng cho hòa giải và hiểu nhu cầu của các bên tham gia tốt hơn.

Chuẩn mực và Nguyên tắc Đánh giá Các tổ chức nghề nghiệp đã tạo ra bộ chuẩn mực và nguyên tắc để giúp hội viên đưa ra những quyết định phù hợp đạo đức nghề nghiệp. Các hội nghề nghiệp ở Bắc Mỹ, Châu Âu, và châu Úc đã phát triển các chuẩn mực đạo đức dành cho cán bộ đánh giá. Hiệp Hội Đánh giá Hoa Kỳ (AEA) đã cho ra đời một bộ chuẩn mực và nguyên tắc, gồm hai cuốn, Bộ Chuẩn mực Đánh giá và Nguyên tắc dành cho Cán bộ đánh giá. Những nguyên tắc và chuẩn mực này được điều chỉnh cho phù hợp với đặc điểm và bối cảnh địa phương và có vai trò nền tảng cho những nhóm khác. AEA phát triển Bộ nguyên tắc dành cho Cán bộ đánh giá để hướng dẫn cán bộ đánh giá về các ứng xử hàng ngày. Sự khác biệt lớn nhất giữa các chuẩn mực và bộ nguyên tắc của AEA chính là mục đích. Các chuẩn mực bàn đến thực hành nghề nghiệp, trong khi bộ nguyên tắc quan tâm đến giá trị nghề nghiệp. Các chuẩn mực tập trung vào sản phẩm của hoạt động đánh giá, còn các nguyên tắc tập trung và hành vi của cán bộ đánh giá. Cả hai tài liệu này đều hướng dẫn về các cách thức hợp đạo đức và phù hợp để thực hiện đánh giá.

Các Chuẩn mực Đánh giá Chương trình Các Chuẩn mực Đánh giá của AEA được chia thành bốn nhóm: • tính lợi ích • tính khả thi

• tính thích hợp • tính chính xác.

Tính thích hợp có tám chuẩn mực cụ thể: • Định hướng dịch vụ: Xác định nhu cầu để cán bộ đánh giá thực hiện đánh giá không chỉ vì lợi ích của đơn vị tài trợ cho hoạt động đánh giá mà còn là nhu cầu học hỏi kinh nghiệp của thành viên tham gia chương trình, cộng đồng và xã hội. • Thỏa thuận chính thức: Là những vấn đề thuộc về nguyên tắc, khả năng tiếp cận dữ liệu, tuyên bố rõ với khách hàng về giới hạn của đánh giá, và không hứa hẹn quá nhiều. • Các vấn đề nhân quyền: Gồm những vấn đề như sự đồng thuận khi cung cấp thông tin, bảo đảm quyền riêng tư, và tính bảo mật. • Mối quan hệ giữa người và người: ALà quyền cơ bản của con người hiểu theo nghĩa rộng, trong đó cán bộ đánh giá phải tôn trọng phẩm cách và giá trị 506

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

•

nhân phẩm trong mọi quan hệ và tác động, và không có bất cứ người nào tham gia đánh giá bị làm nhục hoặc tổn thương. Đánh giá toàn diện và công bằng: Mục đích là để đảm bảo cả điểm mạnh và điểm yếu của chương trình đều được minh họa chính xác. Cán bộ đánh giá cần bảo đảm không lái nghiên cứu theo hướng làm thỏa mãn nhà tài trợ hoặc xoa dịu các nhóm khác. Công bố phát hiện: Bàn về những trách nhiệm của cán bộ đánh giá là để phục vụ cả cộng đồng rộng hơn, những người hưởng lợi từ cả chương trình và hoạt đánh giá đáng tin cậy về nó, chứ không chỉ khách hàng hay đơn vị tài trợ. Các phát hiện đánh giá cần được công bố công khai. Xung đột lợi ích: Bàn về các nhu cầu mà cán bộ đánh giá phải xác định rõ ràng, cởi mở và trung thực nhất có thể về những định kiến và giá trị, để khách hàng ý thức được các định kiến cá nhân có thể vô tình len lỏi vào công việc của cả những cán bộ đánh giá trung thực nhất. Trách nhiệm tài chính: Yêu cầu đảm bảo mọi chi phí – kể cả chi phí thời gian và chi phí hoạt động dành cho hoạt động cung cấp, thu thập, và tiến hành thu thập thông tin mà cán bộ đánh giá yêu cầu, và chứng minh tính phù hợp, độ tin cậy và lưu trữ tài liệu của hoạt động đánh giá cho các bên liên quan.

AEA khẳng định rằng bộ chuẩn mực đánh giá chương trình của họ chỉ phù hợp với riêng nước Mỹ và không thích hợp để sử dụng cho những quốc gia nếu khác nếu không điều chỉnh. Năm 2000, Quỹ W.K.Kellogg hỗ trợ tổ chức hội nghị các cán bộ đánh giá trong khu vực và quốc gia tại Barbados. Nhiều tổ chức đánh giá quốc tế đã tham sự hội nghị. Một trong những vấn đề được thảo luận là các chuẩn mực đánh giá chương trình của AEA có liên quan đến các nước khác không và có liên quan như thế nào. Kết thúc hội nghị, một ấn phẩm về các bài viết chuyên đề bàn về vấn đề này được xuất bản (Russon 2000). Trong bài viết chuyên đề đầu tiên, Taut (2000) cho rằng Bộ Chuẩn mực Đánh giá Chương trình của AEA là những giá trị cơ bản và khác nhau giữa các nền văn hóa. Bà chứng minh sự thay đổi các giá trị ảnh hưởng đến việc áp dụng chuẩn mực của AEA bên ngoài Hoa Kỳ. Taut so sánh các giá trị trong bộ chuẩn mực với sự khác nhau trong giá trị văn hóa từ việc tổng quan tài liệu về các nền văn hóa khác nhau. Các khác biệt trong giá trị văn hóa được xác định là quan trọng nhất bao gồm • • • • •

chủ nghĩa cá nhân và chủ nghĩa tập thể chuyên chế và chủ nghĩa quân bình (hay khoảng cách quyền lực) bảo thủ và dân chủ tính hiếu chiến và ôn hòa tránh bất trắc.

Những khác biệt khác mà bà nhận ra giữa các nền văn hóa và sự giao tiếp trực tiếp và gián tiếp, cấm kỵ khắt khe và cởi mở, và tầm quan trọng của tính thâm niên. Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

507

Taut kết luận rằng “sự khác biệt về tính sử dụng và đạo đức trong các nền văn hóa lớn hơn tính khả thi và độ tin cậy … Rõ ràng là Chuẩn mực về tính Thích hợp phụ thuộc nhiều vào cả ảnh hưởng về chính trị và văn hóa” (2000, tr.24). Bà đề xuất rằng cán bộ đánh giá khi mô tả xã hội phải bàn cả về những khác biệt về văn hóa mà bà đã trình bày trong bài viết của mình. Bà cũng đề xuất rằng họ nên tham vấn đồng nghiệp và các chuyên gia về văn hóa khi tiến hành phân tích.

Bộ Nguyên tắc dành cho Cán bộ Đánh giá AEA nỗ lực thúc đẩy hành vi đạo đức trong hoạt động đánh giá chương trình, nhân sự hoặc đánh giá chính sách. Cuối cùng, AEA cho ra đời bộ nguyên tắc (1995) để hỗ trợ cán bộ đánh giá tác nghiệp. Bộ nguyên tắc bao gồm: • thẩm tra hệ thống • năng lực • liêm khiết/trung thực

• tôn trọng mọi người • trách nhiệm vì lợi ích chung và lợi ích cộng đồng.

Ủy ban Đạo đức AEA đã giám sát kiểm duyệt và cập nhật Bộ Nguyên tắc vào năm 2004. (Ấn bản này và các thông tin thêm về Bộ Nguyên tắc và Các Chuẩn mực Đánh giá Chương trình được đăng trên trang Web của AEA. Link đến hai tài liệu này được cung cấp ở cuối chương này trong phần “Các tổ chức Đánh giá.”) Cẩm nang hoặc chuẩn mực đang được dự thảo hoặc đã hoàn thành của các tổ chức khác cũng được đăng trên Internet, gồm có: • • • • • • •

Hiệp hội Đánh giá châu Phi (dự thảo chuẩn mực và nguyên tắc) Cộng đồng Đánh giá Ốtx-trây-lia (nguyên tắc đạo đức) Bộ nguyên tắc Đạo đức của Cộng đồng Đánh giá Ca-na-đa Cộng đồng Đánh giá Đức (bộ chuẩn mực) Hiệp hội Đánh giá Italia (bộ nguyên tắc) Cộng đồng Đánh giá Thụy Sỹ (các chuẩn mực) Cộng đồng Đánh giá Vương quốc Anh (hướng dẫn hoạt động hiệu quả)

Bên cạnh hướng dẫn cho người thực hiện, Cẩm nang thực hành của Cộng đồng Đánh giá Vương quốc Anh còn có bộ nguyên tắc cho những người ủy quyền và thành viên tham gia đánh giá.

Đạo đức Đánh giá của Hệ Thống các nước Liên hiệp quốc Nhóm Đánh giá của Liên hiệp Quốc (UNEG) đã đưa ra các đạo đức đánh giá trong Bộ nguyên tắc Đạo đức (UNEG 2008). Những nguyên tắc này dựa trên “tư tưởng nghề nghiệp phổ biến và được cộng đồng quốc tế thừa nhận” (UNEG 2008, tr.3). Bộ nguyên tắc này áp dụng trong hoạt động tiến hành đánh giá của các thành viên, tư vấn độc lập, và cán bộ đánh giá từ các tổ chức đối tác ở mọi cơ quan thuộc UN. 508

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Dưới đây là những ý chính về nguyên tắc đạo đức trong các bộ nguyên tắc trên: • chủ định đánh giá – tính sử dụng – tính cần thiết • trách nhiệm đối với cán bộ đánh giá – tính độc lập – tính công bằng – độ tin cậy – xung đột về lợi ích – tính trung thực và liêm chính – trách nhiệm giải trình • trách nhiệm đối với các thành viên tham gia – tôn trọng nhân phẩm và sự khác biệt quan điểm – quyền lợi – tính bảo mật – tránh tổn hại • quá trình và sản phẩm đánh giá – tính chính xác, toàn diện, và đáng tin cậy – tính minh bạch – báo cáo – thiếu sót và thực hiện sai (UNEG 2008). UNEG cũng có Bộ Chuẩn mực Đánh giá cho hệ thống UN, bao gồm các tiêu chuẩn và đạo đức sau: • Cán bộ đánh giá nên nhạy cảm trước niềm tin, phong tục, và tập quán, tính liêm chính và trung thực trong quan hệ với các bên tham gia. • Cán bộ đánh giá nên bảo đảm mọi mối quan hệ với từng cá nhân đều phải tôn trọng theo ý muốn của họ. • Cán bộ đánh giá nên bảo đảm tính khuyết danh và tính bảo mật của từng người cung cấp thông tin. • Cán bộ đánh giá chịu trách nhiệm về hoạt động và sản phẩm của mình.

Chuẩn mực DAC Chương 1 cuốn sách này đã bàn về Mạng lưới Đánh giá Phát triển thuộc Ủy ban Hỗ trợ Phát triển của OECD, nhóm đưa ra các tiêu chuẩn và chuẩn mực đánh giá phát triển chính. Các tiêu chuẩn và chuẩn mực của DAC được cập nhật và tổng kết trên trang web http://www.oecd.org/dac/evaluationnetwork Tính phù hợp cụ thể của chuẩn mực DAC được đề cập trong chương này là bộ chuẩn mực chất lượng đánh giá dự thảo của DAC, đưa ra các hướng dẫn đối Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

509

với quá trình đánh giá và sản phẩm đánh giá. Những chuẩn mực này sẽ được hoàn thiện vào năm 2009-2010 sau ba năm thực hiện thử nghiệm. Phần 6 của bộ nguyên tắc tập trung vào tính độc lập của cán bộ đánh giá và mức độ nhóm đánh giá có thể hoạt động tự chủ và không bị can thiệp. Phần 7 dành cho các đạo đức đánh giá. Cẩm nang đang dự thảo này chỉ ra các quá trình đánh giá, và do đó, cán bộ đánh giá “thể hiện sự tinh tế về các vấn đề giới, niềm tin, phong tục và tập quán của mọi bên tham gia và thể hiện tính liêm chính và trung thực. Quyền lợi và lợi ích của người tham gia đánh giá được bảo vệ. Tính khuyết danh và quyền bảo mật thông tin cá nhân của từng người cung cấp thông tin phải được bảo vệ khi được yêu cầu hoặc theo quy định của pháp luật” (tr.22).

Xung đột lợi ích Xung đột về lợi ích rõ ràng hay tiềm ẩn là vấn đề quan trọng có thể ảnh hưởng đến độ tin cậy của hoạt động đánh giá và sự tỉnh táo của cán bộ đánh giá. Với mỗi đánh giá, cán bộ đánh giá nên xác định rõ họ có tránh được các xung đột lợi ích hay ngăn sự xuất hiện của các xung đột lợi ích hay không. Một số tổ chức đã phát triển các nguyên tắc quản lý xung đột lợi ích. Ví dụ, nhóm Hoạt động Đánh giá của Ngân hàng Phát triển Á Châu không cho phép cán bộ hoặc các tư vấn tham gia đánh giá những hoạt động mà họ có liên quan. Đây là cách làm tốt với các đơn vị đánh giá.

Tóm tắt Đạo đức là những giá trị và niềm tin hướng dẫn lựa chọn. Cán bộ đánh giá có thể vi phạm các chuẩn mực đạo đức thông qua tiến hành đánh giá, bất chấp xung đột lợi ích, thực hiện các hoạt động đánh giá không hệ thống và thiếu chuyên nghiệp, để cho thành kiến ảnh hưởng đến công việc, hứa hẹn những điều không thể thực hiện, hoặc không thể thực hiện các cam kết. Hiểu nhầm – dưới dạng hình thức vị khách hàng, vị hợp đồng, vị phương pháp luận, vị thuyết tương đối, hoặc vị ưu tú – cũng là nguyên nhân của hành vi vi phạm đạo đức. Mạng lưới Đánh giá Phát triển của Ủy ban Hỗ trợ Phát triển của OECD, Nhóm Đánh giá của Liên hiệp Quốc, AEA, và các cơ quan và hiệp hội khác đã phát triển các chuẩn mực, nguyên tắc, và tiêu chuẩn xác định và đánh giá chất lượng, đạo đức, và giá trị. Cán bộ đánh giá phát triển cần phải quen với các chuẩn mực, nguyên tắc, tiêu chuẩn và mô hình thực hiện phù hợp.

510

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 14 Bài tập ứng dụng 14.1: Đạo đức: Rosa và Đánh giá nông nghiệp Rosa Marquez kể câu chuyện sau đây và xin bạn lời khuyên. Đâu là những vấn đề đạo đức chính, và bạn khuyên Rosa giải quyết chúng như thế nào? Rosa gặp các quan chức địa phương, các cán bộ chương trình, và chủ sở hữu đất để thông báo cho họ về hoạt động đánh giá sắp tới về chương trình nông nghiệp địa phương. Trong nhiều năm, cộng đồng đã nhận một khoản tiền lớn để xây dựng hệ thống thủy lợi, mua phân bón, xây đường, và mua thiết bị. Đây không phải là chuyến đầu tiên Rosa đến địa bàn chương trình. Thành viên nhóm ở địa phương, Eduardo, đã có nhiều chuyến thăm địa bàn và biết nhiều chủ đất. Anh ta đề nghị họ đi ăn tối và tạo mối quan hệ. Trong bữa ăn tối, Rosa nghe Eduardo và các chủ đất nói chuyện. Các chủ đất có vẻ có quan hệ thân thiết với Eduardo, tặng anh một hộp thuốc lá. Họ bàn về các nhu cầu của dân cư trong địa bàn. Các chủ đất cho rằng họ cần nhiều nguồn lực hơn để sử dụng đất hiệu quả. Họ muốn đưa nhiều thiết bị thay thế hơn cho nông dân. Họ cũng muốn sử dụng phân bón hơn mức cho phép của các quy định về môi trường. Eduardo đồng ý với các chủ đất và nói với họ hoạt động đánh giá tới đây có thể giúp họ, vì nó có thể đề nghị xét trường hợp ngoại lệ cho địa bàn. Bữa ăn tối kết thúc bằng lời mời Rosa đi thăm địa bàn cùng với một chủ đất, và sau đó ăn trưa cùng với gia đình. Rosa cảm thấy bất lịch sự khi không chấp nhận lời mời và hẹn họ vào ngày hôm sau. Cô nói chuyện nhanh với Eduardo sau bữa tối và hỏi tại sao anh ta lại đồng ý với chủ đất. Eduardo nói anh ta tin điều đó có thể làm cho các chủ đất hợp tác hơn nếu họ thấy rằng họ có thể thu được điều gì đó tích cực từ cuộc đánh giá. Trong chuyến thăm ngày hôm sau, chủ đất cho Rosa biết họ đã làm việc vất vả thế nào và họ đã đạt được nhiều thành quả như thế nào. Ông ta nói với Rosa rằng ông ta tin tưởng vào sự hỗ trợ của cô. Nếu đánh giá có kết quả không tốt, ông ta và gia đình không thể sinh sống tiếp. Để thể hiện thiện ý, ông tặng cô một chiếc dây chuyền và nói nó đã có từ nhiều thế hệ trong gia đình. Sau chuyến thăm và bữa ăn trưa với gia đình người chủ đất, Rosa gặp người quản lý chương trình. Anh ta lên kế hoạch những người Rosa sẽ gặp trong ba ngày còn lại. Anh ta cũng sắp xếp hai cuộc họp cộng đồng. Những cuộc họp này có chủ đất, công nhân nông nghiệp, thành viên trong cộng đồng doanh nghiệp bán dụng cụ nông nghiệp và phân bón, và những nhà xuất khẩu sản phẩm nông nghiệp. Khi chị hỏi vì sao không một nông dân hay một gia đình nông dân nào được mời tham gia, Rosa được cho biết nông dân không có đóng góp gì giá trị khi đánh giá tính hiệu quả của dự án. Chị hỏi chị có thể gặp những người khác trong cộng đồng không. Và được trả lời rằng quản lý dự án đã đảm bảo những người cần thiết đã được mời để tạo điều kiện thuận lợi cho chị trong việc đánh giá chương trình.

Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

511

Tài liệu tham khảo Cutt, James, and Vic Murray. 2000. Accountability and Effectiveness Evaluation in Nonprofit Organizations. London: Routledge. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evaluation: Alternative Approaches and Practical Guidelines. New York: Pearson Education Inc. Hale, K. 1998. “The Language of Co-Operation: Negotiation Frames.” Mediation Quarterly 16 (2):147–62. House, E. R. 1995. “Principles Evaluation: A Critique of the AEA Guiding Principles.” In Guiding Principles for Evaluators, eds. R. Shadish, D. L. Newman, M. A. Scheirer, and C. Wye, 27–34. New Directions for Program Evaluation No. 66. San Francisco: Jossey-Bass. JCSEE (Joint Committee on Standards for Educational Evaluation). 1994. The Program Evaluation Standards: How to Assess Evaluations of Educational. Programs Thousand Oaks, CA: Sage Publications. Markiewicz, Anne. 2005. “‘A Balancing Act’: Resolving Multiple Stakeholder Interests in Program Evaluation.” Evaluation Journal of Australasia 4 (1–2): 13–21. Molund, Stefan, and Göran Schill. 2004. Looking Back, Moving Forward: SIDA Evaluation Manual. Stockholm: Swedish International Development Cooperation Agency. Mnookin, Robert H., Scott R. Peppet, and Andrew S. Tulumello. 1996. “The Tension between Empathy and Assertiveness.” Negotiation Journal 12 (3): 20–35. ———. 2000. Beyond Winning: Negotiating to Create Values in Deals and Disputes. Cambridge, MA: Harvard University Press. Morris, M., and R. Cohn. 1993. “Program Evaluators and Ethical Challenges: A National Survey.” Evaluation Review 17: 621–42. Murray, Vic V. 2002. Evaluation Games: The Political Dimension in Evaluation and Accountability Relationships. http://www.vserp.ca/pub/CarletonEVALUATIONGAMES.pdf. Patton, M. Q. 1997. Utilization-Focused Evaluation: The New Century Text. 3rd ed. Thousand Oaks, CA: Sage Publications. Russon, Craig. 2000. The Program Evaluation Standards in International Settings. http:// www.wmich.edu/evalctr/pubs/ops/ops17.pdf. Stufflebeam, D. L. 1986. “Standards of Practice for Evaluators.” Paper presented at the annual meeting of the American Educational Research Association, San Francisco, April. Tassie, A. W., V. V. Murray, J. Cutt, and D. Gragg. 1996. “Rationality or Politics: What Really Goes on When Funders Evaluate the Performance of Fundees?” Nonprofit and Voluntary Sector Quarterly 25 (3): 347–63. Taut, Sandy. 2000. “Cross-Cultural Transferability of the Program Evaluation Standards.” In The Program Evaluation Standards in International Settings, ed. Craig Russon. Occasional Papers Series, Western Michigan University, Evaluation Center, Kalamazoo. http://www.wmich.edu/evalctr/pubs/ops/ops17.pdf.

512

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

UNEG (United Nations Evaluation Group). 2005. Norms for Evaluation in the UN System. http://www.uneval.org/index.cfm?module=UNEG&Page=UNEGDocuments &LibraryID=96. ———. 2008. Ethical Guidelines. http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=102. U.S. Equal Employment Opportunity Commission. 2002. http://www.eeoc.gov/facts/fs-sex.html. World IQ. 2008. “Simple View of Ethics and Morals.” http://www.wordiq.com/definition/Simple_view_of_ethics_and_morals.

Trang Web Department for International Development. http://www.keysheets.org/red_7_swaps_ rev.pdf. Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/ Human Rights Education. http://www.hrea.org/pubs/EvaluationGuide/. Institute of Development Studies. 1998. Participatory Monitoring and Evaluation: Learning from Change, IDS Policy Briefing 12 (November). http://www.ids .ac.uk/ids/bookshop/briefs/PB12.pdf. Inter-American Development Bank. 2004. Proposal for Sectorwide Approaches (SWAps). http://enet.iadb.org/idbdocswebservices/idbdocsInternet/IADB PublicDoc.aspx?docnum=509733. MEASURE Evaluation Project. Monitoring and Evaluation of Population and Health Programs. University of North Carolina, Chapel Hill. http://www.cpc.unc.edu/measure. National Aeronautics and Space Act of 1958. http://www.hq.nasa.gov/office/pao/History/spaceact.html. Treasury Board of Canada. Linkages between Audit and Evaluation in Canadian Federal Developments. http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/ evaluation03_e.asp. United Nations Population Fund. UNFPA List of Evaluation Reports and Findings. http:// www.unfpa.org/publications/index.cfm. World Bank. The World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm.

Các Tổ chức Phát triển African Evaluation Association. http://www.geocities.com/afreval/. American Evaluation Association. http://www.eval.org. Australasian Evaluation Society. http://www.aes.asn.au/. Canadian Evaluation Society. http://www.evaluationcanada.ca. European Evaluation Society. http://www.europeanevaluation.org. German Society for Evaluation. http://www.degeval.de/.

Cẩm nang dành cho Cán bộ đánh giá: Đạo đức Đánh giá, Tính Chính trị, Tiêu chuẩn, và Nguyên tắc Đánh giá

513

Government and Nongovernmental Organizations. http://www.eval.org/Resources/ govt_orgs_&_ngos.htm. Institute of Internal Auditors. http://www.theiia.org. International Organization of Supreme Audit Institutions. http://www.gao.gov/ cghome/parwi/img4.html. Italian Evaluation Association. http://www.valutazioneitaliana.it/aiv/news.php. Swiss Evaluation Society. http://www.seval.ch/en/. United Kingdom Evaluation Society. http://www.evaluation.org.uk/.

Các Chuẩn mực và Nguyên tắc Đánh giá American Evaluation Association. 2004. Guiding Principles. http://www.eval.org/Publications/GuidingPrinciples.asp. (Abbreviated version in brochure form: http://www. eval.org.) ———. 2005. Program Standards. http://www.eval.org/EvaluationDocuments/ progeval.html. Asian Development Bank. Guidelines. Operations Evaluation Group. http://www .adb.org/documents/guidelines/evaluation/independent-evaluation.pdf. Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes .asn.au/about/Documents%20-%20ongoing/guidelines_for_the_ethical_ conduct_of_evaluations.pdf. Canadian Evaluation Society. Guidelines for Ethical Conduct. http://www .evaluationcanada.ca. German Society for Evaluation. Standards. http://www.degeval.de/standards/ standards.htm. Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto. htm#Linee). Organisation for Economic Co-operation and Development. Principles for Evaluation of Development Assistance. Development Assistance Committee. http://www.oecd. org/dataoecd/31/12/2755284.pdf. ———. DAC Criteria for Evaluating Development Assistance. Development Assistance Committee. http://www.oecd.org/document/22/0,2340,en_2649_34435_ 2086550_1_1_1_1,00.html. ———. DAC Network on Development Evaluation. Evaluating Development Co-Operation: Summary of Key Norms and Standards. http://www.oecd.org/dac/ evaluationnetwork. United Kingdom Evaluation Standards. 2008. http://www.mfcr.cz/cps/rde/xbcr/mfcr/ EvalStandards_UK.pdf and http://www.evaluation.org.uk/resources/guidelines. aspx.

514

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

CHƯƠNG 15

Hướng đến tương lai

14 chương trước đã trình bày “con đường đến mục tiêu.” Nội dung những chương đó tập trung vào cơ sở để đánh giá phát triển; cách chuẩn bị, thiết kế, và tiến hành một đánh giá; và cách tác nghiệp chuyên nghiệp. Những nội dung đó dẫn dắt chúng ta đến chương cuối này. Chương này tổng kết ngắn gọn về những gì chúng ta đã đi được và chúng ta hiện đang ở đâu trước khi xét về xu hướng phát triển của đánh giá phát triển. Chương này gồm hai phần chính:

• Từ Quá khứ đến Hiện tại • Tương lai

515

Từ Quá khứ đến Hiện tại Các thay đổi trong phát triển đã được phản ánh trong đánh giá phát triển. Cuộc họp của 2000 lãnh đạo trên thế giới để thông qua Tuyên bố Phát triển Thiên niên kỷ và xác định phát triển là sự hợp tác toàn cầu để giảm nghèo đã chuyển trọng tâm cuộc họp sang hướng đánh giá kết quả. Đánh giá phát triển đã đáp ứng được nhu cầu thực tế, nhưng vẫn còn một chặng đường dài phía trước. Cuốn sách này là để tăng tính sử dụng các kiến thức đánh giá để đưa ra quyết định. Bảy bước quan trọng có thể nâng cao tính hữu dụng của đánh giá trong việc quyết định tính hiệu quả của phát triển là: 1. Chuyển sang đánh giá dựa trên kết quả. Đạt được kết quả đã được chú ý nhiều hơn so với đo lường sản phẩm đầu ra, nhưng vẫn không phải là hoạt động định kỳ của hoạt động phát triển hoặc đánh giá phát triển. Nếu không biết thành công có thể đạt được của một can thiệp như thế nào trong thời gian ngắn hạn, trung hay dài hạn, các tổ chức sẽ tiếp tục tài trợ các hàng hóa và dịch vụ theo yêu cầu mà không chắc chắn có thể thay đổi hành vi hay kết quả theo kỳ vọng kết quả bền vững như mong đợi không. 2. Xác định lý thuyết thay đổi của các can thiệp phát triển. Câu hỏi quan trọng đầu tiên khi phân tích tác động không phải là “Tác động của can thiệp là gì?” mà là “Can thiệp có thực sự cần thiết không, và tại sao chúng ta lại kỳ vọng nó mang lại những tác động mà nó đã đạt được?” Hình thức phân tích nhu cầu này trở thành thực hành chuẩn mực. Các lý thuyết thay đổi cần miêu tả sinh động logic liên kết giữa một can thiệp và các kết quả dự kiến của nó, các giả thiết chính về cách thức và lý do can thiệp hoạt động hiệu quả, và các sự kiện cạnh tranh chính trong môi trường có thể gây ra những thay đổi quan sát được. 3. Thúc đẩy việc sử dụng hình thức đối chứng khi thiết kế đánh giá. Các đối chứng thường cần thiết để thiết lập mối quan hệ giữa hoạt động can thiệp với kết quả và tác động của nó. Nếu các thiết kế thực nghiệm (hoặc bán thực nghiệm) là những thiết kế chặt chẽ, thì các đối chứng lại không phải là “chuẩn mực tốt.” Đánh giá phát triển cần tập trung vào những câu hỏi cần có đáp án và cần chọn lựa giả thiết phù hợp với những câu hỏi đó. Ví dụ, đối chứng khi tìm hiểu về các tác động ngoại biên trong giai đoạn dài hơi hơn của một chương trình, hoặc về sự thay đổi khi tiến hành đánh giá do hoàn cảnh, về đặc điểm của người tham gia, có thể hữu dụng hơn so với việc tìm hiểu về sự khác biệt về tác động giữa các nhóm nhận can thiệp và nhóm không nhận can thiệp. Hiểu biết về các thiết kế thực nghiệm và bán thực nghiệm bắt buộc là một phần trong tập huấn về đánh giá tác động, đồng thời tập huấn cũng phải gồm có nội dung về các thiết kế phi thực nghiệm, như nghiên cứu trường hợp điển hình. 516

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

4. Sử dụng sơ đồ, đóng góp, và bổ sung ở cấp quốc gia thay vì cố gắng quy trách nhiệm. Quy trách nhiệm đối với kết quả phát triển cho một đơn vị phát triển là không dễ ở cấp dự án; thường là vô ích đối với những đánh giá phức tạp hơn, như những đánh giá cấp ngành hoặc cấp quốc gia. Khi đã thừa nhận phát triển là hợp tác toàn cầu, thì sự chuyển đổi phương pháp là cần thiết. Bước đầu tiên của đánh giá phát triển là lên kế hoạch các hoạt động của các đơn vị tài trợ chính, những chủ nợ, và các tổ chức phi chính phủ (NGO) ở một nước. Hơn nữa, phân tích này có thể do quốc gia tự thực hiện và sử dụng như một cơ sở để đánh giá sự hợp tác hỗ trợ và xác định được sự đóng góp của từng tổ chức phát triển trong quá trình bổ sung. 5. Giảm chi phí và tăng lợi ích của đánh giá cấp dự án. DBất chấp nhiều biện hộ, hầu hết các nguồn lực đánh giá vẫn là từ đánh giá dự án. Nên sử dụng nhiều hơn các đánh giá nhóm của các dự án liên quan theo chu kỳ một đến ba năm sau lần giải ngân cuối cùng. Những đánh giá này có thể tìm kiếm những kết quả và kiểm định xem các đặc thù của người tham gia hay sự thay đổi về bối cảnh có ảnh hưởng nghiêm trọng đến thành công của dự án hay không. 6. Xây dựng năng lực đánh giá. Trọng tâm ngày càng tăng đối với việc đánh giá kết quả tự bản thân nó làm tăng nhu cầu đối với các chuyên gia đánh giá phát triển. Tuyên bố Paris và Hiệp ước Accra ủng hộ sự quan tâm đối với nhu cầu xây dựng năng lực ở các quốc gia đang phát triển, và các nhà tài trợ đã hưởng ứng bằng cách tăng tài trợ, tuy nhiên xây dựng năng lực đánh giá vẫn là một nỗ lực lâu dài. Các nhà tài trợ cũng cần đưa ra yêu cầu về cán bộ đánh giá ở các bộ ngành và cơ quan tại các quốc gia đang phát triển. Bài toán về xây dựng năng lực là không thể không giải quyết. Các ngân hàng phát triển đa quốc gia, các ngân hàng phát triển song phương, và các tổ chức hỗ trợ khác phải giải quyết vấn đề xây dựng năng lực đánh giá cho cán bộ trong tổ chức mình. Hầu hết các cán bộ đánh giá của họ vốn là những cán bộ chương trình phát triển, thường thiếu cơ sở nền tảng chắc chắn của hoạt động đánh giá. Họ có thể là nhà kinh tế học hoặc nhà nghiên cứu từ các lĩnh vực khác, thường được đào tạo chủ yếu về các phương pháp nghiên cứu khoa học xã hội ứng dụng và kinh tế, và có thể thiếu kiến thức đào tạo về các phương pháp định tính. Đào tạo và các nỗ lực xây dựng năng lực đánh giá khác cần có hoạt động đánh giá riêng để bảo đảm chất lượng chương trình. Sự khẳng định về chuyên môn trong đào tạo đánh giá cần được xác nhận. 7. Sử dụng các thông tin có thể đánh giá. Không có kế hoạch nào được lên từ trước có thể tạo ra sự khác biệt, trừ khi các phát hiện của một đánh giá tốt được sử dụng để cung cấp thông tin về phát triển cho các can thiệp tiếp theo. Cán bộ đánh giá không chỉ hỗ trợ mục đích giải trình trách nhiệm mà còn cả mục đích học hỏi kinh nghiệm. Điều này từ lâu đã là điều tâm niệm

Hướng đến Tương lai

517

của các cán bộ đánh giá. Người ta biết nhiều về cách nâng cao khả năng sử dụng đánh giá trong bối cảnh đánh giá phát triển. Đó là thời gian trước đây khi trọng tâm được đặt vào việc chuyển đổi kiến thức thành thực tiễn hành động (Rist và Stame 2006).

Tương lai Không ai trong chúng ta có quả cầu thủy tinh để có thể dự đoán chính xác tương lai. Tuy nhiên, chúng ta có thể phát triển các quan điểm về xu hướng trong tương lai cũng như các thách thức đối với đánh giá phát triển. Chúng ta sẽ kết thúc cuốn sách này với vài suy ngẫm về điều này. Đầu tiên và trước nhất, chúng ta thấy được sự tăng lên không ngừng của hoạt động giám sát và đánh giá (M&E) ở hầu hết các quốc gia đang phát triển. Một tiến bộ tích cực là các chuyến đi học hỏi về các hệ thống M&E ở các quốc gia đang phát triển. Những chuyến đi này dành cho những cán bộ từ các quốc gia phát triển và đang phát triển. Chúng tôi tin rằng những nỗ lực tương tự sẽ không chỉ được thực hiện ở các cơ quan và ban ngành thuộc chính phủ mà còn ở quốc hội, các tổ chức, các nhà thờ, hiệp hội, các tổ chức tình nguyện khác, và trong khu vực tư. Nhu cầu giải trình trách nhiệm về kết quả không dần mất đi. Mối đe dọa chính đối với nó là các bộ chỉ báo giám sát quá tải và cung cấp quá nhiều số liệu, dẫn đến sự không ổn định trong hoạt động giám sát đánh giá.

Đánh giá nội bộ và Đánh giá độc lập Đánh giá phát triển đã gợi lên cuộc tranh luận về các phương pháp định lượngđịnh tính trong Hiệp hội Đánh giá Hoa Kỳ (AEA) trong suốt những năm 1990. Trong thực tế, sử dụng các phương pháp kết hợp đã trở nên phổ biến trong cộng đồng phát triển. Vấn đề phức tạp hơn trong đánh giá phát triển là lựa chọn thực hiện đánh giá độc lập hay đánh giá nội bộ, và về mặt tổ chức thì sắp xếp đơn vị đánh giá vào bộ phận nào. Khi các hệ thống giám sát và cán bộ M&E được xem là vấn đề nội bộ, thì chưa có tiến triển gì đối với hoạt động đánh giá. Đây là vấn đề đặc biệt quan trọng cho những ai bắt đầu từ điểm xuất phát chứ không phải từ việc tiếp tục triển khai một mô hình có sẵn. Liệu đánh giá phát triển có xu hướng trở thành chức năng nội bộ và phức hợp cho những người quản lý hệ thống giám sát dựa trên kết quả? Hay đánh giá phát triển lại thiên về chiến lược của Ủy ban Châu Âu và ủng hộ việc thuê các chuyên gia hoặc các công ty đánh giá độc lập?

518

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Dự đoán của chúng tôi là nhu cầu mạnh mẽ đối với kết quả thực hiện có nghĩa là đánh giá phát triển không chỉ giới hạn trong đơn vị quản lý M&E mà còn cần đến các đánh giá do các tư vấn hoặc các công ty độc lập thực hiện. Chúng tôi cũng dự đoán sự đòi hỏi và tính cần thiết đối với đánh giá độc lập sẽ còn tăng lên. Đánh giá được thực hiện từ các cơ quan bên ngoài không cần thiết phải là đánh giá độc lập. Nếu đánh giá do một đơn vị bên ngoài thực hiện nhưng được tài trợ hoặc nằm trong sự giám sát của những người quản lý chương trình, thì đó vẫn là đánh giá nội bộ và không được xem là đánh giá độc lập. Đánh giá độc lập, đơn vị đánh giá độc lập, và cán bộ đánh giá độc lập cần đáp ứng các nguyên tắc về tính độc lập, như những nguyên tắc do Nhóm Hợp tác Đánh giá của các ngân hàng phát triển đa quốc gia đưa ra (xem chương 1), chưa kể đến uy tín hay đạo đức của đơn vị thực hiện đánh giá. Bộ phận đánh giá độc lập có thể được bố trí trong tổ chức phát triển (ví dụ như Nhóm Đánh giá Độc lập của Hệ thống Ngân hàng Thế giới). Nó có thể là một bộ phận thuộc quốc hội hoặc đơn vị lập pháp khác. Tuy nhiên, cho dù được sắp xếp ở đâu, đơn vị đánh giá độc lập cũng cần đánh giá chính thức sự tuân thủ các nguyên tắc về tính độc lập, sử dụng thang đo thứ bậc như được trình bày trong chương 1.

Sự phát triển trong Năng lực Đánh giá Nhu cầu tăng lên đối với M&E phải đi cùng với hoạt động xây dựng năng lực phát triển. Một bộ phận đánh giá phụ thuộc vào một vài chuyên gia bên ngoài thì không có nhiều khả năng đáp ứng được các yêu cầu về lâu dài. Năng lực phát triển ở mọi cấp trong một quốc gia phải được phát triển rộng rãi. Chúng tôi dự đoán các nỗ lực xây dựng năng lực đánh giá tiếp tục gia tăng ở các quốc gia đang phát triển. Sự phát triển của năng lực đánh giá bao gồm nhiều hoạt động để xây dựng và củng cố hệ thống M&E ở các quốc gia đang phát triển. Nó tập trung vào cấp ngành và cấp quốc gia. Đồng thời nó cũng bao quát nhiều khái niệm và công cụ liên quan, trong đó có năng lực cho điểm tính hiệu quả của phát triển, cụ thể hóa các mục tiêu và dãy kết quả của dự án và chương trình, các thông tin về tình hình thực hiện (gồm có thu thập thông tin cơ bản), M&E chương trình và dự án, khảo sát đánh giá đối tượng thụ hưởng, tổng quan cấp độ ngành, và kiểm toán thực thi (Kusek và Rist 2004; Mackay 2007). Phát triển năng lực hỗ trợ các quốc gia trong việc xác định điểm khởi đầu để bắt đầu xây dựng năng lực đánh giá (box 15.1). Nhiều công cụ phân tích đã được phát triển (ví dụ, Ngân hàng Thế giới 1999].

Hướng đến Tương lai

519

Hộp 15.1 Những vấn đề mấu chốt khi phân tích Hệ thống M&E của một Chính phủ

1. Sự hình thành hệ thống M&E hiện tại: vai trò của hoạt động tuyên truyền vận động và sự thắng thế của M&E, những sự kiện quan trọng dẫn đến sự ưu tiên đối với thông tin M&E (ví dụ, cuộc bầu cử chọn một chính quyền có xu hướng cải cách, khủng hoảng tài chính). 2. Bộ hoặc cơ quan chịu trách nhiệm quản lý hệ thống M&E và lên kế hoạch đánh giá. Vai trò và nhiệm vụ của các bên tham gia chính trong hệ thống M&E (bộ tài chính, bộ kế hoạch, văn phòng Tổng thống, các ngành, cơ quan lập pháp). Các khuyến khích để các bên tham gia thực hiện M&E một cách nghiêm túc (sức ép về nhu cầu thông tin M&E). Sự tồn tại của các hệ thống M&E không liên kết ở cấp quốc gia và cấp ngành. Tầm quan trọng của các vấn đề thuộc liên bang/nhà nước/địa phương trong hệ thống M&E. 3. Môi trường của khu vực nhà nước và mức độ gây khó khăn hay tạo thuận lợi cho các nhà quản lý thực hiện ở mức tiêu chuẩn cao và chịu trách nhiệm về hoạt động của mình. Sự tồn tại của những cải cách trong khu vực công có thể thu được lợi ích từ sự nhấn mạnh mạnh mẽ vào việc đánh giá tình hình thực thi của chính phủ-như chiến lược giảm nghèo, dự trù ngân sách thực hiện, năng lực của kỹ năng phân tích chính sách, văn hóa thực thi trong công việc công, những cải thiện trong cung cấp dịch vụ (như các tiêu chuẩn chăm sóc khách hàng), sự phi tập trung quyền lực, sự tham gia nhiều hơn của xã hội dân sự, hay chiến lược chống tham nhũng. 4. Các lĩnh vực chính trong quản lý công cần đến sự hỗ trợ đắc lực của hệ thống M&E, như hoạt động ra quyết định ngân sách, quản lý và lên kế hoạch chương trình cấp quốc gia hoặc cấp ngành, và các mối quan hệ trách nhiệm giải trình (đối với bộ tài chính, văn phòng tổng thống, quốc hội, các bộ ngành, xã hội dân sự). 5. Vai trò của các thông tin M&E trong nhiều bước của quá trình giải ngân (tư vấn chính sách và lên kế hoạch, ra quyết định giải ngân, rà soát tình hình thực thi và báo cáo) và sự phân tách có thể có giữa công việc M&E của các bộ ngành với việc sử dụng những thông tin này trong quá trình giải ngân. Sự tồn tại của bất kỳ sự rời rạc nào giữa quá trình giải ngân và lên kế hoạch quốc gia. Các cơ hội củng cố vai trò của M&E trong giải ngân. 6. Mức độ thông tin M&E dưới quyền các cơ quan tham gia chính (ví dụ như bộ tài chính) được sử dụng bởi các cơ quan khác (như bộ ngành). Xác định các cản trở trong việc sử dụng các thông tin M&E (nếu có). Các bằng chứng liên quan đến mức độ sử dụng thông tin M&E của các cơ quan tham gia khác nhau (ví dụ, thanh tra hoặc khảo sát). Các ví dụ về các hoạt động đánh giá quan trọng có tầm ảnh hưởng cao đối với chính phủ.

520

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

7. Các bộ công cụ trọng tâm trong hệ thống M&E (các chỉ số thực thi định kỳ, khảo sát hoặc đánh giá nhanh, kiểm toán thực thi, các đánh giá tác động nghiêm túc). Phạm vi và chi phí của mỗi dạng công cụ M&E này. Các ưu tiên trong đánh giá (các ưu tiên này có tập trung vào “các chương trình có vấn đề,” các chương trình thử nghiệm, các chương trình chi phí cao hoặc có tính minh bạch cao, hay các ưu tiên này có dựa trên chương trình nghiên cứu có hệ thống để giải đáp các câu hỏi về tính hiệu quả chương trình không?). 8. Trách nhiệm thông tin về tình hình thực thi và tiến hành đánh giá (do các bộ tự thực hiện, hoặc do các viện, các công ty tư vấn thực hiện). Các vấn đề về chất lượng hoặc độ tin cậy của dữ liệu hoặc về chất lượng đánh giá được tiến hành. Ưu điểm và khuyết điểm của hoạt động M&E địa phương. Các hạn chế chủ yếu về năng lực và các ưu tiên xây dựng năng lực của chính phủ. 9. Mức độ hỗ trợ tài trợ cho hoạt động M&E trong những năm gần đây. Các dự án tài trợ hỗ trợ M&E ở cấp chính phủ, cấp ngành, cấp cơ quan (cung cấp hỗ trợ kỹ thuật, xây dựng năng lực, và tài trợ thực hiện các đánh giá quan trọng, như đánh giá tác động). 10. Các kết luận về ưu điểm và khuyết điểm của hệ thống M&E, trong đó có tính bền vững của các thay đổi trong chính phủ. Tính phụ thuộc của hệ thống vào tài trợ hoặc từ nguồn hỗ trợ khác. Các kế hoạch nâng cao hệ thống M&E trong tương lai. Nguồn: Ngân hàng Thế giới 2006..

Phát triển năng lực đánh giá bảo đảm các phát hiện đánh giá luôn có thể hỗ trợ các quốc gia trong bốn lĩnh vực chủ chốt: • Phân bổ các nguồn lực chính phủ cho hoạt động kế hoạch, ra quyết định, ưu tiên hóa, đặc biệt là nâng cao hoạt động giải ngân. • Hiểu tình hình thực thi của các hoạt động đang diễn ra ở cấp ngành, chương trình, cấp dự án để có thể học hỏi và cải thiện. • Giao trách nhiệm về vấn đề thực thi các hoạt động cho nhà quản lý để chính phú có thể chịu trách nhiệm giải trình về tình hình thực thi. Ý thức về trách nhiệm giải trình bao hàm sự thừa nhận quản lý kinh tế và khu vực công là trung tâm trong cạnh tranh giữa các nền kinh tế. Thị trường sẽ ưu đãi cho những quốc gia có khả năng quản lý và bao quát chi phí công; đánh giá cung cấp công cụ hỗ trợ chính phủ trong các hoạt động kể trên. • Làm rõ mức độ thành công của các hoạt động phát triển. Điều này chứng minh tầm quan trọng ngày càng tăng đối với các quốc gia trong việc thu hút các nguồn lực bên ngoài, đặc biệt là tạo sức ép lên các cơ quan hỗ trợ phát triển quốc tế để hướng hỗ trợ vào các quốc gia có đã thu được thành công với các hoạt động phát triển trước. Hơn nữa, sự quan tâm ngày càng tăng Hướng đến Tương lai

521

của các cơ quan hỗ trợ cấp chính phủ đối với hoạt động phát triển làm tăng ưu tiên về các đánh giá về tình hình thực thi ở cấp quốc gia. Phát triển năng lực đánh giá cần chứng minh cho các nhà hoạch định chính sách thấy rằng đánh giá là hữu dụng; và có thể là một sức ép đối với chính phủ. Nó đòi hỏi một cơ sở thông tin để thu thập số liệu định kỳ, công bố và sử dụng kết quả. Xây dựng hệ thống đánh giá hữu dụng thường mất thời gian, vì nó yêu cầu các thay đổi về chính trị và tổ chức (Schaumberg-Müller 1996). Ví dụ, nước Mỹ mất mười năm để triển khai trọn vẹn Đạo luật Kết quả và Hiệu quả Hoạt động của Chính phủ (GPRA) và toàn bộ hệ thống M&E (Kusek và Rist 2004). Các tổ chức cần tin rằng đánh giá không phải là hệ thống kiểm soát mà là công cụ để nâng cao quá trình thực thi và ra quyết định. Làm thế nào để thúc đẩy phát triển năng lực đánh giá? Các khuyến khích và biện pháp cưỡng chế hiện có? Toulemonde (1999) bàn về tầm quan trọng của việc sử dụng cả hai điều kiện khuyến khích và cả các biện pháp cưỡng chế đối với yêu cầu đánh giá. Khuyến khích đầu tiên ông xác định ở đây là ngân sách. Các cuộc đánh giá cần phải có kinh phí sẵn sàng để có thể phát triển năng lực đánh giá. Khuyến khích thứ hai là con đường sự nghiệp sáng sủa cho những người lựa chọn trở thành cán bộ đánh giá. Toulemonde chỉ ra các cách tạo ra yêu cầu cưỡng chế đánh giá. Cách đầu tiên là đánh giá bắt buộc. Khi các tổ chức được yêu cầu tiến hành đánh giá, họ phải được giao quyền đặt câu hỏi. Họ phải có toàn quyền tiếp cận dữ liệu thực địa và sử dụng kết quả đánh giá. Toulemonde thừa nhận “luật và quy định tự bản thân nó không có ý nghĩa gì cả” (1999, tr.159). Chúng cần phải mang tính cưỡng chế, và phải sử dụng đến quyền lực. Ông tiếp tục tin vào hiệu quả của việc kết hợp các biện pháp khuyến khích và cưỡng chế.

Chuyên nghiệp hóa Cán bộ đánh giá Phát triển Bất kỳ ai cũng có thể quyết định lấy chứng chỉ cán bộ đánh giá phát triển. Nhưng vẫn chưa có những chuẩn mực về năng lực mà cán bộ đánh giá cần đạt được trong quá trình đào tạo hoặc thực hành, không có quy trình chứng nhận hoặc cấp phép dành cho người muốn trở thành cán bộ đánh giá. Nhiều người tự học thông qua công việc chứ chưa qua đào tạo chính quy. Quản lý hoặc chỉ đạo các đơn vị đánh giá cũng không cần có sự chứng thực đặc biệt nào: kiến thức và kinh nghiệm về đánh giá không phải là điều kiện tiên quyết. Phương pháp dành thời gian học hỏi từ công việc không phải là ngoại lệ; cán bộ quản lý không được đào tạo chính quy vẫn có thể tự phát triển trong công việc. Tuy vậy, thiếu các chứng nhận về nghiệp vụ vẫn gây khó khăn cho những người theo đuổi sự nghiệp đánh giá phát triển để chứng minh chuyên môn của mình. 522

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Do yêu cầu đối với phát triển đánh giá tiếp tục tăng lên, chúng tôi tin rằng đòi hỏi chuyên nghiệp hóa ngày càng tăng có vẻ là một cách đối phó với các hoạt động đánh giá kém chất lượng. Hiệp hội Đánh giá Phát triển Quốc tế (IDEAS) đang có vai trò ngày càng lớn trong hoạt động chuyên nghiệp hóa hoạt động đánh giá phát triển ở cấp toàn cầu. Xây dựng Các Năng lực Hạt nhân Một vấn đề quan trọng trong và ngoài hoạt động đánh giá phát triển là liệu các năng lực nghề nghiệp của cán bộ đánh giá, như trình bày trong hộp 15.2 có nên được thiết lập không. Hiệp hội Đánh giá Hoa Kỳ (AEA) sau cuộc thanh tra ban đầu đã quyết định không chứng thực cho các năng lực này. Ngược lại, Hiệp hội Đánh giá Ca-na-đa (CES) đang theo đuổi “sự bổ nhiệm nghề nghiệp,” một hình thức cấp chứng chỉ. Đồng thời CES vẫn cố gắng tăng chương trình đào tạo đại học về đánh giá. Hiệp hội Đánh giá Niu-di-lân hiện đang cân nhắc về việc phát triển các tiêu chuẩn về năng lực. Kho bạc Nhà nước Ca-na-đa đang yêu cầu cấp chứng chỉ cho những người đứng đầu các đơn vị đánh giá đã được các văn phòng thuộc chính phủ Ca-na-đa bổ nhiệm. Hội đồng thư ký của Kho bạc nhà nước Ca-na-đa đã chuẩn bị báo cáo về kết quả nghiên cứu “kiểm tra các phương pháp lựa chọn để tăng tính chuyên nghiệp của hoạt động đánh giá trong chính phủ liên bang” (Hội đồng thư ký Kho bạc Nhà nước Ca-na-đa 2005). Ủy ban quốc tế về tiêu chuẩn Đào tạo, Thực hiện và Chỉ đạo đã phát triển năng lực cho cán bộ trong cơ quan và các tư vấn bên ngoài trong việc tiến hành đánh giá về cơ cấu tổ chức (đường link đến trang Web được cung cấp ở cuối chương này). Dự án Bổ nhiệm nghề nghiệp của CES tin rằng sự chứng thực nghề nghiệp nên dựa vào cả học vấn và kinh nghiệm. Dự án này xem xét cấp chứng nhận thông qua một kỳ thi. Do đó CES đang lựa chọn một phương pháp chứng thực không qua thi cử. Nhiều công việc cần thiết để tạo ra cơ chế chứng nhận nghề nghiệp đang được tiến hành, gồm có thiết lập các yêu cầu chứng nhận, cơ chế chứng thực cho những người đã tác nghiệp, một hội đồng chứng nhận, và cơ chế phản biện. Một chương trình thử nghiệm dự kiến được bắt đầu vào năm 2009 (AEA 2008). Đường link trang web của CES ở cuối chương này sẽ mang lại nhiều thông tin hơn về hoạt động này. Vậy còn những tiêu chuẩn liên quan đến đánh giá phát triển thì sao? IDEAS bắt đầu giải quyết vấn đề này cho những cán bộ đánh giá phát triển. Những nỗ lực tổng hợp và những thành quả nền tảng mà Hiệp hội Đánh giá Ca-na-đa thực hiện được sẽ là điểm khởi đầu chắc chắn. Thành quả của Lực lượng Phát triển Năng lực Đánh giá của Nhóm Đánh giá của Liên hiệp Quốc (UNEG)-đã phát triển các năng lực cơ bản của cán bộ đánh giá ở các cấp khác nhau được áp dụng từ năm 2008-cũng có thể góp ích (đường link đến trang web của UNEG ở cuối chương này). Hướng đến Tương lai

523

Hộp 15.2 Các năng lực cần thiết của Cán bộ Đánh giá Chương trình

1.0 1.1 1.2 1.3 1.4 1.5 1.6 2.0 2.1

524

Tác phong chuyên nghiệp Áp dụng các tiêu chuẩn đánh giá chuyên nghiệp Có hành vi hợp đạo đức và đấu tranh cho sự liêm khiết và trung thực khi tiến hành đánh giá Truyền đạt phương pháp và kỹ năng đánh giá cá nhân cho những khách hàng tiềm năng Tôn trọng khách hàng, người trả lời, thành viên tham gia chương trình, và các bên tham gia khác Nghĩ đến lợi ích chung và lợi ích cộng đồng khi thực hành đánh giá Đóng góp cho kiến thức nền tảng của hoạt động đánh giá

2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20

Điều tra hệ thống Có kiến thức nền tảng của đánh giá (thuật ngữ, khái niệm, lý thuyết, giả thiết) Có kiến thức về các phương pháp định lượng Có kiến thức về các phương pháp định tính Có kiến thức về các phương pháp tổng hợp Tiến hành tổng quan tài liệu Cụ thể hóa nguyên lý của chương trình Lên khung câu hỏi đánh giá Phát triển thiết kế đánh giá Xác định các nguồn thông tin Thu thập thông tin Đánh giá tính hợp lệ của dữ liệu Đánh giá độ tin cậy của dữ liệu Xử lý dữ liệu Phân tích dữ liệu Đưa ra ý kiến nhận xét Đưa ra khuyến nghị Trình bày cơ sở đưa ra các quyết định thực hiện trong suốt quá trình đánh giá Báo cáo quy trình và kết quả đánh giá Nhấn mạnh những điểm mạnh và những hạn chế của đánh giá Tiến hành các bước hậu đánh giá

3.0 3.1 3.2 3.3 3.4 3.5

Phân tích bối cảnh Mô tả chương trình Xác định khả năng đánh giá chương trình Xác định lợi ích của các cơ quan tham gia Giải quyết các xung đột Giải quyết các xung đột

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

3.6 3.7 3.8 3.9 3.10 3.11 3.12

Kiểm tra bối cảnh tổ chức đánh giá Phân tích bối cảnh chính trị có liên quan đến đánh giá Chú ý đến các vấn đề sử dụng đánh giá Chú ý đến các vấn đề thay đổi trong tổ chức Tôn trọng đặc thù riêng của địa bàn và khách hàng của hoạt động đánh giá Luôn đón nhận các yếu tố đầu vào từ những người khác Điều chỉnh nghiên cứu nếu cần thiết

4.0 4.1 4.2 4.3 4.4 4.5 4.6 4.7

Quản lý dự án Đáp ứng nhu cầu của các đề xuất Thương lượng với khách hàng trước khi bắt đầu hoạt động đánh giá Soạn quy ước chính thức Trao đổi thông tin với khách hàng trong suốt quá trình đánh giá Dự trù ngân sách của cuộc đánh giá Điều chỉnh chi phí so với nhu cầu thông tin Xác định các nguồn lực cần thiết cho đánh giá, cho thông tin, chuyên môn, nhân lực và công cụ Sử dụng công nghệ thích hợp Giám sát những người tham gia tiến hành đánh giá Đào tạo những người tham gia tiến hành đánh giá Tiến hành đánh giá một cách liên tục Thực hiện công việc theo đúng lịch trình

4.8 4.9 4.10 4.11 4.12 5.0 5.0 5.2 5.3 5.4 5.5 6.0 6.1 6.2 6.3 6.4 6.5 6.6

Tự nâng cao thực hành đánh giá Ý thức về bản thân với tư cách cán bộ đánh giá (kiến thức, kỹ năng, khí chất) Suy nghĩ về cách tiến hành đánh giá của bản thân (năng lực và các lĩnh vực cần phát triển) Tiếp tục phát triển chuyên môn đánh giá Tiếp tục phát triển chuyên môn trong những lĩnh vực có liên quan Xây dựng các mối quan hệ nghề nghiệp để nâng cao thực hành đánh giá Khả năng giao tiếp Sử dụng các kỹ năng trao đổi thông tin bằng văn bản Sử dụng các kỹ năng giap tiếp/nghe nói Sử dụng kỹ năng thuyết phục Sử dụng các kỹ năng hòa giải xung đột Tạo điều kiện xây dựng tương tác cá nhân (hoạt động nhóm, thảo luận nhóm) Thể hiện khả năng thích ứng văn hóa

Nguồn: Stevahn và đồng nghiệp 2005.

Hướng đến Tương lai

525

Một số người tin rằng cộng đồng đánh giá không bao giờ thống nhất được về các khí chất của cán bộ đánh giá, thay vào đó, mỗi tổ chức hoặc đơn vị sẽ phát triển năng lực của cán bộ đánh giá tùy theo tình hình cụ thể của công việc, văn hóa, và truyền thống. Chúng tôi dự đoán các tiêu chí cơ bản được thống nhất trên phạm vi toàn thế giới sẽ được phát triển cho hoạt động đánh giá phát triển. Các tổ chức có thể bổ sung và điều chỉnh các phẩm chất của cán bộ đánh giá, tùy theo công việc, nhưng họ vẫn kỳ vọng giữ những phẩm chất chính yếu. Một ý kiến tranh luận khác cho rằng chỉ có siêu nhân mới có thể có được mọi phẩm chất cần thiết cho mọi đánh giá trong mọi trường hợp. Chắc chắn là sẽ có những yêu cầu bổ sung cho những người chuyên về đánh giá, như chuyên môn về đánh giá xã hội và môi trường. Tuy nhiên, cũng như bác sỹ phẫu thuật não thì được đào tạo y khoa tổng hợp, nhưng bác sỹ tổng hợp thì không được đào tạo phẫu thuật não, điểm cốt lõi vẫn là chuyên môn chính. Cấp chứng chỉ cho Cán bộ Đánh giá Phát triển Có cần thiết có một quy trình để cán bộ đánh giá được cấp chứng chỉ về các kỹ năng và phẩm chất đánh giá được thừa nhận trên toàn thế giới? Việc cấp chứng chỉ này rõ ràng hữu ích đối với các kiểm toán viên, những người được thừa nhận và tôn trọng trên phạm vi quốc tế do có chứng chỉ kế toán công. Một khảo sát mới đây của IDEAS đối với các thành viên của nó cho thấy sự ủng hộ mạnh mẽ đối với việc chuyên nghiệp hóa các phẩm chất, và cuối cùng là sự chứng nhận nghề nghiệp (Morra Imas 2009). Cấp chứng chỉ cho các cán bộ đánh giá có thể cung cấp cơ chế bảo hộ khách hàng để hạn chế các công việc và những người thực hiện không đủ tiêu chuẩn nhưng bịa đặt về chứng chỉ của họ. Đây cũng là một cơ chế phân biệt đánh giá với những hoạt động kiểm toán hoặc do kiểm toán viên thực hiện. Các quan ngại tập trung vào lo ngại rằng việc tạo ra cơ chế có thể là rào cản đối với sự tiếp nhận, đặc biệt trong môi trường mà cầu lớn hơn cung và trong lĩnh vực có áp dụng phương pháp truyền thống là đào tạo và học dựa trên thực tế công việc. Ở đâu chất lượng đánh giá và năng lực cán bộ đánh giá được quan tâm, nhất là do nhu cầu đánh giá ngày càng cao, thì càng có vẻ có sức ép mạnh mẽ đối với các phẩm chất cơ bản của cán bộ đánh giá. Quan điểm của chúng tôi là nếu có bộ tiêu chuẩn phẩm chất cơ bản của cán bộ đánh giá phát triển, thì vấn đề cấp chứng chỉ không còn xa vời nữa. Cuối cùng, những thách thức lớn nhất đối với đánh giá phát triển có thể được biết đến để đặt ra các kỳ vọng thực tế của các hoạt động can thiệp, xây dựng nhu cầu của cộng đồng đối với hoạt động đánh giá ở những quốc gia chưa có truyền thống dân chủ, dung hòa đánh giá dựa trên kết quả với đánh giá có sự tham gia của cộng đồng, và thúc đẩy tư duy đánh giá trong nội bộ các tổ chức. Chúng tôi hy vọng có thể vượt qua được những thách thức này.

526

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Thực hành Chương 15 Bài tập ứng dụng 15.1: Xây dựng năng lực đánh giá Anh/chị (hoặc nhóm của anh/chị) được chính phủ yêu cầu tạo ra kế hoạch chiến lược để nâng cao năng lực đánh giá trong nước mình. Sử dụng các câu hỏi dưới đây để suy nghĩ và chuẩn bị một bản kế hoạch gồm một đến hai trang. 1. Hai hay ba vấn đề phát triển khó khăn nhất cần phải giải quyết trong vòng vài năm tới là gì? 2. Theo hiểu biết của anh/chị, năng lực đánh giá hiện đang có ở nước mình (nguồn cán bộ đánh giá dồi dào, kỹ năng, nguồn lực, cơ sở hạ tầng)? 3. Dựa trên nhu cầu và các vấn đề phát triển hiện nay và trong tương lai, và dựa trên đánh giá của anh/chị về năng lực đánh giá hiện nay, liệt kê sáu động lực có thể nâng cao năng lực đánh giá trong nước. 4. Yếu tố nào quy định nhu cầu đối với hệ thống M&E trong nước anh/chị? 5. Trong chính phủ, bộ phận nào chịu trách giải trình về tính hiệu suất (và hiệu quả) của tình hình thực thi chương trình? 6. Có chiến lược hoặc tổ chức hệ thống hóa (thông qua lệnh hoặc bổ nhiệm) để theo dõi các mục tiêu phát triển trong chính phủ không? 7. Nguồn lực với các kỹ năng cần thiết trong thiết kế và sử dụng hệ thống M&E nằm ở đâu trong đất nước anh/chị? Nguồn lực này (hoặc sự thiếu hụt nguồn lực này) đã đóng góp gì trong việc sử dụng M&E trong nước? 8. Sắp xếp theo thứ tự ưu tiên các nhu cầu của quốc gia theo trình tự cấp thiết, rất quan trọng, quan trọng.

Hướng đến Tương lai

527

Tài liệu Tham khảo AEA (American Evaluation Association). 2008. “Professional Designation for Evaluators in Canada: Where Are We Now?” Session at the annual conference of the American Evaluation Association, Denver, CO, November 5–8. Beywl, W., and K. Harich. 2008. “University-Based Continuing Education in Evaluation: The Baseline in Europe.” Evaluation 13 (1): 121–34. Boyle, Richard. 1999. “Professionalizing the Evaluation Function: Human Resource Development and the Building of Evaluation Capacity.” In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 135-51. New Brunswick, NJ: Transaction Publishers. Boyle, Richard, and Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, NJ: Transaction Publishers. Dewey, J. D., B. E. Montrosse, D. C. Schroter, C. D. Sullins, and J. R. Mattox II. 2008. “Evaluator Competencies: What’s Taught versus What’s Sought.” American Journal of Evaluation 29 (3): 268–87. Ghere, G., J. A. King, L. Stevahn, and J. Minnema. 2006. “A Professional Development Unit for Reflecting on Program Evaluator Competencies.” American Journal of Evaluation, 27 (1): 108–23. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Mackay, Keith. 2007. How to Build M&E Systems to Support Better Government. World Bank, Independent Evaluation Group, Washington, DC. http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf. McDonald, K. E., and S. E. Myrick. 2008. “Principles, Promises, and a Personal Plea: What Is an Evaluator to Do?” American Journal of Evaluation 29 (3): 343–51. Morra Imas, Linda. 2009. “The Competencies and Credentials Debate in Evaluation: What Is It all About?” Presentation to the International Development Evaluation Association’s Global Assembly, Johannesburg, March. Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.” Canadian Journal of Program Evaluation (Special Issue): 137–54. Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evaluative Systems. Piscataway, NJ: Transaction Publishers. Schaumberg-Müller, Henrik. 1996. Evaluation Capacity Building: Donor Support and Experiences. Copenhagen: Organisation for Economic Co-operation and Development. http://www.oecd.org/dataoecd/20/52/16546669.pdf. Sonnichsen, Richard C. 1999. “Building Evaluation Capacity within Organizations.” In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 53–73. New Brunswick, NJ: Transaction Publishers. Stevahn, Laurie, Jean A. King, Gail Ghere, and Jane Minnema. 2005. “Establishing Essential Competencies for Program Evaluators.” American Journal of Evaluation 26 (1): 43–59.

528

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Toulemonde, Jacques. 1999. “Incentives, Constraints, and Culture-Building as Instruments for Development of Evaluation Demand.” In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 153–68. New Brunswick, NJ: Transaction Publishers. Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evaluation. Final report. http://www.tbs-sct.gc.ca/eval/dev/Professionalism/profession_e.asp. World Bank. 1999. Evaluation Capacity Development: A Diagnostic Guide and Action Framework. ECD Working Paper 6, Operations Evaluation Department, Washington, DC. ———. 2006. Diagnostic Guides. Washington, DC. http://www.worldbank.org/ieg/ecd/diagnostic_guides.html.

Trang Web Campbell, Patricia B., and Beatriz Chu Clewell. 2008. Building Evaluation Capacity: Designing a Cross-Project Evaluation. Guide I. Urban Institute, Washington, DC. http:// www.uquebec.ca/observgo/fichiers/43799_GRA-1a.pdf. ———. 2008. Building Evaluation Capacity: Collecting and Using Data in Cross-Project Evaluations. Guide II. Urban Institute, Washington, DC. http://www.uquebec.ca/observgo/fichiers/42773_GRA-1b.pdf. Canadian Evaluation Society. www.evaluationcanada.ca. ———. Professional Designation Project. http://www.evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN. UNEG (United Nations Evaluation Group).2004a. Evaluation Capacity Development: A Strategy Paper. http://cfapp1-docs-public.undp.org/eo/evaldocs1/uneg_2006/ eo_doc_350011048.doc. ———. 2004b. Evaluation Capacity Development Task Force: Highlights. http://cfapp1docs-public.undp.org/eo/evaldocs1/uneg_2006/eo_doc_562044935.doc. Weiss, Carol. Evaluating Capacity Development: Experiences from Research and Development Organizations around the World. http://www.agricta.org/pubs/isnar2/ECDbood(H-ch7).pdf.

Hướng đến Tương lai

529

PHỤ LỤC

Nhận định về hợp tác phát triển của mạng lưới đánh giá phát triển OECD DAC: Tóm tắt qui tắc và tiêu chuẩn chính Mục lục Giới thiệu

534

Định nghĩa đánh giá

535

Mở rộng các Qui tắc và Chỉ tiêu Đánh giá

535

PhầnI: Các nguyên tắc Đánh giá Hỗ trợ phát triển của DAC Tổng lược các Nguyên tắc Đánh giá Hỗ trợ phát triển của DAC

540

Phần II: Tiêu chí Đánh giá

541

Phần III: Các hệ thống Đánh giá và Việc sử dụng: Công cụ thực hiện Bình duyệt và Đánh giá

543

Phần IV: Các tiêu chuẩn chất lượng về Đánh giá của DAC

546

Phần V: Tài liệu hướng dẫn

551

533

Mạng lưới Đánh giá Phát triển của DAC là một cơ chế bổ trợ cho DAC (Ủy ban Hỗ trợ Phát triển). Mục đích của nó là tăng tính hiệu quả của các chương trình phát triển quốc tế bằng cách hỗ trợ việc đánh giá độc lập, cung cấp đủ thông tin và xác đáng. Mạng lưới là một cơ quan đồng nhất, có sự tham gia của cả 30 bên song phương và các cơ quan phát triển đa phương như Úc, Áo, Bỉ, Ca-na-đa, Đan Mạch, Ủy ban Châu Âu, Phần Lan, Pháp, Đức, Hy Lạp, Ai Len, Ý, Nhật Bản, Luxembourg, Hà Lan, Niu-di-lân, Na Uy, Bồ Đào Nha, Tây Ban Nha, Thụy Điển, Thụy Sĩ, Vương quốc Anh, Mỹ, Ngân hàng Thế giới, Ngân hàng Phát triển Châu Á, Ngân hàng Phát triển Châu Phi, Ngân hàng Phát triển Bắc-Nam Mỹ, Ngân hàng Tái thiết và Phát triển Châu Âu, UNDP và IMF.

Giới thiệu Mạng lưới Đánh giá Phát triển của DAC là một diễn đàn tập hợp những quản đốc và chuyên gia đánh giá từ các cơ quan hợp tác phát triển thuộc các nước thành viên của OECD và các tổ chức phát triển đa phương. Mục đích của nó là để tăng tính hiệu quả của các chương trình phát triển quốc gia thông qua hỗ trợ đánh giá độc lập, cung cấp đầy đủ thông tin và xác đáng. Mạng lưới là cơ quan bổ trợ cho Ủy ban Hỗ trợ Phát triển (DAC) của OECD. Nội dung chính trong nhiệm vụ của Mạng lưới là phát triển các quy tắc và tiêu chuẩn đánh giá phát triển đã được thống nhất bởi các nước. Những chính sách, thực tiễn và đóng góp vào các cách tiếp cận hài hòa với những cam kết trong Tuyên bố Pari về Hiệu quả của Hỗ trợ. Nội dung của các qui tắc và tiêu chuẩn dựa trên kinh nghiệm và phát triển theo thời gian để phù hợp với môi trường hỗ trợ thay đổi. Các qui tắc và tiêu chuẩn cung cấp tài liệu tham khảo quốc tế, hướng dẫn nỗ lực cải thiện các kết quả phát triển thông qua đánh giá có chất lượng cao. Các qui tắc và tiêu chuẩn được tóm tắt ở đây cần được áp dụng trên cơ sở nắm vững nội dung của chúng và điều chỉnh thận trọng cho phù hợp với mục tiêu và bối cảnh của mỗi đánh giá. Tài liệu tóm tắt này không phải là tài liệu đánh giá đầy đủ nên người đọc được khuyến khích tham khảo những phần nội dung đầy đủ ở trang web của Mạng lưới Đánh giá Phát triển của DAC: www.oecd.org/dac/evaluationnetwork.

534

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Định nghĩa Đánh giá Đánh giá là việc xem xét có mục đích và hệ thống một dự án, chương trình hoặc chính sách, thiết kế và thực hiện và kết quả dự án, chương trình hoặc chính sách đang được tiến hành hoặc đã được thực hiện xong Mục đích là để xác định sự thích hợp và hoàn thành các mục tiêu, hiệu quả phát triển, tác động và tính bền vững. Đánh giá cần cung cấp thông tin xác thực và hữu ích, cho phép tổng hợp các bài học kinh nghiệm vào quá trình ra quyết định của cả bên nhận và cho tài trợ. Đánh giá cũng đề cập đến quá trình xác định giá trị và ý nghĩa của một hoạt động, chính sách hoặc chương trình.

Định nghĩa trên đây và những định nghĩa quan trọng khác có thể tìm đọc trong Từ điển các thuật ngữ quan trọng trong Đánh giá và Quản lý dựa trên Kết quả. Từ điển này là công cụ phát triển năng lực hữu ích, có thể giúp chia sẻ kiến thức về các quan niệm đánh giá cơ bản. Từ điển của DAC có sẵn ở các thứ tiếng Ả rập, Trung Quốc, Hà Lan, Anh, Pháp, Ý, Nhật, Kiswahili, Bồ Đào Nha, Nga, Tây Ban Nha, Thụy Điển và Thổ Nhĩ Kỳ.

Phát triển các Qui tắc và Tiêu chuẩn Đánh giá Một bộ các nguyên tắc đánh giá hỗ trợ phát triển quan trọng (được tóm tắt ở Phần 1) đã được thông qua bởi DAC của OECD năm 1991 và là trung tâm của cách tiếp cận đánh giá của Mạng lưới Đánh giá. Những nguyên tắc tập trung vào những dàn xếp về tổ chức và quản lý của hệ thống đánh giá trong những cơ quan phát triển. Trong tổng lược các nguyên tắc đánh giá năm 1998, hầu hết các thành viên của DAC đều tường trình đã tiến bộ trong thực hiện những nguyên tắc cốt lõi và nhận thấy những nguyên tắc này hữu ích và xác đáng. Những nguyên tắc đánh giá cơ bản không chỉ là tiêu chuẩn chủ yếu của đánh giá phát triển mà còn cung cấp cơ sở cho Bình duyệt của DAC – cơ chế duy nhất được thống nhất quốc tế để đánh giá việc thực hiện những chương trình hợp tác phát triển của các thành viên DAC thuộc OECD. Tuy nhiên tổng lược này cũng nhấn mạnh những lĩnh vực đòi hỏi điều chỉnh hoặc hướng dẫn thêm, thiết lập giai đoạn phát triển xa hơn nữa.

Tóm tắt Qui tắc và Tiêu chuẩn chính

535

Các tiêu chuẩn đánh giá hỗ trợ phát triển của DAC (chi tiết trong Phần II) được dựa trên những nguyên tắc đánh giá và được dùng như hướng dẫn chung các biện pháp có thể áp dụng và hữu ích để đánh giá công tác phát triển. Một phân tích chi tiết các chính sách và thực tiễn đánh giá của thành viên tiến hành năm 2006 dựa trên tổng lược các bài bình duyệt thực hiện trong vòng 8 năm, đã dẫn đến sự phát triển của Hệ thống Đánh giá và việc Sử dụng: Công cụ thực hiện Bình duyệt và Đánh giá (Phần III). Tài liệu này cung cấp những yếu tố chính của một đánh giá tốt của các cơ quan phát triển và được sử dụng để đề xuất việc thực hiện các nguyên tắc. Bước tiến gần đây nhất về phát triển khung tiêu chuẩn là định nghĩa các tiêu chuẩn chất lượng của đánh giá (trình bày dạng bản thảo ở Phần IV). Những tiêu chuẩn này hướng dẫn quá trình và sản phẩm đánh giá, được hoàn thiện trong năm2009-1010 sau giai đoạn thử nghiệm 3 năm. Bên cạnh những qui tắc và tiêu chuẩn chung này, các thành viên DAC của OECD còn nhìn nhận nhu cầu được hướng dẫn cụ thể ở những phần cụ thể của đánh giá phát triển. Dựa trên những kinh nghiệm đánh giá và nội dung mô tả ở trên, tài liệu hướng dẫn cho một số nội dung đã được phát triển. Phần quan trọng nhất của những tài liệu hướng dẫn này được trình bày ở Phần V.

Phần I: Các nguyên tắc Đánh giá Hỗ trợ Phát triển của DAC Được công nhận tại Hội nghi cấp cao DAC của OECD năm 1991, các nguyên tắc đánh giá được xuất bản năm 1992 như một nội dung trong cuốn Những nguyên tắc Hỗ trợ Hiệu quả. Tổng quan những phần chính trong tài liệu gốc được trình bày dưới đây.

I. Thông điệp chính Các nguyên tắc hướng dẫn vai trò của đánh giá hỗ trợ trong quá trình quản lý hỗ trợ với những thông điệp chủ yếu sau: • Cơ quan hỗ trợ cần có chính sách đánh giá với nguyên tắc chỉ đạo và phương pháp được xác định rõ và với định nghĩa rõ ràng về vai trò và trách nhiệm cũng như tầm quan trọng của đánh giá trong kết cấu tổ chức của hỗ trợ • Quá trình đánh giá cần vô tư và độc lập với quá trình liên quan đến ra quyết định và việc cung cấp và quản lý hỗ trợ phát triển. • Quá trình đánh giá phải công khai hết mức có thể với kết quả được công bố rộng rãi.

536

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Phải sử dụng nếu các đánh giá là hữu ích. Phản hồi với cả người hoạch định chính sách và cán bộ thực hiện là cần thiết. • Tham gia vào hợp tác giữa bên nhận và bên cho trong đánh giá hỗ trợ đều cần thiết như nhau; đó là phương diện quan trọng trong thiết lập thể chế của bên nhận và hợp tác hỗ trợ của bên cho và có thể giảm gánh nặng hành chính đối với bên nhận. • Đánh giá hỗ trợ và những yêu cầu của đánh giá phải là một phần xuyên suốt của việc lập kế hoạch hỗ trợ từ ban đầu. Xác định rõ những mục tiêu mà một hoạt động hỗ trợ hướng đến là một tiền đề quan trọng để đánh giá mục tiêu. (Đoạn 4)

II. Mục đích của Đánh giá Những mục đích chính của đánh giá bao gồm: • cải thiện chính sách, chương trình và dự án hỗ trợ trong tương lai thông qua các phản hồi từ những bài học kinh nghiệm; • tạo cơ sở cho tính giải trình, bao gồm việc cung cấp thông tin cho công chúng. Thông qua việc đánh giá những thất bại cũng như thành công, nếu phản hồi hợp lý, những thông tin quí giá thu thập được có thể cải thiện được các chương trình và chính sách hỗ trợ trong tương lai. (Đoạn 6)

III. Sự Công minh và Độc lập Quá trình đánh giá cần công minh và độc lập với quá trình liên quan đến việc ra quyết định và việc cung cấp cũng như quản lý hỗ trợ phát triển. (Đoạn 11) Sự công minh góp phần tăng uy tín của đánh giá và tránh thiên lệch trong các phát hiện, phân tích và kết luận. Sự độc lập mang lại tính hợp pháp cho đánh giá và giảm khả năng xung đột lợi ích có thể phát sinh nếu chỉ có những người hoạch định chính sách và quản đốc chịu trách nhiệm đánh giá hoạt động của họ. (Đoạn 12) Sự công minh và độc lập đạt được ở mức cao nhất bằng việc chia tách chức năng đánh giá với quản lý ngang cấp về lập kế hoạch và quản lý hỗ trợ phát triển. Điều này đạt được bằng cách thiết lập một đơn vị trung ương chịu trách nhiệm báo cáo đánh giá trực tiếp với bộ trưởng hoặc một cơ quan đầu não chịu trách nhiệm về hỗ trợ phát triển, hoặc với ban giám đốc hoặc chủ một tổ chức. Trong phạm vi mà chức năng đánh giá gắn với quản lý ngang cấp, đánh giá cần được báo cáo cho đơn vị trung ương hoặc cho một cấu trúc quả lý cấp

Tóm tắt Qui tắc và Tiêu chuẩn chính

537

cao hoặc cho hội đồng quản lý chịu trách nhiệm ra các quyết định về chương trình. Trong trường hợp như vậy, mọi nỗ lực cần được thực hiện để tránh thỏa hiệp quá trình và kết quả đánh giá. Cho dù có lựa chọn cách tiếp cận nào thì những dàn xếp về tổ chức và tiến trình cũng phải tạo điều kiện thuận lợi cho việc kết nối các phát hiện đánh giá với việc thiết lập chương trình và hoạch định chính sách. (Đoạn 16)

IV. Độ tin cậy Uy tín của đánh giá phụ thuộc vào chuyên môn và sự độc lập của những người đánh giá và mức độ minh bạch của quá trình đánh giá. Uy tín đòi hỏi đánh giá cần tường trình những thành công cũng như thất bại. Các nước nhận hỗ trợ cần tham gia đầy đủ vào đánh giá để tăng uy tín và cam kết. (Đoạn 18) Tính minh bạch của quá trình đánh giá rất quan trọng uy tín và tính hợp pháp . . . (Đoạn 20)

V. Tính hữu ích Để tác động đến việc ra quyết định, những phát hiện đánh giá phải được nhận thức là xác đáng và hữu ích và được thể hiện chính xác và rõ ràng. Những phát hiện thể hiện đầy đủ những quan tâm và nhu cầu của các bên có liên quan trong hợp tác phát triển. Tính dễ tiếp cận cũng quan trọng để đạt được ích lợi của đánh giá . . . (Đoạn 21) Những đánh giá phải đúng lúc theo nghĩa là chúng có sẵn tại thời điểm thích hợp cho quá trình ra quyết định. Điều này cho thấy rằng đánh giá có vai trò quan trọng tại các giai đoạn khác nhau trong suốt quá trình thực hiện một dự án hoặc chương trình và không nên chỉ tiến hành sau khi xảy ra sự kiện. Việc giám sát các hoạt động trong khi tiến hành là trách nhiệm của cán bộ thực hiện. Việc cung cấp đánh giá bởi những cán bộ đánh giá trong kế hoạch hoạt động cấu thành phần bổ sung cho giám sát thường xuyên. (Đoạn 22)

VI. Sự tham gia của các bên cho và nhận tài trợ . . . bất cứ khi nào có thể, cả bên cho và nhận tài trợ đều cần tham gia vào quá trình đánh giá. Vì những phát hiện đánh giá thích hợp với cả hai bên, các điều khoản tham chiếu của đánh giá cần bao hàm những ván đề quan tâm của mỗi bên, và đánh giá cần phản ánh cách nhìn nhận của họ về hiệu quả và tác động của các hoạt động được quan tâm. Nguyên tắc bảo đảm tính công minh và độc lập suốt quá trình đánh giá cần được áp dụng như nhau đối với cả bên cho và nhận. Sự tham gia và công minh giúp tăng chất

538

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

lượng đánh giá, chính điều này có ý nghĩa quan trọng sự bền vững trong dài hạn bên nhận chỉ chịu trách nhiệm sau khi bên cho hêt trách nhiệm. (Đoạn 23) Bất cứ khi nào thích hợp, cách nhìn nhận và chuyên môn của nhóm bị ảnh hưởng cần được thiết lập như là một phần xuyên suốt của đánh giá. (Đoạn 24) Sự tham gia của cả hai bên tạo cơ hội cho việc học và làm và sẽ củng cố kỹ năng và năng lực của các nước nhận, một mục tiêu quan trọng có thể được đề xướng trong đào tạo và các hỗ trợ khác cho phát triển quản lý và về tổ chức. (Đoạn 25)

VII. Hợp tác các bên tài trợ Sự cộng tác giữa các bên tài trợ là cần thiết để học hỏi lẫn nhau và tránh lặp lại các nỗ lực không cần thiết. Sự cộng tác các bên tài trợ cần được khuyến khích để phát triển các phương pháp đánh giá, chia sẻ các báo cáo và thông tin, và cải thiện tiếp cận các phát hiện đánh giá. Đánh giá chung của các bên tài trợ cần được thúc đẩy để cải thiện hiểu biết về các cách tiếp cận và tiến trình thực hiện của mỗi bên và để giảm gánh nặng hành chính cho người nhận. Để tạo điều kiện thuận lợi cho việc lập kế hoạch đánh giá chung, các bên tài trợ cần trao đổi kế hoạch đánh giá một cách có hệ thống và tiến nhanh đến thực hiện đánh giá. (Đoạn 26)

VIII. Lập chương trình đánh giá Cơ quan cần xây dựng kế hoạch tổng thể để đánh giá các hoạt động hỗ trợ phát triển. Trong khi xây dựng kế hoạch này, những hoạt động khác nhau cần đánh giá phải được sắp xếp phân loại thích hợp. Cần ưu tiên cho đánh giá theo phân loại và lập thời gian biểu cho đánh giá. (Đoạn 27) Các cơ quan hỗ trợ không làm như vậy cần xây dựng hướng dẫn và/hoặc tiêu chuẩn cho quá trình đánh giá. Những tiêu chuẩn này hướng dẫn và xác định những yêu cầu tối thiểu cho thực hiện các đánh giá và báo cáo. (Đoạn 31)

IX. Thiết kế và Thực hiện các Đánh giá Mỗi đánh giá phải được lập kế hoạch và điều khoản tham chiếu được chuẩn bị để: • xác định mục tiêu và phạm vi của đánh giá, bao gồm nhận diện bên nhận các phát hiện; ; • mô tả các phương pháp sử dụng suốt quá trình đánh giá;

Tóm tắt Qui tắc và Tiêu chuẩn chính

539

• xác định các tiêu chuẩn dựa trên đó việc hiện dự án/chương trình được đánh giá; • xác định các nguồn lực và thời gian cần thiết để hoàn thành đánh giá. (Đoạn 32) Cũng cần thiết phải định nghĩa những câu hỏi sẽ được trả lời bởi đánh giá – những câu hỏi này thường được đề cập đến như những “vấn đề” của đánh giá. Những vấn đề này cung cấp cho khung quản lý quá trình và cơ sở đánh giá để có một loạt các kết luận và khuyến nghị. . . (Đoạn 35)

X. Phổ biến kết quả và Nhận phản hồi Báo cáo kết quả cần rõ ràng và hạn chế hết mức có thể ngôn ngữ kỹ thuật và phải bao gồm tóm tắt chi tiết; hồ sơ các hoạt động được đánh giá; bản mô tả các phương pháp đánh giá được sử dụng; những phát hiện chính; bài học kinh nghiệm; kết luận và khuyến nghị (có thể tách riêng ra khỏi báo cáo). (Đoạn 39) Phản hồi là phần quan trọng trong quá trình đánh giá vì nó cho thấy mối liên hệ giữa các hoạt động trong quá khứ và tương lai. Để đảm bảo rằng các kết quả của đánh giá được tận dụng trong chính sách sau này và trong phát triển chương trình, việc thiết lập cơ chế phản hồi liên quan đến cả hai bên được quan tâm là cần thiết. Những phản hồi có thể bao gồm những biện pháp như hội đồng, hội thảo, semina, hệ thống tự động hóa, báo cáo và tiến trình theo dõi. Những giải pháp không chính thức như thành lập mạng lưới và trao đổi thông tin nội bộ cũng có thể cho phép phổ biến các ý tưởng và thông tin. Để quá trình phản hồi hiệu quả, thì các cán bộ và nguồn ngân sách cũng như hỗ trợ của bộ máy quản lý cấp cao cũng như các bên cần phải tham gia vào quá trình. (Đoạn 42)

Tổng lược các Nguyên tắc Đánh giá Hỗ trợ Phát triển Của DAC Năm 1998, các thành viên Nhóm công tác về Đánh giá hỗ trợ (nay là Mạng lưới Đánh giá hỗ trợ của DAC) đã hoàn thành bài tổng lược các kinh nghiệm đã có khi áp dụng Các Nguyên tắc Đánh giá Hỗ trợ Phát triển của DAC. Mục đích là để kiểm tra việc thực hiện và sử dụng các nguyên tắc để đánh giá tác động, ích lợi và sự thích hợp và để đưa ra các khuyến nghị. Phần trích dưới đây thể hiện những nỗ lực đang diến tra để thực hiện các nguyên tắc và chỉ ra hướng đến một số công việc sau đó được trình bày trong các phần II-V của tài liệu này. Nội dung đầy đủ bao gồm các phát hiện chi tiết và các khuyến nghị thêm từ những người đánh giá và sử dụng.

540

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Bài tổng lược đã cho thấy đánh giá trong hợp tác phát triển đang phát triển và thay đổi trọng tâm. Phần lớn các thành viên của Mạng lưới cải tổ lại văn phòng đánh giá trung ương của họ để gán cho bộ phận này một vai trò mới việc đặt trọng tâm vào hiệu quả hỗ trợ. Ngoài ra các văn phòng đánh giá trung ương đã chuyển từ đánh giá dự án truyền thống sang đánh giá hỗ trợ chương trình, ngành, chủ đề và quốc gia. Ở các nước OECD, lợi ích trong nước về các kết quả của hỗ trợ phát triển đã tăng lên. Người ta đã ghi nhận được lợi ích lớn hơn đến đánh giá phân quyền và có bằng chứng cho thấy đánh giá ở các nước đang phát triển bắt đầu bén rễ. Hầu hết các thành viên đều tường trình rằng họ đã đạt sự nhất trí cao với phần lớn Những nguyên tắc Đánh giá Hỗ trợ Phát triển của DAC. Họ cũng thừa nhận rằng những nguyên tắc này hữu dụng và xác thực trong việc dẫn dắt công việc của họ và trong một số trường hợp, trong việc cải tổ các văn phòng đánh giá của họ. Dựa trên những kết quả này, có thể kết luận là những nguyên tắc vẫn có giá trị và hợp lý. Tuy nhiên, họ cũng nhận ra rằng những nguyên tắc cần được hoàn thiện và củng cố với hướng dẫn cho một số lĩnh vực chủ yếu (ví dụ như thực tiễn tốt hoặc tốt nhất). Hướng dẫn bao gồm các cách để giải quyết hiệu quả sự đánh đổi giữa tính độc lập và sự tham gia cần có để đạt được sự hợp tác; cải thiện thực tiễn phản hồi và trao đổi thông tin; nâng cao văn hóa đánh giá; thực hiện chương trình quốc gia và đánh giá chung; nâng cao hợp tác; và đánh giá hỗ trợ theo chủ nghĩa nhân đạo.

Phần II: Tiêu chí đánh giá Khi đánh giá các chương trình và dự án hợp tác phát triển, việc xem xét các tiêu chuẩn sau, như đã trình bày trong Những nguyên tắc Đánh giá Hỗ trợ Phát triển, là hữu ích.

Sự xác đáng Mức độ một hoạt động hỗ trợ thích hợp với các ưu tiên và chính sách của nhóm mục tiêu, bên nhận và cho. Khi đánh giá sự xác đáng của một chương trình hoặc một dự án, xem xét những câu hỏi sau là hữu dụng: • Ở mức độ nào những mục tiêu của chương trình vẫn còn phát huy tác dụng? • Các hoạt động và đầu ra của chương trình có nhất quán với mục tiêu chung và việc đạt được các mục tiêu không?

Tóm tắt Qui tắc và Tiêu chuẩn chính

541

• Các hoạt động và đầu ra của chương trình có nhất quán với các tác động và ảnh hưởng mong muốn không?

Sự hiệu quả Thước đo mức độ một hoạt động hỗ trợ đạt được các mục tiêu của nó. Khi đánh giá hiệu quả của một chương trình hoặc dự án, việc xem xét những câu hỏi sau là hữu ích: • Các mục tiêu đạt được/ có khả năng đạt được tới mức độ nào? • Những nhân tố chính ảnh hưởng đến việc đạt hoặc không đạt được các mục tiêu là gì?

Hiệu suất Hiệu suất đo các đầu ra – định tính và định lượng – trong mối quan hệ với đầu vào. Đây là một thuật ngữ kinh tế được dùng để đánh giá mức độ một hỗ trợ sử dụng những nguồn lực ít tốn kém nhất để đạt được các kết quả mong muốn. Hiệu suất yêu cầu so sánh các cách tiếp cận thay thế để đạt được cùng các đầu ra, để biết liệu quá trình có hiệu suất cao nhất đã được chọn hay không? Khi đánh giá hiệu suất của một chương trình hoặc dự án, việc xem xét những câu hỏi sau đây là hữu ích: • Các hoạt động có hiệu suất về mặt chi phí? • Có đạt được mục tiêu đúng hạn không? • Chương trình hoặc dự án được thực hiện theo cách có hiệu suất cao nhất so với các cách khác không?

Tác động Những thay đổi tích cực và tiêu cực tạo ra do can thiệp phát triển một cách trực tiếp hay gián tiếp, theo mong muốn hay không. Thay đổi bao gồm các tác động và ảnh hưởng bắt nguồn từ hoạt động xã hội, kinh tế, môi trường và các chỉ số phát triển khác. Việc kiểm tra cần được xem xét với cả các kết quả mong muốn và không mong muốn và cũng phải tính đến cả tác động tích cực và tiêu cực của các yếu tố bên ngoài như những thay đổi về điều kiện thương mại và tài chính. Khi đánh giá tác động của một chương trình hoặc dự án, việc xem xét các câu hỏi sau là hữu ích:

542

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

• Điều gì đã xảy ra bắt nguồn từ chương trình hoặc dự án? • Hoạt động đã tạo nên khác biệt thực sự gì cho những người hưởng lợi? • Bao nhiêu người bị ảnh hưởng?

Sự bền vững Sự bền vững liên quan đến việc xác định liệu những lợi ích của một hoạt động có thể tiếp tục sau khi bên cho không cung cấp nguồn tài chính nữa hay không? Các dự án cần phải bền vững về mặt tài chính lẫn môi trường. Khi đánh giá sự bền vững của một chương trình hoặc dự án, việc xem xét những câu hỏi sau là hữu ích: • Các lợi ích của một chương trình hoặc dự án tiếp tục ở mức độ nào sau khi bên tài trợ dừng cung cấp nguồn lực tài chính? • Những yếu tố chính ảnh hưởng đến việc đạt hoặc không đạt được sự bền vững của một chương trình hoặc dự án là gì?

Phần III: Hệ thống Đánh giá và việc Sử dụng: Công cụ Thực hiện Bình duyệt và Đánh giá Khung này được xây dựng tháng 3/2006, dựa trên cơ sở phân tích chi tiết các báo cáo bình duyệt thực hiện trong khoảng thời gian 8 năm. Khung được thiết kế để củng cố chức năng đánh giá và nâng cao tính minh bạch và giải trình trong các cơ quan phát triển. Khung được phát triển dựa trên sự xem xét các báo cáo bình duyệt và để trở thành một công cụ quản lý nhằm cải thiện thực tiễn đánh giá trong các cơ quan hỗ trợ. Đây là một công cụ “sống”, theo nghĩa là được cập nhật theo kinh nghiệm.

1. Chính sách đánh giá: vai trò, nhiệm vụ và các mục tiêu của đơn vị đánh giá • Bộ hoặc cơ quan hỗ trợ có chính sách đánh giá nào không? • Chính sách có mô tả vai trò, cơ cấu và vị trí quản lý của đơn vị đánh giá trong cơ cấu hỗ trợ của tổ chức không? • Chức năng đánh giá có bao phủ toàn bộ chương trình hợp tác phát triển không? • Theo chính sách, đánh giá đóng góp như thế nào vào hiểu biết và tính giải trình của tổ chức? • Mối quan hệ giữa đánh già và kiểm toán được quan niệm như thế nào trong cơ quan?

Tóm tắt Qui tắc và Tiêu chuẩn chính

543

• Ở các nước có hai hoặc nhiều hơn các cơ quan hỗ trợ, vai trò của các đơn vị đánh giá tương ứng được xác định và phối hợp như thế nào? ➤ Chính sách đánh giá có được nhận thức và thực hiện đúng mức trong cơ quan hỗ trợ không? 2. Sự công minh, minh bạch và độc lập • Đơn vị đánh giá và quá trình đánh giá độc lập với quản lý ngang cấp đến mức độ nào? • Các động lực chính thức và thực sự nào bảo đảm/hạn chế sự độc lập của đơn vị đánh giá? • Kinh nghiệm của đơn vị đánh giá trong việc nêu rõ thành công và thất bại của các chương trình hỗ trợ và quá trình thực hiện chúng là gì? • Quá trình đánh giá có đủ minh bạch để bảo đảm uy tín và tính hợp pháp của nó không? Những phát hiện đánh giá có được công khai nhất quán không? • Sự cân bằng giữa độc lập và nhu cầu tương tác với quản lý ngang cấp sẽ được giải quyết như thế nào bằng hệ thống? ➤ Quá trình đánh giá và các báo cáo có được những người không là người đánh giá phải trong và ngoài cơ quan thừa nhận là minh bạc? 3. Các nguồn lực và cán bộ • Đánh giá có được hỗ trợ đúng mức bằng các nguồn lực cán bộ và tài chính không? • Đơn vị đánh giá có ngân sách dồi dào không? Là ngân sách hàng năm hoặc nhiều năm? Ngân sách có dành cho các hoạt động hướng đến việc tăng cường phản hồi và sử dụng đánh giá và quản lý kiến thức về đánh giá? • Các bộ có chuyên môn cụ thể trong đánh giá không, và nếu không thì có chương trình đào tạo nào được bố trí không? • Có chính sách về tuyển các tư vấn theo chuyên môn, sự công minh và đạo lý không? 4. Tham gia đánh giá chung và xây dựng năng lực • Những người hưởng lợi tham gia vào quá trình đánh giá đến mức độ nào? • Cơ quan dựa vào những người đánh giá địa phương hoặc, khi không thể, dựa vào người đánh giá của bên thứ ba từ các nước đối tác đến mức độ nào? • Cơ quan có cam kết các đánh giá chủ trì bởi đối tác không? • Đơn vị có hỗ trợ các chương trình đào tạo và xây dựng năng lực ở các nước đối tác không?

544

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

➤ Các đối tác/người hưởng lợi/NGOs trong nước nhận thức các quá trình đánh giá và sản phẩm tạo ra bởi cơ quan/nước về chất lượng, sự độc lập, mục tiêu, hữu ích và định hướng hội? 5. Chất lượng • Đơn vị đánh giá bảo đảm chất lượng đánh giá như thế nào (bao gồm các báo cáo và quá trình)? • Cơ quan có hướng dẫn tiến hành đánh giá và hướng dẫn này có được các bên có liên quan sử dụng không? • Cơ quan có phát triển/thừa nhận các tiêu chuẩn/cột mốc để đánh giá và nâng cao chất lượng của các báo cáo đánh giá/ ➤ Chất lượng các sản phẩm của / quá trình được nhận thức trong cơ quan như thế nào? 6. Planning, coordination and harmonisation • Cơ quan có kế hoạch đánh giá nhiều năm, mô tả các đánh giá trong tương lai theo bảng đã được xác định? • Kế hoạch đánh giá được xây dựng như thế nào? Ai trong cơ quan hỗ trợ xác định các ưu tiên và như thế nào? • Đối với các nước thành viên DAC là nơi trách nhiệm vốn ODA được chỉ sẻ giữa hai hoặc nhiều hơn hai cơ quan, chức năng đánh giá được sắp xếp như thế nào? • Đơn vị đánh giá có phối hợp với các hoạt động đánh giá của họ với các bên tài trợ khác không? • Các hoạt động đánh giá được điều phối như thế nào? Thẩm quyền đánh giá được phân quyền hay tập trung? • Đơn vị đánh giá có cam kết các đánh giá chung phối hợp giữa hai/ nhiều nhà tài trợ không? • Đơn vị đánh giá/cơ quan hỗ trợ có thể tận dụng các thông tin đánh giá của các tổ chức tài trợ khác không? • Cơ quan đánh giá hiệu quả đóng góp của mình cho các tổ chức đa phương bằng cách nào? Cơ quan dựa vào các hệ thống đánh giá của các cơ quan đa phương đến mức độ nào? 7. Phổ biến, phản hồi, quản lý và học hỏi kiến thức và kiến thức • Các phát hiện đánh giá được phổ biến như thế nào? Ngoài báo cáo, những công cụ trao đổi thông tin khác có được sử dụng không? (Phát hành báo chí, hội thảo báo chí, tóm tắt, báo cáo thường niên trình bày tóm tắt các phát hiện)? • Cơ chế nào được sử dụng để bảo đảm phản hồi cho kết quả đánh giá đến được các nhà hoạch định chính sách, cán bộ thực hiện và công chúng? • Cơ chế nào được sử dụng để đảm bảo kiến thức từ đánh giá có thể tiếp cận được bởi các cán bộ và các bên có liên quan? Tóm tắt Qui tắc và Tiêu chuẩn chính

545

➤ Đánh giá có được cán bộ của cơ quan xem là một “công cụ kiến thức” không? 8. Sử dụng đánh giá • Người sử dụng chính của các đánh giá trong và ngoài cơ quan là ai? • Đánh giá có đáp ứng với nhu cầu thông tin thể hiện bởi quốc hội, cơ quan kiểm toán, chính phủ và công chúng không? • Những hệ thống sử dụng có đảm bảo cho các bước tiếp theo và thực hiện các phát hiện và khuyến nghị của đánh giá không? • Cơ quan hỗ trợ/bộ có khuyến khích các bước tiếp theo sau phát hiện từ các bên có liên quan (ví dụ thông qua các nhóm chỉ đạo, ban cố vấn và nhóm thử phản ứng) không? • Các khâu liên hệ với quá trình hoạch định chính sách có được đảm bảo sẽ thúc đẩy việc sử dụng đánh giá trong thiết lập chính sách không? • Có những ví dụ nào gần đây về những thay đổi chính sách và thực hiện quan trọng do các phát hiện và khuyến nghị của đánh giá không? • Có những ví dụ nào cho thấy đánh giá được dùng như cơ chế giải trình không? ➤ Nhận thức của những tác nhân không phải là người đánh giá (các sở hoạt động và chính sách, văn phòng chuyên trách,… về tính hữu ích và ảnh hưởng của đánh giá?

Phần IV: Các Tiêu chuẩn Chất lượng Đánh giá của DAC Các Tiêu chuẩn Chất lượng Đánh giá của DAC được thông năm 2006 cho một giai đoạn áp dụng thử nghiệm trong 3 năm. Kinh nghiệm sử dụng các tiêu chuẩn của các thành viên và các đối tác có quan tâm sẽ cung cấp thông tin cho thỏa thuận cuối cùng về các tiêu chuẩn vào năm 2009.

Các tiêu chuẩn hỗ trợ cho đánh giá được đưa vào cuốn Những nguyên tắc Đánh giá Hỗ trợ Phát triển của DAC, bao gồm tính minh bạch và độc lập, tính xác đáng và hữu ích, và cần được đọc cùng với những nguyên tắc này. Những nguyên tắc tập trung vào việc quản lý và các dàn xếp của tổ chức về các hệ thống đánh giá trong các cơ quan phát triển; ngược lại, các tiêu chuẩn cung cấp hướng dẫn cho việc thực hiện các đánh giá và các báo cáo. Những tiêu chuẩn xác định các trụ cột chính cần cho một sản phẩm và quá trình đánh giá có chất lượng. Các tiêu chuẩn tạo nên bản hướng dẫn thực tiễn tốt và nhăm mục đích cải thiện chất lượng của đánh giá phát triển. Không ràng buộc với mọi đánh giá, nhưng các tiêu chuẩn này cần được áp dụng càng rộng rãi càng tốt và cần giải thích ngắn gọn khi không thể áp dụng ở khâu nào đó.

546

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

1. Nguyên nhân, mục đích và các mục tiêu của một đánh giá 1.1 Nguyên nhân của đánh giá Mô tả tại sao và cho ai mà tiến hành đánh giá và tại sao lại tiến hành ở một thời điểm nào đó. 1.2 Mục đích của đánh giá Mục đích của đánh giá thích hợp với chức năng học hỏi và giải trình của đánh giá. Ví dụ như mục đích của đánh giá có thể là: • Góp phần cải thiện một chính sách, thủ tục và kỹ thuật hỗ trợ, • Xem xét việc tiếp tục hoặc dừng một chương trình/dự án • Giải thích chi phí hỗ trợ cho các bên có liên quan và người đóng thuế 1.3 Các mục tiêu của đánh giá Các mục tiêu của đánh giá xác định đánh giá nhằm đạt được mục tiêu gì. Ví dụ như: • Xác định các kết quả (đầu ra, kết quả, tác động) và đánh giá hiệu quả, hiệu suất và tính xác đáng của một can thiệp phát triển cụ thể; • Cung cấp các phát hiện, kết luận và các khuyến nghị về một chính sách, chương trình cụ thể, ... 2. Phạm vi đánh giá 2.1 Phạm vi đánh giá Phạm vi đánh giá được xác định rõ bằng cách xác định các vấn đề sẽ đề cập, ngân quỹ thực tế chi tiêu, thời gian, loại can thiệp, độ bao phủ địa lý, các nhóm mục tiêu cũng như các yếu tố khác của can thiệp phát triển xác định trong đánh giá.. 2.2 Lôgic và phát hiện của can thiệp Báo cáo đánh giá mô tả vắn tắt và đánh giá lôgic can thiệp và phân biệt giữa các phát hiện ở các cấp độ khác nhau: đầu vào, hoạt động, kết quả và tác động. 2.3 Tiêu chuẩn đánh giá Báo cáo đánh giá áp dụng năm tiêu chuẩn của DAC để đánh giá hỗ trợ phát triển: tính xác đáng, hiệu quả, hiệu suất, tác động và tính bền vững. Các tiêu chuẩn áp dụng cho một đánh giá cụ thể được xác định bằng những thuật ngữ rõ ràng. Nếu một tiêu chuẩn nào đó không được áp dụng thì cần giải thích trong báo cáo đánh giá, cũng như khi áp dụng thêm bất cứ một tiêu chuẩn nào. 2.4 Các câu hỏi đánh giá Các câu hỏi đưa ra và việc chỉnh sửa các câu hỏi được trình bày rõ trong báo cáo để người đọc có thể xác định được nhóm đánh giá đã đánh giá đủ các câu hỏi hay chưa.

Tóm tắt Qui tắc và Tiêu chuẩn chính

547

3. Bối cảnh 3.1 Bối cảnh chính sách và phát triển Báo cáo đánh giá mô tả bối cảnh chính sách có liên quan đến can thiệp phát triển, các văn bản chính sách của cơ quan phát triển và đối tác, các mục tiêu và chiến lược. Bối cảnh phát triển có thể đề cập đến tình hình kinh tế quốc gia và khu vực và mức độ phát triển. Bối cảnh chính sách có thể đề cập đến các chiến lược giảm nghèo, bình đẳng giới, bảo vệ môi trường và nhân quyền. 3.2 Bối cảnh tổ chức Báo cáo đánh giá mô tả môi trường tổ chức và sự tham gia của bên liên quan đến can thiệp để có thể xác định và đánh giá ảnh hưởng của họ. 3.3 Bối cảnh chính trị - xã hội Báo cáo đánh giá mô tả bối cảnh chính trị-xã hội mà can thiệp diễn ra và ảnh hưởng của bối cảnh đến kết quả và tác động của can thiệp phát triển. 3.4 Các thỏa thuận thực hiện Báo cáo đánh giá mô tả những thỏa thuận của các tổ chức cho việc thực hiện các can thiệp phát triển, kể cả vai trò của các bên tài trợ và đối tác. 4. Phương pháp đánh giá 4.1 Giải thích phương pháp đánh giá sử dụng Báo cáo đánh giá mô tả và giải thích phương pháp và quá trình đánh giá và thảo luận tính hiệu lực và xác đáng. Báo cáo trình bày những hạn chế gặp phải và tác động của chúng đối với đánh giá. Báo cáo trình bày tỉ mỉ các phương pháp và kỹ năng sử dụng để thu thập và xử lý số liệu. Các lựa chọn phải được xác minh và các hạn chế và điểm yếu được giải thích. 4.2 Đánh giá các kết quả Các phương pháp đánh giá kết quả được xác định. Cần hướng đến thẩm quyền và các yếu tố đóng góp/trùng hợp. Nếu các chỉ số được sử dụng làm cơ sở cho các kết quả, đánh giá sẽ tốt (cụ thể, đo được, đạt được, xác đáng và giới hạn được thời gian [SMART (speciﬁc, measurable, attainable, relevant and time bound)]. 4.3 Các bên có liên quan được tham vấn Các bên có liên quan tham gia vào quá trình đánh giá để xác định các vấn đề và cung cấp đầu vào cho đánh giá. Cả bên tài trợ và đối tác đều được tham vấn ý kiến. Báo cáo đánh giá trình bày các bên có liên quan được tham vấn, tiêu chuẩn lựa chọn và mô tả sự tham gia của các bên có liên quan. Nếu có ít hơn các bên có liên quan được tham vấn,

548

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

phương pháp và nguyên nhân lựa chọn một bên có liên quan cần được trình bày. 4.4 Chọn mẫu Báo cáo đánh giá giải thích sự lựa chọn mẫu. Những hạn chế liên quan đến tính đại diện của mẫu đánh giá được xác định. 4.5 Nhóm đánh giá Thành phần nhóm nghiên cứu cần sắp xếp sao để nhóm có thể có đủ các kỹ năng đánh giá và kiến thức chủ đề, cân bằng về giới và gồm những chuyên gia từ các nước và khu vực có quan tâm. 5. Các nguồn thông tin 5.1 Tính minh bạch của các nguồn thông tin Báo cáo đánh giá mô tả các nguồn thông tin sử dụng (văn bản, người trả lời, tài liệu,…) đủ chi tiết, vì vậy cần xác định đủ thông tin cần. Danh sách những người được phỏng vấn và các văn bản tham vấn cần được ghi chép đầy đủ tới mức độ không xung đột với nguyên tắc riêng tư và bảo mật cho người tham gia. 5.2 Độ tin cậy và chính xác của các nguồn thông tin Đánh giá làm cho nguồn thông tin có giá trị và đánh giá chính xác nguồn thông tin được sử dụng và tính hiệu lực của số liệu sử dụng một loạt các phương pháp và nguồn thông tin. 6. Tính độc lập 6.1 Sự độc lập của những người đánh giá đối với các bên có liên quan Báo cáo đánh giá cho thấy mức độ độc lập của những người đánh giá với chức năng quản lý, hoạt động và chính sách của cơ quan uỷ thác, người thực hiện và người hưởng lợi. Khả năng xung đột lợi ích được giải quyết công khai và trung thực. 6.2 Quá trình đánh giá tự do và công khai Nhóm đánh giá có thể làm việc tự do và không bị gây trở ngại. Hợp tác và tiếp cận với thông tin có liên quan được đảm bảo. Báo cáo đánh giá chỉ rõ những cản trở có thể ảnh hưởng đến quá trình đánh giá. 7. Đạo đức đánh giá 7.1 Đánh giá được thực hiện một cách chuyên nghiệp và hợp đạo đức Quá trình đánh giá cho thấy sự nhạy cảm về giới, tín ngưỡng, các xử sự và phong tục của tất cả các bên có liên quan. Quyền lợi và của cải của những người tham gia trong đánh giá được bảo vệ. Việc giấu tên và bảo mật cho người cung cấp tin tức cá nhân cần được bảo vệ khi được yêu cầu và/hoặc yêu cầu bởi pháp luật. 7.2 Xác nhận sự bất đồng ý kiến trong nhóm đánh giá Thành viên nhóm đánh giá cần có cơ hội tách riêng ra khỏi nhau trong nhận định và khuyến nghị. Bất cứ khác biệt nào chưa được giải quyết trong nhóm cần được tường trình trong báo cáo. Tóm tắt Qui tắc và Tiêu chuẩn chính

549

8. Bảo đảm chất lượng 8.1 Kết hợp với phần góp ý của các bên có liên quan Các bên có liên quan được tạo cơ hội góp ý cho những phát hiện, kết luận, khuyến nghị và các bài học kinh nghiệm. Báo cáo đánh giá phản ánh những phần góp ý này và xác nhận bất cứ bất đồng nào nếu có. Đối với những tranh luận về các sự kiện có thể thẩm tra được, những người đánh giá cần kiểm tra và thay đổi bản thảo nếu cần. Trong trường hợp bất đồng ý kiến hoặc cách giải thích, góp ý của bên có liên quan cần được sao chép lại nguyên văn như là một phần trong phụ lục, theo cách không xung đột với quyền lợi và phúc lợi của người tham gia. 8.2 Kiểm soát chất lượng Kiểm soát chất lượng được thực hiện trong suốt quá trình đánh giá. Tùy thuộc phạm vi và mức độ phức tạp của đánh giá, việc kiểm soát chất lượng được tiến hành hoặc là trong nội bộ hoặc là thông qua một tổ chức bên ngoài, bằng cách bình duyệt hoặc nhóm tham khảo. Kiểm soát chất lượng gắn liền với nguyên tắc về sự độc lập của người đánh giá. 9. Sự xác đáng của các kết quả đánh giá 9.1 Thiết lập các phát hiện đánh giá Các phát hiện đánh giá thiết thích hợp với đối tượng được nghiên cứu và mục tiêu nghiên cứu. Các kết quả phải theo sát các câu hỏi đánh giá và phân tích số liệu, cho thấy các bằng chứng rõ ràng làm cơ sở cho các kết luận. Bất cứ sự thiếu nhất quán nào giữa kế hoạch và thực hiện của đối tượng được nghiên cứu cũng cần được giải thích. 9.2 Đánh giá thực hiện trong phạm vi thời gian và ngân sách được phân bổ Đánh giá được thực hiện và kết quả được tạo ra phải sẵn sàng theo đúng thời gian trong bối cảnh mục đích của đánh giá. Những thay đổi không dự tính trước về khung thời gian và ngân sách được giải thích trong báo cáo. Bất cứ sự thiếu nhất quán nào giữa kế hoạch và thực hiện của đối tượng được nghiên cứu cũng cần được giải thích. 9.3 Các khuyến nghị và bài học kinh nghiệm Các khuyến nghị và bài học kinh nghiệm phải xác đáng, hướng đến người sử dụng đánh giá mong muốn và có thể thực hiện được trong phạm vi trách nhiệm của người sử dụng. Các khuyến nghị là những đề xuất có thể thực hiện được và bài học kinh nghiệm là sự tổng quát hóa các kết luận có thể áp dụng để sử dụng rộng rãi hơn. 9.4 Sử dụng đánh giá Đánh giá đòi hỏi sự thừa nhận công khai và phản ứng từ ban quản lý về các bước mong muốn tiếp theo của kết quả đánh giá. Ban quản lý sẽ bảo đảm phổ biến có hệ thống, lưu trữ và quản lý đầu ra từ đánh

550

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

giá để bảo đảm tính dễ tiếp cận và tối đa hóa lợi ích của các phát hiện đánh giá. 10. Hoàn thành 10.1 Các câu hỏi đánh giá được trả lời bằng các kết luận Báo cáo đánh giá trả lời tất cả các câu hỏi và thông tin cần được chi tiết trong phạm vi đánh giá. Khi không thể, cần đưa ra các lý do và giải thích. 10.2 Sự rõ ràng của phân tích Phân tích được xây dựng theo dòng lôgic. Các số liệu và thông tin được trình bày, phân tích và giải thích một cách có hệ thống. Các phát hiện và kết luận được xác định rõ và diễn ra một cách có lôgic từ phân tích số liệu và thông tin. Các giả thiết làm cơ sở được trình bày rõ và xem xét. 10.3 Phân biệt giữa kết luận, khuyến nghị và bài học kinh nghiệm Báo cáo đánh giá phải phân biệt rõ giữa phát hiện, kết luận và khuyến nghị. Đánh giá trình bày các kết luận, khuyến nghị và bài học kinh nghiệm tách biệt và theo phân biệt lôgic rõ ramngf giữa chúng. Các kết luận được chứng minh bằng các phát hiện và phân tích. Các khuyến nghị và bài học kinh nghiệm diễn ra theo lôgic từ các kết luận. 10.4 Sự rõ ràng và tính đại diện của tóm tắt Báo cáo đánh giá cần có tóm tắt chi tiết. Tóm tắt trình bày tổng quan báo cáo, nhấn mạnh những kết luận chính, khuyến nghị và bài học kinh nghiệm.

Phần V: Các văn bản hướng dẫn Đáp ứng nhu cầu về hướng dẫn cụ thể hơn cho các phần của đánh giá phát triển, và nhu cầu xây dựng các kinh nghiệm đánh giá và các quy tắc và tiêu chuẩn mô tả ở trên, một số văn bản đã được xây dựng để hướng dẫn thực tiễn và chính sách đánh giá. Một số văn bản hướng dẫn này được trình bày ở dưới đây.

Hướng dẫn Đánh giá Ngăn ngừa Xung đột và Hoạt động Xây dựng Hòa bình: Bản thảo hoạt động cho Giai đoạn áp dụng (OECD, 2008)

Văn bản này nêu những thử thách và các thực tiễn tốt nhất nổi bật của đánh giá ngăn ngừa xung đột và các hoạt động xây dựng hòa bình. Với tỉ trọng tăng lên của các nguồn hỗ trợ, thời gian và sinh lực dành cho việc ngăn ngừa xung đột và xây dựng hòa bình, lợi ích sẽ lớn hơn khi biết được

Tóm tắt Qui tắc và Tiêu chuẩn chính

551

cách nào phát huy tác dụng cũng như cách nào không và tại sao. Hướng dẫn này tìm cách trả lời những câu hỏi trên bằng cách đề xuất hướng thực hiện các đánh giá các chương trình, dự án, chính sách ngăn ngừa xung đột và xây dựng hòa bình. Hướng thực hiện tạo điều kiện cho việc học hỏi có hệ thống, tăng cường tính giải trình và cuối cùng cải thiện hiệu quả của hoạt động xây dựng hòa bình. Một số thông điệp chính nổi bật của hướng dẫn gồm: • Các bên tài trợ cần thúc đẩy đánh giá công tác ngăn ngừa xung đột và xây dựng hòa bình có hệ thống, chất lượng cao – gồm hoạt động tiến hành bởi đối tác thực hiện như NGOs. • Đánh giá cần được tạo điều kiện thuận lợi thông qua thiết kế tốt hơn của chương trình. • Chiến lược chính sách và can thiệp được phối hợp và chặt chẽ cần tiến triển hướng về hòa bình. • Quan niệm và định nghĩa ngăn ngừa xung đột và xây dựng hòa bình cần rõ ràng.

Hướng dẫn Quản lý Đánh giá Chung (OECD, 2006)

Ấn phẩm này cung cấp hướng dẫn thực hành cho quản đốc của các đánh giá chung nhằm mục đích tăng hiệu quả của hoạt động đánh giá chung. Hướng dẫn tóm lược những kinh nghiệm quan trọng trình bày trong cuốn “Đánh giá chung: các Kinh nghiệm gần đây, Bài học kinh nghiệm và các Lựa chọn cho Tương lai” và văn bản hướng dẫn trước đây Thực hành hiệu quả trong Xây dựng Đánh giá Chung của Nhiều bên (2000). Trọng tâm của ấn phẩm này không phải là đánh giá có sự tham gia của người dân bằng những kỹ năng lôi kéo sự tham gia của các cộng đồng của bên liên quan, mà là đánh giá đồng thực hiện bởi nhiều hơn một cơ quan hợp tác phát triển. Những cách tiếp cận cộng tác như vậy, có thể giữa nhiều bên tài trợ, nhiều đối tác hoặc là sự kết hợp của hai cách trên, càng hữu ích hơn khi cộng đồng quốc tế dành ưu tiên trách nhiệm chung cho kết quả phát triển và cách tiếp cận chung với quản lý hỗ trợ. Các đánh giá chung có tiềm năng đem lợi ích cho tất cả các đối tác như: • phát triển năng lực của tất cả các bên và học hỏi giữa các đối tác; • xây dựng sự tham gia và sở hữu; • chia sẻ gánh nặng công việc; • tăng tính hợp pháp của các phát hiện; • giảm tổng số đánh giá và tổng chi phí giao dịch của các nước đối tác

552

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Tuy nhiên, công việc chung cũng làm phát sinh những chi phí và thách thức đặc thù và chúng có thể tạo ra những gánh nặng cho các cơ quan tài trợ. Ví dụ như tạo nên sự đồng thuận giữa các cơ quan và duy trình các quá trình phối hợp hiệu quả có thể tốn kém và mất thời gian; những chậm trễ trong việc hoàn thành các đánh giá chung phức tạp có thể ảnh hưởng bất lợi tính đúng lúc và xác thực của đánh giá.

Phản hồi cho Đánh giá cho việc học hỏi hiệu quả và tính giải trình (OECD, 2001)

Ấn phẩm này nhấn mạnh các hệ thống phản hồi kahcs nhau và phác thảo những nội dung được xác định là xác thực nhất để cải thiện phản hồi cho đánh giá. Ấn phẩm cũng phác thảo những mối lo và thách thức chính mà phản hồi cho đánh giá gặp phải và phương tiện để giải quyết những mối lo và thách thức này. Một thách thức quan trọng trong truyền đạt kết quả đánh giá cho nhiều độc giả cả bên trong và ngoài các cơ quan phát triển. Vì vậy phản hồi và trao đổi thông tin về kết quả đánh giá là những phần xuyên suốt của quá trình đánh giá. Phản hồi hiệu quả góp phần cải thiện chính sách, chương trình và thực tiễn phát triển bằng cách cung cấp cho các nhà hoạch định chính sách những thông tin xác thực để ra các quyết định. Sự khác biệt trong cơ sở, cấu trúc và thứ tự ưu tiên giữa các cơ quan có nghĩa đây không phải là phần mà tiếp cận thiết kế tỏ ra hợp lý. Ngoài ra, còn có nhu cầu thiết kế các cách tiếp cận thích hợp với độc giả mục tiêu khác nhau. Nhưng một số phần của hoạt động có thể được xác định ở các cấp độ khác nhau. Những hoạt động đề xuất để cải thiện phản hồi cho đánh giá bao gồm: • tiến hành các bước để nắm được việc học hỏi diễn ra trong và ngoài tổ chức như thế nào, và xác định trở ngại xảy ra ở đâu; • xác định tính xác thực và đúng lúc của phản hồi cho đánh giá có thể được cải thiện như thế nào và tiến hành các bước để bảo đảm điều này diễn ra; • xây dựng cách nhìn chiến lược hơn về cách tiếp cận phản hồi có thể được thiết kế theo nhu cầu của các độc giả khác nhau như thế nào; • nỗ lực nhiều hơn trong việc tìm cách tốt hơn lôi kéo sự tham gia của nước đối tác, bên có liên quan trong đánh giá, bao gồm phản hồi cho các bài học đánh giá; • tiến hành các bước để tăng khoảng cách và động cơ cho việc học hỏi trong tổ chức (cả từ đánh giá và các nguồn khác).

Tóm tắt Qui tắc và Tiêu chuẩn chính

553

Hướng dẫn Đánh giá Hỗ trợ nhân đạo Trong tình trạng khẩn cấp phức tạp (OECD, 1999)

Ấn phẩm này hướng đến những đối tượng tham gia vào ủy thác, thiết kế và quản lý các đánh giá cho những chương trình hỗ trợ nhân đạo. Về phương diện lịch sử, hỗ trợ nhân đạo phụ thuộc vào thủ tục đánh giá ít chặt chẽ hơn hỗ trợ phát triển. Vì tỉ trọng ODA phân bổ cho hỗ trợ nhân đạo tăng lên và nhận thức về sự phức tạp của hỗ trợ nhân đạo cũng tăng lên, nhu cầu xây dựng phương pháp luận thích hợp cho đánh giá nó trở rõ ràng hơn. Hướng dẫn này bổ trợ cho Các Nguyên tắc Đánh giá Hỗ trợ phát triển bằng cách nhấn mạnh các phương diện của đánh giá mà đòi hỏi sự quan tâm đặc biệt trong lĩnh vực hỗ trợ nhân đạo.

Mạng lưới Đánh giá Phát triển DAC của OECD

HỢP TÁC ĐÁNH GIÁ PHÁT TRIỂN Tóm tắc các Qui tắc và Tiêu Chuẩn chính Một nội dung quan trọng trong nhiệm vụ của Mạng lưới Đánh giá Phát triển DAC là xây dựng các qui tắc và tiêu chuẩn quốc tế thống nhất về đánh giá phát triển. Những qui tắc và tiêu chuẩn này hình thành nên chính sách và thực tiễn và góp phần hài hòa các cách tiếp cận có liên hệ với các cam kết của Tuyên bố Paris về Hiệu quả Hỗ trợ. Nội dung của các qui tắc và tiêu chuẩn dựa trên kinh nghiệm, và phát triển theo thời gian để phù hợp với môi trường hỗ trợ thay đổi. Các qui tắc và tiêu chuẩn cung cấp tài liệu tham khảo quốc tế, hướng dẫn các nỗ lực cải thiện các kết quả phát triển thông qua đánh giá có chất lượng cao. Các qui tắc và tiêu chuẩn tóm tắt ở đây cần được áp dụng trên cơ sở nắm vững nội dung của chúng và điều chỉnh thận trọng cho phù hợp với mục tiêu và bối cảnh của mỗi đánh giá. Tài liệu tóm tắt này không phải là tài liệu đánh giá đầy đủ nên người đọc được khuyến khích tham khảo những phần nội dung đầy đủ ở trang web của Mạng lưới Đánh giá Phát triển của DAC: www.oecd.org/dac/evaluationnetwork.

554

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Ma trận Thiết kế cho Chương trình Đào tạo Dạy nghề của Trường Trung cấp Outer Baldo

555

556

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

2. Bình đẳng giới trong dịch vụ được bảo đảm ở mức độ Nào?

Chuẩn tắc

Mô tả

1.D. Chương trình cung cấp chứng nhận trong lĩnh vực dự đoán có nhu cầu cao trong 5-10 năm tới ở mức độ nào?

2.A.2 Việc nhận được dịch vụ hỗ trợ có liên quan đến giới tính không?

Mô tả

1.C. Nội dung chứng nhận phổ biến nhất được lựa chọn bởi người được đào tạo trong chương trình dạy nghề?

Chuẩn tắc

Danh sách nội dung nghề dự đoán có nhu cầu cao trong 5-10 năm tới

Mô tả

1.B.2. Bao nhiêu phần trăm người tham gia nhận dịch vụ hỗ trợ?

2.A.1. Số lượng tham gia chương trình như nhau giữa nam và nữ?

Số lượng người học theo nội dung chứng nhận

Mô tả

1.B.1. Chương trình cung cấp dịch vụ hỗ trợ gì?

Không có

Văn bản cấp phép qui Định mục tiêu 50% số người tham gia là nữ

Không có

Có

Không có

Baseline data?

Không có

Phần trăm được nhận mỗi Văn bản cấp phép qui định loại dịch vụ hỗ trợ theo giới mục tiêu bình đẳng Giới tính

Số lượng và phần trăm Nam/nữ được dạy nghề

Số lượng và phần trăm Người học nhận mỗi Loại hỗ

Các dịch vụ hỗ trợ (VD. mù chữ, tư vấn) cung cấp bởi chương trình

Như trên bằng số lượng người tham gia mỗi năm KHÔNG CÓ

Mô tả

1.A.2. Có thay đổi trong tham gia bởi kỹ năng theo thời gian?

Kỹ năng nghề chương trình đào tạo để cấp Giấy chứng nhận

Target or standard (if normative)

Cách tiếp cận chung: Đánh giá tác động tựa thí nghiệm Measures or indicators

Mô tả

Type of (sub)question

1.A.1. Người tham gia được đào tạo kỹ năng nghề gì?

Subquestions

Vấn đề đánh giá chính: Chương trình này có nên được cấp phép lại không?

1. Chương trình cung cấp dịch vụ gì cho ai?

Questions

Ma trận Thiết kế cho Chương trình Dạy nghề của Trường trung cấp Outer Baldoni, trang 1

Ma trận Thiết kế cho Chương trình Đào tạo Dạy nghề của Trường Trung cấp Outer Baldonia

557

Ghi chép chương trình (MIS)

1.A.1. Một lần

Ghi chép chương trình (MIS)

Như trên

Ghi chép chương trình (MIS)

Bộ Lao động Báo cáo Báo cáo cho mỗi hàng năm về Đề án 5 năm lao động ngắn, trung và dài hạn

Ghi chép chương trình (MIS)

SNhư trên

1.B.1. Một lần

1.B.2. Như trên

1.C. Một lần

1.D. Chuỗi thời gian

2.A.1. Chuỗi thời gian

2.A.2. Như trên

Như trên

Cho mỗi 5 năm

Điều tra dân số mỗi 5 năm

Như trên

Điều tra dân số mỗi 5 năm

Như trên

Cho mỗi 5 năm

Mẫu

1.A.2. Chuỗi thời gian

Quản đốc dự án

Nguồn số liệu

Thiết kế

Thiết kế ma trần, trang 1 tiếp theo

Như trên

Văn bản thu hồi Ghi chép 1

Văn bản thu hồi Ghi chép 3

Văn bản thu hồi Ghi chép 2

Như trên

Văn bản thu hồi Ghi chép 2

Như trên

Hướng dẫn phỏng vấn

Cán bộ chương trình

Văn bản thu hồi Ghi chép 1

Công cụ thu thập số liệu

Như trên

Đếm tần suất theo giới; thể hiện bằng biểu đồ đường thẳng nên xu hướng sau 5 năm rõ So với tiêu chuẩn

Phân tích xu hướng và dự đoán cho nội dung cấp chứng nhận trong 5 năm qua

Đếm tần suất

Danh sách

Như trên theo năm

Ghi chép 1

Văn bản thu hồi

Phân tích số liệu

Lưu ý xem có thay đổi theo thời gian không

Thể hiện tiêu chuẩn bằng dòng đen đậm gạch ngang qua biểu đồ đường thẳng để dễ nhìn.

Lưu ý xem có khả năng tăng nội dung mà chương trình không

Lưu ý thay đổi trong xu hướng và phản ứng của chương trình đối với thay đổi

Hình họa

Lưu ý là người tham gia có thể nhận nhiều hơn một dịch vụ hỗ trợ

Kiểm tra xem có bản sao như M. Smith và Mary Smith

Hình họa ở đây sẽ tốt hơn

Đếm tần suất Phân tích nội dung

Ý kiến đóng góp

558

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Mô tả

3.C. Người tham gia tìm việc hợp với nội dung nghề được chứng nhận ở mức độ nào?

Mô tả

Mô tả Mô tả

5.A. Mức doanh thu của những người hướng

5.B. Các vị trí hướng dẫn trống trong bao lâu? 5.C. Có tìm được người hướng dẫn thay thế có chuyên môn như người cũ?

5. Ở mức độ nào doanh thu của người hướng

Mô tả

4.A. Chi phí tham gia chương trình của mỗi người có hợp lý so với chương trình tương tự khác?

Chuẩn tắc

3.B. Mục tiêu mức lương trung bình hàng năm đạt được/vượt quá ở mức độ nào?

3.D. Tỉ lệ bỏ học của chương trình là bao nhiêu?

Chuẩn tắc

Loại câu hỏi phụ

3.A. Mục tiêu việc làm bố trí hàng năm đạt được/ vượt quá ở mức độ nào?

Câu hỏi phụ

4. Chương trình có hiệu quả chi phí?

3. Chương trình có hiệu quả?

Câu hỏi

Thiết kế Ma trận, trang 2

Có. 2 đôla mỗi giờ năm 1-3 và 3 đô la mỗi giờ năm 4&5

Có. 80% họ hoàn thành chương trình

Mục tiêu hay chuẩn tắc (nếu là chuẩn tắc)

Số năm làm việc trong lĩnh vực được chứng nhận

Số năm kinh nghiệm dạy học

Độ dài trung bình của vị trí trống và phạm vi

Mức doanh thu hàng năm và của hướng dẫn

Chi phí của mỗi học viên so với các chương chương trình tương đương khác

Số lượng nhập học chương trình mỗi năm và số lượng tốt nghiệp mỗi năm

Không xác định. Ngầm hiểu là chúng cần được so sánh

Không xác định. Ngầm hiểu là nó phải thấp

Ngầm hiểu chỉ xem xét như câu hỏi mô tả

Văn bản chương trình qui định không vượt quá 10%

Lĩnh vực được chứng nhận Ngầm hiểu chỉ xem xét và lĩnh vực việc làm Như là câu hỏi mô tả

Lương bố trí cho mỗi năm

Tỉ lệ bố trí việc làm theo năm

Biện pháp hoặc chỉ số

Số liệu gốc?

Không có

Ma trận Thiết kế cho Chương trình Đào tạo Dạy nghề của Trường Trung cấp Outer Baldonia

559

Nguồn số liệu

Mẫu

Nhân viên tài chính chương Điều tra dân số cả 5 năm trình Tỉ lệ bố trí (xem 3A) tài chính Bản tường trình tài chính chương trình Đánh giá hiện có về chương trình tương tự Ghi chép việc làm của chương trình

4. Một lần

5.A. Chuỗi Thời gian

Tất cả 5 năm

5.C. Chuỗi Thời gian

Ghi chép việc làm của chương trình

Tất cả 5 năm

5.B. Chuỗi Thời gian Ghi chép tài chính chương trình

Tất cả 5 năm

Điều tra dân số

Ghi chép người học theo năm mỗi 5 năm (MIS)

3.D. Chuỗi Thời gian

Điểu tra dân số học viên được bố trí Mẫu ngẫu nhiên

Mẫu ngẫu nhiên

Ghi chép người học 2 năm cuối (MIS) chủ/ Ghi chép chủ Ghi chép người học 2 năm cuối về lĩnh vực được chứng nhận (MIS) Chủ thuê người học hơn 2 năm qua

Điều tra dân số được bố trí theo năm

Mẫu ngẫu nhiên

Điều tra dân số được bố trí theo năm

Ghi chép người học theo năm mỗi 5 năm

Ghi chép người học năm cuối (MIS) Chủ / Ghi chép chủ

Ghi chép người học theo năm mỗi 5 năm (MIS)

3.C. Một lần

Một lần

3.B. Một lần

Một lần

3.A. Chuỗi thời gian

Thiết kế

Thiết kế Ma trận, trang 2 tiếp theo

Công cụ thu thập số liệu

Mẫu thu hồi ghi chép 6

Mẫu thu hồi ghi chép 5

Tổng lược tài liệu

Phỏng vấn

Mẫu thu hồi ghi chép 4

Phỏng vấn chủ Hướng dẫn mẫu Ghi chép chủ 1

Mẫu thu hồi ghi chép 4

Phỏng vấn Chủ Hướng dẫn Mẫu ghi chép Chủ i

Mẫu thu hồi ghi chép 4

Hướng dẫn phỏng vấn Chủ Mẫu ghi chép Chủ 1

Mẫu Văn bản thu hồi 4

Phân tích số liệu

So sánh nhan viên qua 5 năm

Đếm tần suất theo năm, phạm vi và trung bình

Phân tích nội dung

Chi phí của mỗi học viên Chi phí mỗi học viên được bố trí

So sánh với mức chuẩn Mỗi năm và tích lũy

Đếm tần số của thông tin được nối theo năm cumulatively

So sánh với mức chuẩn Mỗi năm và tích lũy Qua 5 năm Nối thông tin MIS với Thông tin của chủ

So sánh với mức chuẩn mỗi năm và tích lũy qua 5 năm. Nối thông tin MIS với thông tin của chủ

Ý kiến đóng góp

Hy vọng có thể so sánh chi phí của mỗi học viên được bố trí với chi phí cho những chương trình tương tự.

Cần chứng tỏ tính hiệu lực của thông tin trong các ghi chép bằng khẳng định việc bố trí và mức khởi điểm với chủ cho mẫu các học viên Hồi tưởng lại là một vấn đề khi đã2 năm trôi qua

Cần chứng tỏ tính hiệu lực của thông tin trong các ghi chép bằng khẳng định việc bố trí và mức khởi điểm với chủ cho mẫu các học viên Hồi tưởng lại là một vấn đề khi đã 2 năm trôi qua.

560

Đường đến Kết quả: Thiết kế và Thực hiện các Đánh giá Phát triển Hiệu quả

Mô tả Mô tả

6.C. Lý do thường gặp nhất của việc bỏ 6.D. Cán bộ chương trình lo lắng về tỉ lệ bỏ học như thế nào?

7. Những học viên được bố trí việc làm kiếm thu nhập nhiều hơn mức họ kiếm được nếu không tham gia chương trình tới mức nào?

Mô tả

6.B. Học viên bỏ nội dung chứng nhận nào?

Nhân quả

7.A. Mức duy trì việc làm tăng lương, thăng chức, và tỉ lệ sa thải của học viên được bố trí so với những người khác có cùng đặc điểm đã bỏ học như thế nào?

7.B. Nhận xét của Chủ về thực hiện công việc của học viên so với những người khác có cùng đặc điểm mà không tham gia chương trình dạy

nữ và nam bỏ học mỗi năm

Mô tả Phân trăm theo giới

6.A. Số lượng và phần trăm

6. Học viên bỏ học đáng lo đến mức độ nào?

Loại câu hỏi (phụ)

Câu hỏi phụ

Câu hỏi

Design Matrix, page 3

(iii) nhận xét thực hiện công việc so với những người khác

(i) Khả năng thuê học viên hay vắng mặt và (ii) thuê học viên dự hết khóa dạy nghề;

Bố trí duy trì việc làm của học viên, lương khởi điểm, tăng lương, thăng chức và tỉ lệ sa thải qua hai năm so với (i) những người làm trong công ty khác ở vị trí tương tự trong cùng một thời gian; (ii) thu nhập trước khi có chương trình; (iii) thu nhập khi bỏ học

Ý kiến xem đó có là vấn đề không? Hoạt động cần tiến hành

Nhận biết tỉ lệ bỏ học

Lý do thường gặp nhất của việc bỏ học

Như trên theo nội dung chứng nhận

Số lượng và phần trăm nam/ nữ bắt đầu chương trình theo năm và tỉ lệ bỏ học theo năm.

Biện pháp hoặc chỉ số

Không xác định.

Không có

Tài liệu cho thấy 10% chấp nhận được; Ngầm hiểu là mức của hai giới như nhau

Lương bố Trí ban đầu; lương trước đào tạo, nếu có

Có, dựa vào lương bố trí

Không có

Mục tiêu hay tiêu chuẩn (nếu là chuẩn tắc) Số liệu gốc?

Ma trận Thiết kế cho Chương trình Đào tạo Dạy nghề của Trường Trung cấp Outer Baldonia

561

Nhân viên chương trình

Nguồn: Các tác giả.

7.B. Một lần

7.A. Tựa thí nghiệm Thiết kế các Nhóm không Tương ứng Chủ và Ghi chép Chủ

Bỏ học

Chủ và Ghi chép Chủ

Nhân viên chương trình

Ghi chép Học viên 2 năm qua

Nhân viên cấp cao

Ghi chép học viên 2 năm qua

6.C. Một lần

6.D. Một lần

Điều tra dân số nhóm Bỏ học trong 2 năm

Ghi chép học viên hàng năm, cho 5 năm

6.B. Chuỗi thời gian

Điều tra dân số 2 năm Trước

Điều tra dân số 2 năm

Điều tra dân số bỏ học trong 2 năm

Điều tra dân số theo năm

Ghi chép hoc viên hàng năm, cho 5 năm

6.A. Chuỗi thời gian

Mẫu

Nguồn số liệu

Thiết kế

Design Matrix, page 3 continued

Phân tích số liệu

Ý kiến đóng góp

Phỏng vấn Chủ Hướng dẫn Mẫu ghi chép Chủ 1

Điều tra Người tham gia trước đây

Mẫu ghi chép Chủ 1

Hướng dẫn Phỏng vấn Chủ

Phân tích nội dung/ Tần suất

Hướng dẫn phỏng vấn Phân tích nội dung; Đếm cán bộ chương trình tần suất

Lưu ý các hạn chế thiết kế C&E bảo mật, không tiếp cận

Không có nhóm so Sánh được lập ban đầu; Không có đại diên Để sử dụng

Phân phối tam giác các lý Triangulate do bỏ học từ (i) quan điểm của người điểm của cán Hướng dẫn phỏng Vấn bộ chương trình cán bộ chương trình

Điều tra người tham gia trước đây

Mẫu thu hồi ghi chép 4 Lập bảng nội dung chứng Có thể kiểm định Nhận theo tần suất bỏ học Thống kê Chi bình phương? hàng năm và tích lũy

Mẫu thu hồi ghi chép 4 Phân bố tần suất bỏ học theo năm; phần trăm bỏ học theo năm theo giới tính, và tổng

Công cụ thu Thập số liệu