Trong một dự án phát triển, người bị hỏi nhiều câu khó nhất thường không phải giám đốc, mà là cán bộ M&E. “Số người hưởng lợi năm nay lấy ở đâu ra?” “Sao tỷ lệ áp dụng kỹ thuật tăng mà thu nhập hộ không đổi?” “Có chắc tập huấn là nguyên nhân không?” Mình làm giám sát đánh giá được vài năm thì nhận ra công việc này về bản chất là trả lời câu hỏi “làm sao biết?”.
Người mới nghe đến M&E là gì hay hình dung một người ngồi làm Excel cả ngày. Có phần đúng. Nhưng phần Excel chỉ là cuối đường ống, còn phần lớn công sức nằm ở việc quyết định đo cái gì, đo thế nào cho trung thực, và nói kết quả ra sao để người ta chịu sửa dự án.
#1 Giám sát và đánh giá, hai việc dính nhau nhưng không giống nhau
M&E là viết tắt của monitoring and evaluation. Hai nửa này thường được nói liền một hơi, nhưng nhịp và câu hỏi của chúng khác hẳn nhau.
| Giám sát (monitoring) | Đánh giá (evaluation) | |
|---|---|---|
| Câu hỏi chính | Dự án có đang làm đúng kế hoạch không? | Dự án có tạo ra thay đổi như kỳ vọng không, vì sao? |
| Nhịp | Liên tục, theo tháng, quý | Theo mốc: đầu kỳ, giữa kỳ, cuối kỳ |
| Ai làm | Chủ yếu nhóm dự án, cán bộ M&E nội bộ | Thường có chuyên gia độc lập thuê ngoài |
| Dữ liệu điển hình | Danh sách tham gia, biểu mẫu hoạt động, tiến độ chi tiêu | Khảo sát hộ, phỏng vấn sâu, thảo luận nhóm |
Ở các tổ chức nhỏ, một người ôm cả hai. Ở tổ chức lớn, giám sát nằm trong nhóm dự án còn đánh giá thì có phòng riêng, thậm chí báo cáo thẳng lên trụ sở để giữ tính độc lập. Mình thấy làm cả hai ở tổ chức nhỏ thì học nhanh hơn, nhưng cũng khó giữ khách quan khi phải tự chấm dự án mà chính mình góp tay chạy. Trong số các công việc trong NGO, đây là vị trí mà quy mô tổ chức làm thay đổi bản chất công việc rõ nhất.
#2 Một năm của cán bộ M&E trông thế nào
Đầu dự án: thiết kế khung
Việc nặng nhất rơi vào mấy tháng đầu. Từ khung logic hoặc lý thuyết thay đổi trong đề xuất, cán bộ M&E dựng kế hoạch giám sát đánh giá: mỗi chỉ số được định nghĩa ra sao, lấy dữ liệu từ đâu, ai thu, bao lâu một lần, mục tiêu năm là bao nhiêu. Tài liệu này hay gọi là bảng tham chiếu chỉ số (indicator reference sheet) hoặc ma trận M&E.
Nghe đơn giản cho đến khi bạn phải định nghĩa “hộ áp dụng kỹ thuật”. Áp dụng trên toàn bộ diện tích hay một phần? Một vụ hay hai vụ liên tiếp? Ai xác nhận, cán bộ khuyến nông hay chính người dân? Mỗi lựa chọn sẽ cho ra một con số khác hẳn, và ba năm sau người ta sẽ so với con số này.
Sau đó là khảo sát đầu kỳ. Nhiều tổ chức hiện dùng biểu mẫu trên điện thoại như KoboToolbox hoặc ODK, dữ liệu đổ về máy chủ, đỡ cảnh nhập lại từ giấy. Nhưng thiết kế bảng hỏi, thử nghiệm ở một thôn, tập huấn người thu thập vẫn là việc tay chân.
Giữa dự án: theo dõi và cảnh báo
Giai đoạn này cán bộ M&E giống người giữ sổ. Hàng tháng gom biểu mẫu từ các xã, làm sạch dữ liệu, cập nhật bảng theo dõi chỉ số, rồi báo cho nhóm dự án chỗ nào lệch. Phần “báo” mới là phần có giá trị. Một hệ thống giám sát chỉ có ích khi ai đó thay đổi cách làm vì nó.
Có lần dữ liệu của mình cho thấy tỷ lệ nữ tham gia tập huấn ở một xã thấp hẳn. Hỏi ra mới biết lớp xếp vào buổi chiều, đúng giờ phụ nữ đi đón con và nấu cơm. Đổi lớp sang sáng, con số lên ngay tháng sau. Đó là kiểu việc làm mình thấy nghề này đáng làm.
Cuối dự án: đánh giá và bài học
Đánh giá cuối kỳ thường do chuyên gia độc lập làm. Họ đi theo một bộ tiêu chí mà gần như cả ngành phát triển dùng chung.
6 tiêu chí là bộ tiêu chí đánh giá của Ủy ban Hỗ trợ Phát triển OECD (OECD DAC) bản sửa đổi thông qua ngày 10/12/2019: phù hợp, nhất quán, hiệu quả, hiệu suất, tác động và bền vững. Tiêu chí “nhất quán” (coherence) là tiêu chí được bổ sung trong lần sửa đổi đó.
Bạn không cần thuộc lòng định nghĩa từng tiêu chí ngay từ đầu, nhưng đọc qua tài liệu “Better Criteria for Better Evaluation” của OECD sẽ giúp bạn hiểu vì sao đoàn đánh giá hỏi những câu họ hỏi. Phần mình thấy người mới hay bỏ sót là “bền vững”: sau khi tiền dự án dừng, thứ gì còn chạy tiếp, ai trả tiền cho nó.
#3 Kỹ năng nào cần, kỹ năng nào học dần được
Mình tách làm hai nhóm, vì người ta hay hỏi “có cần giỏi thống kê không”.
Nhóm cần có từ đầu: cẩn thận với số liệu, chịu được việc lặp lại, viết rõ ràng, và một mức tiếng Anh đủ đọc tài liệu kỹ thuật. Excel ở mức pivot, lọc, công thức tra cứu là tối thiểu.
Nhóm học dần được: phân tích định lượng sâu hơn với SPSS, Stata hoặc R; thiết kế chọn mẫu; phân tích định tính từ phỏng vấn; làm dashboard bằng Power BI. Nhiều người giỏi M&E mình biết không học thống kê chính quy mà học qua từng khảo sát, từng lần bị chuyên gia đánh giá chỉ ra lỗi.
Có một kỹ năng ít ai nói tới là ngồi nghe. Phần định tính, như thảo luận nhóm với phụ nữ trong thôn hay phỏng vấn cán bộ xã, đòi hỏi bạn hỏi xong rồi im lặng đủ lâu để người ta nói thật.
#4 Ai hợp, ai nên cân nhắc
Nếu bạn đang phân vân giữa làm dự án và làm M&E, thử tự hỏi mình thích phần nào hơn: làm cho việc diễn ra, hay tìm hiểu xem việc đã diễn ra có đúng như người ta nói không. Cán bộ dự án sống bằng tiến độ và quan hệ. Cán bộ M&E sống bằng câu hỏi và bằng chứng.
M&E cũng có cái mất. Bạn hay ở thế người mang tin xấu, đôi khi bị đồng nghiệp coi là “người đi kiểm tra”. Mùa báo cáo thì làm muộn liên tục. Và vì ít trực tiếp làm hoạt động với cộng đồng, có người cảm thấy xa thực tế dần nếu không chủ động đi thực địa.
Bù lại, kỹ năng dữ liệu của M&E mang đi được: sang nghiên cứu thị trường, phân tích chính sách, các viện nghiên cứu, thậm chí bộ phận đánh giá tác động xã hội của doanh nghiệp. Đó là lý do mình hay khuyên người mới thích con số thử M&E trước khi quyết định ở lại hẳn khu vực phi chính phủ hay không.
Còn vài thắc mắc
Không học ngành thống kê có làm M&E được không?
Được, nhiều người xuất thân từ xã hội học, kinh tế, nông nghiệp, y tế công cộng. Quan trọng là bạn chịu học thêm phân tích dữ liệu và hiểu lĩnh vực của dự án.
Vị trí khởi đầu thường tên là gì?
Hay gặp là trợ lý M&E (M&E assistant), cán bộ dữ liệu (data officer) hoặc cán bộ thu thập dữ liệu theo đợt khảo sát. Làm người thu thập dữ liệu cho vài cuộc khảo sát là cách vào khá phổ biến.
