การประเมินผลโครงการ

การประเมินโปรแกรมเป็นวิธีการที่เป็นระบบสำหรับการรวบรวม วิเคราะห์ และใช้ข้อมูลเพื่อตอบคำถามเกี่ยวกับโครงการ นโยบาย และโปรแกรม^{[ 1 ]}โดยเฉพาะอย่างยิ่งเกี่ยวกับประสิทธิผล (ว่าโครงการเหล่านั้นทำในสิ่งที่ตั้งใจจะทำหรือไม่) และประสิทธิภาพ (ว่าคุ้มค่ากับเงินที่จ่ายหรือไม่ )

ใน ภาค ส่วนสาธารณะเอกชนและภาคสมัครใจผู้มีส่วนได้ส่วนเสียอาจต้องประเมิน—ภายใต้กฎหมายหรือกฎบัตร—หรือต้องการทราบว่าโครงการที่พวกเขากำลังให้ทุน สนับสนุน ดำเนินการ ลงคะแนนเสียง รับ หรือคัดค้านนั้นก่อให้เกิดผลตามที่สัญญาไว้หรือไม่ ในระดับหนึ่ง การประเมินโครงการอยู่ภายใต้การวิเคราะห์ต้นทุนและผลประโยชน์ แบบดั้งเดิม ซึ่งเกี่ยวข้องกับผลตอบแทนที่เป็นธรรมจากการลงทุนทางเศรษฐกิจและสินทรัพย์อื่น ๆ อย่างไรก็ตาม ผลลัพธ์ทางสังคมอาจซับซ้อนกว่าการประเมินผลลัพธ์ทางการตลาด และต้องใช้ทักษะที่แตกต่างกัน การพิจารณารวมถึงต้นทุนของโครงการต่อผู้เข้าร่วมผลกระทบ ของโครงการ วิธีการปรับปรุงโครงการ มีทางเลือกที่ดีกว่าหรือไม่ มีผลกระทบที่คาดไม่ถึง หรือไม่ และเป้าหมายของโครงการเหมาะสมและมีประโยชน์หรือไม่^{[ 2 ]}ผู้ประเมินช่วยตอบคำถามเหล่านี้ แนวปฏิบัติที่ดีที่สุดคือการประเมินควรเป็นโครงการร่วมกันระหว่างผู้ประเมินและผู้มีส่วนได้ส่วนเสีย^{[ 3 ]}

มีการใช้ชื่อเรียกที่หลากหลายสำหรับผู้ประเมินโครงการ ซึ่งบางครั้งอาจใช้กันอย่างไม่เป็นระบบ แต่ก็มีการใช้ชื่อเรียกที่เป็นที่ยอมรับอยู่บ้าง เช่น ผู้ที่ใช้ทักษะและเทคนิคการประเมินโครงการในการทำงานเป็นประจำจะเรียกว่านักวิเคราะห์โครงการผู้ที่มีตำแหน่งซึ่งรวมหน้าที่ผู้ช่วยฝ่ายบริหารหรือเลขานุการ เข้ากับการประเมินโครงการจะเรียกว่า ผู้ช่วยโครงการ เสมียนโครงการ (ในสหราชอาณาจักร) ผู้เชี่ยวชาญด้านการสนับสนุนโครงการ หรือผู้ร่วมงานโครงการ และผู้ที่มีตำแหน่งที่เพิ่มหน้าที่ การจัดการโครงการระดับล่างจะเรียกว่า ผู้ประสานงานโครงการ

กระบวนการประเมินผลถือเป็นปรากฏการณ์ที่ค่อนข้างใหม่ อย่างไรก็ตาม มีการบันทึกการประเมินผลทางสังคมที่วางแผนไว้ตั้งแต่ 2200 ปีก่อนคริสตกาล^{[ 4 ]} การประเมินผลมีความสำคัญอย่างยิ่งในสหรัฐอเมริกาในช่วงทศวรรษ 1960 ในยุคของ โครงการสังคม Great Societyที่เกี่ยวข้องกับการบริหารงาน ของ เคนเนดีและจอห์นสัน^{[ 5 ] [ 6 ]}

การ ประเมินโครงการอาจเกี่ยวข้องกับวิธีการวิจัยทางสังคมทั้งเชิงปริมาณและเชิงคุณภาพผู้ที่ทำการประเมินโครงการมาจากหลากหลายสาขา เช่นสังคมวิทยาจิตวิทยาเศรษฐศาสตร์สังคมสงเคราะห์รวมถึง สาขาย่อย ของรัฐศาสตร์เช่นนโยบายสาธารณะและการบริหารรัฐกิจซึ่งได้ศึกษาระเบียบวิธีที่คล้ายคลึงกันที่เรียกว่าการวิเคราะห์นโยบายมหาวิทยาลัยบางแห่งยังมีหลักสูตรฝึกอบรมเฉพาะ โดยเฉพาะอย่างยิ่งใน ระดับ บัณฑิตศึกษาด้านการประเมินโครงการ สำหรับผู้ที่ศึกษา สาขาวิชาในระดับ ปริญญาตรีที่ขาดทักษะด้านการประเมินโครงการ^{[ 7 ]}

การประเมินโครงการอาจดำเนินการได้หลายขั้นตอนตลอดอายุโครงการ แต่ละขั้นตอนก่อให้เกิดคำถามที่แตกต่างกันซึ่งผู้ประเมินต้องตอบ และจำเป็นต้องใช้วิธีการประเมินที่แตกต่างกันไปด้วย Rossi, Lipsey และ Freeman (2004) เสนอแนะการประเมินประเภทต่อไปนี้ ซึ่งอาจเหมาะสมในแต่ละขั้นตอน:

• การประเมินความจำเป็นของโครงการ
• การประเมินการออกแบบโปรแกรมและตรรกะ/ทฤษฎี
• การประเมินว่าโครงการได้รับการดำเนินการอย่างไร (เช่น โครงการได้รับการดำเนินการตามแผนหรือไม่ กระบวนการของโครงการส่งผลให้เกิดผลลัพธ์ที่ดีที่สุดเท่าที่จะเป็นไปได้หรือไม่)
• การประเมินผลลัพธ์หรือผลกระทบของโครงการ (เช่น สิ่งที่โครงการได้บรรลุผลสำเร็จจริง)
• การประเมินต้นทุนและประสิทธิภาพของโครงการ

การประเมินความต้องการจะตรวจสอบกลุ่มประชากรเป้าหมายของโครงการ เพื่อดูว่าความต้องการที่กำหนดไว้ในโครงการนั้นมีอยู่จริงในกลุ่มประชากรหรือไม่ เป็นปัญหาจริงหรือไม่ และถ้าเป็นปัญหา จะจัดการกับปัญหานั้นอย่างไรให้ได้ผลดีที่สุด ซึ่งรวมถึงการระบุและวินิจฉัยปัญหาที่แท้จริงที่โครงการพยายามแก้ไข ใครหรืออะไรได้รับผลกระทบจากปัญหา ปัญหานั้นแพร่หลายแค่ไหน และผลกระทบที่วัดได้ที่เกิดจากปัญหานั้นคืออะไร ตัวอย่างเช่น สำหรับโครงการที่อยู่อาศัยที่มุ่งลดปัญหาคนไร้บ้าน ผู้ประเมินโครงการอาจต้องการทราบว่ามีคนไร้บ้านจำนวนเท่าใดในพื้นที่ทางภูมิศาสตร์ที่กำหนด และข้อมูลประชากรของพวกเขาเป็นอย่างไร Rossi, Lipsey และ Freeman (2004) เตือนว่าไม่ควรดำเนินการแทรกแซงโดยไม่ประเมินความต้องการอย่างเหมาะสม เพราะอาจส่งผลให้สูญเสียเงินทุนจำนวนมากหากความต้องการนั้นไม่มีอยู่จริงหรือเข้าใจผิด

การประเมินความต้องการเกี่ยวข้องกับกระบวนการหรือวิธีการที่ผู้ประเมินใช้ในการอธิบายและวินิจฉัยความต้องการทางสังคม^{[ 8 ]} ซึ่งเป็นสิ่งจำเป็นสำหรับผู้ประเมิน เนื่องจากพวกเขาจำเป็นต้องระบุว่าโปรแกรมมีประสิทธิภาพหรือไม่ และพวกเขาไม่สามารถทำได้หากยังไม่ได้ระบุว่าปัญหา/ความต้องการคืออะไร โปรแกรมที่ไม่ได้ทำการประเมินความต้องการอาจเข้าใจผิดว่าได้กำจัดปัญหา/ความต้องการไปแล้ว ทั้งที่ความจริงแล้วไม่มีความต้องการตั้งแต่แรก การประเมินความต้องการเกี่ยวข้องกับการวิจัยและการปรึกษาหารือกับผู้มีส่วนได้ส่วนเสียในชุมชนและผู้ที่จะได้รับประโยชน์จากโครงการอย่างสม่ำเสมอก่อนที่จะพัฒนาและดำเนินโครงการ ดังนั้นจึงควรเป็นแนวทางจากล่างขึ้นบน ด้วยวิธีนี้ ปัญหาที่อาจเกิดขึ้นสามารถรับรู้ได้ตั้งแต่เนิ่นๆ เนื่องจากกระบวนการจะเกี่ยวข้องกับชุมชนในการระบุความต้องการ และทำให้มีโอกาสระบุอุปสรรคที่อาจเกิดขึ้นได้

ดังนั้นภารกิจที่สำคัญของผู้ประเมินโครงการคือ: ประการแรก สร้างคำจำกัดความที่แม่นยำของปัญหา^{[ 8 ]}ผู้ประเมินจำเป็นต้องระบุปัญหา/ความต้องการก่อน ซึ่งทำได้อย่างมีประสิทธิภาพที่สุดโดยการร่วมมือกับผู้มีส่วนได้ส่วนเสียที่เป็นไปได้ทั้งหมด เช่น ชุมชนที่ได้รับผลกระทบจากปัญหาที่อาจเกิดขึ้น ตัวแทน/ผู้มีบทบาทที่ทำงานเพื่อแก้ไขปัญหา ผู้ให้ทุน ฯลฯ การได้รับการสนับสนุนตั้งแต่เนิ่นๆ ในกระบวนการจะช่วยลดโอกาสที่จะเกิดการต่อต้าน การสื่อสารที่ผิดพลาด และข้อมูลที่ไม่ครบถ้วนในภายหลัง

ประการที่สอง ประเมินขอบเขตของปัญหา^{[ 8 ]} หลังจากระบุปัญหาได้อย่างชัดเจนแล้ว ผู้ประเมินจำเป็นต้องประเมินขอบเขตของปัญหา พวกเขาต้องตอบคำถาม 'อยู่ที่ไหน' และ 'ใหญ่แค่ไหน' ผู้ประเมินต้องหาว่าปัญหาอยู่ที่ใดและใหญ่แค่ไหน การชี้ให้เห็นว่ามีปัญหาอยู่จริงนั้นง่ายกว่าการระบุว่าปัญหาอยู่ที่ใดและแพร่หลายเพียงใด Rossi, Lipsey & Freeman (2004) ยกตัวอย่างว่า การที่บุคคลหนึ่งระบุว่ามีเด็กที่ถูกทำร้ายบางคนอาจเป็นหลักฐานเพียงพอที่จะโน้มน้าวให้เชื่อว่ามีการทารุณกรรมเด็ก แต่การระบุจำนวนเด็กที่ได้รับผลกระทบและที่ตั้งทางภูมิศาสตร์และสังคมของปัญหาจะต้องอาศัยความรู้เกี่ยวกับเด็กที่ถูกทารุณกรรม ลักษณะของผู้กระทำความผิด และผลกระทบของปัญหาในหน่วยงานทางการเมืองที่เกี่ยวข้อง

สิ่งนี้อาจเป็นเรื่องยาก เนื่องจากพฤติกรรมการทารุณกรรมเด็กไม่ใช่พฤติกรรมสาธารณะ นอกจากนี้ยังต้องคำนึงถึงว่าการประมาณอัตราพฤติกรรมส่วนตัวมักเป็นไปไม่ได้เนื่องจากปัจจัยต่างๆ เช่น กรณีที่ไม่ได้รับการรายงาน ในกรณีนี้ ผู้ประเมินจะต้องใช้ข้อมูลจากหลายแหล่งและใช้วิธีการที่แตกต่างกันเพื่อประมาณอัตราการเกิดเหตุการณ์ มีคำถามอีกสองข้อที่ต้องตอบ: ^{[ 9 ]} ผู้ประเมินจำเป็นต้องตอบคำถาม 'อย่างไร' และ 'อะไร' ด้วย^{[ 9 ]}คำถาม 'อย่างไร' ต้องการให้ผู้ประเมินพิจารณาว่าความต้องการจะได้รับการแก้ไขอย่างไร เมื่อระบุความต้องการและทำความคุ้นเคยกับชุมชนแล้ว ผู้ประเมินควรทำการวิเคราะห์ประสิทธิภาพเพื่อระบุว่าแผนที่เสนอในโปรแกรมจะสามารถขจัดความต้องการได้จริงหรือไม่ คำถาม 'อะไร' ต้องการให้ผู้ประเมินทำการวิเคราะห์งานเพื่อค้นหาวิธีที่ดีที่สุดในการดำเนินการ ตัวอย่างเช่น มาตรฐานการปฏิบัติงานถูกกำหนดโดยองค์กรหรือไม่ หรือจำเป็นต้องพิจารณากฎระเบียบของรัฐบาลบางประการเมื่อดำเนินการงาน^{[ 9 ]}

ประการที่สาม กำหนดและระบุเป้าหมายของการแทรกแซงและอธิบายลักษณะของความต้องการบริการของประชากรกลุ่มนั้นอย่างแม่นยำ^{[ 8 ]} สิ่งสำคัญคือต้องรู้ว่าประชากรเป้าหมายคืออะไร/เป็นใคร – อาจเป็นบุคคล กลุ่ม ชุมชน ฯลฯ ประชากรมีสามหน่วย ได้แก่ ประชากรกลุ่มเสี่ยง ประชากรกลุ่มที่ต้องการ และประชากรกลุ่มที่มีความต้องการ^{[ 8 ]}

• ประชากรกลุ่มเสี่ยง: คือกลุ่มคนที่มีโอกาสสูงที่จะเกิดความเสี่ยง เช่น ประชากรกลุ่มเสี่ยงสำหรับโครงการคุมกำเนิด ได้แก่ สตรีวัยเจริญพันธุ์
• กลุ่มเป้าหมายที่ต้องการความช่วยเหลือ: คือผู้ที่มีภาวะที่โครงการมุ่งแก้ไข ตัวอย่างเช่น กลุ่มเป้าหมายที่ต้องการความช่วยเหลือจากโครงการที่มุ่งให้ยาต้านไวรัส (ARV) แก่ผู้ติดเชื้อเอชไอวี คือผู้ที่ติดเชื้อเอชไอวี
• กลุ่มประชากรที่ต้องการความช่วยเหลือ: คือกลุ่มประชากรที่ยอมรับว่าตนเองมีความต้องการและเต็มใจที่จะเข้าร่วมในสิ่งที่โครงการนำเสนอ ตัวอย่างเช่น ไม่ใช่ว่าผู้ติดเชื้อ HIV ทุกคนจะเต็มใจรับยาต้านไวรัส (ARV)

การสามารถระบุสิ่งที่/ใครคือเป้าหมายจะช่วยในการกำหนดขอบเขตที่เหมาะสม เพื่อให้การแทรกแซงสามารถจัดการกับประชากรเป้าหมายได้อย่างถูกต้องและสามารถนำไปใช้ได้จริง^{[ 8 ]}

การประเมินความต้องการมีสี่ขั้นตอน: ^{[ 10 ]}

1. ทำการวิเคราะห์ 'ช่องว่าง'

   ผู้ประเมินจำเป็นต้องเปรียบเทียบสถานการณ์ปัจจุบันกับสถานการณ์ที่ต้องการหรือจำเป็น ความแตกต่างหรือช่องว่างระหว่างสองสถานการณ์นี้จะช่วยระบุความต้องการ วัตถุประสงค์ และเป้าหมายของโครงการได้

2. ระบุลำดับความสำคัญและความสำคัญ

   ในขั้นตอนแรกข้างต้น ผู้ประเมินได้ระบุแนวทางการแก้ไขปัญหาจำนวนหนึ่งที่อาจช่วยตอบสนองความต้องการได้ เช่น การฝึกอบรมและการพัฒนา การพัฒนาองค์กรเป็นต้น แนวทางเหล่านี้จะต้องได้รับการตรวจสอบโดยพิจารณาถึงความสำคัญต่อเป้าหมายและข้อจำกัดของโครงการ โดยต้องคำนึงถึงปัจจัยต่อไปนี้: ความคุ้มค่า (พิจารณางบประมาณของโครงการ ประเมินอัตราส่วนต้นทุน/ผลประโยชน์) แรงกดดันจากผู้บริหาร (ผู้บริหารระดับสูงคาดหวังว่าจะมีทางออกหรือไม่) และกลุ่มเป้าหมาย (มีบุคคลสำคัญจำนวนมากเกี่ยวข้องหรือไม่)

3. ระบุสาเหตุของปัญหาด้านประสิทธิภาพและ/หรือโอกาส

   เมื่อได้จัดลำดับความสำคัญของความต้องการแล้ว ขั้นตอนต่อไปคือการระบุปัญหาเฉพาะด้านภายในความต้องการเหล่านั้นที่จะต้องได้รับการแก้ไข และประเมินทักษะของบุคคลที่จะเป็นผู้ดำเนินการแก้ไขปัญหาด้วย

4. ระบุแนวทางแก้ไขที่เป็นไปได้และโอกาสในการเติบโต

   เปรียบเทียบผลลัพธ์ของการแทรกแซงหากมีการนำไปใช้หรือไม่นำไปใช้

ดังนั้น การวิเคราะห์ความต้องการจึงเป็นขั้นตอนที่สำคัญอย่างยิ่งในการประเมินโครงการ เพราะเราไม่สามารถประเมินประสิทธิผลของโครงการได้หากเราไม่ทราบว่าปัญหาคืออะไรตั้งแต่แรก

ทฤษฎีโปรแกรม หรือที่เรียกว่าแบบจำลองเชิงตรรกะแผนที่ความรู้^{[ 11 ]}หรือเส้นทางผลกระทบ^{[ 12 ]}เป็นสมมติฐานที่แฝงอยู่ในวิธีการออกแบบโปรแกรม เกี่ยวกับวิธีการที่การกระทำของโปรแกรมจะบรรลุผลลัพธ์ที่ตั้งใจไว้ 'แบบจำลองเชิงตรรกะ' นี้มักไม่ได้ระบุไว้อย่างชัดเจนโดยผู้ที่ดำเนินโปรแกรม แต่เป็นเพียงสมมติฐาน ดังนั้นผู้ประเมินจะต้องสอบถามจากเจ้าหน้าที่โปรแกรมว่าโปรแกรมจะบรรลุเป้าหมายได้อย่างไร และประเมินว่าตรรกะนี้สมเหตุสมผลหรือไม่ ตัวอย่างเช่น ในโปรแกรมป้องกันเอชไอวี อาจสันนิษฐานได้ว่าการให้ความรู้แก่ผู้คนเกี่ยวกับการแพร่เชื้อเอชไอวี/เอดส์ ความเสี่ยง และการมีเพศสัมพันธ์ที่ปลอดภัย จะส่งผลให้มีการมีเพศสัมพันธ์ที่ปลอดภัยมากขึ้น อย่างไรก็ตาม งานวิจัยในแอฟริกาใต้แสดงให้เห็นมากขึ้นเรื่อยๆ ว่าแม้จะมีการศึกษาและความรู้เพิ่มขึ้น แต่ผู้คนก็ยังคงไม่มีเพศสัมพันธ์ที่ปลอดภัย^{[ 13 ]}ดังนั้น ตรรกะของโปรแกรมที่อาศัยการศึกษาเป็นวิธีการเพื่อให้ผู้คนใช้ถุงยางอนามัยอาจผิดพลาด นี่คือเหตุผลที่สำคัญที่จะต้องอ่านงานวิจัยที่ได้ทำในด้านนี้ การอธิบายตรรกะนี้ยังสามารถเปิดเผยผลลัพธ์ที่ไม่ได้ตั้งใจหรือคาดไม่ถึงของโปรแกรมได้ ทั้งในเชิงบวกและเชิงลบ ทฤษฎีของโปรแกรมเป็นตัวขับเคลื่อนสมมติฐานที่จะทดสอบเพื่อประเมินผลกระทบ การพัฒนารูปแบบตรรกะยังสามารถสร้างความเข้าใจร่วมกันในหมู่เจ้าหน้าที่โปรแกรมและผู้มีส่วนได้ส่วนเสียเกี่ยวกับสิ่งที่โปรแกรมควรทำจริง ๆ และวิธีการที่ควรทำ ซึ่งมักจะขาดหายไป (ดูการวิเคราะห์เส้นทางผลกระทบแบบมีส่วนร่วม ) แน่นอนว่า ในระหว่างกระบวนการพยายามดึงรูปแบบตรรกะเบื้องหลังโปรแกรม ผู้ประเมินอาจค้นพบว่ารูปแบบดังกล่าวพัฒนาไม่สมบูรณ์ ขัดแย้งกันภายใน หรือ (ในกรณีที่แย่ที่สุด) ไม่มีอยู่จริงเลย ซึ่งแน่นอนว่าจะจำกัดประสิทธิภาพของการประเมิน แม้ว่าจะไม่จำเป็นต้องลดหรือกำจัดโปรแกรมก็ตาม^{[ 14 ]}

การสร้างแบบจำลองเชิงตรรกะเป็นวิธีที่ยอดเยี่ยมในการช่วยให้เห็นภาพแง่มุมที่สำคัญของโปรแกรม โดยเฉพาะอย่างยิ่งเมื่อเตรียมการประเมิน ผู้ประเมินควรสร้างแบบจำลองเชิงตรรกะโดยได้รับข้อมูลจากผู้มีส่วนได้ส่วนเสียหลายฝ่าย แบบจำลองเชิงตรรกะมีองค์ประกอบหลัก 5 ส่วน ได้แก่ ทรัพยากรหรือปัจจัยนำเข้า กิจกรรม ผลผลิต ผลลัพธ์ระยะสั้น และผลลัพธ์ระยะยาว^{[ 15 ]} การสร้างแบบจำลองเชิงตรรกะช่วยให้สามารถอธิบายปัญหา ทรัพยากรและความสามารถที่กำลังใช้ในการแก้ไขปัญหา และผลลัพธ์ที่วัดได้จากโปรแกรม การพิจารณาองค์ประกอบต่างๆ ของโปรแกรมที่เกี่ยวข้องกับเป้าหมายระยะสั้นและระยะยาวโดยรวมจะช่วยให้เห็นความไม่สอดคล้องกันที่อาจเกิดขึ้น การสร้างแบบจำลองเชิงตรรกะที่แท้จริงมีความสำคัญเป็นพิเศษเพราะช่วยให้ผู้มีส่วนได้ส่วนเสียทุกฝ่ายเข้าใจชัดเจนยิ่งขึ้นเกี่ยวกับ: คำจำกัดความของปัญหา เป้าหมายโดยรวม และความสามารถและผลผลิตของโปรแกรม^{[ 15 ]}

Rossi, Lipsey & Freeman (2004) เสนอแนวทางและขั้นตอนสี่ประการที่สามารถใช้ในการประเมินทฤษฎีโปรแกรมได้^{[ 8 ]}แนวทางเหล่านี้จะกล่าวถึงต่อไป

• การประเมินที่เกี่ยวข้องกับความต้องการทางสังคม^{[ 8 ]}

ซึ่งเกี่ยวข้องกับการประเมินทฤษฎีโปรแกรมโดยเชื่อมโยงกับความต้องการของกลุ่มเป้าหมายที่โปรแกรมตั้งใจจะให้บริการ หากทฤษฎีโปรแกรมไม่สามารถตอบสนองความต้องการของกลุ่มเป้าหมายได้ โปรแกรมก็จะไม่เกิดผลแม้ว่าจะดำเนินการอย่างดีแล้วก็ตาม^{[ 8 ]}

• การประเมินตรรกะและความสมเหตุสมผล^{[ 8 ]}

การประเมินรูปแบบนี้เกี่ยวข้องกับการขอให้คณะผู้เชี่ยวชาญตรวจสอบตรรกะและความสมเหตุสมผลของสมมติฐานและความคาดหวังที่มีอยู่ในการออกแบบโปรแกรม^{[ 8 ]}กระบวนการตรวจสอบไม่มีโครงสร้างและเปิดกว้างเพื่อแก้ไขปัญหาบางประการเกี่ยวกับการออกแบบโปรแกรม Rutman (1980), Smith (1989) และ Wholly (1994) แนะนำคำถามที่ระบุไว้ด้านล่างเพื่อช่วยในกระบวนการตรวจสอบ^{[ 8 ]}

เป้าหมายและวัตถุประสงค์ของโครงการได้รับการกำหนดไว้อย่างชัดเจนหรือไม่?

เป้าหมายและวัตถุประสงค์ของโครงการสามารถนำไปปฏิบัติได้จริงหรือไม่?

กระบวนการเปลี่ยนแปลงที่คาดการณ์ไว้ในทฤษฎีของโครงการนั้นเป็นไปได้จริงหรือไม่?

ขั้นตอนในการระบุสมาชิกของกลุ่มเป้าหมาย การให้บริการแก่พวกเขา และการรักษาระดับการบริการนั้นจนเสร็จสมบูรณ์ ได้รับการกำหนดไว้อย่างชัดเจนและเพียงพอหรือไม่?

ส่วนประกอบ กิจกรรม และหน้าที่ต่างๆ ของโปรแกรมนั้นได้รับการกำหนดไว้อย่างชัดเจนและเพียงพอหรือไม่?

ทรัพยากรที่จัดสรรให้กับโครงการและกิจกรรมต่างๆ นั้นเพียงพอหรือไม่?

• การประเมินผ่านการเปรียบเทียบกับการวิจัยและการปฏิบัติ^{[ 8 ]}

การประเมินรูปแบบนี้จำเป็นต้องได้รับข้อมูลจากเอกสารวิจัยและแนวปฏิบัติที่มีอยู่เพื่อประเมินองค์ประกอบต่างๆ ของทฤษฎีโปรแกรม ผู้ประเมินสามารถประเมินได้ว่าทฤษฎีโปรแกรมสอดคล้องกับหลักฐานการวิจัยและประสบการณ์จริงของโปรแกรมที่มีแนวคิดคล้ายคลึงกันหรือไม่^{[ 8 ]}

• การประเมินผ่านการสังเกตเบื้องต้น^{[ 8 ]}

แนวทางนี้เกี่ยวข้องกับการนำการสังเกตโดยตรงมาใช้ในกระบวนการประเมิน เนื่องจากเป็นการตรวจสอบความสอดคล้องระหว่างทฤษฎีของโปรแกรมกับตัวโปรแกรมเอง^{[ 8 ]}การสังเกตสามารถมุ่งเน้นไปที่ความเป็นไปได้ของผลลัพธ์ สถานการณ์ของกลุ่มเป้าหมาย และความเป็นไปได้ของกิจกรรมของโปรแกรมและทรัพยากรสนับสนุน^{[ 8 ]}

การประเมินทฤษฎีหลักสูตรในรูปแบบต่างๆ เหล่านี้ สามารถดำเนินการเพื่อให้แน่ใจว่าทฤษฎีหลักสูตรนั้นมีความถูกต้อง

ไรท์และวอลลิส (2019) ได้อธิบายเทคนิคเพิ่มเติมสำหรับการประเมินทฤษฎีโปรแกรมโดยพิจารณาจาก โครงสร้างของทฤษฎีวิธีการนี้เรียกว่า การวิเคราะห์เชิงบูรณาการเชิงประพจน์ (Integrative Propositional Analysis: IPA) ซึ่งอิงจากงานวิจัยที่พบว่าทฤษฎีมีแนวโน้มที่จะทำงานได้ตามที่คาดหวังเมื่อมีโครงสร้างที่ดีกว่า (นอกเหนือจากความหมายและข้อมูล) IPA เกี่ยวข้องกับการระบุประพจน์ (ข้อความแสดงเหตุและผล) และสร้างแผนภาพแสดงประพจน์เหล่านั้นก่อน จากนั้น นักวิจัยจะตรวจสอบจำนวนแนวคิดและความสัมพันธ์เชิงสาเหตุระหว่างแนวคิดเหล่านั้น (วงกลมและลูกศรในแผนภาพ) เพื่อวัดความกว้างและความลึกของความเข้าใจที่สะท้อนอยู่ในโครงสร้างของทฤษฎี การวัดความกว้างคือจำนวนแนวคิด ซึ่งอิงจากแนวคิดที่ว่าโปรแกรมในโลกแห่งความเป็นจริงเกี่ยวข้องกับส่วนประกอบที่เชื่อมโยงกันจำนวนมาก ดังนั้นทฤษฎีที่แสดงจำนวนแนวคิดที่มากขึ้นจึงแสดงถึงความเข้าใจในโปรแกรมที่กว้างขวางกว่าความลึกคือเปอร์เซ็นต์ของแนวคิดที่เป็นผลมาจากแนวคิดอื่นมากกว่าหนึ่งแนวคิด แนวคิดนี้ตั้งอยู่บนพื้นฐานที่ว่า ในโปรแกรมต่างๆ ในโลกแห่งความเป็นจริง สิ่งต่างๆ มักมีสาเหตุมากกว่าหนึ่งสาเหตุ ดังนั้น แนวคิดที่เป็นผลมาจากแนวคิดอื่นๆ มากกว่าหนึ่งแนวคิดในทฤษฎี แสดงให้เห็นถึงความเข้าใจในแนวคิดนั้นได้ดีกว่า และทฤษฎีที่มีสัดส่วนของแนวคิดที่เข้าใจได้ดีกว่า แสดงให้เห็นถึงความเข้าใจในโปรแกรมนั้นอย่างลึกซึ้งยิ่งขึ้น

การวิเคราะห์กระบวนการมองข้ามทฤษฎีเกี่ยวกับสิ่งที่โปรแกรมควรทำ และประเมินว่าโปรแกรมนั้นถูกนำไปใช้อย่างไร การประเมินนี้จะพิจารณาว่าองค์ประกอบที่ระบุว่ามีความสำคัญต่อความสำเร็จของโปรแกรมนั้นถูกนำไปใช้หรือไม่ การประเมินจะพิจารณาว่ากลุ่มเป้าหมายได้รับการเข้าถึงหรือไม่ ผู้คนได้รับบริการตามที่ตั้งใจไว้หรือไม่ และบุคลากรมีคุณสมบัติเหมาะสมหรือไม่ การประเมินกระบวนการเป็นกระบวนการต่อเนื่องซึ่งอาจใช้การวัดซ้ำเพื่อประเมินว่าโปรแกรมถูกนำไปใช้อย่างมีประสิทธิภาพหรือไม่ ปัญหานี้มีความสำคัญอย่างยิ่งเนื่องจากนวัตกรรมหลายอย่าง โดยเฉพาะอย่างยิ่งในด้านการศึกษาและนโยบายสาธารณะ ประกอบด้วยห่วงโซ่การกระทำที่ค่อนข้างซับซ้อน ตัวอย่างเช่น การประเมินกระบวนการสามารถใช้ในการวิจัยด้านสาธารณสุขได้^{[ 16 ]}ซึ่งองค์ประกอบเหล่านี้หลายอย่างขึ้นอยู่กับการนำองค์ประกอบอื่นไปใช้อย่างถูกต้องก่อนหน้านี้ และจะล้มเหลวหากการนำไปใช้ก่อนหน้านี้ไม่ถูกต้อง สิ่งนี้ได้รับการพิสูจน์อย่างชัดเจนโดยGene V. Glassและคนอื่นๆ อีกมากมายในช่วงทศวรรษ 1980 เนื่องจากหากการนำไปใช้ไม่ถูกต้องหรือไม่ได้ผล จะทำให้เกิดผลลัพธ์ที่เป็นกลางหรือเชิงลบเช่นเดียวกับการนำไปใช้อย่างถูกต้องของนวัตกรรมที่ไม่ดี จึงจำเป็นอย่างยิ่งที่การวิจัยประเมินจะต้องประเมินกระบวนการนำไปใช้เอง^{[ 17 ]}มิฉะนั้น แนวคิดนวัตกรรมที่ดีอาจถูกเข้าใจผิดว่าไม่มีประสิทธิภาพ ทั้งที่ความจริงแล้วแนวคิดนั้นไม่เคยถูกนำไปใช้ตามที่ออกแบบไว้เลย

การประเมินผลกระทบเป็นการตรวจสอบผลลัพธ์เชิงสาเหตุของโครงการ ซึ่งเกี่ยวข้องกับการพยายามวัดว่าโครงการบรรลุผลลัพธ์ที่ตั้งใจไว้หรือไม่ กล่าวคือ ผลลัพธ์ของโครงการ

ผลลัพธ์คือสถานะของกลุ่มเป้าหมายหรือสภาพทางสังคมที่คาดว่าโปรแกรมจะทำให้เปลี่ยนแปลงไป^{[ 8 ]} ผลลัพธ์ของโปรแกรมคือลักษณะที่สังเกตได้ของกลุ่มเป้าหมายหรือสภาพทางสังคม ไม่ใช่ของโปรแกรม ดังนั้นแนวคิดของผลลัพธ์จึงไม่ได้หมายความว่าเป้าหมายของโปรแกรมได้เปลี่ยนแปลงไปจริง ๆ หรือว่าโปรแกรมได้ทำให้เป้าหมายเหล่านั้นเปลี่ยนแปลงไปในทางใดทางหนึ่ง^{[ 8 ]}

ผลลัพธ์มีสองประเภท ได้แก่ ระดับผลลัพธ์และการเปลี่ยนแปลงผลลัพธ์ ซึ่งเกี่ยวข้องกับผลของโปรแกรมด้วย^{[ 8 ]}

• ระดับผลลัพธ์หมายถึง สถานะของผลลัพธ์ ณ จุดใดจุดหนึ่งในเวลา
• การเปลี่ยนแปลงผลลัพธ์หมายถึง ความแตกต่างระหว่างระดับผลลัพธ์ ณ จุดเวลาต่างๆ
• ผลกระทบของโครงการหมายถึง ส่วนหนึ่งของการเปลี่ยนแปลงผลลัพธ์ที่สามารถระบุได้อย่างชัดเจนว่าเป็นผลมาจากโครงการนั้น ๆ โดยเฉพาะ ไม่ใช่ผลจากอิทธิพลของปัจจัยอื่น ๆ

การวัดผลลัพธ์เป็นเรื่องของการแสดงสถานการณ์ที่กำหนดให้เป็นผลลัพธ์โดยใช้ตัวบ่งชี้ที่สังเกตได้ซึ่งเปลี่ยนแปลงอย่างเป็นระบบตามการเปลี่ยนแปลงหรือความแตกต่างในสถานการณ์เหล่านั้น^{[ 8 ]}การวัดผลลัพธ์เป็นวิธีการที่เป็นระบบในการประเมินขอบเขตที่โปรแกรมบรรลุผลลัพธ์ที่ตั้งใจไว้^{[ 18 ]}ตามที่ Mouton (2009) กล่าวไว้ การวัดผลกระทบของโปรแกรมหมายถึงการแสดงหรือการประมาณผลกระทบที่สะสม แตกต่างกัน ใกล้เคียง และเกิดขึ้นใหม่ ซึ่งบางส่วนอาจไม่ได้ตั้งใจและคาดไม่ถึง^{[ 19 ]}

การวัดผลลัพธ์ช่วยให้เข้าใจว่าโปรแกรมมีประสิทธิภาพหรือไม่ นอกจากนี้ยังช่วยให้เข้าใจโปรแกรมได้ชัดเจนยิ่งขึ้น แต่เหตุผลที่สำคัญที่สุดในการดำเนินการดังกล่าวคือการทำความเข้าใจผลกระทบของงานที่มีต่อผู้คนที่ได้รับบริการ^{[ 19 ]}ด้วยข้อมูลที่รวบรวมได้ จะสามารถระบุได้ว่าควรดำเนินกิจกรรมใดต่อไปและพัฒนาต่อยอด และกิจกรรมใดที่ต้องเปลี่ยนแปลงเพื่อปรับปรุงประสิทธิภาพของโปรแกรม

ซึ่งอาจเกี่ยวข้องกับการใช้เทคนิคทางสถิติที่ซับซ้อนเพื่อวัดผลกระทบของโครงการและค้นหาความสัมพันธ์เชิงสาเหตุระหว่างโครงการกับผลลัพธ์ต่างๆ

สุดท้าย การวิเคราะห์ต้นทุน-ผลประโยชน์หรือต้นทุน-ประสิทธิภาพจะประเมินประสิทธิภาพของโปรแกรม ผู้ประเมินจะสรุปผลประโยชน์และต้นทุนของโปรแกรมเพื่อเปรียบเทียบ โปรแกรมที่มีประสิทธิภาพจะมีอัตราส่วนต้นทุน-ผลประโยชน์ที่ต่ำกว่า ประสิทธิภาพมีสองประเภท ได้แก่ ประสิทธิภาพแบบคงที่และประสิทธิภาพแบบไดนามิก ประสิทธิภาพแบบคงที่เกี่ยวข้องกับการบรรลุวัตถุประสงค์ด้วยต้นทุนที่ต่ำที่สุด ในขณะที่ประสิทธิภาพแบบไดนามิกเกี่ยวข้องกับการปรับปรุงอย่างต่อเนื่อง ^{[ 20 ]}

บางทีส่วนที่ยากที่สุดของการประเมินก็คือการพิจารณาว่าตัวโครงการเองเป็นสาเหตุของการเปลี่ยนแปลงที่สังเกตได้ในกลุ่มเป้าหมายหรือไม่ เหตุการณ์หรือกระบวนการภายนอกโครงการอาจเป็นสาเหตุที่แท้จริงของผลลัพธ์ที่สังเกตได้ (หรือเป็นการป้องกันผลลัพธ์ที่คาดการณ์ไว้)

การหาสาเหตุเป็นเรื่องยาก เหตุผลหลักประการหนึ่งคืออคติจากการเลือกด้วยตนเอง^{[ 21 ]}ผู้คนเลือกที่จะเข้าร่วมโปรแกรมด้วยตนเอง ตัวอย่างเช่น ในโปรแกรมฝึกอบรมอาชีพ บางคนตัดสินใจเข้าร่วมและบางคนไม่เข้าร่วม ผู้ที่เข้าร่วมอาจแตกต่างจากผู้ที่ไม่เข้าร่วมในหลายๆ ด้านที่สำคัญ พวกเขาอาจมีความมุ่งมั่นที่จะหางานมากกว่าหรือมีทรัพยากรสนับสนุนที่ดีกว่า ลักษณะเหล่านี้อาจเป็นสาเหตุของผลลัพธ์ที่สังเกตได้คือการจ้างงานที่เพิ่มขึ้น ไม่ใช่โปรแกรมฝึกอบรมอาชีพ

การประเมินผลโดยใช้การสุ่มจัดกลุ่มสามารถให้ข้อสรุปเกี่ยวกับสาเหตุและผลได้ชัดเจนยิ่งขึ้น การสุ่มจัดกลุ่มคนให้เข้าร่วมหรือไม่เข้าร่วมโครงการจะช่วยลดหรือขจัดอคติจากการเลือกด้วยตนเองดังนั้น กลุ่มคนที่เข้าร่วมจึงมีแนวโน้มที่จะเปรียบเทียบกับกลุ่มที่ไม่เข้าร่วมได้ดีกว่า

อย่างไรก็ตาม เนื่องจากโปรแกรมส่วนใหญ่ไม่สามารถใช้การสุ่มจัดกลุ่มได้ จึงไม่สามารถระบุสาเหตุและผลได้ การวิเคราะห์ผลกระทบยังคงให้ข้อมูลที่เป็นประโยชน์ได้ ตัวอย่างเช่น สามารถอธิบายผลลัพธ์ของโปรแกรมได้ ดังนั้น การประเมินจึงสามารถอธิบายได้ว่า ผู้ที่เข้าร่วมโปรแกรมมีแนวโน้มที่จะประสบกับผลลัพธ์ที่กำหนดมากกว่าผู้ที่ไม่เข้าร่วม

หากโครงการมีขนาดค่อนข้างใหญ่และมีข้อมูลเพียงพอ การวิเคราะห์ทางสถิติสามารถนำมาใช้เพื่อสนับสนุนโครงการได้อย่างสมเหตุสมผล โดยแสดงให้เห็นว่าสาเหตุอื่นๆ นั้นมีความเป็นไปได้น้อย

สิ่งสำคัญคือต้องตรวจสอบให้แน่ใจว่าเครื่องมือ (เช่น การทดสอบ แบบสอบถาม ฯลฯ) ที่ใช้ในการประเมินโครงการมีความน่าเชื่อถือ ถูกต้อง และมีความไวมากที่สุดเท่าที่จะเป็นไปได้ ตามที่ Rossi et al. (2004, หน้า 222) ^{[ 8 ]} กล่าวไว้ว่า 'การวัดที่เลือกไม่ดีหรือคิดไม่ดีอาจบั่นทอนคุณค่าของการประเมินผลกระทบได้อย่างสิ้นเชิงโดยการสร้างการประมาณการที่ทำให้เข้าใจผิด การประเมินผลกระทบจะถือว่าน่าเชื่อถือได้ก็ต่อเมื่อการวัดผลลัพธ์มีความถูกต้อง น่าเชื่อถือ และมีความไวที่เหมาะสมเท่านั้น'

ความน่าเชื่อถือของเครื่องมือวัดคือ 'ขอบเขตที่การวัดให้ผลลัพธ์เดียวกันเมื่อใช้ซ้ำๆ เพื่อวัดสิ่งเดียวกัน' (Rossi et al., 2004, หน้า 218) ^{[ 8 ]}ยิ่งเครื่องมือวัดมีความน่าเชื่อถือมากเท่าใด พลังทางสถิติก็จะยิ่งมากขึ้น และผลการค้นพบก็จะยิ่งน่าเชื่อถือมากขึ้นเท่านั้น หากเครื่องมือวัดไม่น่าเชื่อถือ อาจทำให้ผลกระทบที่แท้จริงของโปรแกรมเจือจางและคลุมเครือ และโปรแกรมจะ 'ดูเหมือนมีประสิทธิภาพน้อยกว่าที่เป็นจริง' (Rossi et al., 2004, หน้า 219) ^{[ 8 ]}ดังนั้น จึงเป็นสิ่งสำคัญที่จะต้องตรวจสอบให้แน่ใจว่าการประเมินมีความน่าเชื่อถือมากที่สุดเท่าที่จะเป็นไปได้

ความถูกต้องของเครื่องมือวัดคือ 'ขอบเขตที่เครื่องมือวัดนั้นวัดสิ่งที่ตั้งใจจะวัด' (Rossi et al., 2004, หน้า 219) ^{[ 8 ]}แนวคิดนี้อาจวัดได้ยากอย่างแม่นยำ: โดยทั่วไปในการใช้งานในการประเมิน เครื่องมือวัดอาจถือว่าถูกต้องหากผู้มีส่วนได้ส่วนเสียยอมรับว่าถูกต้อง (ผู้มีส่วนได้ส่วนเสียอาจรวมถึงผู้ให้ทุน ผู้บริหารโครงการ เป็นต้น)

วัตถุประสงค์หลักของกระบวนการประเมินคือการวัดว่าโปรแกรมมีผลกระทบต่อปัญหาสังคมที่พยายามแก้ไขหรือไม่ ดังนั้นเครื่องมือวัดต้องมีความไวเพียงพอที่จะแยกแยะการเปลี่ยนแปลงที่อาจเกิดขึ้นเหล่านี้ได้ (Rossi et al., 2004) ^{[ 8 ]}เครื่องมือวัดอาจไม่ไวพอหากมีรายการที่วัดผลลัพธ์ที่โปรแกรมไม่น่าจะส่งผลกระทบได้ หรือหากเครื่องมือดังกล่าวได้รับการพัฒนาขึ้นเพื่อใช้กับบุคคล (เช่น การวัดทางจิตวิทยามาตรฐาน) มากกว่าที่จะใช้กับกลุ่ม (Rossi et al., 2004) ^{[ 8 ]}ปัจจัยเหล่านี้อาจส่งผลให้เกิด 'สัญญาณรบกวน' ซึ่งอาจบดบังผลกระทบใดๆ ที่โปรแกรมอาจมีได้

เฉพาะมาตรการที่บรรลุเกณฑ์มาตรฐานด้านความน่าเชื่อถือ ความถูกต้อง และความไวอย่างเหมาะสมเท่านั้น จึงจะถือได้ว่าเป็นการประเมินที่น่าเชื่อถือ หน้าที่ของผู้ประเมินคือการผลิตการประเมินที่น่าเชื่อถือ เนื่องจากผลการค้นพบอาจมีผลกระทบในวงกว้าง การประเมินที่ไม่น่าเชื่อถือซึ่งไม่สามารถแสดงให้เห็นว่าโครงการบรรลุวัตถุประสงค์หรือไม่ ในขณะที่กำลังสร้างการเปลี่ยนแปลงเชิงบวก อาจทำให้โครงการสูญเสียเงินทุนโดยไม่สมควร

ศูนย์ควบคุมและป้องกันโรค (CDC) ได้กำหนดขั้นตอนหกขั้นตอนสำหรับการประเมินโปรแกรมที่สมบูรณ์ ขั้นตอนที่อธิบายไว้ ได้แก่ การมีส่วนร่วมของผู้มีส่วนได้ส่วนเสีย การอธิบายโปรแกรม การมุ่งเน้นการออกแบบการประเมิน การรวบรวมหลักฐานที่น่าเชื่อถือ การให้เหตุผลของข้อสรุป และการรับรองการใช้และการแบ่งปันบทเรียนที่ได้รับ^{[ 22 ]} ขั้นตอนเหล่านี้สามารถเกิดขึ้นได้ในกรอบวงจรเพื่อแสดงถึงกระบวนการประเมินอย่างต่อเนื่อง

แม้ว่ากระบวนการประเมินโปรแกรมที่กล่าวถึงในที่นี้จะเหมาะสมสำหรับโปรแกรมส่วนใหญ่ แต่โครงการริเริ่มที่ไม่เป็นเชิงเส้นที่ซับซ้อนมาก เช่น โครงการที่ใช้ โมเดล ผลกระทบร่วม (CI) จำเป็นต้องมีแนวทางการประเมินแบบไดนามิก ผลกระทบร่วมคือ "ความมุ่งมั่นของกลุ่มผู้มีส่วนร่วมที่สำคัญจากภาคส่วนต่างๆ ต่อวาระร่วมกันเพื่อแก้ไขปัญหาสังคมเฉพาะ" ^{[ 23 ]}และโดยทั่วไปจะประกอบด้วยสามขั้นตอน แต่ละขั้นตอนมีแนวทางการประเมินที่แนะนำแตกต่างกัน:

• ระยะเริ่มต้น:ผู้เข้าร่วมโครงการ CI กำลังสำรวจกลยุทธ์ที่เป็นไปได้และวางแผนการดำเนินการ ซึ่งมีลักษณะเฉพาะคือความไม่แน่นอน

แนวทางการประเมินที่แนะนำ:การประเมินเชิงพัฒนาการเพื่อช่วยให้พันธมิตร CI เข้าใจบริบทของโครงการริเริ่มและการพัฒนา: ^{[ 24 ]} "การประเมินเชิงพัฒนาการเกี่ยวข้องกับข้อเสนอแนะแบบเรียลไทม์เกี่ยวกับสิ่งที่เกิดขึ้นในระบบไดนามิกที่ซับซ้อนในขณะที่ผู้สร้างนวัตกรรมพยายามที่จะนำมาซึ่งการเปลี่ยนแปลงระบบ" ^{[ 25 ]}

• ระยะกลาง:พันธมิตร CI ดำเนินการตามกลยุทธ์ที่ตกลงกันไว้ ผลลัพธ์บางอย่างสามารถคาดการณ์ได้ง่ายขึ้น

แนวทางการประเมินที่แนะนำ:การประเมินเชิงสร้างสรรค์เพื่อปรับปรุงและพัฒนาความก้าวหน้า ตลอดจนการประเมินเชิงพัฒนาการอย่างต่อเนื่องเพื่อสำรวจองค์ประกอบใหม่ ๆ ที่เกิดขึ้น การประเมินเชิงสร้างสรรค์เกี่ยวข้องกับ "การติดตามกระบวนการอย่างระมัดระวังเพื่อตอบสนองต่อคุณสมบัติที่เกิดขึ้นใหม่และผลลัพธ์ที่ไม่คาดคิด" ^{[ 26 ]}

• ระยะหลัง: กิจกรรมต่างๆ เริ่มมีเสถียรภาพและไม่อยู่ในช่วงการพัฒนาอีกต่อไป ประสบการณ์จะช่วยให้ทราบว่ากิจกรรมใดบ้างที่อาจมีประสิทธิภาพ

แนวทางการประเมินที่แนะนำ:การประเมินสรุปผล “ใช้วิธีการทั้งเชิงปริมาณและเชิงคุณภาพเพื่อให้เข้าใจสิ่งที่โครงการได้บรรลุผลสำเร็จได้ดียิ่งขึ้น และเกิดขึ้นได้อย่างไรหรือเพราะเหตุใด” ^{[ 27 ]}

การวางแผนการประเมินโปรแกรมสามารถแบ่งออกเป็นสี่ส่วน ได้แก่ การมุ่งเน้นการประเมิน การรวบรวมข้อมูล การใช้ข้อมูล และการจัดการการประเมิน^{[ 28 ]}การประเมินโปรแกรมเกี่ยวข้องกับการไตร่ตรองถึงคำถามเกี่ยวกับวัตถุประสงค์ของการประเมิน คำถามที่จำเป็นต้องถาม และสิ่งที่จะทำกับข้อมูลที่รวบรวมได้ คำถามสำคัญที่ควรพิจารณา ได้แก่:

• ฉันจะประเมินอะไร?
• จุดประสงค์ของการประเมินนี้คืออะไร?
• ใครจะเป็นผู้ใช้ผลการประเมินนี้? และพวกเขาจะใช้มันอย่างไร?
• การประเมินนี้มุ่งหวังที่จะตอบคำถามอะไรบ้าง?
• ฉันต้องการข้อมูลอะไรบ้างเพื่อตอบคำถามเหล่านี้?
• การประเมินควรเริ่มเมื่อใด? ฉันต้องการทรัพยากรอะไรบ้าง?
• ฉันจะรวบรวมข้อมูลที่ต้องการได้อย่างไร?
• จะวิเคราะห์ข้อมูลอย่างไร?
• ระยะเวลาในการดำเนินการของฉันคือเท่าไร?

“แนวทางการประเมินแบบประหยัดงบประมาณ” ออกแบบมาเพื่อช่วยเหลือผู้ประเมินที่ทำงานภายใต้งบประมาณที่จำกัด การเข้าถึงหรือความพร้อมของข้อมูลที่จำกัด และระยะเวลาดำเนินการที่จำกัด ให้ทำการประเมินที่มีประสิทธิภาพและมีความเข้มงวดทางระเบียบวิธี (Bamberger, Rugh, Church & Fort, 2004) ^{[ 29 ]}แนวทางนี้ตอบสนองต่อความต้องการที่เพิ่มขึ้นอย่างต่อเนื่องสำหรับกระบวนการประเมินที่รวดเร็วและประหยัดมากขึ้นภายใต้สถานการณ์ที่ยากลำบากของงบประมาณ ข้อจำกัดด้านเวลา และความพร้อมของข้อมูลที่จำกัด อย่างไรก็ตาม การออกแบบการประเมินเพื่อให้ได้มาตรฐานสูงสุดที่มีอยู่นั้นไม่ใช่เรื่องง่ายเสมอไป หลายโครงการไม่ได้สร้างขั้นตอนการประเมินไว้ในการออกแบบหรืองบประมาณ ดังนั้น กระบวนการประเมินจำนวนมากจึงไม่ได้เริ่มต้นจนกว่าโครงการจะเริ่มดำเนินการไปแล้ว ซึ่งอาจส่งผลให้เกิดข้อจำกัดด้านเวลา งบประมาณ หรือข้อมูลสำหรับผู้ประเมิน ซึ่งอาจส่งผลต่อความน่าเชื่อถือ ความถูกต้อง หรือความไวของการประเมิน > แนวทางแบบประหยัดงบประมาณช่วยให้มั่นใจได้ว่าความเข้มงวดทางระเบียบวิธีสูงสุดที่เป็นไปได้จะบรรลุผลภายใต้ข้อจำกัดเหล่านี้

โปรแกรมต่างๆ มักเผชิญกับข้อจำกัดด้านงบประมาณ เนื่องจากโครงการส่วนใหญ่ไม่ได้รวมงบประมาณสำหรับการประเมินผลไว้ด้วย (Bamberger et al., 2004) ดังนั้นจึงส่งผลให้งบประมาณสำหรับการประเมินผลมีขนาดเล็กลง ซึ่งไม่เพียงพอต่อการประเมินผลอย่างเข้มงวด เนื่องจากข้อจำกัดด้านงบประมาณ อาจทำให้ยากที่จะนำเครื่องมือวิธีการที่เหมาะสมที่สุดมาใช้ได้อย่างมีประสิทธิภาพ ข้อจำกัดเหล่านี้อาจส่งผลกระทบต่อเวลาที่มีอยู่ในการประเมินผล (Bamberger et al., 2004) ^{[ 29 ]}ข้อจำกัดด้านงบประมาณอาจได้รับการแก้ไขโดยการทำให้การออกแบบการประเมินผลง่ายขึ้น ปรับขนาดตัวอย่าง สำรวจวิธีการเก็บรวบรวมข้อมูลที่ประหยัด (เช่น การใช้อาสาสมัครในการเก็บข้อมูล ย่อแบบสอบถาม หรือการใช้กลุ่มโฟกัสและผู้ให้ข้อมูลสำคัญ) หรือค้นหาข้อมูลทุติยภูมิ ที่น่าเชื่อถือ (Bamberger et al., 2004) ^{[ 29 ]}

ข้อจำกัดด้านเวลาที่สำคัญที่สุดที่ผู้ประเมินอาจเผชิญคือ เมื่อผู้ประเมินถูกเรียกตัวให้ทำการประเมินในขณะที่โครงการกำลังดำเนินการอยู่ หากพวกเขาได้รับเวลาในการประเมินที่จำกัดเมื่อเทียบกับอายุของโครงการ หรือหากพวกเขาไม่ได้รับเวลาเพียงพอสำหรับการวางแผนอย่างเหมาะสม ข้อจำกัดด้านเวลาเป็นปัญหาอย่างยิ่งเมื่อผู้ประเมินไม่คุ้นเคยกับพื้นที่หรือประเทศที่โครงการตั้งอยู่ (Bamberger et al., 2004) ^{[ 29 ]}ข้อจำกัดด้านเวลาสามารถแก้ไขได้ด้วยวิธีการที่ระบุไว้ภายใต้ข้อจำกัดด้านงบประมาณดังที่กล่าวมาข้างต้น และด้วยการวางแผนอย่างรอบคอบเพื่อให้แน่ใจว่ามีการรวบรวมและวิเคราะห์ข้อมูลอย่างมีประสิทธิภาพภายในระยะเวลาที่จำกัด

หากการประเมินเริ่มต้นช้าในโครงการ อาจไม่มีข้อมูลพื้นฐานเกี่ยวกับสภาพของกลุ่มเป้าหมายก่อนเริ่มการแทรกแซง (Bamberger et al., 2004) ^{[ 29 ]}สาเหตุที่เป็นไปได้อีกประการหนึ่งของข้อจำกัดด้านข้อมูลคือ หากข้อมูลถูกรวบรวมโดยเจ้าหน้าที่โครงการและมีอคติในการรายงานอย่างเป็นระบบหรือมาตรฐานการบันทึกที่ไม่ดี และต่อมาข้อมูลนั้นก็มีประโยชน์น้อย (Bamberger et al., 2004) ^{[ 29 ]}แหล่งที่มาของข้อจำกัดด้านข้อมูลอีกแหล่งหนึ่งอาจเกิดขึ้นหากกลุ่มเป้าหมายเข้าถึงได้ยากในการเก็บข้อมูล เช่น คนไร้บ้าน ผู้ติดยาเสพติด แรงงานข้ามชาติ เป็นต้น (Bamberger et al., 2004) ^{[ 29 ]}ข้อจำกัดด้านข้อมูลสามารถแก้ไขได้โดยการสร้างข้อมูลพื้นฐานขึ้นใหม่จากข้อมูลทุติยภูมิหรือโดยการใช้วิธีการหลายวิธี วิธีการหลายวิธี เช่น การผสมผสานข้อมูลเชิงคุณภาพและเชิงปริมาณ สามารถเพิ่มความถูกต้องผ่านการตรวจสอบความถูกต้องหลายแหล่ง และประหยัดเวลาและค่าใช้จ่าย นอกจากนี้ ข้อจำกัดเหล่านี้อาจได้รับการแก้ไขผ่านการวางแผนอย่างรอบคอบและการปรึกษาหารือกับผู้มีส่วนได้ส่วนเสียในโครงการ การระบุและทำความเข้าใจความต้องการของลูกค้าอย่างชัดเจนก่อนการประเมิน จะช่วยลดต้นทุนและเวลาของกระบวนการประเมิน ในขณะเดียวกันก็ยังคงรักษาความน่าเชื่อถือไว้ได้

โดยสรุปแล้ว ข้อจำกัดด้านเวลา งบประมาณ และข้อมูล อาจส่งผลเสียต่อความถูกต้อง ความน่าเชื่อถือ และความสามารถในการถ่ายทอดผลการประเมิน แนวทางแบบประหยัด (shoestring approach) ถูกสร้างขึ้นเพื่อช่วยผู้ประเมินแก้ไขข้อจำกัดที่กล่าวมาข้างต้น โดยการหาแนวทางลดต้นทุนและเวลา สร้างข้อมูลพื้นฐานขึ้นใหม่ และเพื่อให้มั่นใจในคุณภาพสูงสุดภายใต้ข้อจำกัดที่มีอยู่ (Bamberger et al., 2004)

แนวทางการประเมินแบบห้าระดับพัฒนาต่อยอดจากกลยุทธ์ที่แนวทางการประเมินแบบงบประมาณจำกัดใช้เป็นพื้นฐาน^{[ 30 ]} เดิมที Jacobs (1988) พัฒนาแนวทางนี้ขึ้นมาเพื่อเป็นวิธีการประเมินโปรแกรมในชุมชนอีกทางเลือกหนึ่ง และได้นำไปใช้กับโปรแกรมเด็กและครอบครัวทั่วรัฐในแมสซาชูเซตส์ สหรัฐอเมริกา^{[ 31 ]}แนวทางการประเมินแบบห้าระดับนี้เสนอเป็นกรอบแนวคิดสำหรับการจับคู่การประเมินให้ตรงกับลักษณะของโปรแกรมเอง และทรัพยากรและข้อจำกัดเฉพาะที่มีอยู่ในบริบทการประเมินแต่ละครั้งอย่างแม่นยำยิ่งขึ้น^{[ 30 ]}กล่าวอีกนัยหนึ่ง แนวทางการประเมินแบบห้าระดับมุ่งที่จะปรับแต่งการประเมินให้ตรงกับความต้องการเฉพาะของบริบทการประเมินแต่ละครั้ง

ระดับก่อนหน้า (1-3) สร้างข้อมูลเชิงพรรณนาและเน้นกระบวนการ ในขณะที่ระดับต่อมา (4-5) กำหนดทั้งผลกระทบระยะสั้นและระยะยาวของโปรแกรม^{[ 32 ]}ระดับทั้งห้าจัดเรียงดังนี้:

• ระดับ 1: การประเมินความต้องการ (บางครั้งเรียกว่าก่อนการดำเนินการ) ^{[ 33 ]}
• ระดับที่ 2: การติดตามและตรวจสอบความรับผิดชอบ
• ระดับ 3: การตรวจสอบคุณภาพและการชี้แจงโปรแกรม (บางครั้งเรียกว่าการทำความเข้าใจและการปรับปรุง) ^{[ 34 ]}
• ระดับที่ 4: การบรรลุผลลัพธ์
• ระดับ 5: การสร้างผลกระทบ

สำหรับแต่ละระดับ จะมีการระบุวัตถุประสงค์ พร้อมทั้งภารกิจที่สอดคล้องกัน ซึ่งจะทำให้บรรลุวัตถุประสงค์ที่ระบุไว้ของระดับนั้นได้^{[ 34 ]}ตัวอย่างเช่น วัตถุประสงค์ของระดับแรก การประเมินความต้องการ คือ การบันทึกความต้องการโปรแกรมในชุมชน ภารกิจสำหรับระดับนั้น คือ การประเมินความต้องการและทรัพยากรของชุมชน โดยทำงานร่วมกับผู้มีส่วนได้ส่วนเสียที่เกี่ยวข้องทั้งหมด^{[ 34 ]}

แม้ว่าระดับชั้นจะถูกจัดโครงสร้างเพื่อการใช้งานต่อเนื่อง ซึ่งหมายความว่าข้อมูลที่รวบรวมในระดับชั้นก่อนหน้าจำเป็นสำหรับงานในระดับชั้นที่สูงกว่า แต่ก็ยอมรับถึงลักษณะที่ยืดหยุ่นของการประเมิน^{[ 32 ]}ดังนั้นจึงเป็นไปได้ที่จะย้ายจากระดับชั้นที่สูงกว่ากลับไปยังระดับชั้นก่อนหน้า หรือแม้กระทั่งทำงานในสองระดับชั้นพร้อมกัน^{[ 34 ]}อย่างไรก็ตาม สิ่งสำคัญสำหรับผู้ประเมินโครงการคือต้องทราบว่าโครงการจะต้องได้รับการประเมินในระดับที่เหมาะสม^{[ 33 ]}

กล่าวกันว่าแนวทางห้าระดับนี้มีประโยชน์สำหรับโปรแกรมสนับสนุนครอบครัวที่เน้นการเสริมสร้างศักยภาพของชุมชนและผู้เข้าร่วม เนื่องจากเป็นการส่งเสริมแนวทางการมีส่วนร่วมที่เกี่ยวข้องกับผู้มีส่วนได้ส่วนเสียทั้งหมด และกระบวนการสะท้อนความคิดนี้จะนำไปสู่การเสริมสร้างศักยภาพ^{[ 31 ]}

จุดประสงค์ของส่วนนี้คือเพื่อดึงความสนใจไปที่ความท้าทายและภาวะกลืนไม่เข้าคายไม่ออกทางระเบียบวิธีบางประการที่ผู้ประเมินอาจเผชิญเมื่อทำการประเมินโครงการในประเทศกำลังพัฒนา ในประเทศกำลังพัฒนาหลายแห่ง ผู้สนับสนุนหลักของการประเมินคือหน่วยงานผู้ให้ทุนจากโลกที่พัฒนาแล้ว และหน่วยงานเหล่านี้ต้องการรายงานการประเมินอย่างสม่ำเสมอเพื่อรักษาความรับผิดชอบและการควบคุมทรัพยากร ตลอดจนสร้างหลักฐานสำหรับความสำเร็จหรือความล้มเหลวของโครงการ^{[ 35 ]} อย่างไรก็ตาม มีอุปสรรคและความท้าทายมากมายที่ผู้ประเมินต้องเผชิญเมื่อพยายามดำเนินโครงการประเมินที่พยายามใช้เทคนิคและระบบที่ไม่ได้พัฒนาขึ้นภายในบริบทที่นำไปใช้^{[ 36 ]} ปัญหาบางประการ ได้แก่ ความแตกต่างทางวัฒนธรรม ทัศนคติ ภาษา และกระบวนการทางการเมือง^{[ 36 ] [ 37 ]}

วัฒนธรรมถูกนิยามโดย Ebbutt (1998, หน้า 416) ว่าเป็น "กลุ่มของความคาดหวัง ค่านิยม บรรทัดฐาน กฎ ระเบียบ กฎหมาย สิ่งประดิษฐ์ พิธีกรรม และพฤติกรรมทั้งที่เป็นลายลักษณ์อักษรและไม่เป็นลายลักษณ์อักษรที่แทรกซึมอยู่ในสังคมและมีอิทธิพลต่อพฤติกรรมทางสังคมของผู้คน" ^{[ 37 ]}วัฒนธรรมสามารถมีอิทธิพลต่อหลายแง่มุมของกระบวนการประเมิน รวมถึงการเก็บรวบรวมข้อมูล การดำเนินการตามโปรแกรมการประเมิน และการวิเคราะห์และทำความเข้าใจผลลัพธ์ของการประเมิน^{[ 37 ]} โดยเฉพาะอย่างยิ่ง เครื่องมือที่ใช้ในการเก็บรวบรวมข้อมูลแบบดั้งเดิม เช่น แบบสอบถามและการสัมภาษณ์แบบกึ่งโครงสร้าง จำเป็นต้องคำนึงถึงความแตกต่างทางวัฒนธรรม หากเครื่องมือเหล่านั้นได้รับการพัฒนาขึ้นในบริบททางวัฒนธรรมที่แตกต่างกัน^{[ 38 ]} ความเข้าใจและความหมายของแนวคิดที่ผู้ประเมินพยายามวัดอาจไม่เหมือนกันระหว่างผู้ประเมินและกลุ่มตัวอย่าง ดังนั้นการถ่ายทอดแนวคิดจึงเป็นแนวคิดที่สำคัญ เนื่องจากจะส่งผลต่อคุณภาพของการเก็บรวบรวมข้อมูลที่ดำเนินการโดยผู้ประเมิน ตลอดจนการวิเคราะห์และผลลัพธ์ที่ได้จากข้อมูล^{[ 38 ]}

ภาษายังมีบทบาทสำคัญในกระบวนการประเมิน เนื่องจากภาษามีความเชื่อมโยงอย่างใกล้ชิดกับวัฒนธรรม^{[ 38 ]} ภาษาอาจเป็นอุปสรรคสำคัญในการสื่อสารแนวคิดที่ผู้ประเมินพยายามเข้าถึง และมักจำเป็นต้องมีการแปล^{[ 37 ]} การแปลมีปัญหามากมาย รวมถึงการสูญเสียความหมาย ตลอดจนการเน้นย้ำหรือเพิ่มความหมายโดยผู้แปล^{[ 37 ]} ตัวอย่างเช่น คำศัพท์ที่เฉพาะเจาะจงตามบริบทอาจไม่สามารถแปลเป็นภาษาอื่นด้วยน้ำหนักหรือความหมายเดียวกันได้ โดยเฉพาะอย่างยิ่ง เครื่องมือเก็บรวบรวมข้อมูลจำเป็นต้องคำนึงถึงความหมาย เนื่องจากเรื่องนั้นอาจไม่ถือว่าละเอียดอ่อนในบริบทหนึ่ง แต่อาจพิสูจน์ได้ว่าละเอียดอ่อนในบริบทที่กำลังทำการประเมิน^{[ 38 ]} ดังนั้น ผู้ประเมินจำเป็นต้องคำนึงถึงแนวคิดสำคัญสองประการเมื่อใช้เครื่องมือเก็บรวบรวมข้อมูล ได้แก่ ความเท่าเทียมกันทางคำศัพท์และความเท่าเทียมกันทางแนวคิด^{[ 38 ]} ความเท่าเทียมกันทางคำศัพท์ถามคำถามว่า: จะตั้งคำถามในสองภาษาโดยใช้คำเดียวกันได้อย่างไร นี่เป็นงานที่ยากที่จะทำให้สำเร็จ และการใช้เทคนิคต่างๆ เช่น การแปลย้อนกลับ อาจช่วยผู้ประเมินได้ แต่ก็อาจไม่ส่งผลให้เกิดการถ่ายทอดความหมายที่สมบูรณ์แบบ^{[ 38 ]} ซึ่งนำไปสู่ประเด็นถัดไป คือ ความเท่าเทียมกันทางแนวคิด การที่แนวคิดต่างๆ ถ่ายทอดจากวัฒนธรรมหนึ่งไปยังอีกวัฒนธรรมหนึ่งได้อย่างชัดเจนนั้นไม่ใช่เรื่องปกติ^{[ 38 ]} ดังนั้น เครื่องมือเก็บรวบรวมข้อมูลที่ไม่ได้ผ่านการทดสอบและการนำร่องอย่างเพียงพอ อาจให้ผลลัพธ์ที่ไม่เป็นประโยชน์ เนื่องจากแนวคิดที่วัดโดยเครื่องมือนั้นอาจมีความหมายที่แตกต่างออกไป ทำให้เครื่องมือนั้นไม่น่าเชื่อถือและไม่ถูกต้อง^{[ 38 ]}

ดังนั้น จะเห็นได้ว่าผู้ประเมินจำเป็นต้องคำนึงถึงความท้าทายทางด้านระเบียบวิธีที่เกิดจากความแตกต่างทางวัฒนธรรมและภาษา เมื่อพยายามทำการประเมินโครงการในประเทศกำลังพัฒนา

โดยทั่วไปแล้ว ผลการประเมินสามารถนำไปใช้ได้ 3 วิธี ได้แก่การนำไปใช้เพื่อโน้มน้าวใจ การนำไปใช้โดยตรง (เชิงเครื่องมือ)และ การนำไปใช้ ใน เชิงแนวคิด

การใช้ประโยชน์เพื่อโน้มน้าวใจคือการนำผลการประเมินมาใช้เพื่อโน้มน้าวให้ผู้ชมสนับสนุนหรือคัดค้านวาระใดวาระหนึ่ง เว้นแต่ว่า 'ผู้โน้มน้าว' จะเป็นบุคคลเดียวกันกับที่ดำเนินการประเมิน การใช้ประโยชน์ในรูปแบบนี้จะไม่เป็นที่สนใจของผู้ประเมินมากนัก เนื่องจากพวกเขามักจะไม่สามารถคาดการณ์ถึงความพยายามในการโน้มน้าวใจในอนาคตได้^{[ 8 ]}

ผู้ประเมินมักปรับแต่งการประเมินของตนเพื่อให้ได้ผลลัพธ์ที่มีอิทธิพลโดยตรงต่อการปรับปรุงโครงสร้างหรือกระบวนการของโปรแกรม ตัวอย่างเช่น การประเมินการแทรกแซงทางการศึกษาแบบใหม่อาจให้ผลลัพธ์ที่บ่งชี้ว่าไม่มีการปรับปรุงคะแนนของนักเรียน นี่อาจเป็นเพราะการแทรกแซงนั้นไม่มีพื้นฐานทางทฤษฎีที่ดี หรืออาจเป็นเพราะการแทรกแซงนั้นไม่ได้ดำเนินการตามที่ตั้งใจไว้แต่แรก หวังว่าผลลัพธ์ของการประเมินจะทำให้ผู้สร้างการแทรกแซงกลับไปเริ่มต้นใหม่เพื่อสร้างโครงสร้างหลักของการแทรกแซงขึ้นใหม่ หรือแม้กระทั่งเปลี่ยนกระบวนการดำเนินการ^{[ 8 ]}

แต่ถึงแม้ผลการประเมินจะไม่มีอิทธิพลโดยตรงต่อการปรับเปลี่ยนโปรแกรม แต่ก็ยังสามารถนำมาใช้เพื่อให้ผู้คนตระหนักถึงปัญหาที่โปรแกรมพยายามแก้ไขได้ ยกตัวอย่างเช่น การประเมินการแทรกแซงทางการศึกษาแบบใหม่ ผลลัพธ์ยังสามารถนำมาใช้เพื่อแจ้งให้นักการศึกษาและนักเรียนทราบถึงอุปสรรคต่างๆ ที่อาจส่งผลต่อความยากลำบากในการเรียนรู้ของนักเรียนได้ จากนั้นจึงสามารถริเริ่มการศึกษาเกี่ยวกับอุปสรรคเหล่านี้ได้โดยใช้ข้อมูลใหม่นี้^{[ 8 ]}

มีเงื่อนไขห้าประการที่ดูเหมือนจะส่งผลต่อประโยชน์ของผลการประเมิน ได้แก่ความเกี่ยวข้องการสื่อสารระหว่างผู้ประเมินและผู้ใช้ผลลัพธ์การ ประมวลผลข้อมูล โดยผู้ใช้ความน่าเชื่อถือของผลลัพธ์ตลอดจนระดับการมีส่วนร่วมหรือการสนับสนุนของผู้ใช้^{[ 8 ]}

อ้างอิงโดยตรงจาก Rossi et al. (2004, หน้า 416): ^{[ 8 ]}

• ผู้ประเมินต้องเข้าใจรูปแบบการคิดของผู้ตัดสินใจ
• ผลการประเมินต้องได้รับอย่างทันท่วงทีและพร้อมใช้งานเมื่อจำเป็น
• การประเมินผลต้องเคารพในพันธสัญญาของผู้มีส่วนได้ส่วนเสียที่มีต่อโครงการ
• แผนการใช้ประโยชน์และการเผยแพร่ควรเป็นส่วนหนึ่งของการออกแบบการประเมิน
• การประเมินควรรวมถึงการประเมินการใช้ประโยชน์ด้วย

นอกเหนือจากการช่วยอำนวยความสะดวกในการใช้งานตามที่ตั้งใจไว้โดยผู้ใช้ที่ตั้งใจไว้ของการประเมินใดๆ ผู้ประเมินสามารถเสริมสร้างศักยภาพให้ตนเองพิจารณาคุณค่าที่งานของพวกเขาสามารถมีต่อสังคมในวงกว้างขึ้น รวมถึงชุมชนการประเมิน และสร้างความรู้จากการประเมินเพื่อแบ่งปันและใช้ในสาขาการประเมินในวงกว้างขึ้น ^{[ 39 ]}

การเลือกผู้ประเมินที่จะมาประเมินโครงการนั้นอาจถือว่ามีความสำคัญเท่าเทียมกับกระบวนการประเมิน ผู้ประเมินอาจเป็นบุคคลภายใน (บุคคลที่เกี่ยวข้องกับโครงการที่จะดำเนินการ) หรือบุคคลภายนอก (บุคคลที่ไม่เกี่ยวข้องกับการดำเนินการ/การนำโครงการไปใช้ในส่วนใดส่วนหนึ่ง) (กองบริการกำกับดูแล, 2004) ต่อไปนี้เป็นบทสรุปโดยย่อเกี่ยวกับข้อดีและข้อเสียของผู้ประเมินภายในและภายนอก ซึ่งดัดแปลงมาจากกองบริการกำกับดูแล (2004) สำหรับรายการข้อดีและข้อเสียที่ครอบคลุมมากขึ้นของผู้ประเมินภายในและภายนอก โปรดดู (กองบริการกำกับดูแล, 2004)

ข้อดี

• อาจมีความรู้โดยรวมเกี่ยวกับโปรแกรมดีกว่า และมีความรู้เชิงไม่เป็นทางการเกี่ยวกับโปรแกรมนั้นด้วย
• รู้สึกไม่น่ากลัวเท่าไหร่ เพราะคุ้นเคยกับพนักงานอยู่แล้ว
• ต้นทุนต่ำกว่า

ข้อเสีย

• อาจมีความเป็นกลางน้อยลง
• อาจจะให้ความสำคัญกับกิจกรรมอื่นๆ ของโครงการมากกว่า และไม่ได้ให้ความสนใจกับการประเมินอย่างเต็มที่
• อาจไม่ได้รับการฝึกอบรมอย่างเพียงพอในฐานะผู้ประเมิน

ข้อดี

• การมองกระบวนการอย่างเป็นกลางมากขึ้น นำเสนอมุมมองใหม่ๆ และแง่มุมที่แตกต่างออกไปในการสังเกตและวิพากษ์วิจารณ์กระบวนการ
• อาจสามารถทุ่มเทเวลาและความสนใจให้กับการประเมินผลได้มากขึ้น
• อาจมีความเชี่ยวชาญและทักษะการประเมินที่สูงกว่า

ข้อเสีย

• อาจมีค่าใช้จ่ายสูงกว่าและต้องใช้เวลามากขึ้นในการทำสัญญา การติดตาม การเจรจาต่อรอง ฯลฯ
• อาจไม่คุ้นเคยกับเจ้าหน้าที่โครงการและทำให้เกิดความวิตกกังวลเกี่ยวกับการถูกประเมิน
• อาจไม่คุ้นเคยกับนโยบายขององค์กร หรือข้อจำกัดบางประการที่ส่งผลกระทบต่อโครงการ

Potter (2006) ^{[ 40 ]}ระบุและอธิบายกระบวนทัศน์กว้างๆ สามประการในการประเมินโปรแกรม ประการแรกและน่าจะเป็นที่พบได้บ่อยที่สุดคือ แนวทางแบบ ปฏิฐานนิยมซึ่งการประเมินจะเกิดขึ้นได้ก็ต่อเมื่อมีแง่มุมที่ "เป็นกลาง" สังเกตได้ และวัดได้ของโปรแกรม โดยต้องใช้หลักฐานเชิงปริมาณเป็นหลัก แนวทางแบบปฏิฐานนิยมประกอบด้วยมิติการประเมิน เช่น การประเมินความต้องการ การประเมินทฤษฎีของโปรแกรม การประเมินกระบวนการของโปรแกรม การประเมินผลกระทบ และการประเมินประสิทธิภาพ (Rossi, Lipsey และ Freeman, 2004) ^{[ 41 ]} ตัวอย่างโดยละเอียดของแนวทางแบบปฏิฐานนิยมคือการศึกษาที่ดำเนินการโดย รายงานของ สถาบันนโยบายสาธารณะแห่งแคลิฟอร์เนียเรื่อง "การประเมินโปรแกรมทางวิชาการในวิทยาลัยชุมชนของแคลิฟอร์เนีย" ซึ่งผู้ประเมินตรวจสอบกิจกรรมที่วัดได้ (เช่น ข้อมูลการลงทะเบียน) และดำเนินการประเมินเชิงปริมาณ เช่นการวิเคราะห์ปัจจัย^{[ 42 ]}

รูปแบบที่สองที่ระบุโดย Potter (2006) คือแนวทางการตีความ ซึ่งมีการโต้แย้งว่าผู้ประเมินจำเป็นต้องพัฒนาความเข้าใจในมุมมอง ประสบการณ์ และความคาดหวังของผู้มีส่วนได้ส่วนเสียทั้งหมด ซึ่งจะนำไปสู่ความเข้าใจที่ดีขึ้นเกี่ยวกับความหมายและความต้องการต่างๆ ของผู้มีส่วนได้ส่วนเสีย ซึ่งเป็นสิ่งสำคัญก่อนที่จะสามารถตัดสินคุณค่าหรือประโยชน์ของโครงการได้ ผู้ประเมินมักติดต่อกับโครงการเป็นระยะเวลานาน และถึงแม้จะไม่มีวิธีการที่เป็นมาตรฐาน แต่การสังเกต การสัมภาษณ์ และกลุ่มโฟกัสก็เป็นวิธีที่ใช้กันทั่วไป รายงานที่ได้รับมอบหมายจากธนาคารโลกได้ให้รายละเอียดเกี่ยวกับ 8 แนวทางที่สามารถบูรณาการวิธีการเชิงคุณภาพและเชิงปริมาณเข้าด้วยกัน และอาจให้ข้อมูลเชิงลึกที่ไม่สามารถบรรลุได้ด้วยวิธีการเพียงวิธีเดียว^{[ 43 ]}

พอตเตอร์ (2006) ยังระบุถึงแนวทางการประเมินโครงการเชิงวิพากษ์เพื่อการปลดปล่อย ซึ่งส่วนใหญ่มีพื้นฐานมาจากการวิจัยเชิงปฏิบัติการเพื่อจุดประสงค์ในการเปลี่ยนแปลงทางสังคม แนวทางประเภทนี้มีอุดมการณ์มากกว่า และมักรวมถึงการเคลื่อนไหวทางสังคมในระดับที่สูงกว่าจากฝ่ายผู้ประเมิน แนวทางนี้เหมาะสมสำหรับการประเมินเชิงคุณภาพและแบบมีส่วนร่วม เนื่องจากเน้นการวิพากษ์วิจารณ์โครงสร้างอำนาจทางสังคม และให้ความสำคัญกับการมีส่วนร่วมและการเสริมสร้างศักยภาพ พอตเตอร์จึงให้เหตุผลว่าการประเมินประเภทนี้มีประโยชน์อย่างยิ่งในประเทศกำลังพัฒนา

แม้ว่าจะมีการใช้กรอบแนวคิดใดในการประเมินโครงการ ไม่ว่าจะเป็นแบบปฏิฐานนิยม แบบตีความ หรือแบบวิพากษ์วิจารณ์-ปลดปล่อย ก็จำเป็นอย่างยิ่งที่จะต้องยอมรับว่าการประเมินเกิดขึ้นในบริบททางสังคมและการเมืองที่เฉพาะเจาะจง การประเมินไม่ได้เกิดขึ้นในสุญญากาศ และการประเมินทั้งหมด ไม่ว่าจะรู้ตัวหรือไม่ก็ตาม ล้วนได้รับอิทธิพลจากปัจจัยทางสังคมและการเมือง สิ่งสำคัญคือต้องตระหนักว่าการประเมินและผลการค้นพบที่ได้จากกระบวนการประเมินประเภทนี้สามารถนำไปใช้เพื่อสนับสนุนหรือต่อต้านวาระทางอุดมการณ์ สังคม และการเมืองที่เฉพาะเจาะจงได้ (Weiss, 1999) ^{[ 44 ]} โดยเฉพาะอย่างยิ่งในยุคที่ทรัพยากรมีจำกัดและมีการแข่งขันระหว่างองค์กรต่างๆ เพื่อให้โครงการบางโครงการได้รับการจัดลำดับความสำคัญเหนือโครงการอื่นๆ (Louw, 1999) ^{[ 45 ]}

การประเมินการเสริมสร้างศักยภาพใช้แนวคิด เทคนิค และผลการประเมินเพื่อส่งเสริมการปรับปรุงและการกำหนดตนเองของโปรแกรมเฉพาะที่มุ่งเป้าไปที่กลุ่มเป้าหมาย/ผู้เข้าร่วมโปรแกรมเฉพาะ^{[ 46 ]}การประเมินการเสริมสร้างศักยภาพมุ่งเน้นคุณค่าในการให้ผู้เข้าร่วมโปรแกรมมีส่วนร่วมในการสร้างการเปลี่ยนแปลงในโปรแกรมที่พวกเขาได้รับเป้าหมาย หนึ่งในจุดเน้นหลักของการประเมินการเสริมสร้างศักยภาพคือการรวมผู้เข้าร่วมโปรแกรมเข้าไว้ในการดำเนินการประเมิน กระบวนการนี้มักตามมาด้วยการสะท้อนความคิดเชิงวิพากษ์ของโปรแกรม ในกรณีเช่นนี้ ผู้ประเมินภายนอก/บุคคลภายนอกทำหน้าที่เป็นที่ปรึกษา/โค้ช/ผู้อำนวยความสะดวกแก่ผู้เข้าร่วมโปรแกรมและพยายามทำความเข้าใจโปรแกรมจากมุมมองของผู้เข้าร่วม เมื่อมีความเข้าใจที่ชัดเจนเกี่ยวกับมุมมองของผู้เข้าร่วมแล้ว ก็สามารถกำหนดขั้นตอนและกลยุทธ์ที่เหมาะสม (ด้วยข้อมูลป้อนกลับที่มีค่าจากผู้เข้าร่วม) และนำไปใช้เพื่อให้บรรลุผลลัพธ์ที่ต้องการ

ตามที่ Fetterman (2002) ^{[ 46 ]} กล่าวไว้ การประเมินการเสริมสร้างศักยภาพมีสามขั้นตอน

• การจัดตั้งพันธกิจ
• การประเมินสถานการณ์
• การวางแผนสำหรับอนาคต

ขั้นตอนแรก ผู้ประเมินจะขอให้ผู้เข้าร่วมโครงการและเจ้าหน้าที่ (ของโครงการ) ช่วยกันกำหนดพันธกิจของโครงการ ผู้ประเมินอาจเลือกที่จะดำเนินการขั้นตอนนี้โดยการนำบุคคลเหล่านั้นมารวมกันและขอให้พวกเขาร่วมกันกำหนดและอภิปรายพันธกิจของโครงการ เหตุผลเบื้องหลังวิธีการนี้คือการแสดงให้แต่ละฝ่ายเห็นว่าอาจมีความคิดเห็นที่แตกต่างกันเกี่ยวกับพันธกิจที่แท้จริงของโครงการ

ขั้นตอนที่สองคือการประเมินสถานการณ์ ซึ่งประกอบด้วยสองภารกิจสำคัญ ภารกิจแรกเกี่ยวข้องกับการที่ผู้เข้าร่วมโครงการและเจ้าหน้าที่โครงการจัดทำรายการกิจกรรมหลักในปัจจุบันที่สำคัญต่อการดำเนินงานของโครงการ ภารกิจที่สองเกี่ยวข้องกับการให้คะแนนกิจกรรมหลักที่ระบุไว้ หรือที่เรียกว่าการจัดลำดับความสำคัญตัวอย่างเช่น อาจขอให้สมาชิกแต่ละคนให้คะแนนกิจกรรมหลักแต่ละรายการในระดับ 1 ถึง 10 โดยที่ 10 คือสำคัญที่สุดและ 1 คือสำคัญน้อยที่สุด บทบาทของผู้ประเมินในภารกิจนี้คือการอำนวยความสะดวกในการอภิปรายแบบโต้ตอบระหว่างสมาชิกเพื่อพยายามสร้างพื้นฐานของความหมายและความเข้าใจร่วมกันเกี่ยวกับกิจกรรมหลัก นอกจากนี้ เอกสารที่เกี่ยวข้อง (เช่น รายงานทางการเงินและข้อมูลหลักสูตร) ​​อาจถูกนำมาประกอบการอภิปรายเมื่อพิจารณากิจกรรมหลักบางอย่าง

หลังจากจัดลำดับความสำคัญของกิจกรรมหลักแล้ว ขั้นตอนต่อไปคือการวางแผนสำหรับอนาคต ในขั้นตอนนี้ ผู้ประเมินจะสอบถามผู้เข้าร่วมโครงการและเจ้าหน้าที่โครงการว่าพวกเขาต้องการปรับปรุงโครงการอย่างไรในส่วนที่เกี่ยวข้องกับกิจกรรมหลักที่ระบุไว้ วัตถุประสงค์คือการสร้างความสอดคล้องกัน โดยที่ภารกิจที่กำหนดขึ้น (ขั้นตอนที่ 1) จะชี้นำการประเมินสถานการณ์ปัจจุบัน (ขั้นตอนที่ 2) ซึ่งเป็นพื้นฐานสำหรับการวางแผนในอนาคต (ขั้นตอนที่ 3) ดังนั้น ในการวางแผนสำหรับอนาคต เป้าหมายเฉพาะจะสอดคล้องกับกิจกรรมหลักที่เกี่ยวข้อง นอกจากนี้ ยังเป็นสิ่งสำคัญที่ผู้เข้าร่วมโครงการและเจ้าหน้าที่โครงการจะต้องระบุรูปแบบของหลักฐานที่เป็นไปได้ (ตัวชี้วัดที่วัดได้) ซึ่งสามารถใช้ในการติดตามความคืบหน้าไปสู่เป้าหมายเฉพาะได้ เป้าหมายต้องเกี่ยวข้องกับกิจกรรม ความสามารถ ทรัพยากร และขอบเขตความสามารถของโครงการ กล่าวโดยสรุปคือ เป้าหมายที่กำหนดขึ้นต้องเป็นไปได้จริง

ขั้นตอนทั้งสามของการประเมินการเสริมสร้างศักยภาพนี้ก่อให้เกิดศักยภาพในการดำเนินงานโครงการให้มีประสิทธิภาพมากขึ้นและสอดคล้องกับความต้องการของกลุ่มเป้าหมายมากขึ้น การประเมินการเสริมสร้างศักยภาพซึ่งเป็นกระบวนการที่อำนวยความสะดวกโดยผู้ประเมินที่มีทักษะ จะช่วยเตรียมความพร้อมและเสริมสร้างศักยภาพให้แก่ผู้เข้าร่วมโครงการโดยการมอบวิธีการคิดเชิงวิพากษ์และการไตร่ตรองโครงการในรูปแบบใหม่ให้แก่พวกเขา นอกจากนี้ยังช่วยเสริมสร้างศักยภาพให้แก่ผู้เข้าร่วมโครงการและเจ้าหน้าที่ในการตระหนักถึงความสามารถของตนเองในการเปลี่ยนแปลงโครงการผ่านการดำเนินการร่วมกัน^{[ 47 ]}

กระบวนทัศน์การเปลี่ยนแปลงเป็นส่วนสำคัญในการบูรณาการความยุติธรรมทางสังคมในการประเมิน ดอนนา เมอร์เทนส์ นักวิจัยหลักในสาขานี้กล่าวว่า กระบวนทัศน์การเปลี่ยนแปลง “มุ่งเน้นไปที่มุมมองของกลุ่มที่ถูกกีดกันเป็นหลัก และตั้งคำถามเกี่ยวกับโครงสร้างอำนาจเชิงระบบผ่านวิธีการผสมผสานเพื่อส่งเสริมความยุติธรรมทางสังคมและสิทธิมนุษยชน” ^{[ 48 ]}กระบวนทัศน์การเปลี่ยนแปลงเกิดขึ้นหลังจากกลุ่มที่ถูกกีดกัน ซึ่งถูกผลักไสไปอยู่ข้างๆ ในการประเมินมาโดยตลอด เริ่มร่วมมือกับนักวิชาการเพื่อสนับสนุนความยุติธรรมทางสังคมและสิทธิมนุษยชนในการประเมิน กระบวนทัศน์การเปลี่ยนแปลงนำเสนอกระบวนทัศน์และมุมมองที่แตกต่างกันมากมายให้กับกระบวนการประเมิน ทำให้เกิดการตั้งคำถามต่อกระบวนการประเมินอย่างต่อเนื่อง

ทั้งสมาคมประเมินผลของอเมริกาและสมาคมนักสังคมสงเคราะห์แห่งชาติต่างเน้นย้ำถึงหน้าที่ทางจริยธรรมในการมีความสามารถทางวัฒนธรรมเมื่อทำการประเมิน ความสามารถทางวัฒนธรรมในการประเมินสามารถนิยามได้อย่างกว้างๆ ว่าเป็นการสอบถามเชิงระบบที่ตอบสนองโดยตระหนัก เข้าใจ และชื่นชมบริบททางวัฒนธรรมที่การประเมินเกิดขึ้นอย่างแท้จริง โดยกำหนดและอธิบายญาณวิทยาของความพยายามในการประเมิน ใช้วิธีการที่เหมาะสมกับวัฒนธรรมและบริบท และใช้สื่อการตีความที่สร้างขึ้นโดยผู้มีส่วนได้ส่วนเสียเพื่อให้ได้ผลลัพธ์และนำผลการค้นพบไปใช้ต่อไป^{[ 49 ]} ผู้นำด้านสุขภาพและการประเมินหลายคนระมัดระวังที่จะชี้ให้เห็นว่าความสามารถทางวัฒนธรรมไม่สามารถกำหนดได้ด้วยรายการตรวจสอบง่ายๆ แต่เป็นคุณลักษณะที่พัฒนาขึ้นตามกาลเวลา รากฐานของความสามารถทางวัฒนธรรมในการประเมินคือความเคารพอย่างแท้จริงต่อชุมชนที่กำลังศึกษาและการเปิดกว้างเพื่อแสวงหาความเข้าใจอย่างลึกซึ้งในบริบททางวัฒนธรรม การปฏิบัติ และกระบวนทัศน์ความคิดที่แตกต่างกัน ซึ่งรวมถึงการสร้างสรรค์และความยืดหยุ่นในการจับภาพบริบททางวัฒนธรรมที่แตกต่างกัน และการตระหนักถึงความแตกต่างของอำนาจที่มีอยู่ในบริบทการประเมิน ทักษะที่สำคัญได้แก่ ความสามารถในการสร้างความสัมพันธ์ที่ดีแม้จะมีความแตกต่างกัน ได้รับความไว้วางใจจากสมาชิกในชุมชน และไตร่ตรองตนเองและตระหนักถึงอคติของตนเอง^{[ 50 ]}

แนวคิดเชิงคุณค่า (axiology) ภววิทยา (ontology) ญาณวิทยา ( epistemology ) และระเบียบวิธีวิจัย (methodology)สะท้อนให้เห็นถึงการปฏิบัติงานด้านความยุติธรรมทางสังคมในการประเมินผล ตัวอย่างเหล่านี้มุ่งเน้นการแก้ไขความไม่เท่าเทียมและความอยุติธรรมในสังคมโดยการส่งเสริมการมีส่วนร่วมและความเสมอภาคในด้านสิทธิมนุษยชน

สมมติฐานเชิงคุณค่าของกระบวนทัศน์การเปลี่ยนแปลงนั้นตั้งอยู่บนหลักการหลักสี่ประการ: ^{[ 48 ]}

• ความสำคัญของการเคารพวัฒนธรรม
• การส่งเสริมความยุติธรรมทางสังคม
• การส่งเสริมสิทธิมนุษยชน
• การแก้ไขความไม่เท่าเทียมกัน

ความแตกต่างในมุมมองเกี่ยวกับสิ่งที่เป็นจริงนั้นถูกกำหนดโดยค่านิยมและประสบการณ์ชีวิตที่หลากหลาย ในทางกลับกัน ค่านิยมและประสบการณ์ชีวิตเหล่านี้มักเกี่ยวข้องกับความแตกต่างในการเข้าถึงสิทธิพิเศษ โดยพิจารณาจากลักษณะต่างๆ เช่น ความพิการ เพศ อัตลักษณ์ทางเพศ ศาสนา เชื้อชาติ/ชาติพันธุ์ สัญชาติ พรรคการเมือง ระดับรายได้ อายุ ภาษา และสถานะผู้อพยพหรือผู้ลี้ภัย^{[ 48 ]}

ความรู้ถูกสร้างขึ้นภายในบริบทของอำนาจและสิทธิพิเศษ โดยมีผลที่ตามมาจากการให้สิทธิพิเศษแก่ความรู้แต่ละเวอร์ชัน^{[ 48 ]} "ความรู้ตั้งอยู่ทางสังคมและประวัติศาสตร์ภายในบริบททางวัฒนธรรมที่ซับซ้อน" ^{[ 51 ]}

การตัดสินใจเชิงวิธีการมีจุดมุ่งหมายเพื่อกำหนดแนวทางที่จะอำนวยความสะดวกในการใช้กระบวนการและผลการค้นพบเพื่อส่งเสริมความยุติธรรมทางสังคม ระบุแรงผลักดันเชิงระบบที่สนับสนุนสถานะที่เป็นอยู่และแรงผลักดันที่จะทำให้เกิดการเปลี่ยนแปลง และยอมรับความจำเป็นสำหรับความสัมพันธ์ที่สำคัญและสะท้อนกลับระหว่างผู้ประเมินและผู้มีส่วนได้ส่วนเสีย^{[ 48 ]}

ในการดำเนินงานโดยยึดหลักความยุติธรรมทางสังคม จำเป็นอย่างยิ่งที่จะต้องมองโลกผ่านมุมมองของผู้ที่ประสบกับความอยุติธรรม ทฤษฎีวิพากษ์เรื่องเชื้อชาติ (Critical Race Theory) ทฤษฎีสตรีนิยม (Feminist Theory) และทฤษฎีเพศวิถี/LGBTQ (Queer/LGBTQ Theory) เป็นกรอบแนวคิดที่ช่วยให้เราคิดว่าผู้อื่นควรคิดอย่างไรเกี่ยวกับการให้ความยุติธรรมแก่กลุ่มที่ถูกกีดกัน กรอบแนวคิดเหล่านี้สร้างโอกาสให้แต่ละทฤษฎีมีความสำคัญในการแก้ไขปัญหาความไม่เท่าเทียมกัน

ทฤษฎีเชื้อชาติวิพากษ์ (CRT) เป็นส่วนขยายของทฤษฎีวิพากษ์ที่มุ่งเน้นความไม่เท่าเทียมกันบนพื้นฐานของเชื้อชาติและชาติพันธุ์ แดเนียล โซลอร์ซาโน อธิบายบทบาทของ CRT ว่าเป็นกรอบการทำงานเพื่อตรวจสอบและทำให้เห็นแง่มุมเชิงระบบของสังคมที่ทำให้สถานะที่เป็นอยู่ของการเลือกปฏิบัติและการกดขี่ทางเชื้อชาติยังคงดำเนินต่อไป^{[ 52 ]}

สาระสำคัญของทฤษฎีสตรีนิยมคือการ "เปิดเผยการปฏิบัติของบุคคลและสถาบันที่ปฏิเสธการเข้าถึงผู้หญิงและกลุ่มผู้ถูกกดขี่อื่นๆ และเพิกเฉยหรือลดคุณค่าของผู้หญิง" ^{[ 53 ]}

นักทฤษฎีเควียร์/LGBTQตั้งคำถามถึงอคติทางเพศวิถีที่แพร่หลายในสังคมในแง่ของอำนาจและการเลือกปฏิบัติต่อกลุ่มคนรักเพศเดียวกัน เนื่องจากประเด็นที่ละเอียดอ่อนเกี่ยวกับสถานะ LGBTQ ผู้ประเมินจึงจำเป็นต้องตระหนักถึงวิธีการที่ปลอดภัยในการปกป้องอัตลักษณ์ของบุคคลเหล่านี้ และต้องแน่ใจว่าการปฏิบัติที่เลือกปฏิบัติจะถูกเปิดเผยเพื่อให้เกิดสังคมที่ยุติธรรมมากขึ้น^{[ 48 ]}

เนื่องจากงบประมาณของรัฐบาลกลางขาดดุล รัฐบาลโอบามาจึงได้นำแนวทาง "อิงหลักฐาน" มาใช้กับการใช้จ่ายของรัฐบาล ซึ่งรวมถึงวิธีการประเมินโครงการที่เข้มงวด งบประมาณปี 2011 ของประธานาธิบดีได้จัดสรรงบประมาณสำหรับการประเมินโครงการของรัฐบาล 19 โครงการสำหรับหน่วยงานต่างๆ เช่น กระทรวงศึกษาธิการและสำนักงานเพื่อการพัฒนาระหว่างประเทศแห่งสหรัฐอเมริกา (USAID) กลุ่มระหว่างหน่วยงานบรรลุเป้าหมายในการเพิ่มความโปร่งใสและความรับผิดชอบโดยการสร้างเครือข่ายการประเมินที่มีประสิทธิภาพและนำแนวปฏิบัติที่ดีที่สุดมาใช้^{[ 54 ]} กรอบการทำงานหกขั้นตอนสำหรับการดำเนินการประเมินโครงการสาธารณสุข ซึ่งเผยแพร่โดยศูนย์ควบคุมและป้องกันโรค (CDC) ได้เพิ่มความสำคัญของการประเมินโครงการของรัฐบาลในสหรัฐอเมริกาในเบื้องต้น กรอบการทำงานมีดังนี้:

1. ดึง ผู้มีส่วนได้ส่วนเสียเข้ามา มีส่วนร่วม
2. อธิบายรายละเอียดของโปรแกรม
3. เน้นการประเมินผลให้ตรงประเด็น
4. รวบรวมหลักฐานที่น่าเชื่อถือ
5. จงให้เหตุผลสนับสนุนข้อสรุป
6. ตรวจสอบให้แน่ใจว่าได้นำบทเรียนที่ได้รับไปใช้และแบ่งปันต่อๆ ไป

ในเดือนมกราคม พ.ศ. 2562 พระราชบัญญัติพื้นฐานสำหรับการกำหนดนโยบายโดยอิงหลักฐานได้นำข้อกำหนดใหม่สำหรับหน่วยงานของรัฐบาลกลางมาใช้ เช่น การแต่งตั้งหัวหน้าเจ้าหน้าที่ประเมินผล แนวทางที่เผยแพร่โดยสำนักงานบริหารงบประมาณเกี่ยวกับการดำเนินการตามกฎหมายนี้กำหนดให้หน่วยงานต้องพัฒนาวาระการเรียนรู้หลายปี ซึ่งมีคำถามเฉพาะที่หน่วยงานต้องการหาคำตอบเพื่อปรับปรุงผลลัพธ์เชิงกลยุทธ์และการดำเนินงาน^{[ 55 ]}หน่วยงานต้องจัดทำแผนการประเมินประจำปีโดยสรุปการประเมินเฉพาะที่หน่วยงานวางแผนจะดำเนินการเพื่อตอบคำถามในวาระการเรียนรู้ด้วย

มีวิธีการประเมินโครงการหลายวิธี แต่ละวิธีมีจุดประสงค์ที่แตกต่างกัน

• การประเมินที่เน้นการใช้ประโยชน์
• แบบจำลองการประเมิน CIPP
• การประเมินเชิงสร้างสรรค์
• การประเมินผลสรุป
• การประเมินพัฒนาการ
• การประเมินที่เน้นหลักการ
• การประเมินตามทฤษฎี
• การประเมินตามหลักสัจนิยม

แบบจำลองการประเมิน CIPP ได้รับการพัฒนาโดย Daniel Stufflebeam และเพื่อนร่วมงานในช่วงทศวรรษ 1960 CIPP เป็นคำย่อของ Context, Input, Process และ Product CIPP เป็นแบบจำลองการประเมินที่ต้องการการประเมินบริบทข้อมูลนำเข้ากระบวนการและผลลัพธ์ในการตัดสินคุณค่าของโปรแกรม CIPP เป็นแนวทางการประเมินที่เน้นการตัดสินใจและเน้นการจัดหาข้อมูลอย่างเป็นระบบสำหรับ การจัดการ และการดำเนินงาน ของ โปรแกรม^{[ 56 ]}

กรอบงาน CIPP ได้รับการพัฒนาขึ้นเพื่อเป็นวิธีการเชื่อมโยงการประเมินกับการตัดสินใจ ของโครงการ โดยมีเป้าหมายเพื่อให้เป็นพื้นฐานเชิงวิเคราะห์และมีเหตุผลสำหรับการตัดสินใจของโครงการ โดยอิงจากวงจรของการวางแผน การจัดโครงสร้าง การดำเนินการ และการทบทวนและแก้ไขการตัดสินใจ ซึ่งแต่ละขั้นตอนจะได้รับการตรวจสอบผ่านแง่มุมที่แตกต่างกันของการประเมิน ได้แก่ บริบท ข้อมูลนำเข้า กระบวนการ และการประเมินผลลัพธ์^{[ 56 ]}

แบบจำลอง CIPP เป็นความพยายามที่จะทำให้การประเมินมีความเกี่ยวข้องโดยตรงกับความต้องการของผู้มีอำนาจตัดสินใจในระหว่างขั้นตอนและกิจกรรมของโปรแกรม^{[ 56 ]} แบบจำลองการประเมินบริบท ข้อมูล นำเข้ากระบวนการ และผลิตภัณฑ์ (CIPP) ของ Stufflebeam ได้รับการแนะนำให้ใช้เป็นกรอบการทำงานเพื่อชี้นำแนวคิด การออกแบบการดำเนินการและการประเมินโครงการบริการการเรียนรู้อย่างเป็นระบบ และให้ข้อเสนอแนะและการตัดสินประสิทธิภาพของโครงการเพื่อการปรับปรุงอย่างต่อเนื่อง^{[ 56 ]}

องค์ประกอบเหล่านี้ได้แก่ บริบท ข้อมูลนำเข้า กระบวนการ และผลลัพธ์ องค์ประกอบทั้งสี่นี้ของการประเมิน CIPP ช่วยให้ผู้มีอำนาจตัดสินใจสามารถตอบคำถามพื้นฐานสี่ข้อได้:

• เราควรทำอย่างไรดี?

ซึ่งเกี่ยวข้องกับการรวบรวมและวิเคราะห์ข้อมูลการประเมินความต้องการเพื่อกำหนดเป้าหมาย ลำดับความสำคัญ และวัตถุประสงค์ ตัวอย่างเช่น การประเมินบริบทของโปรแกรมการรู้หนังสืออาจเกี่ยวข้องกับการวิเคราะห์วัตถุประสงค์ที่มีอยู่ของโปรแกรมการรู้หนังสือ คะแนนการทดสอบความสำเร็จด้านการรู้หนังสือ ข้อกังวลของเจ้าหน้าที่ (ทั่วไปและเฉพาะเจาะจง) นโยบายและแผนการรู้หนังสือ และข้อกังวล การรับรู้ หรือทัศนคติและความต้องการของชุมชน^{[ 56 ]}

• เราควรทำอย่างไรดี?

ซึ่งเกี่ยวข้องกับขั้นตอนและทรัพยากรที่จำเป็นในการบรรลุเป้าหมายและวัตถุประสงค์ใหม่ และอาจรวมถึงการระบุโปรแกรมและวัสดุภายนอกที่ประสบความสำเร็จ ตลอดจนการรวบรวมข้อมูล^{[ 56 ]}

• เรากำลังดำเนินการตามแผนที่วางไว้หรือไม่?

สิ่งนี้ช่วยให้ผู้มีอำนาจตัดสินใจได้รับข้อมูลเกี่ยวกับประสิทธิภาพในการดำเนินงานของโครงการ โดยการติดตามโครงการอย่างต่อเนื่อง ผู้มีอำนาจตัดสินใจจะได้เรียนรู้สิ่งต่างๆ เช่น การปฏิบัติตามแผนและแนวทาง ความขัดแย้งที่เกิดขึ้น การสนับสนุนและขวัญกำลังใจของพนักงาน จุดแข็งและจุดอ่อนของวัสดุ ปัญหาด้านการส่งมอบและงบประมาณ^{[ 56 ]}

• โครงการนี้ได้ผลหรือไม่?

โดยการวัดผลลัพธ์ที่เกิดขึ้นจริงและเปรียบเทียบกับผลลัพธ์ที่คาดการณ์ไว้ ผู้มีอำนาจตัดสินใจจะสามารถตัดสินใจได้ดียิ่งขึ้นว่าควรดำเนินโครงการต่อไป ปรับเปลี่ยน หรือยกเลิกไปเลย นี่คือสาระสำคัญของการประเมินผลิตภัณฑ์^{[ 56 ]}

แบบจำลอง CIPP เป็น แนวทาง ในการประเมินผล โดย อนุญาตให้ผู้ประเมินสามารถประเมินโครงการได้ในหลายช่วงเวลา ได้แก่ ก่อนเริ่มโครงการ ซึ่งช่วยให้ผู้ประเมินประเมินความต้องการ และเมื่อสิ้นสุดโครงการ เพื่อประเมินว่าโครงการได้ส่งผลกระทบหรือไม่

แบบจำลอง CIPP ช่วยให้ผู้ประเมินสามารถตั้งคำถามเชิงสร้างสรรค์ในช่วงเริ่มต้นของโครงการ จากนั้นจึงสนับสนุนการประเมินผลกระทบของโครงการในภายหลังโดยการตั้งคำถามเชิงสรุปในทุกด้านของโครงการ

• บริบท : ต้องทำอะไรบ้าง? เทียบกับ ความต้องการที่สำคัญได้รับการตอบสนองแล้วหรือไม่?
• ข้อมูลนำเข้า : ควรทำอย่างไร? เทียบกับ มีการออกแบบที่สามารถป้องกันได้หรือไม่?
• กระบวนการ : มีการดำเนินการหรือไม่? เทียบกับ การออกแบบได้รับการดำเนินการอย่างดีหรือไม่?
• ผลิตภัณฑ์ : มันประสบความสำเร็จหรือไม่? เทียบกับ ความพยายามนั้นได้ผลหรือไม่?

• การประเมินผลกระทบ
• การประเมินผลกระทบ
• การวิเคราะห์เส้นทางผลกระทบแบบมีส่วนร่วม
• การวิเคราะห์นโยบาย
• การศึกษานโยบาย

• สำนักงานบริหารงานเด็กและครอบครัวคู่มือผู้จัดการโครงการเกี่ยวกับการประเมินผล การอภิปรายเกี่ยวกับการประเมินผล รวมถึงบทต่างๆ เช่น เหตุใดจึงต้องประเมินผล และการประเมินผลคืออะไร
• BetterEvaluation : การแบ่งปันข้อมูลเพื่อปรับปรุงการประเมินผล
• สมาคมประเมินผลแห่งอเมริกา (American Evaluation Association)มีลิงก์ไปยังแหล่งข้อมูลด้านการประเมินผลเช่น องค์กร เว็บไซต์ลิงก์ รายชื่อกลุ่มสนทนาทางอีเมล ที่ปรึกษา และอื่นๆ
• สมาคมประเมินผลแห่งแคนาดา (Canadian Evaluation Society)มีลิงก์ไปยังข้อมูลเกี่ยวกับการประเมินผลเช่น บริการ การพัฒนาวิชาชีพ แหล่งข้อมูล องค์กร และสาขาระดับภูมิภาค
• กรอบการทำงานหกขั้นตอนของ CDCมีให้ดูได้ที่นี่เช่นกัน ศูนย์ควบคุมและป้องกันโรค กรอบการทำงานสำหรับการประเมินโครงการด้านสาธารณสุข MMWR 1999;48(ฉบับที่ RR-11)รวมถึงคำอธิบายของแบบจำลองเชิงตรรกะในส่วนขั้นตอนด้วย
• คู่มือการออกแบบงานวิจัยและการวัดผลทางสังคมโดย เดลเบิร์ต ชาร์ลส์ มิลเลอร์ และ นีล เจ. ซัลคินด์ (2002) ฉบับพิมพ์ครั้งที่ 6 ฉบับปรับปรุง จัดพิมพ์โดย SAGE
• เครือข่ายการประเมินผลระดับนานาชาติและเครื่องมือฝึกอบรมEvalPartners (EvalYouth)
• EvaluationWiki - พันธกิจของ EvaluationWiki คือการรวบรวมข้อมูลและแหล่งข้อมูลที่ทันสมัยไว้ให้ทุกคนที่เกี่ยวข้องกับวิทยาศาสตร์และการปฏิบัติงานด้านการประเมินผลได้เข้าถึงอย่างเสรี EvaluationWiki นำเสนอโดยสถาบันทรัพยากรการประเมินผล (Evaluation Resource Institute ) ซึ่งเป็นองค์กรไม่แสวงผลกำไร
• แหล่งข้อมูลฟรีสำหรับการประเมินโครงการและวิธีการวิจัยทางสังคมนี่คือประตูสู่แหล่งข้อมูลเกี่ยวกับการประเมินโครงการ วิธีการ คู่มือออนไลน์ หนังสือเกี่ยวกับวิธีการประเมิน และซอฟต์แวร์ฟรีที่เกี่ยวข้องกับการประเมิน
• เครือข่ายนวัตกรรม (Innovation Network)คือองค์กรไม่แสวงหาผลกำไรที่ทำงานเพื่อแบ่งปันเครื่องมือและองค์ความรู้ด้านการวางแผนและการประเมินผล องค์กรนี้ให้บริการเครื่องมือออนไลน์ การให้คำปรึกษา และการฝึกอบรมแก่องค์กรไม่แสวงหาผลกำไรและผู้ให้ทุน
• ลิงก์ไปยังแหล่งข้อมูลด้านการประเมินและการวัดผล รายชื่อลิงก์ไปยังแหล่งข้อมูลในหัวข้อต่างๆ รวมถึง: ศูนย์ต่างๆ การสร้างชุมชน การศึกษาและการฝึกอบรมด้านการประเมิน; มูลนิธิ; รัฐบาลและองค์กรต่างๆ ในรัฐอินเดียนา; ลิงก์ที่รวบรวมโดย...; แบบจำลองเชิงตรรกะ; การประเมินผลการปฏิบัติงานและแฟ้มสะสมผลงานอิเล็กทรอนิกส์; กลุ่มหรือบริษัททางการเมืองและเอกชน; สมาคมวิชาชีพ องค์กรและสำนักพิมพ์; มหาวิทยาลัย Purdue; รัฐบาลสหรัฐอเมริกา; การค้นหาเอกสารเผยแพร่ทางเว็บตามผู้เขียนและหัวข้อ; และการค้นหาเมตาตามหัวข้อของ Vivisimo
• สำนักงานประเมินผลโครงการและความรับผิดชอบของภาครัฐแห่งสภานิติบัญญัติรัฐเมนเป็นตัวอย่างที่ดีเยี่ยมของสำนักงานประเมินผลโครงการภาครัฐ โดยมีลิงก์ไปยังรายงานโดยละเอียดหลายฉบับ ซึ่งรวมถึงวิธีการ ผลการประเมิน ข้อเสนอแนะ และแผนปฏิบัติการ
• สมาคมประเมินผลโครงการนิติบัญญัติแห่งชาติ (National Legislative Program Evaluation Society)มีลิงก์ไปยังสำนักงานประเมินผลโครงการและ/หรือตรวจสอบประสิทธิภาพการดำเนินงานของแต่ละรัฐในสหรัฐอเมริกา
• โครงการพัฒนาเยาวชน 4-Hเว็บไซต์นี้เป็นเว็บไซต์เพื่อการสอนและให้ความช่วยเหลือแก่ผู้ที่ต้องการประเมินโครงการของตนเอง
• การประเมินผลโครงการและการจัดการผลลัพธ์ - สถาบัน Urban Institute
• การประเมินผลโครงการคืออะไร: คู่มือสำหรับผู้เริ่มต้น โดยจีน แช็คแมน