PENELITIAN EVALUASI DAN R&D

1. Kegunaan utama dari evaluasi pendidikan :
• Evaluasi pendidikan dipandang sebagai alat penting dalam analisis kebijakan, proses politis, dan manajemen program. Terhadap analisis kebijakan, penelitian evaluasi memberikan data penting tentang biaya, keuntungan, dan permasalahan-permasalahan dari berbagai alternative program. Terhadap proses politis, temuan-temuan evaluasi digunakan sebagai pembelaan terhadap perundang-undangan tertentu dan anggaran yang digunakan.
• Juga berguna sebagai pertanggungjawaban manajemen dan membantu manajer membuat keputusan yang berhubungan dengan desain program, personel dan biaya.

2. Perbedaan utama antara penelitian evaluasi dan jenis penelitian lainnya.
PENELITIAN EVALUASI PENELITIAN PENDIDIKAN JENIS LAIN
Diprakarsai oleh seseorang yang memerlukan keputusan berkaitan dengan kebijakan, manajemen, atau strategi politik. Ditujukan untuk mengembangkan pemahaman terhadap fenomena tertentu.
Untuk tujuan yang sangat spesifik. Untuk menentukan generalisasi hubungan antar variable.
Didesain untuk menghasilkan data yang berkaitan dengan nilai atau manfaat suatu fenomena pendidikan. Didesain untuk menemukan karakteristik esensial dari fenomena pendidikan.

3. Menjelaskan alasan-alasan dalam melakukan evaluasi. Studi evaluasi dapat diprakarsai oleh ketertarikan personal evaluator atau pesanan dari seseorang atau agen tertentu, atau kedua-duanya. Bila evaluasi atas prakarsa pribadi, Anda hanya memerlukan pada diri Anda mengapa evaluasi itu dilakukan. Jika bersifat pesanan, seorang evaluator harus mempertimbangkan penyelidikan untuk menentukan semua alasan bagi evaluasi yang dipesan tersebut. Evaluasi bisa diminta karena hal itu diperlukan oleh suatu badan akreditasi atau penyandang dana. Evaluasi ini biasanya terligitimasi. Terkadang evaluasi juga diminta untuk alasan yang lebih meragukan. Misalkan untuk memantau perilaku staff suatu program. Atau untuk memperoleh bukti yang dapat digunakan sebagai alasan pembenar bagi dihentikannya suatu program atau pengurangan pendanaannya. Atau untuk memperoleh informasi yang akan merefleksikan bahwa beberapa anggota staf program tertentu tidak menguntungkan. Jika anggota staf tersebut merasa bahwa tujuan hal ini yang merukan tujuan pokok suatu evalusi, mereka dangat mungkin akan melakukan sabotase untuk terhadap pekerjaan evaluator.
Untuk menetukan legitimasi sebuah evaluasi, evaluator perlu melakukan wawancara terhadap personal kunci apakah evaluasi tersebut beralasan dan etis. Para pakar evalusi merekomendasikan agar Anda meolak untuk melakukan evaluasi jika sekiranya akan terjadi atau dimungkinkan terjadi pelanggaran etik.

4. Menyeleksi Model Evaluasi. Evaluator perlu menguraikan alasan-alasan dalam melakukan suatu studi evaluasi; baik evaluasi yang diprakarsai sendiri, maupun yang bersifat pesanan. Penguraian alasan ini penting untuk memilih model evaluasi yang akan dipilih. Model-model atau pendekatan ini berbeda dalam beberapa dimensi, diantaranya:
• Tujuan evaluasi dan pertanyaan yang ditanyakan
• Metode pengumpulan datanya
• Hubungan antara evaluator sebagai administrator yang mengatur jalannya evaluasi dengan individu-individu dalam program atau organisasi yang dievaluasi.
Untuk studi sekolah menengah, Strahan, Cooper, dan Ward memilih model evaluasi kolaboratif sebagai panduan bagi proses evaluasi mereka. Model evaluasi kolaboratif adalah setiap evaluasi dimana terdapat suatu derajat kolaborasi atau kerjasama yang signifikan antara evaluator dan stakeholder dalam merencanakan dan/atau melakukan evaluasi. Model ini serupa dalam beberapa aspek dengan model evaluasi responsive yang akan dijelaskan di belakang.

5. Mengidentifikasi Stakeholder. Identifikasi tingkat kepentingan stakeholder yang akan dipengaruhi oleh studi evaluasi. Mengabaikan beberapa diantara mereka bisa mengakibatkan konsekuensi politik yang serius.



6. “Objek” penelitian evaluasi:
a. Metode pembelajaran (perkuliahan, pengajaran inkuiri, pendekatan linguistic pada pengajaran membaca, dan lain-lain)
b. Materi kurikulum (buku teks, paket multimedia, dan lain-lain)
c. Program-program
d. Organisasi (sekolah alternative, pusat sumber daya, dan lain-lain)
e. Tenaga Pendidik
f. Siswa (siswa sekolah dasar, mahasiswa, siswa cerdas berbakat, siswa dengan masalah perilaku, dan lain-lain)

7. Memutuskan apa yang akan dievaluasi. Gambarkan semua kemungkinan aspek program yang dapat dievaluasi sebagai langkah dalam menentukan aspek-aspek tertentu yang akan menjadi focus evaluasi. Aspek-aspek ini dapat dikelompokkan menjadi: tujuan (goal), sumber daya, prosedur, dan manajemen.

• Tujuan (goal) program
Pertimbangan kelayakan tujuan program merupakan sentral dari sebagian besar studi evaluasi. Ada tujuan umum (goal), ada tujuan tujuan khusus (objective). Tujuan khusus terkadang dinyatakan dalam bentuk perilaku, yang dapat diamati pada partisipan program. Hal ini diistilahkan dengan behavioral objective. Biasanya memiliki 3 komponen: pernyataan tujuan program yang teramati; kriteria kesuksesan performance dari perilaku; dan konteks situasional dimana perilaku tersebut terbentuk.

• Sumberdaya
Sumberdaya adalah personel, peralatan, ruang, dan berbagai item lainnya yang diperlukan untuk mengimplementsikan prosedur-prosedur program.
Studi yang mendalami hubungan antar sumberdaya yang diperlukan dengan keluaran yang dicapai oleh program kadang disebut cost-benefit research atau input-output research.
Contoh pertanyaan: Apakah sumber daya kita sekarang cukup untuk menjalankan program seperti yang diinginkan pengembangnya? Apakah program ini terlalu mahal? Yang manakah dari dua program membaca ini yang lebih baik dibeli?

• Prodesur
Prosedur adalah teknik, strategi, dan proses lainnya yang berhubungan dengan sumber daya untuk mencapai tujuan program.
Contoh pertanyaan: Berapa lama guru perlu menggunakan bahan ajar sebelum siswa menguasai isinya? Apakah guru mempunyai kesulitan dalam menerapkan pendekatan inkuiri pada pengajaran sains? Pada tingkatan yang bagaimanakah guru menggunakan pendekatan inkuiri?

• Manajemen program
Penelitian evaluasi dapat difokuskan pada system manajemen yang berhubungan dengan pemanfaatan sumber daya dan prosedur program. Atau pada dampak pengaruh system manajemen terhadap tujuan program yang dicapai.
Contoh pertanyaan: Apakah system manajemen menjamin keefektifan penggunaan sumber daya? Apakah system manajemen cukup efisien? Apakah prosedur manajemen berjalan sesuai dengan yang diinginkan pengembang program?

8. Mengidentifikasi Pertanyaan-pertanyaan Evaluasi. Lee Cronbach membedakannya menjadi dua fase. (1) fase divergen dalam mengumpulkan suatu daftar pertanyaan, isu, concern, dan informasi secara komprehensif, melibatkan semua stakeholder. (2) fase konvergen dengan menyeleksi daftar pertanyaan untuk memperoleh pertanyaan-pertanyaan paling penting yang sekiranya dapat dijawab dengan sumber daya yang memungkinkan. Hal ini dilakukan melalui kolaborasi dengan stakeholder signifikan



9. Mengembangkan desain dan jadwal evaluasi. Banyak Studi Evaluasi yang memiliki keserupaan dengan studi penelitian dalam hal desain, eksekusi, dan pelaporannya. Jadi, setiap prosedur penelitian yang telah dijelaskan dalam bab-bab sebelumnya (kelompok-kelompok sebelumnya ) dapat dimasukkan ke dalam desain sebuah studi evaluasi.
Banyak studi evaluasi menggunakan suatu desain eksperimen atau kuasi-eksperimen, karena seringkali pertanyaan utama studi ini menyangkut seberapa baikkah sebuah program bekerja (program merupakan perlakuan eksperimental).
Dalam studi evaluasi biasanya ada batas waktu tertentu bagi terselesaikannya laporan akhir. Oleh karena itu diperlukan jadwal waktu yang ketat dalam merencanakan kegiatan evaluasi. Hal ini akan sangat membantu untuk mengidentifikasi setiap tahapan, kegiatan, atau dokumen yang perlu dikumpulkan dalam melengkapi studi ini.

10. Mengumpulkan dan Mengevaluasi Data Evaluasi. Kumpulan dan analisis data studi evaluasi serupa dengan studi penelitian lainnya. Sebagai contoh, studi evaluasi sekolah menengah terutama yang melibatkan desain diskriptif terhadap perspektif stakeholder dan prestasi siswa diukur dalam tiap tahun ajaran. Diantara instrument pengumpulan datanya adalah:
• The Comprehensive Middle School Survey, kuisioner yang mengukur persepsi stakeholder terhadap berbagai unsur sekolah menengah (di Amerika)
• State-mandated End-of-Grade achievement tests (semacam UNAS)
• Interview takterstruktur
• Kuisioner informal yang dikembangkan untuk penggunaan dalam lokal sekolah
• The School Climate and Safety Survey, kuisioner yang mengukur persepsi guru dan siswa tentang keamanan sekolah (di Amerika)
11. Pelaporan Hasil. Hasil dilaporkan disesuaikan tingkat kepentingan stakeholder. Bagi penulisan tesis atau disertasi, disesuaikan dengan teknik pelaporan baku masing-masing universitas. Evaluator juga perlu menyiapkan artikel untuk jurnal untuk menyebarkan temuan mereka dalam komunitas peneliti evaluasi yang lebih luas.

Kriteria Suatu Studi Evaluasi yang Baik

12. Standar Program Evaluasi. Standard for Evaluations of Educational Programs, Projects, and Materials, pertama kali dipublikasikan tahun 1981, dan direvisi di tahun 1994 dengan judul Program Evaluation Standards. Standar ini tentu saja di Amerika. (Saya tidak tahu apakah di Indonesia sudah ada standar semacam ini, atau apakah di Indonesia standar ini juga diberlakukan begitu saja). Standar ini dikembangkan oleh Komite Bersama untuk Standar Evaluasi Pendidikan (Joint Committee on Standards for Educational Evaluation).
Standar ini meliputi 4 kriteria: kegunaan, ke-terkerjakan, kesopanan, dan keakuratan. Masing-masing dipaparkan:
• Kegunaan (utility)
1. Identifikasi stakeholder
2. Kredibilitas evaluator
3. Identifikasi nilai
4. Kejelasan laporan
5. Ketepatan waktu pelaporan dan penyebaran
6. Dampak evaluasi
• Ke-terkerjakan (feasibility)
7. Praktis secara prosedur
8. Dapat dilangsungkan secara politis
9. Keefektifan biaya
• Kesopanan (Propriety)
10. Berorientasi pelayanan
11. Persetujuan formal
12. Perlindungan HAM
13. Interaksi kemanusiaan
14. Penilaian menyeluruh dan adil
15. Penyingkapan temuan
16. Konflik kepentingan
17. Pertanggungjawaban keuangan
• Keakuratan (accuracy)
18. Dokumentasi program
19. Analisis konteks
20. Penggambaran tujuan dan prosedur
21. Sumber informasi yang dapat dipertahankan
22. Informasi valid
23. Informasi reliable
24. Informasi sistematik
25. Analisis informasi kuantitatif
26. Analisis informasi kualitatif
27. Kesimpulan yang beralasan
28. Pelaporan berimbang
29. Meta-evaluation

Model Evaluasi Pendekatan Kuantitatif

1. Evaluasi individu (Evaluation of the Individual)
Difokuskan pada pengukuran perbedaan individual, dan keputusan dibuat dengan membandingkan individu dengan sejumlah norma atau criteria. Evaluasi ini masih cukup banyak digunakan (di Amerika).

2. Evaluasi berbasis tujuan (Objectives-Based Evaluation)
Dipelopori oleh Ralph Tyler dalam melakukan evaluasi kurikulum sekitar tahun 1940-an. Pandangan Tyler bahwa kurikulum harus diorganisir di seputar tujuan (objectives) yang eksplisit dan letak kesuksesannya diukur dari seberapa baik siswa dalam meraih tujuan tersebut.
Malcolm Provus mengembangkan model evaluasi ketaksesuaian (discrepancy evaluation) yang mendukung model Tyler. Dalam model ini dicari ketaksesuaian antara tujuan suatu program dengan pencapaian tujuan actual siswa. Informasi yang dihasilkan dapat dijadikan panduan bagi keputusan manajemen program.
Model lain yang menggunakan pendekatan berbasis tujuan adalah analisis biaya. Digunakan untuk menentukan (1) hubungan antara biaya suatu program dengan keuntungannya, (biasa disebut cost-benefit ratio), atau (2) hubungan antara dari beberapa intervensi relative terhadap keefektifan terukur dari intervensi tersebut dalam mencapai outcame yang diinginkan (biasa disebut cost-effectiveness).
Dalam merencanakan studi mengenai pencapaian tujuan instraksional siswa salah satu paling perlu mendapatkan perhatian adalah pengukuran tujuannya. Adalah sangat berguna bila tujuan ini dinyatakan dalam bentuk perilaku, yang berarti bahwa outcome program dinyatakan dalam bentuk perilaku dimana setiap orang dapat mengamatinya pada partisipan program tersebut. Tipe tujuan ini, yang biasanya disebut behavioral objective, biasanya memiliki tiga komponen: pernyataan tujuan program sebagai sesuatu yang teramati, bersifat perilaku; criteria kesuksesan performance prilaku; dan konteks situasional perilaku tersebut dapat terbentuk.

3. Needs Assessment
Needs diartikan sebagai kesenjangan antara keadaan yang ada dengan keadaan yang diharapkan. Nilai penting tipe penelitian ini adalah pada penyediaan landasan bagi pengembangan sebuah program baru atau perubahan terhadap program yang ada.
Contohnya disertasi yang dilakukan oleh Jamil Effarah (University of Oregon, 1977). Dia mengumpulkan informasi tentang tingkatan dimana Electronic Data Processing (EDP) diperlukan dan harus diajarkan sebagai sebuah topic dalam kurikulum sekolah tinggi program pendidikan bisnis. Penelitian ini didesain sebagai questionnaire survey untuk mengumpulkan informasi dari busu sekolah tinggi bisnis tentang status pengajaran EDP dalam program mereka, dan mengumpulkan pendapat mereka tentang status pengajaran EDP.

4. Evaluasi untuk membantu pembuatan keputusan.
Disebut juga model CIPP, dikembangkan oleh Daniel Stufflebeam dan kolega. CIPP merupakan akronom dari 4 tipe evaluasi pendidikan yang terlibat dalam model ini: context evaluation, input evaluation, process evaluation, dan product evaluation.
Context evaluation (evaluasi konteks) meliputi analisis masalah dan kebutuhan dalam suatu pengaturan pendidikan tertentu. Kebutuhan diartikan sebagai ketidaksesuaian antara kondisi yang ada dengan kondisi yang diinginkan.
Input Evaluation (evaluasi input) menyangkut pertimbangan tentang sumber daya dan strategi yang diperlukan dalam mencapai goal dan objective sebuah program. Evaluasi input mensyaratkan agar evaluator memiliki pengetahuan yang luas tentang sumber daya dan strategi yang memungkinkan, seperti halnya pengetahuan tentang penelitian pada keefektifan dalam pencapaian tipe yang berbeda dari outcome program.
Process Evaluation (evaluasi proses) mencakup pengumpulan data evaluasi ketika sebuah program sudah dibuat dan dijalankan.
Product Evaluation (evaluasi produk) untuk menentukan tingkat dimana goal program tercapai.

Model Evaluasi Pendekatan Kualitatif

5. Evaluation to Identify Issues and Concerns
Dikembangkan berdasarkan kenyataan bahwa pada umumnya orang-orang tidak suka dievaluasi. Salah satu model ini adalah responsive evaluation (evaluasi responsive). Responsive evaluation menekankan pada metode inkuiri subjektif untuk meningkatkan pemahaman yang mendalam terhadap concern, issue dan hal yang berhubungan lainnya.
Concern adalah segala sesuatu yang mana para stakeholder merasa tidak nyaman atau terancam. Atau juga setiap klaim yang mana mereka ingin untuk mendapatkan dukungan.
Issue adalah setiap poin pernyataan tentang stakeholder
Ada 4 fase yang diidentifikasi pleh Egon Guba dan Yvonna Lincoln dalam evaluasi responsive:
(1) inisiasi dan organisasi evaluasi. Dalam tahap ini stakeholder diidentifkasi. (2) identifikasi isu dan concern kunci, melalui wawancara dengan stakeholder. (3) pengumpulan informasi yang berguna, melalui berbagai cara seperti observasi natural, interview, kuisioner, dan tes terstandar. (4) melaporkan hasil secara efektif dan member rekomendasi. adversarial

6. Model Evaluasi Kuasi-Legal
Salah satu model ini adalah Adversary Evaluation. Lebih terstruktur daripada model responsive evaluation.
Memiliki 4 tahap pokok:
a. Membangun isu
Contoh pertanyaan: “Apakah program ini harus dihentikan, dan diganti dengan program alternative yang lain?”, “Apakah pendanaan program ini harus ditambah 50%?”, “apakah siswa mengalami peningkatan pembelajaran seperti yang kita harapkan?”
b. Mereduksi isu sehingga mengerucut pada hal-hal yang dapat dikendalikan.
c. Membentuk dua tim evaluasi (yang berlawanan) dan keduanya menyiapkan argument yang mendukung dan menentang program pada masing-masing isu.
d. Langkah terakhir, kedua tim melakukan sesi prehearing dan formal hearing. Kedua tim mengajukan argumennya.

7. Evaluasi berbasis keahlian (Expertise-Based Evaluation)
Menggunakan pakar untuk memberikan pertimbangan dan keputusan bagi sebuah program pendidikan, contohnya dalam akreditasi periodic oleh badan akreditasi yang terdiri dari para pakar.

Penelitian dan Pengembangan dalam Pendidikan (R&D)

Tujuan utama:
1. Mengembangkan produk, disebut fungsi pengembangan
2. Uji efektivitas produk, disebut fungsi validasi

Langkah-langkah siklus R & D (mengacu pada buku Educational Research oleh Borg dan Gall edisi keempat) :
1. Lakukan penelitian dan pengumpulan informasi. Langkah ini meliputi kajian pustaka, pengamatan, persiapan laporan tentang pokok masalah.
2. Melakukan perencanaan. Terdiri dari
3. Mengembangkan bentuk produk awal (penyiapan materi pelajaran, penyususnan buku pegangan, perlengkapan evaluasi)
4. Lakukan uji lapangan permulaan (dilakukan pada 2-3 sekolah dengan 6 – 12 subject) data wawancara, observasi, dan kuisioner dikumpulkan dan dianalisis.
5. Melakukan revisi terhadap produk utama (sesuai saran dari uji lapangan awal)
6. Melakukan uji lapangan utama. Data kuantitatif tentang unjuk kerja subjek pada pra pelatihan dan pasca pelatihan dikumpulkan dan hasilnya dinilai sesuai dengan tujuan pelatihan dan dibandingkan dengan data kelompok bila memungkinkan.
7. Lakukan revisi terhadap produk operasional. (revisi produk berdasarkan saran dari uji lapangan utama)
8. Lakukan uji coba lapangan operasional. Wawancara, observasi dan kuisioner dikumpulkan dan dianalisis.
9. Lakukan revisi terhadap produk akhir (revisi produk berdasarkan saran dari uji coba lapangan)
10. Mendesiminasikan dan mengimplementasikan produk (membuat laporan produk pada pertemuan professional dan jurnal)

Dalam edisi yang digunakan teman-teman (7 atau 8??), Borg dan Gall mengemukakan sbb:
Salah satu model yang paling banyak digunakan dalam R&D bidang pendidikan adalah model pendekatan system yang didesain oleh Walter Dick dan Lou Carey:
• Langkah 1 meliputi pendefinisian tujuan bagi program pembelajaran. Seringkali langkah ini termasuk dalam needs assessment.
• Langkah 2 dan 3 bisa berurutan atau serempak. Dalam langkah 2 analisis dilakukan untuk mengidentifikasi keterampilan, prosedur, atau tugas belajar tertentu yang diperlukan dalam mencapai tujuan. Langkah 3 dirancang untuk mengidentifikasi keterampilan dan sikap yang sudah dikuasai pelajar, karakteristik seting pembelajaran, dan karakteristik seting dimana pengetahuan dan keterampilan baru akan digunakan.
• Langkah 4 menerjemahkan kebutuhan (needs) dan tujuan (goals) pembelajaran ke dalam tujuan performance tertenu (behavioral objectives).
• Langkah 5 mengembangkan instrument penilaian. Instrument ini harus secara langsung berhubungan dengan pengetahuan dan keterampilan tertentu dalam behavioral objectives.
• Langkah 6 mengembangkan strategi pembelajaran tertentu untuk membantu pelajar melalui usahanya mencapai performance objectives.
• Langkah 7 mengembangkan bahan pembelajaran, diantaranya bahan cetak seperti buku teks dan manual pelatihan guru, atau media lainnya seperti kaset dan video interaktif.
• Langkah 8, 9, dan 10 meliputi kegiatan penetian yang disebut formative and summative evaluastion, yang diformulasikan oleh Michael Scriven.

Formative and Summative Evaluation

• Formative evaluation berfungsi untuk mengumpulkan data suatu program pendidikan yang mana program tersebut masih sedang dikembangkan. Data evaluative dapat digunakan oleh para pengembangnya untuk “membentuk” dan memodifikasi program. Siklus pengembangannya adalah dalam wujud R&D Ciclus.
• Dick dan Carey merekomendasikan 3 tingkatan bagi evaluasi formatif: (1) uji coba prototype bahan secara satu-satu, yaitu satu evaluator berkerja dengan satu pelajar. (2) Uji coba kelompok kecil dengan 6 – 8 orang. (3) Uji coba lapangan bagi seluruh siswa.
• Summative Evaluation. Dilakukan untuk menentukan tingkat kemanfaatan suatu program, khususnya dibandingkan dengan program pesaingnya.
• Evaluasi formatif biasanya dilakukan oleh “in-house” evaluator, yang kerjanya membantu pengembang program. Dalam praktiknya, selama proses pengembangan program, beberapa anggota tim dapat memainkan peran ganda, sebagai pengembang sekaligus sebagai evaluator.
• Evaluasi sumatif biasanya dilakukan oleh external evaluator. Orang ini tidak harus memiliki hubungan dengan tim pengembang, dalam rangka menjamin tidak terjadinya bias dalam pelaksanaannya. Evaluator sumatif lebih mendengarkan kebutuhan dan persyaratan yang diinginkan pembuat keputusan pendidikan, pengguna potensial suatu program, dan agen yang membiayai pengembangan program.
• Evaluasi formatif dan sumatif sering berbeda dalam hal instrumentasi, kendali penelitian, dan dapatnya tergeneralisasi. Data formatif lebih mengarah pada pengumpulan data melalui observasi, kuisioner, dan interview. Kendali penelitian dan dapatnya tergeneralisasi bukan hal yang terlalu mendapat perhatian. Sebaliknya, penelitian sumatif lebih mengarah pada pengumpulan data melalui instrument yang terstandarisasi yang memiliki validitas dan reliabilitas. Kendali penelitian dan dapatnya tergeneralisasi dibangun dalam mendesain penelitian evaluasi sumatif.




Langkah-langkah Model Penelitian dan Pengembangan Pendidikan Pendekatan Sistem