Merancang dan Melakukan Evaluasi Formatif

Merancang dan Melakukan Evaluasi Formatif

Konsep

Konsep utama yang mendasari bab ini adalah evaluasi formatif, yaitu Proses perancang digunakan untuk mendapatkan data untuk merevisi instruksi mereka agar yang dibuat  lebih efisien dan efektif.Penekanannya adalah pada pengumpulan dan analisis data dan revisi instruksi. Bila versi terakhir dari instruksi tersebut adalah diproduksi, evaluator lain mungkin mengumpulkan data untuk menentukan keefektifannya. Ini Jenis evaluasi terakhir sering disebut sebagai evaluasi sumatif: sumatif dalam instruksi itu sekarang dalam bentuk akhirnya, dan tepat untuk membandingkannya dengan bentuk instruksi serupa lainnya.

Ada tiga tahap dasar evaluasi formatif. Pertama, dalam evaluasi satu-ke-satu atau evaluasi klinis, perancang bekerja dengan pembelajar individual untuk mendapatkan data yang akan direvisi bahannya. Tahap kedua evaluasi formatif adalah evaluasi kelompok kecil. Sekelompok delapan sampai dua puluh peserta didik mewakili populasi sasaran mempelajari bahan mereka sendiri dan diuji untuk mengumpulkan data yang dibutuhkan. Tahap ketiga Evaluasi formatif biasanya merupakan percobaan lapangan. Jumlah peserta didik tidak konsekuensi tertentu; Sering tiga puluh sudah cukup. Penekanan dalam uji coba lapangan adalah pada prosedur pengujian yang diperlukan untuk menginstal instruksi dalam situasi yang dekat dengan "dunia nyata" mungkin. Tiga tahap evaluasi formatif biasanya didahului dengan review instruksi oleh spesialis yang tertarik yang tidak secara langsung terlibat dalam proyek pengembangan instruksional, namun memiliki keahlian yang relevan.

Desain Evaluasi Formatif

Kerangka acuan apa yang dapat Anda gunakan untuk merancang evaluasi formatif? Penyimpanan Dalam pikiran tujuan evaluasi formatif adalah untuk menentukan kesalahan spesifik dalam bahan untuk memperbaiki mereka, desain evaluasi-termasuk instrumen, prosedur, dan personil - harus menghasilkan informasi tentang lokasi dan lokasi alasan untuk masalah apapun Memfokuskan desain hanya pada tujuan dan sasaran instruksi terlalu terbatas Data tentang pencapaian tujuan dan sasaran peserta didik tidak mencukupi, meski penting, karena data ini hanya memberikan informasi tentang di mana kesalahan terjadi daripada mengapa hal itu terjadi. Begitu pula dengan pendekatan senapan Untuk koleksi data juga tidak tepat. Meski mengumpulkan data tentang segala hal yang bisa dibayangkan menghasilkan berbagai informasi, namun bisa menghasilkan beberapa data yang tidak relevan dan tidak lengkap.

Mungkin jangkar atau kerangka terbaik untuk desain evaluasi formatif adalah strategi instruksional. Karena strateginya adalah fondasi Menciptakan materi, kemungkinan akan memegang kunci sifat kesalahan yang Anda buat dalam memproduksinya. Menggunakan strategi instruksional sebagai kerangka acuan untuk mengembangkan instrumen dan prosedur evaluasi akan membantu Anda menghindari merancang evaluasi formatif yang terlalu terfokus atau terlalu sempit.

Salah satu cara strategi instruksional dapat digunakan untuk membantu perancangan evaluasi formatif adalah dengan menciptakan sebuah matriks yang mencantumkan komponen instruksional. strategi di satu sisi dan kategori pertanyaan utama tentang instruksi di sisi lain. Dalam kotak berpotongan dari matriks komponen-oleh-pertanyaan, Anda bisa menghasilkan pertanyaan yang harus dijawab dalam evaluasi yang terkait setiap area dan komponennya. Dengan menggunakan pertanyaan-pertanyaan ini, Anda kemudian dapat merencanakan instrumen dan prosedur yang sesuai untuk digunakan dan khalayak yang tepat untuk diberikan informasi.

Berbagai komponen strategi harus cukup familiar bagi Anda sekarang. Pertanyaan umum apa yang harus diajukan tentang masing-masing komponen bahan? Meskipun tidak diragukan lagi ada pertanyaan unik untuk serangkaian materi tertentu, lima bidang pertanyaan berikut secara langsung berkaitan dengan keputusan yang Anda buat sambil mengembangkan bahan sesuai untuk semua bahan:

1.      Apakah bahan sesuai untuk jenis hasil belajar? Resep khusus untuk pengembangan bahan dibuat berdasarkan apakah Tujuannya adalah kemampuan intelektual atau motorik, sikap, atau informasi lisan. Anda harus khawatir apakah bahan yang Anda hasilkan memang sesuai dengan saran untuk mempelajari setiap jenis kemampuan. Evaluator terbaik Aspek materi ini tidak diragukan lagi merupakan pakar dalam jenis pembelajaran terlibat.

2.      Lakukan materi termasuk instruksi yang memadai mengenai keterampilan bawahan, dan apakah keterampilan ini diurutkan dan dikelompokkan secara logis? Penilai terbaik untuk ini Bidang pertanyaan adalah pakar di bidang konten.

3.      Apakah bahan tersebut jelas dan mudah dipahami oleh anggota perwakilan dari kelompok sasaran? Jelas, hanya anggota kelompok sasaran yang bisa menjawab pertanyaan ini. Instruktur yang akrab dengan target peserta didik mungkin memberi Anda pendahuluan informasi, tapi hanya peserta didik yang pada akhirnya bisa menilai kejelasan materi.

4.      Berapakah nilai motivasional dari bahan tersebut? Apakah peserta didik menemukan bahannya relevan dengan kebutuhan dan minat mereka? Apakah mereka yakin saat mereka bekerja melalui bahannya? Apakah mereka puas dengan apa yang telah mereka pelajari? Sekali lagi, yang paling Hakim yang tepat dari aspek materi ini adalah anggota perwakilan dari kelompok sasaran

5.      Dapatkah bahan dikelola secara efisien dengan cara dimediasi? Baik peserta didik maupun instruktur sesuai untuk menjawab pertanyaan-pertanyaan ini.

Tabel 11.1 berisi contoh kerangka kerja yang disarankan untuk merancang evaluasi formatif. Menggunakan kerangka kerja semacam itu membantu memastikan bahwa Anda menyertakannya pertanyaan yang relevan tentang berbagai komponen bahan dan yang sesuai kelompok dan individu disertakan.

Perhatikan dua baris di bagian bawah matriks. Yang pertama menunjukkan individu atau kelompok yang paling tepat untuk mengevaluasi setiap aspek materi Yang kedua memberikan pengingat bahwa Anda harus mempertimbangkan bagaimana mengumpulkan setiap jenis informasi yang dibutuhkan dari evaluator. Anda mungkin ingin membuat daftar periksa atau daftar pertanyaan untuk menyertai bahan untuk meminta informasi dari spesialis yang Anda pilih Anda mungkin juga ingin mewawancarai mereka untuk menentukan alasannya Mereka percaya bagian-bagian tertentu dari materi tidak memadai, dan untuk memperolehnya saran tentang bagaimana bahan bisa diperbaiki

Dalam merancang instrumentasi untuk mengumpulkan informasi dari peserta didik, Anda harus mempertimbangkan fase (mis., percobaan satu-ke-satu, kelompok kecil, dan lapangan), setelannya (yaitu, konteks pembelajaran atau kinerja), dan sifat informasi Anda pertemuan. Dalam evaluasi satu-ke-satu, materi itu sendiri merupakan satu instrumen. Ajarkan peserta didik untuk melingkari kata atau kalimat dan menulis komentar langsung di bahan. Pertanyaan termasuk di blok berpotongan dari Matriks akan membantu Anda mengembangkan instrumen lain seperti daftar periksa untuk membimbing Anda observasi dan pertanyaan yang harus disertakan dalam wawancara dan kuesioner Anda. Ini penting untuk dicatat bahwa meskipun berbagai bidang pertanyaan tentang materi adalah dijelaskan secara terpisah di sini, itu tidak berarti menyiratkan bahwa mereka harus terpisah instrumen. Instrumen yang Anda produksi harus efisien dalam mengumpulkan informasi dari peserta.

Evaluasi Satu-ke-Satu dengan Peserta didik

Dalam pembahasan tiga tahap evaluasi formatif pengajaran ini, Kami berasumsi bahwa perancang telah mengembangkan instruksi asli. Selanjutnya Bagian, kita membahas perbedaan prosedur saat bahan yang ada digunakan atau saat instruksi instruktur telah dibuat.

Tujuan tahap pertama evaluasi formatif, tahap evaluasi satu-ke-satu, adalah untuk mengidentifikasi dan menghapus kesalahan yang paling jelas dalam instruksi dan untuk mendapatkan indikasi kinerja awal dan reaksi terhadap konten oleh peserta didik.Selama tahap interaksi langsung antara perancang dan pembelajar individual, Perancang bekerja secara individual dengan tiga atau lebih peserta didik yang representatif dari populasi target

Kriteria Selama pengembangan strategi instruksional dan pengajaran itu sendiri, perancang dan pengembang membuat segudang terjemahan dan keputusan yang menghubungkan konten, peserta didik, format instruksional, dan pengaturan instruksional. Itu Percobaan satu persatu memberi para desainer gambaran sekilas tentang kelangsungan hidup ini link dan terjemahan dari perspektif peserta didik. Tiga kriteria utama dan keputusan yang dibuat perancang selama evaluasi adalah sebagai berikut:

1.      Kejelasan: Apakah pesan, atau apa yang disajikan, jelas bagi target individu pelajar?

2.      Dampak: Apa dampak dari instruksi terhadap sikap peserta didik? dan pencapaian tujuan dan sasaran?

3.      Kelayakan: Seberapa layaknya pemberian diberikan sumber daya yang tersedia (waktu / konteks)?

Uji coba satu-ke-satu membantu memverifikasi apakah perancang dan pengembang ' firasat benar, atau mencerminkan kesalahpahaman kelompok sasaran.

Memilih Peserta didik Salah satu keputusan paling penting oleh perancang dalam evaluasi formatif adalah pemilihan peserta didik untuk berpartisipasi dalam penelitian ini. Ini bukan sebuah percobaan; Tidak perlu pilihan acak sejumlah besar peserta didik. Sebenarnya perancang harus memilih beberapa peserta didik yang mewakili kisaran Kemampuan dalam kelompok, karena sebelumnya belajar atau kemampuan biasanya salah satu yang utama penentu kemampuan untuk mempelajari keterampilan dan informasi baru. Perancang itu memilih setidaknya satu pelajar dari populasi sasaran yang berada di atas rata-rata kemampuan (tapi yang pasti bukan siswa papan atas), orang yang rata-rata, dan setidaknya satu pelajar siapa di bawah rata-rata Perancang kemudian bekerja secara individual dengan masing-masing pelajar. Setelah evaluasi awal dengan ketiga peserta didik, perancang mungkin menginginkannya untuk memilih lebih banyak peserta didik dari populasi sasaran untuk bekerja dalam mode satu-ke-satu, Meski tiga biasanya cukup.

Perancang harus waspada terhadap karakteristik peserta didik selain kemampuan yang mungkin sangat terkait dengan prestasi, dan karena itu harus diwakili secara sistematis dalam evaluasi formatif. Seperti yang tercantum dalam Bab Lima, sikap dan pengalaman sebelumnya bisa sangat penting, dan variabel semacam itu seharusnya sebuah pertimbangan selama evaluasi formatif. Untuk fase satu ke satu dari Evaluasi formatif, perancang mungkin ingin memilih satu pelajar dengan sangat sikap positif terhadap apa yang diajarkan, seseorang yang netral, dan satu siapa yang negatif Demikian juga, jika pengalaman di tempat kerja merupakan faktor penting, pilih seseorang yang telah bekerja sepuluh tahun atau lebih, yang telah berada di sana dua tahun sampai lima tahun, dan seseorang yang telah berada di sana kurang dari satu tahun. Intinya adalah kemampuan itu mungkin bukan satu-satunya faktor penting dalam memilih peserta didik untuk formatif evaluasi. Perancang harus membuat keputusan ini untuk masing-masing instruksional tertentu situasi desain

Pengumpulan Data Tiga kriteria utama dan keputusan yang harus dibuat selama percobaan satu-satunya membantu evaluator memusatkan perhatian pada jenis informasi yang akan berguna. Tabel 11.2 berisi jenis informasi yang dapat diperoleh untuk perbandingan dengan kriteria kejelasan, dampak, dan kelayakan. Daftar di masing-masing kategori kriteria adalah dimaksudkan untuk menjadi ilustratif daripada melelahkan, karena tingkat relevansinya dari setiap jenis informasi mungkin berbeda dengan kematangan peserta didik, konten instruksional, dan metode pengiriman.

Untuk kejelasan instruksi, ada tiga kategori utama yang menyinari informasi-pesan, link, dan prosedur. Kategori pertama, pesan, berhubungan Untuk mengetahui pesan dasar yang jelas bagi pelajar, ditentukan oleh faktor-faktor seperti kosakata, kompleksitas kalimat, dan struktur pesan. Terlepas dari apa pun Pembelajar membaca, mendengar, atau melihat pesannya, dia harus bisa mengikutinya. Kategori kedua, link, mengacu pada bagaimana pesan dasar disesuaikan untuk pelajar, termasuk konteks, contoh, analogi, ilustrasi, dan demonstrasi

Bila tautan ini juga asing bagi pelajar, pesan dasarnya tidak diragukan lagi lebih rumit. Area ketiga, prosedur, mengacu pada karakteristik instruksi, seperti urutan, ukuran segmen yang disajikan, transisi antara segmen, kecepatan, dan variasi yang ada dalam presentasi. Itu kejelasan instruksi dapat berubah untuk pelajar bila salah satu dari elemen-elemen ini tidak sesuai untuknya. Instruksinya bisa sangat lambat dan iteratif itu pelajar kehilangan minat, atau bisa berjalan begitu cepat sehingga pemahaman menjadi sulit.

Informasi deskriptif daripada data kuantitatif mungkin menghasilkan yang terbaik informasi tentang kejelasan untuk merevisi instruksi. Jika instruksi dikirimkan Melalui cetak, baik di atas kertas maupun di layar komputer, pelajar bisa diarahkan untuk menggarisbawahi atau menyoroti beberapa kata yang tidak biasa dan contoh yang tidak jelas, ilustrasi, dan paragraf, dan untuk menandai arah dalam gambar atau tabel apa pun itu membingungkan Pembelajar dapat diarahkan untuk menuliskan istilah dan catatan yang tidak jelas bahan membingungkan saat menggunakan video atau slide, atau diarahkan untuk menghentikan peralatan di ada gunanya untuk berinteraksi dengan evaluator tentang bagian-bagian atau istilah-istilah yang membingungkan. Terlepas dari format pengiriman selama percobaan satu-ke-satu, pelajar dapat ditanyai tentang karakteristik prosedural dari instruksi, seperti ukuran dan kecepatan segmen. Informasi tentang karakteristik prosedural juga dapat dikumpulkan dengan observasi saat pelajar mendengarkan instruktur, membaca materi, atau melihat layar. Observasi semacam itu dapat membantu evaluator menentukan apakah kecemasan, kebosanan, kelelahan, atau ketiga kondisi menjadi jelas pada titik-titik yang berbeda dalam instruksi.

Kriteria kedua pada Tabel 11.2, berdampak pada pelajar, berhubungan dengan peserta didik sikap tentang instruksi dan prestasinya atau pencapaiannya pada tujuan tertentu. Penilai harus menentukan apakah peserta didik merasakan instruksi sebagai Menjadi (1) pribadi yang relevan dengannya, (2) dapat dicapai dengan wajar usaha, dan (3) menarik dan memuaskan untuk dialami. Terkait prestasi, posttests membantu menentukan apakah individu dapat mengingat informasi dan melakukan tugas Format dari ukuran prestasi ini berbeda tergantung pada media pengiriman instruksional. Pertanyaan atau petunjuk untuk kinerja bisa disajikan secara lisan oleh instruktur. Peserta didik dapat diminta untuk menanggapi (1) menggunakan kertas dan pensil atau keyboard, (2) secara lisan sebagai tanggapan atas pertanyaan instruktur, atau (3) dengan mengembangkan atau melakukan sesuatu yang diminta.

Kriteria ketiga pada Tabel 11.2, kelayakan, berkaitan dengan manajemen yang berorientasi pertimbangan yang bisa diperiksa selama percobaan satu-ke-satu, termasuk kemampuan peserta didik, media pembelajaran, dan lingkungan instruksional. Contoh pertanyaan yang menarik meliputi:

1.      Bagaimana kematangan, kemandirian, dan motivasi peserta didik mempengaruhi jumlah waktu yang dibutuhkan untuk menyelesaikan instruksi?

2.      Dapatkah peserta didik seperti ini beroperasi atau mudah belajar mengoperasikan spesialis apapun peralatan yang dibutuhkan?

3.      Apakah pelajar merasa nyaman di lingkungan ini?

4.      Apakah biaya pengiriman instruksi ini wajar mengingat persyaratan waktu?

Prosedur Prosedur khas dalam evaluasi satu-ke-satu adalah menjelaskannya kepada pelajar bahwa seperangkat bahan ajar baru telah dirancang dan Anda ingin reaksinya terhadap mereka. Anda harus mengatakan bahwa setiap kesalahan peserta didik mungkin membuat mungkin karena kekurangan bahan, dan bukan milik mereka. Dorong peserta didik untuk santai dan membicarakan materi. Anda harus Mintalah peserta didik tidak hanya melalui materi instruksional tetapi juga memilikinya Ikuti tes yang diberikan beserta bahannya. Juga, perhatikan jumlah waktu yang dibutuhkan seorang pelajar untuk melengkapi materinya.

Perancang instruksional telah menemukan proses ini sangat berharga dalam persiapannya bahan. Ketika peserta didik menggunakan materi dengan cara ini, mereka menemukan tipografi kesalahan, kelalaian konten, halaman yang hilang, grafik yang diberi label tidak semestinya, link yang tidak pantas di halaman web mereka, dan kesulitan mekanis lainnya yang pasti terjadi Peserta didik sering bisa menggambarkan kesulitan yang mereka hadapi urutan pembelajaran dan konsep yang diajarkan. Mereka bisa mengkritik tes di Istilah apakah mereka pikir mereka mengukur tujuan Anda. Anda bisa menggunakan semua ini informasi untuk merevisi materi dan tes Anda dan memperbaiki masalah yang relatif bruto serta kesalahan kecil.

Berbeda dengan tahap awal desain instruksional, yang menekankan Kemampuan analitis perancang, ciri kritis pertama dari evaluasi formatif satu-ke-satu adalah ketergantungannya yang hampir total terhadap kemampuan perancang untuk menjalin hubungan baik dengan peserta didik dan kemudian berinteraksi secara efektif. Pelajar punya biasanya tidak pernah diminta untuk mengkritisi instruksi; Asumsi telah dibuat bahwa jika pembelajaran tidak terjadi, itu adalah kesalahan siswa. Peserta didik harus diyakinkan bahwa adalah sah untuk bersikap kritis terhadap apa yang disajikan kepada mereka. Ini kadang Sangat sulit bagi orang muda yang diminta untuk mengkritik figur otoritas. Perancang harus membangun suasana penerimaan dan dukungan untuk komentar negatif dari pelajar.

Ciri kritis kedua dari pendekatan one-to-one adalah proses interaktif. Kekuatan prosesnya sangat berkurang saat desainer Berikan instruksi kepada peserta didik dan katakan, "Ini, baca ini dan beri tahu saya apakah Anda memiliki masalah. "Duduk diagonal di samping pelajar, perancang harus membaca (diam-diam) dengan pelajar dan, pada poin yang telah ditentukan, diskusikan dengan pelajar apa yang telah disajikan dalam materi. Dialog itu bisa jadi fokus jawaban untuk mempraktikkan pertanyaan atau mungkin menjadi pertimbangan poin khusus yang dibuat dalam presentasi konten Sebelum masing-masing sesi satu-ke-satu, perancang harus merumuskan strategi tentang bagaimana interaksi akan berlangsung, dan bagaimana pelajar akan tahu kapan tepat untuk berbicara dengan evaluator.

Jelas bahwa sesi satu-ke-satu dapat berlangsung dengan hanya satu pelajar di a waktu; itu hanya tidak layak untuk melakukan proses dengan dua atau lebih peserta didik. Sebagai Perancang melanjutkan dengan evaluasi, perlu untuk mencatat komentar dan saran yang dibuat oleh peserta didik serta penjelasan alternatif yang dibuat oleh Perancang yang terkesan efektif. Ini dapat dicatat pada satu salinan instruksi, atau tape recorder dapat digunakan selama sesi berlangsung, yang, dari pengalaman kami, siswa tampaknya cukup mudah menyesuaikan diri.

Penilaian dan Kuesioner Setelah siswa dalam percobaan satu-ke-satu memiliki Setelah menyelesaikan instruksi, mereka harus meninjau kuesioner posttest dan attitude dengan cara yang sama. Setelah setiap item atau langkah dalam penilaian, tanyakan pada peserta didik mengapa mereka membuat tanggapan tertentu yang mereka lakukan. Ini membantu Anda melihat tidak hanya kesalahan, tapi juga alasan kesalahan, yang bisa sangat membantu selama ini proses revisi Juga, perhatikan bahwa beberapa item tes yang tampak sangat jelas Bagi Anda akan benar-benar disalahartikan oleh pelajar. Jika barang yang salah ini tetap ada Dalam penilaian evaluasi kelompok kecil, akan ada masalah besar di Indonesia menentukan apakah hanya item atau instruksi yang rusak. Mengerahkan sebanyak peduli dalam mengevaluasi instrumen penilaian Anda saat Anda melakukan instruksi itu sendiri.

Petunjuk arah dan rubrik untuk mengevaluasi pertunjukan dan produk seharusnya juga dievaluasi secara interaktif sebelum benar-benar digunakan untuk mengevaluasi ujian ' kerja. Sama seperti dengan tes kertas dan pensil, Anda harus memastikan bahwa arahnya adalah Jelas bagi peserta didik, dan bahwa peserta didik dapat mengikuti instruksi untuk menghasilkan kinerja atau produk yang diantisipasi

Anda juga harus mengevaluasi kegunaan instrumen evaluasi, terutama unsur-unsur berikut: (1) pengamatan masing-masing elemen untuk dinilai, (2) kejelasan cara mereka diparafrasekan, dan (3) efisiensi dari urutan sekuensing. Terkait dengan format tanggapan evaluator, Anda harus melakukannya periksa apakah kategori respon dan kriteria yang masuk akal dalam hal jumlah dan jenis penilaian yang harus Anda buat, dan waktu yang tersedia untuk Anda untuk mengamati, menilai, dan menandai penghakiman. Jika Anda tidak dapat mengikuti pemain, maka keakuratan penilaian Anda akan terpengaruh.

Keandalan penilaian Anda harus dievaluasi dengan menilai kinerja atau produk yang sama dua atau lebih kali dengan interval waktu intervensi. Kamu bisa Juga periksa reliabilitas dengan meminta dua atau lebih evaluator menggunakan instrumen tersebut untuk menilai kinerja atau produk yang sama. Bila multiple rank didapat dari single evaluator pada satu produk berbeda atau peringkat beberapa evaluator berbeda untuk satu produk, instrumen harus direvisi di area seperti nomornya elemen yang harus dinilai, jumlah tingkat penilaian yang harus dibuat, dan kejelasan kriteria untuk setiap level. Jumlah elemen yang harus diperhatikan dan jumlah kategori penilaian harus dikurangi ke titik di mana konsistensi adalah diperoleh, menyiratkan bahwa beberapa iterasi evaluasi instrumen diperlukan verifikasi kegunaan instrumen dan konsistensi penilaian yang dibuat dengannya.

Akhirnya, Anda harus mengevaluasi strategi penilaian Anda. Menggunakan data yang Anda kumpulkan selama evaluasi formatif instrumen, menggabungkan atau meringkas nilai elemen seperti yang direncanakan. Tinjau kembali skor gabungan ini dalam hal tingkat objektif dan kinerja keseluruhan. Apakah skor itu logis dan bisa ditafsirkan? Bisakah mereka digunakan? untuk mengevaluasi bagian instruksi dan kinerja tertentu? Jika tidak, maka ubah prosedur penilaian atau penilaian sampai data yang dapat digunakan diperoleh.

Waktu Belajar Salah satu kepentingan desain selama evaluasi satu-ke-satu adalah menentukan jumlah waktu yang dibutuhkan peserta didik untuk menyelesaikan instruksi, yang sangat Perkiraan kasar, karena interaksi antara pelajar dan perancang. Anda dapat mencoba untuk mengurangi persentase tertentu dari waktu dari total waktu, namun pengalaman menunjukkan bahwa perkiraan tersebut bisa sangat tidak akurat.

Satu komentar terakhir tentang proses evaluasi satu-ke-satu: Jarang ada peserta didik yang berada dalam posisi yang sangat rentan dan diminta untuk mengungkapkan ketidaktahuan mereka. Bahkan orang dewasa terkadang harus mengakui tidak mengetahui arti yang lumrah kata-mereka selalu bermaksud mencarinya di kamus tapi lupa. Dalam tahap satu-toone, perancang memegang kendali dan karenanya memiliki tanggung jawab untuk menyediakan a situasi kerja yang nyaman Karena peserta didik mungkin ragu untuk mengungkapkan kekurangan Dalam pengetahuan mereka saat ini, setiap upaya yang mungkin harus dilakukan untuk menjadi keduanya objektif tentang instruksi dan dukungan dari pelajar. Tanpa pelajar, tidak ada evaluasi formatif.

Interpretasi Data Informasi tentang kejernihan instruksi, dampaknya pelajar, dan kelayakan instruksi harus dirangkum dan difokuskan. Tertentu Aspek instruksi yang ditemukan lemah kemudian dapat dipertimbangkan kembali agar rencana revisi cenderung memperbaiki instruksi untuk pelajar sejenis. Satu hati-hati tentang penafsiran data dari percobaan satu-ke-satu sangat penting: Berhati-hatilah untuk tidak terlalu menghargai data yang dikumpulkan dari hanya satu individu. Meskipun memastikan bahwa peserta target yang berpartisipasi adalah perwakilan dari kelompok yang dimaksud membantu memastikan Reaksi itu khas dari anggota kelompok sasaran lainnya, tidak ada jaminan bahwa target pelajar kedua akan merespon dengan cara yang sama. Kemampuan, harapan, dan kemampuan pribadi yang berbeda antar anggota kelompok sasaran berbeda data dari masing-masing Informasi yang dikumpulkan dari percobaan satu-ke-satu harus dilihat sebagai "sekilas pertama" yang mungkin atau mungkin tidak menggeneralisasi. Kesalahan kotor dalam instruksi akan Kemungkinan menjadi jelas selama persidangan dan akan mengarah langsung dan akurat revisi. Bidang lain dari instruksi yang patut dipertanyakan mungkin tidak direvisi sampai setelah instruksi dicoba kembali dengan orang lain atau dengan kelompok kecil.

Hasil Hasil percobaan satu-ke-satu adalah instruksi yang (1) mengandung kosakata yang sesuai, kompleksitas bahasa, contoh, dan ilustrasi untuk peserta belajar; (2) apakah menghasilkan sikap dan prestasi pelajar yang masuk akal atau direvisi dengan tujuan untuk meningkatkan sikap atau kinerja pelajar selama uji coba berikutnya; dan (3) tampak layak untuk digunakan dengan peserta didik yang tersedia, sumber daya, dan setting. Instruksi tersebut dapat disempurnakan lebih lanjut dengan menggunakan uji coba kelompok kecil.

Di Bab Dua Belas, kita membahas bagaimana meringkas informasi dari percobaan satu-ke-satu dan bagaimana memutuskan revisi apa yang harus dilakukan. Dalam bab ini, Kami melanjutkan pembahasan tahap berikutnya dari evaluasi formatif, yang mana berlangsung setelah revisi dari evaluasi satu-ke-satu selesai.

Evaluasi Kelompok Kecil

Ada dua tujuan utama untuk evaluasi kelompok kecil: Pertama, tentukan keefektifan perubahan yang dilakukan mengikuti evaluasi dan identifikasi satu lawan satu masalah belajar yang tersisa yang mungkin dimiliki pelajar; dan kedua, tentukan apakah peserta didik dapat menggunakan instruksi tanpa berinteraksi dengan instruktur.(Pada titik ini dalam diskusi kita, kita terus mengasumsikan bahwa perancang menciptakan beberapa bentuk materi instruksional sendiri.)

Kriteria dan Data Langkah-langkah umum yang digunakan untuk mengevaluasi keefektifan instruksional termasuk skor kinerja peserta didik pada pretest dan posttests. Pretest biasanya meliputi keterampilan masuk serta tujuan instruksional, dan ukuran posttests kinerja peserta didik pada tujuan subordinat dan terminal untuk instruksi.

Selain tingkat kinerja peserta didik, sikap mereka tentang instruksi diperoleh melalui kuesioner sikap dan terkadang merupakan tindak lanjut wawancara. Informasi Mengumpulkan tentang kelayakan instruksi biasanya meliputi: (1) waktu yang dibutuhkan peserta didik untuk menyelesaikan baik instruksi maupun yang dipersyaratkan ukuran kinerja, (2) biaya dan kelangsungan menyampaikan instruksi dalam format dan lingkungan yang dimaksudkan, dan (3) sikap orang-orang yang menerapkan atau mengelola instruksi

Memilih Peserta didik Untuk evaluasi kelompok kecil, Anda harus memilih satu kelompok sekitar delapan sampai dua puluh peserta didik. Jika jumlah peserta didik kurang dari delapan, data mungkin tidak akan sangat mewakili populasi target. Namun, jika Anda mendapatkan data pada lebih dari dua puluh peserta didik, Anda mungkin menemukannya bahwa Anda memiliki lebih banyak informasi daripada yang Anda butuhkan dan data dari tambahan peserta didik tidak memberikan banyak informasi tambahan.

Pemilihan peserta didik untuk berpartisipasi dalam percobaan kelompok kecil Anda penting. Peserta didik yang mengevaluasi materi harus mewakili target Andapopulasi mungkin Dalam setting penelitian yang ideal, Anda akan memilih peserta didik secara acak, yang memungkinkan Anda menerapkan temuan Anda pada umumnya seluruh populasi sasaran Di sekolah biasa, industri, dan pendidikan orang dewasa, Namun, pengacakan sebenarnya seringkali tidak mungkin dan mungkin bahkan tidak diinginkan. Bila Anda tidak dapat memilih peserta didik secara acak atau kapan kelompok yang Anda miliki Tersedia untuk menarik dari relatif kecil, Anda harus memastikan bahwa Anda termasuk dalamsampel Anda setidaknya satu perwakilan dari setiap jenis subkelompok yang ada di blog Anda populasi, mungkin termasuk yang berikut:

•         Siswa dengan tingkat rendah, rata-rata, dan berprestasi tinggi

•         Peserta didik dengan berbagai bahasa asli

•         Peserta didik yang terbiasa dengan prosedur tertentu (mis., Instruksi berbasis web) dan peserta didik yang tidak

•         Siswa yang lebih muda atau tidak berpengalaman serta pelajar yang lebih dewasa

Bila kelompok sasaran Anda homogen, subkelompok ini tidak menjadi masalah. Bila populasi sasaran terdiri dari orang-orang dengan keterampilan bervariasi dan Latar belakang, desainer harus mempertimbangkan termasuk perwakilan masing-masing kelompok dalam kelompok kecil sampel. Misalnya, hampir tidak mungkin diprediksi bagaimana pelajar berprestasi rendah akan tampil berdasarkan materi Anda berdasarkan usaha seorang pelajar berprestasi tinggi. Memilih sampel yang representatif membantu Anda menjadi lebih Wawasan tentang perubahan yang harus dilakukan dalam instruksi Anda.

Peserta kelompok kecil terkadang merupakan sampel yang bias karena terdiri orang yang berpartisipasi lebih rela daripada kelompok pada umumnya. Perancang harus Sadar akan masalah ini dan dapatkan kelompok yang paling representatif, mengingat semua kendala biasanya hadir dalam mendapatkan peserta kelompok kecil percobaan. Penting juga untuk dicatat bahwa sementara tahap ini disebut sebagai kelompok kecil Evaluasi, istilahnya mengacu pada jumlah peserta didik dan bukan setting di mana Peserta didik benar-benar menggunakan materi. Misalnya, jika bahan Anda memerlukan penggunaan Peralatan yang sangat khusus, dan Anda hanya memiliki satu peralatan, maka Anda harus berusaha untuk mendapatkan delapan sampai dua puluh peserta didik yang akan menggunakan materi Anda dalam pengaturan individual. Tidak perlu membawa semua peserta didik bersama di satu ruangan pada satu waktu untuk melakukan evaluasi kelompok kecil.

Prosedur Prosedur dasar yang digunakan dalam evaluasi kelompok kecil sangat berbeda dari evaluasi satu lawan satu. Evaluator (atau instruktur) dimulai oleh menjelaskan bahwa materi tersebut dalam tahap perkembangan formatif dan itu diperlukan untuk mendapatkan umpan balik tentang bagaimana hal itu dapat diperbaiki. Setelah mengatakan ini, instruktur kemudian mengatur bahan sesuai dengan cara penggunaannya untuk digunakan saat mereka berada dalam bentuk akhir. Jika pretest harus digunakan, maka seharusnya diberikan dulu Instruktur harus melakukan intervensi sesedikit mungkin dalam prosesnya. Hanya dalam kasus-kasus ketika peralatan gagal atau saat pelajar menjadi macet di dalam proses belajar dan tidak bisa dilanjutkan semestinya instruktur ikut campur. Setiap pelajar Kesulitan dan solusinya pastilah dicatat sebagai bagian dari data revisi.

Penilaian dan Kuesioner Langkah tambahan dalam evaluasi kelompok kecil adalah administrasi kuesioner sikap dan, jika mungkin, pembekalan mendalam dengan beberapa peserta didik dalam kelompok tersebut. Tujuan utama untuk mendapatkan Reaksi pelajar terhadap instruksi tersebut adalah untuk mengidentifikasi, dari persepsi mereka, kelemahan dan kekuatan dalam implementasi strategi instruksional. Pertanyaan-pertanyaan Oleh karena itu harus mencerminkan berbagai komponen strategi. Pertanyaan berikut biasanya sesuai:

•         Apakah instruksi itu menarik?

•         Apakah Anda mengerti apa yang seharusnya Anda pelajari?

•         Apakah materi berhubungan langsung dengan tujuan?

•         Apakah latihan latihan yang cukup termasuk?

•         Apakah latihan itu relevan?

•         Apakah tes benar-benar mengukur pengetahuan Anda tentang tujuan?

•         Apakah Anda menerima umpan balik yang memadai tentang latihan latihan Anda?

•         Apakah Anda merasa yakin saat menjawab pertanyaan dalam tes?

Pertanyaan-pertanyaan ini mungkin termasuk dalam kuesioner sikap dan kemudian dikejar secara mendalam dalam sebuah diskusi dengan peserta didik. Dengan menggunakan pertanyaan yang diarahkan Komponen strategi instruksional, seperti yang baru saja dijelaskan, adalah mungkin untuk menghubungkan tanggapan peserta didik secara langsung dengan komponen tertentu dari bahan atau prosedur instruksional. Dalam diskusi dengan peserta didik setelah materi selesai, instruktur dapat mengajukan pertanyaan tentang fitur seperti mondar-mandir, minat, dan kesulitan materi.

Ringkasan Data dan Analisis Baik informasi kuantitatif dan deskriptif yang dikumpulkan selama persidangan harus diringkas dan dianalisis. Kuantitatif data terdiri dari nilai tes serta persyaratan waktu dan proyeksi biaya. Informasi deskriptif terdiri dari komentar yang dikumpulkan dari kuesioner sikap, wawancara, atau catatan evaluator yang ditulis selama persidangan.

Hasil Tujuan dari percobaan kelompok kecil dan revisi instruksional disempurnakan instruksi yang harus efektif dengan target peserta didik dalam setting yang diinginkan. Penyempitan yang dibutuhkan dalam instruksi mungkin sederhana, seperti contoh yang berubah dan kosa kata dalam item tes atau meningkatkan jumlah waktu yang dialokasikan untuk belajar. Modifikasi mungkin juga memerlukan perubahan besar dalam strategi instruksional (mis., strategi motivasi, urutan tujuan, format pengiriman instruksional) atau dalam sifat informasi yang disajikan kepada peserta didik. Setelah instruksi disempurnakan Secara memadai, percobaan lapangan bisa dimulai.

Percobaan lapangan

Pada tahap akhir evaluasi formatif, instruktur mencoba menggunakan konteks pembelajaran yang sangat mirip dengan konteks yang dimaksudkan untuk penggunaan akhir dari bahan ajar Salah satu tujuan dari tahap akhir evaluasi formatif ini adalah untuk menentukan apakah perubahan dalam instruksi yang dilakukan setelah kelompok kecil panggung efektif; Tujuan lain adalah untuk melihat apakah instruksi tersebut dapat digunakan dalam konteks yang dimaksudkannya-yaitu, apakah secara administratif memungkinkan gunakan instruksi dalam setting yang diinginkan?

Untuk menjawab pertanyaan ini, semua materi, termasuk tes dan instruktur manual, harus direvisi dan siap berangkat. Jika instruktur terlibat dalam menerapkan instruksi, perancang seharusnya tidak memainkan peran ini.

Lokasi Evaluasi Dalam memilih situs untuk evaluasi lapangan, Anda cenderung melakukannya Temui salah satu dari dua situasi: Pertama, jika bahan itu dicoba di kelas yang ada Saat ini menggunakan kelompok besar, mondar-mandir langkah kaki, lalu menggunakan bahan pembelajaran mandiri mungkin merupakan pengalaman yang sangat baru dan berbeda bagi peserta didik. Ini penting untuk meletakkan dasar untuk prosedur baru dengan menjelaskan kepada peserta didik bagaimana bahan harus digunakan dan bagaimana perbedaannya dari instruksi biasa mereka. Dalam semua Kemungkinan, Anda akan mendapatkan kenaikan bunga, jika tidak dalam kinerja, sederhana karena istirahat dalam pola pengajaran kelas yang khas.

Kedua, jika bahan dicoba di kelas individual, mungkin cukup Sulit untuk menemukan kelompok pelajar yang cukup besar yang siap untuk instruksional Anda bahan karena peserta didik akan "menyebar" dalam bahan yang sedang mereka pelajari.

Kriteria dan Data Percobaan di lapangan sangat mirip dengan latihan akhir di teater, karena instruksi dipoles dan dikirim dengan cara yang sedekat mungkin mungkin ke format akhir Juga mirip dengan gladi resik, tujuan utama dari uji coba lapangan adalah untuk menemukan dan menghilangkan masalah yang tersisa dalam instruksi. Ada banyak kesamaan antara percobaan kelompok kecil dan uji coba lapangan. Itu Keputusan yang harus dibuat selama kedua jenis uji coba tersebut adalah apakah kinerja pelajar memadai dan pengiriman instruksi layak dilakukan. Kesamaan lainnya adalah informasi dikumpulkan pada prestasi belajar dan sikap; prosedur instruktur dan sikap; dan sumber daya, seperti waktu, biaya, ruang, dan peralatan. Utama Perbedaan antara kedua uji coba tersebut berada dalam kecanggihan material aktual, peserta didik, prosedur, instruktur, dan setting.

Memilih Peserta didik  Anda harus mengidentifikasi sekelompok sekitar tiga puluh individu berpartisipasi dalam percobaan lapangan Anda. Sekali lagi, kelompok harus dipilih untuk memastikannya itu adalah perwakilan dari populasi target dimana bahan tersebut dimaksudkan. Karena kelompok "khas" kadang sulit ditemukan, desainer sering memilih beberapa kelompok yang berbeda untuk berpartisipasi dalam uji coba lapangan, memastikan bahwa data dikumpulkan dalam semua kondisi yang diinginkan, seperti ruang terbuka, pengajaran tradisional, Instruksi berbasis internet, atau beberapa kombinasi metode.

Penggunaan beberapa situs uji coba mungkin diperlukan jika situs semacam itu sangat bervariasi. Perancang mungkin tidak dapat hadir saat instruksi digunakan; karena itu, Adalah penting bahwa perancang menginformasikan instruktur tentang prosedur yang akan dilakukan diikuti dan data yang akan dikumpulkan.

Prosedur untuk Melakukan Uji Coba Lapangan Prosedur untuk melakukan lapangan Persidangan serupa dengan kelompok kecil, hanya dengan beberapa pengecualian. Yang utama Perubahan adalah peran perancang, siapa yang harus melakukan tidak lebih dari sekedar mengamati prosesnya. Instruksi harus diberikan atau disampaikan oleh instruktur yang khas, untuk siapa desainer mungkin harus merancang dan memberikan pelatihan khusus sehingga dia atau dia tahu persis bagaimana menggunakan instruksi tersebut.

Satu-satunya perubahan lainnya adalah pengurangan pengujian. Berdasarkan pengalaman di PT kelompok kecil, pretest dan posttest bisa dimodifikasi atau dikurangi untuk dinilai hanya perilaku dan keterampilan masuk yang paling penting untuk diajarkan, karena dengan ini Dalam proses pengembangan, perhatian utama dalam evaluasi formatif adalah kelayakan dalam konteks pembelajaran.

Kuesioner bisa dimodifikasi untuk fokus pada faktor lingkungan itu perancang percaya sangat penting untuk keberhasilan instruksi. Intinya, Pertanyaan harus fokus pada sesuatu yang mungkin mengganggu keberhasilan petunjuk. Pengamatan instruksi yang digunakan dan wawancara dengan peserta didik dan instruktur sangat berharga

Ringkasan Data dan Interpretasi Ringkasan data dan prosedur analisisnya adalah sama untuk percobaan kelompok kecil dan lapangan. Data prestasi harus disusun berdasarkan tujuan instruksional, dan informasi sikap dari kedua peserta didik dan instruktur juga harus berlabuh ke tujuan spesifik bila memungkinkan.

Meringkas data dalam format ini membantu menemukan lokasi tertentu dimana instruksi itu dan tidak efektif Informasi dari percobaan lapangan ini digunakan untuk merencanakan dan membuat revisi akhir dalam instruksi.

Hasil Tujuan dari uji coba lapangan dan revisi akhir adalah instruksi efektif yang dilakukan menghasilkan tingkat prestasi dan sikap belajar yang diinginkan dan yang berfungsi sebagai dimaksudkan dalam setting pembelajaran. Menggunakan data tentang area masalah yang dikumpulkan selama uji coba lapangan, revisi yang sesuai dibuat dalam instruksi.

Evaluasi Formatif Bahan yang Dipilih

Tiga tahap evaluasi formatif yang telah dijelaskan sebelumnya tidak sepenuhnya berlaku bila instruktur telah memilih bahan yang ada untuk dicoba dengan sekelompok pelajar. Jenis perubahan editorial dan konten dibuat sebagai hasil satu lawan satu dan evaluasi kelompok kecil biasanya tidak digunakan dengan bahan yang ada. Ini Prosedur dihindari bukan karena tidak produktif dalam memperbaiki Instruksinya, tapi karena pada kenyataannya instruktur yang memilih bahan yang ada jarang memiliki waktu atau sumber daya untuk melakukan fase ini. Selanjutnya ada bahan biasanya dilindungi hak cipta, dan mengubah materi berhak cipta dilarang tanpa izin yang memadai. Apa yang bisa dan sering terjadi terjadi berikut Evaluasi formatif bahan yang ada adalah penciptaan bahan tambahan untuk menemani mereka, seperti silabus, pemandu belajar, buku kerja siswa, atau tambahan pembacaan.

Evaluasi formatif bahan yang ada mencakup studi penilaian ahli dan percobaan lapangan. Tujuan dari tahap penilaian ahli adalah untuk menentukan apakah Instruksi yang digunakan saat ini atau calon lainnya memiliki potensi untuk memenuhi kebutuhan instruksional yang ditetapkan oleh organisasi. Kerangka untuk merancang formatif evaluasi pada Tabel 11.1 juga berguna untuk merancang fase penilaian ahli untuk mengevaluasi bahan yang ada. Kolom kiri tabel mencantumkan area bahan yang akan dievaluasi. Di bagian atas meja, pertanyaan tentang kesesuaian Materi untuk jenis pembelajaran dapat dinilai oleh para ahli dalam teori pembelajaran. Pertanyaan tentang mata uang, kelengkapan, dan keakuratan konten dapat dinilai oleh pakar konten Jika bahan yang ada dinilai tidak memadai oleh para ahli dan Mereka dinilai tidak mudah diatasi dengan bahan tambahan, maka sisa pertanyaan pada Tabel 11.1 tentang kejelasan material, motivasi, dan manajemen tidak relevan Demikian juga, percobaan lapangan dengan bahan yang tidak memadai tampaknya tidak pantas

Misalkan bahan yang ada dinilai menjanjikan oleh tenaga ahli belajar dan konten. Dalam keadaan ini, perancang harus melanjutkan langsung ke lapangan percobaan dengan sekelompok peserta didik, baik untuk menentukan apakah bahannya efektif dengan a populasi tertentu dan dalam setting tertentu, dan untuk mengidentifikasi cara penambahan atau penghapusan dari bahan atau perubahan prosedur instruksional dibuat untuk meningkatkan efektivitas.

Persiapan untuk uji coba lapangan bahan yang ada harus dilakukan sebagaimana mestinya akan menjadi percobaan lapangan bahan asli. Analisis harus dilakukan dokumentasi yang ada tentang pengembangan bahan, keefektifan bahan dengan kelompok yang didefinisikan, dan khususnya deskripsi prosedur digunakan selama evaluasi lapangan Deskripsi tentang bagaimana bahan harus digunakan harus Dikaji, alat uji apapun yang menyertai bahan harus diperiksa untuk hubungan mereka dengan tujuan kinerja, dan kebutuhan untuk tambahan evaluasi atau kuesioner sikap harus ditentukan.

Dalam studi persidangan lapangan, instruktur reguler harus mengelola pretest, kecuali jika dia mengetahui bahwa peserta didik sudah memiliki keterampilan masuk dan kurang pengetahuan. dari apa yang harus diajarkan Kuesioner posttest dan sikap harus dipastikan tersedia untuk mengevaluasi kinerja peserta didik dan pendapat mereka tentang materi.

Instruktur yang melakukan uji coba lapangan dapat mengamati kemajuan dan sikap peserta didik menggunakan seperangkat bahan yang diadopsi atau disesuaikan. Bahkan mungkin saja untuk memeriksa kinerja berbagai kelompok peserta didik menggunakan materi yang dimodifikasi atau yang tidak dimodifikasi untuk menentukan apakah perubahan tersebut meningkatkan keefektifannya dari bahan. Instruktur tentunya harus meluangkan waktu mengikuti lapangan evaluasi untuk memberi kesaksian kepada peserta didik secara menyeluruh terhadap reaksi mereka terhadap instruksi tersebut, karena wawasan tambahan tentang bahan atau prosedur dapat diperoleh selama sesi tanya jawab semacam itu. Setelah menyelesaikan uji coba lapangan material terpilih, instruktur seharusnya sudah mengumpulkan kira-kira jenis data yang sama telah dikumpulkan jika bahan asli sedang dievaluasi secara interaktif.

Evaluasi Formatif Instruktur-Led Instruction

Jika instruktur berencana untuk mengirimkan instruksi ke sekelompok siswa menggunakan sebuah Panduan instruktur, maka tujuan evaluasi formatif sama saja karena mereka adalah untuk evaluasi formatif bahan instruksional independen-untuk tentukan apakah instruksi tersebut efektif dan memutuskan bagaimana memperbaikinya. Sekali Sekali lagi, evaluasi formatif dari rencana instruksional hampir mendekati tahap ujicoba lapangan untuk bahan ajar. Kemungkinan besar, akan ada Sedikit waktu untuk evaluasi satu-ke-satu atau bahkan kelompok kecil.

Dalam mempersiapkan percobaan lapangan instruksi instruktur, instruktur harus melakukannya prihatin dengan keterampilan masuk dan pengetahuan sebelumnya, pengetahuan posttest, dan sikap peserta didik. Selain itu, instruktur berada dalam posisi yang unik memberikan latihan dan umpan balik interaktif, yang harus disertakan dalam strategi instruksional untuk memberi peserta didik kesempatan untuk menunjukkan yang spesifik keterampilan yang mereka dapatkan. Sesi ini juga berfungsi untuk mengidentifikasi keterampilan yang belum ada diperoleh Bentuk praktik dan penilaian dalam proses ini dapat diberikan dalam salah satu dari dua format, baik secara lisan ke berbagai peserta didik sambil mencatat kinerja mereka, atau dengan mendistribusikan secara berkala berbagai praktik cetak dan latihan umpan balik selama pelajaran. Pendekatan terakhir ini memberikan bukti nyata kemajuan peserta didik.

Instruktur juga dapat menggunakan uji coba lapangan sebagai kesempatan untuk mengevaluasi prosedur instruksional. Pengamatan terhadap proses instruksional harus menunjukkan kesesuaian pola pengelompokan, alokasi waktu, dan minat pelajar di berbagai bidang kegiatan kelas.

Banyak instruktur sudah menggunakan jenis evaluasi formatif ini petunjuk. Poin kami adalah menekankan penggunaan teknik ini secara menyeluruh dan sistematis untuk mengumpulkan dan menganalisis data guna merevisi rencana pelajaran. Untuk mengidentifikasi poin lemah dalam rencana pelajaran dan memberikan petunjuk untuk koreksi mereka, dalam-kemajuan data dapat dibandingkan dengan hasil yang diperoleh dengan posttest, attitude questionnaire, dan komentar siswa selama sesi tanya jawab.

Sangat sering, pengujian lapangan terhadap material terpilih dan pengujian lapangan instruksi instruktur yang dipimpin terjalin. Seringkali, penggunaan bahan yang dipilih membutuhkan peran interaktif untuk instruktur dan, juga, penggunaan instruktur panduan mungkin melibatkan penggunaan beberapa bahan ajar yang disiapkan. Dibawah baik keadaan, kira-kira sama jenis prosedur evaluasi lapangan harus digunakan dan jenis revisi serupa dilakukan.

Pengumpulan Data untuk Materi yang Dipilih dan Instruktur-Led Instruction

Sebagian besar informasi berhubungan dengan pengumpulan data dalam percobaan lapangan yang asli bahan ajar berlaku sama baiknya dengan prosedur pengumpulan data yang digunakan dalam evaluasi bahan pilihan dan prosedur instruksional. Misalnya, itu sangat penting bahwa peralatan apapun yang akan digunakan selama instruksi berlangsung dengan baik menjalankan perintah dan bahwa lingkungan di mana percobaan lapangan dilakukan kondusif untuk belajar .

Saat instruktur mengevaluasi materi instruksional, bahan pilihan, atau panduan instruktur, hubungan yang ada dengan pelajar bisa menjadi keuntungan besar. Hal ini penting selama evaluasi bahan dan panduan bahwa siswa memahami sifat kritis partisipasi mereka dan kontribusi terhadap penelitian ini. Itu instruktur, dalam bekerja dengan pelajar yang familiar, juga memiliki pengetahuan tentang peserta didik ' keterampilan masuk dan, sangat mungkin, mampu memprediksi secara akurat kinerja pretest siswa. Instruktur harus, bagaimanapun, hindari mengandalkan sepenuhnya pada ramalan semacam itu. Jika ada keraguan sama sekali tentang penampilan peserta didik, mereka harus melakukannya diuji untuk memverifikasi kebutuhan akan instruksi dalam keterampilan tertentu.

Ketika instruktur memilih bahan untuk menerapkan strategi instruksional, sejumlah masalah unik muncul. Informasi dapat dikumpulkan tentang masalah ini dengan observasi dan penggunaan kuesioner. Pertanyaan utamanya adalah, "Apakah instruksi memiliki kesatuan? "Untuk menjawab pertanyaan ini, instruktur harus menentukan kecukupan panduan pelajar dalam mengarahkan siswa ke berbagai sumber. Redundansi dan kesenjangan dalam materi instruksional harus diperhatikan. Sudah cukup pengulangan dan review dibangun ke dalam strategi? Jika instruktur mempresentasikannya instruksi, maka kejadian yang mencerminkan jenis masalah yang sama harus diperhatikan presentasi berlangsung. Jenis pertanyaan yang diajukan oleh peserta didik memberikan a kunci kekurangan strategi.

Menyangkut yang Mempengaruhi Evaluasi Formatif

Komponen evaluasi formatif membedakan proses perancangan instruksional dari pendekatan filosofis atau teoretis. Alih - alih berspekulasi tentang Efektivitas instruksional materi Anda, Anda mengujinya dengan peserta didik; karena itu, Anda harus melakukan pekerjaan terbaik untuk mengumpulkan data yang benar-benar mencerminkan keefektifan materi Anda. Ada beberapa Menyangkut tentang evaluasi formatif konteks dan peserta didik yang berpartisipasi dalam evaluasi yang harus dilakukan perancang Ingatlah saat merencanakan dan menerapkan prosedur pengumpulan data.

Konteks Menyangkut Untuk evaluasi bahan yang tepat, pastikan teknis apapun peralatan beroperasi secara efektif. Lebih dari satu instruktur telah berkecil hati karena satu set bahan ajar baru diujicobakan dengan potongan tertentu peralatan, dan peralatan tersebut gagal beroperasi dengan benar. Data peserta didik tidak sah, dan instruktur belajar sedikit lebih banyak dari pada peralatan itu beroperasi secara efektif untuk mencoba bahan.

Hal ini juga penting pada tahap awal evaluasi formatif, terutama di Percobaan satu-ke-satu, bahwa Anda bekerja dengan peserta didik dalam suasana yang sepi di mana Anda dapat memerintahkan perhatian penuh mereka. Pada titik ini, Anda prihatin tentang bagaimana bahannya bekerja di bawah kondisi terbaik. Saat Anda pindah ke sesi kelompok kecil dan percobaan lapangan, Anda semakin khawatir dengan bagaimana bahan bekerja lebih banyak konteks yang khas Jika setting tipikal adalah kelas individual dengan relatif Tingkat kebisingan yang tinggi, maka Anda ingin tahu apakah bahan itu bekerja dalam situasi itu; Namun, Anda seharusnya tidak memulai evaluasi formatif dalam kondisi ini.

Menyangkut tentang peserta didik Dalam pemilihan peserta didik untuk berpartisipasi dalam pembelajaran Tahap evaluasi formatif, hindari tergantung sepenuhnya pada instruktur untuk menilai pengetahuan masuk peserta didik. Bila memungkinkan, berikan keterampilan masuk tes kepada peserta didik untuk memverifikasi bahwa mereka sebenarnya adalah anggota populasi sasaran untuk siapa bahan itu dimaksudkan Pengalaman telah menunjukkan bahwa instruktur, untuk Apapun alasannya, terkadang membuat perkiraan miskin tentang kesiapan peserta didik yang direkomendasikan untuk berpartisipasi dalam studi evaluasi formatif. Lakukan apa Bisa untuk memverifikasi pengetahuan masuk peserta didik.

Bila Anda mendapatkan informasi tentang pengetahuan dan keterampilan masuk peserta didik, Anda Kadang menghadapi masalah apa yang harus dilakukan dengan peserta didik yang sudah menguasai beberapa atau semua keterampilan yang akan diajarkan, atau peserta didik yang tidak memiliki keterampilan masuk yang dibutuhkan Apakah Anda menjatuhkannya dari evaluasi formatif? Ini Sebaiknya sertakan beberapa peserta didik yang tidak sesuai dengan profil keterampilan populasi target sesungguhnya Mereka yang sudah tahu beberapa konten bisa melayani sebagai "subjek-matter sophisticates" yang bisa menjadi indikator bagaimana siswa lain Siapa yang tidak tahu isinya akan merespon. Anda juga bisa menentukan apakah Anda Instruksi bisa membawa peserta didik ini mencapai kinerja sekitar 100 persen. Jika tidak bekerja untuk peserta didik ini, maka tidak mungkin efektif dengan peserta didik yang kurang memasukkan pengetahuan.

Peserta didik yang tidak memiliki keterampilan masuk juga harus disertakan dalam evaluasi formatif. Keterampilan masuk telah diturunkan secara teoritis, dan karenanya membutuhkan validasi. Jika peserta didik yang tidak dapat menunjukkan keterampilan masuknya, Sebenarnya, perjuangan melalui instruksi dengan sedikit keberhasilan, sedangkan yang memiliki Keterampilan masuk berhasil, ini menunjukkan bahwa Anda telah mengidentifikasi keterampilan yang dimiliki peserta didik harus memulai instruksi. Jika, bagaimanapun, peserta didik tanpa keterampilan masuk berhasil dengan instruksi, maka Anda harus mempertimbangkan kembali keabsahannya secara serius dari keterampilan masuk yang telah Anda identifikasi.

Kami telah menyarankan bahwa dalam evaluasi formatif satu-ke-satu, perancang Sebaiknya gunakan setidaknya tiga peserta didik-satu tinggi, satu rata-rata, dan satu rendah kemampuan. Ini adalah rekomendasi samar yang bisa dibuat lebih spesifik dengan mengidentifikasi a Kemampuan belajar tinggi sebagai orang yang sudah mengetahui beberapa konten yang akan diajarkan. Itu Rata-rata pelajar dapat diidentifikasi sebagai orang yang memiliki keterampilan masuk tapi tidak memiliki pengetahuan keterampilan yang harus diajarkan, dan kemampuan rendah yang dimiliki seseorang yang tidak memiliki beberapa atau semua keterampilan masuk. Dengan menggunakan definisi ini, perancang bisa jauh lebih yakin mendapatkan berbagai kemampuan yang diinginkan. Penelitian menunjukkan bahwa ketiga jenis ini peserta didik memberikan informasi yang berbeda namun bermanfaat bagi perancang, dan dengan demikian ketiganya harus disertakan dalam evaluasi formatif.

Menyangkut tentang Hasil Evaluasi Formatif Kata terakhir hati-hati: Bersiaplah untuk mendapatkan informasi yang menunjukkan bahwa materi Anda tidak seefektif Anda. pikir mereka akan setelah melalui desain instruksional yang ekstensif proses. Adalah hal yang biasa terjadi saat menjadi hebat banyak waktu dan usaha dalam berbagai jenis proyek. Sama lazimnya dengan tajam kecewa ketika Anda menemukan bahwa usaha Anda belum sepenuhnya memuaskan.

Anda harus mencatat, bagaimanapun, bahwa dalam proses evaluasi formatif, positif umpan balik dari siswa memberi Anda sedikit informasi tentang bagaimana keadaan Anda lanjutkan untuk mengubah apapun Umpan balik positif hanya menunjukkan bahwa apa yang Anda miliki efektif dengan siswa yang menggunakan materi. Anda kemudian bisa hanya membuat Keterbatasan terbatas bahwa materi harus efektif dengan peserta didik yang memiliki Kemampuan dan motivasi serupa.

Saat Anda melakukan proses evaluasi formatif, mungkin Anda bisa membantu untuk berpura-pura bahwa instruktur lain telah mengembangkan materi dan materi Anda hanya melakukan evaluasi formatif untuk orang tersebut. Kami tidak menyarankan bahwa Anda menyesatkan peserta didik tentang hal itu, namun Anda mengadopsi hal ini tanpa keterlibatan psikologis dalam rangka untuk mendengarkan apa yang peserta didik, instruktur, dan UKM mungkin mengatakan. Umpan balik jenis ini harus diintegrasikan ke dalam penilaian yang obyektif dari sejauh mana materi Anda memenuhi tujuan yang telah Anda tetapkan untuknya dan bagaimana mereka bisa diperbaiki.

Menyangkut tentang Penerapan Evaluasi Formatif Meskipun proses perancangan instruksional yang ideal adalah melakukan tiga tahap evaluasi formatif sebelum membagikan instruksi untuk penggunaan umum, terkadang tidak mungkin untuk mengikuti prosedur ini Dalam banyak kasus, tidak ada cukup waktu untuk melakukan formatif evaluasi atau tidak ada dana yang dianggarkan untuk melakukannya. Tanggung jawab apa yang Perancang punya dalam situasi ini?

Pertimbangan pertama harus menentukan apakah ada bentuk formatif evaluasi dapat dilakukan sebelum penggunaan instruksi secara formal. Adalah Ada cara untuk menggabungkan beberapa teknik one-to-one dengan uji coba lapangan? Bisa kita mendapatkan seseorang untuk membaca materi dan melihat apakah mereka masuk akal? Bisakah kita berjalan melalui permainan peran untuk memastikannya berhasil? Kebanyakan desainer akan melakukannya Mengakui bahwa dengan menggunakan instruksi yang baru dirancang tanpa beberapa jenis ujicoba sangat berisiko, tapi terkadang tidak dapat dihindari.

Jika instruksi digunakan dengan populasi target tanpa manfaat apapun Evaluasi formatif, masih dimungkinkan untuk menggunakan kesempatan itu untuk mengumpulkan informasi yang berguna untuk merevisi pengajaran. Dalam situasi ini, prosedurnya biasanya yang diterapkan adalah percobaan di lapangan. Data kuesioner dan informasi asesmen dapat dikombinasikan dengan pengamatan peserta didik dan diskusi langsung tentang instruksi untuk menentukan jenis perubahan yang harus dilakukan.

Prinsip umum perancang adalah bahwa evaluasi formatif selalu dilakukan dilakukan; Ini hanya pertanyaan kapan, dimana, dan bagaimana caranya. Terkadang ada cukup waktu dan sumber daya untuk melakukan tiga tahap evaluasi formatifdijelaskan disini Bila tidak memungkinkan melakukannya, itu adalah tanggung jawab perancang untuk berimprovisasi cara mengumpulkan sebanyak mungkin informasi tentang instruksi tersebut sehingga bisa direvisi secara tepat.

Pemecahan Masalah selama Desain Instruksional

Dalam proses perancangan instruksional, perancang sering dihadapkan dengan pertanyaan itu Jawaban terbaik bisa dijawab dengan data peserta didik. Sangat menarik untuk mengetahui seberapa sering mungkin untuk menyelesaikan argumen desain dengan mengatakan, "Mari kita memberitahu peserta didik jawaban untuk itu. "Keseluruhan proses evaluasi formatif adalah salah satu pertemuan data dari peserta didik untuk menjawab pertanyaan yang mungkin Anda (atau mungkin tidak) miliki tentang Anda petunjuk.

Asumsikan bahwa mengikuti serangkaian evaluasi satu lawan satu, menjadi jelas bahwa Ada pertanyaan tentang penggunaan ilustrasi dalam instruksi Anda. Beberapa siswamenyukai dan menggunakannya, sedangkan beberapa lainnya mengatakan bahwa mereka tidak berguna. Karena itu Mungkin mahal untuk menggunakan ilustrasi dalam instruksi, sebuah pertanyaan yang penting harus dilakukan menjawab: "Haruskah ilustrasi digunakan dalam instruksi saya?"

Untuk menjawab pertanyaan ini, perancang bisa mengembangkan dua versi instruksi untuk digunakan dalam evaluasi kelompok kecil. Sepuluh dipilih secara acak peserta didik mungkin menerima instruksi tersebut dengan ilustrasi, sedangkan sepuluh menerimanya tanpa ilustrasi Maka kinerja dan sikap kedua kelompok bisa dibandingkan. Bagaimana mereka melakukannya di posttest? Bagaimana mereka melakukannya pada barang-barang itu langsung berhubungan dengan ilustrasi? Apa yang mereka katakan tentang pertanyaan sikap tentang penggunaan (atau tidak adanya) ilustrasi? Bagaimana waktu belajar dari dua kelompok membandingkan?

Apakah penelitian ini? Tidak juga. Tujuannya adalah membuat keputusan tentang apa untuk melakukan dengan unit instruksi tertentu, bukan untuk menentukan manfaat penggunaan ilustrasi dalam instruksi Perancang bisa mengumpulkan cukup data secara formatif evaluasi tentang ilustrasi untuk membuat setidaknya keputusan tentatif tentang mereka terus gunakan dalam instruksi. Metodologi yang sama ini bisa digunakan untuk menjawab Berbagai macam pertanyaan yang tak terelakkan muncul selama proses perancangan.

Contoh

Daftar berikut mencakup informasi yang dapat Anda gunakan untuk merencanakan evaluasi satu orang, kelompok kecil, dan evaluasi lapangan. Sambil melihat-lihat ini Prosedur yang disarankan, asumsikan bahwa Anda tahu target populasi yang Anda targetkan tapi tidak yakin apakah mereka memiliki keterampilan masuk yang dibutuhkan Contoh berikut tidak ditawarkan sebagai satu-satunya kegiatan yang harus Anda kejar dalam evaluasi formatif, tapi sebagai daftar saran yang bisa Anda gunakan untuk mulai memikirkan proyek Anda sendiri. Anda mungkin bisa mengidentifikasi kegiatan lain untuk proyek Anda.

Kegiatan Evaluasi Formatif

Evaluasi Satu-ke-Satu

I.                   Partisipasi oleh UKM

A. Anda harus memberi pakar hal berikut:

1.      Analisis instruksional

2.      Tujuan kinerja

3.      Instruksi

4.      Pengujian dan instrumen penilaian lainnya

Bahan ini harus dalam bentuk kasar karena bisa dilakukan revisi besar jadilah hasil dari pengujian satu lawan satu ini. Anda mungkin ingin hadir materi Anda sesuai urutan yang dijelaskan di atas.

 B. Anda harus mencari verifikasi sebagai berikut:

1.      Pernyataan obyektif

2.      Analisis instruksional

3.      Akurasi dan mata uang dari konten

4.      Ketepatan materi instruksional dalam kosakata, minat nilai, urutan, ukuran chunk, dan kegiatan partisipasi peserta didik

5.      Kejelasan dan kesesuaian item tes dan situasi penilaian

6.      Penempatan bagian instruksi ini relatif terhadap prior dan selanjutnya petunjuk

 C. Jumlah UKM yang harus Anda pendekatan untuk bantuan bervariasi kompleksitas informasi dan keterampilan yang tercakup dalam materi Anda. Untuk beberapa instruksi, satu ahli sudah mencukupi, sedangkan untuk yang lain empat mungkin masih terasa tidak memadai Sifat tugas belajar menentukan nomor dan jenis konsultan ahli yang dibutuhkan.

 II. Partisipasi oleh peserta didik dari populasi sasaran

A.    Identifikasi peserta didik yang khas dari orang yang Anda percaya akan ditemukan di populasi sasaran. (Sertakan setiap tipe pelajar utama yang bisa ditemukan di populasi sasaran.)

B.     Aturlah peserta didik untuk berpartisipasi.

C.     Diskusikan proses evaluasi satu-ke-satu materi dengan masing-masing pelajar secara terpisah

D.    Evaluasi pretest yang telah Anda bangun untuk mengukur keterampilan masuk.

1.    Bisakah pelajar membaca petunjuknya?

2.    Apakah pelajar mengerti masalah?

3.    Apakah pelajar memiliki keterampilan prasyarat yang dibutuhkan?

E. Duduklah dengan pelajar saat dia mempelajari materi.               

1.    Ajarkan peserta didik untuk menulis di materi untuk menunjukkan di mana kesulitan ditemukan atau untuk mendiskusikan gagasan dan masalah.

2.    Jika pelajar gagal memahami sebuah contoh, maka cobalah kata lain secara lisan contoh. Apakah ini memperjelas masalah? Catatan dalam penulisan perubahan dan saran yang Anda buat saat Anda membaca materi.

3.    Jika pelajar gagal memahami penjelasan, maka jelaskan menambahkan informasi atau mengubah urutan presentasi. Melakukan hal ini memperjelas masalah ini? Perhatikan perubahan yang Anda buat secara tertulis.

4.    Jika pelajar tampak bosan atau bingung saat melewati Materi, mungkin perlu untuk mengubah presentasi ke mencakup potongan informasi yang lebih besar atau lebih kecil sebelum latihan dan umpan balik Catat gagasan Anda mengenai pengelompokan ulang bahan saat Anda pergi bersama

5.    Simpan catatan pada contoh, ilustrasi, informasi yang Anda tambahkan, dan perubahan berurutan selama proses evaluasi formatif; Jika tidak, Anda mungkin lupa sebuah keputusan atau gagasan penting. Ambil catatan Harus cepat dan dalam bentuk kasar sehingga pelajar tidak terganggu dari bahan

F.      Anda dapat memilih untuk menguji pelajar lain dari populasi sasaran sebelum Anda membuat perubahan atau revisi dalam materi Anda untuk memverifikasi itu perubahan itu perlu Jika kesalahan ditunjukkan oleh pelajar pertama Anda "Konsultan" sudah jelas, mungkin perlu dilakukan revisi sebelum menguji peserta didik berikutnya. Ini menghemat waktu pengujian dan memungkinkan Selanjutnya pelajar berkonsentrasi pada masalah lain yang mungkin ada di bahan.

III.             Hasil evaluasi formatif satu-ke-satu

 A. Pertimbangkan lagi jenis informasi yang Anda cari dalam pengujian satu-satunya:

1.      Analisis instruksional yang salah

2.      Kesalahan dalam menilai tentang keterampilan masuk peserta didik dalam target populasi

3.      Tujuan yang tidak jelas atau tidak tepat dan hasil yang diharapkan

4.      Presentasi dan contoh informasi yang kurang memadai  

a.       Sebuah. Contoh, grafik, atau ilustrasi yang terlalu abstrak

b.      Terlalu banyak atau terlalu sedikit informasi sekaligus

c.       Salah urutan informasi yang disajikan

d.      Contoh yang tidak jelas

 5. Pertanyaan tes yang tidak jelas, situasi uji, atau petunjuk arah tes

 6. Kata-kata yang salah atau tidak jelas

Evaluasi Kelompok Kecil

 I. Partisipasi oleh peserta didik dari populasi sasaran

A.       Identifikasi sekelompok pelajar yang melambangkan populasi sasaran Anda.

B.       Aturlah suatu kelompok untuk berpartisipasi.

1.         Waktu yang memadai harus diatur untuk pengujian yang diperlukan dan juga kegiatan instruksional

2.         Peserta didik harus termotivasi untuk berpartisipasi.

3.         Peserta didik harus dipilih untuk mewakili tipe orang yang diharapkan pada populasi sasaran. Sertakan beberapa peserta didik dari setiap yang diharapkan kategori utama dalam populasi target Anda.

C.     Selama pretest, instruksi, dan posttest, buat catatan tentang saran untuk instruktur yang akan menggunakan materi. Juga, perhatikan perubahannya buatlah dalam instruksi atau prosedur sebagai hasil pengamatan Anda peserta didik berinteraksi dengan materi.

D.    Berikan pretest keterampilan entri yang dibutuhkan jika ada yang sesuai.

1.         Periksa arah, pola respon, dan pertanyaan untuk memastikannya kata-katanya jelas

2.         Ajarkan peserta didik untuk melingkari kata-kata yang tidak mereka mengerti dan tempatkan a periksa di samping pertanyaan atau petunjuk yang tidak jelas.

3.         Jangan berhenti untuk mendiskusikan item yang tidak jelas dengan peserta didik selama tes berlangsung kecuali jika macet atau berhenti.

4.         Catat waktu yang dibutuhkan peserta didik untuk menyelesaikan tes masuk.

E.     Berikan pretest keterampilan untuk diajarkan selama pengajaran. Tes ini dan tes keterampilan masuk yang dibutuhkan bisa digabungkan menjadi satu pretest, jika diinginkan

a.       Minta peserta didik untuk melingkari kosa kata apapun yang tidak jelas.

b.      Mintalah peserta didik melakukan pengecekan di samping petunjuk, pertanyaan, atau persyaratan respon tidak jelas bagi mereka.

c.       Mintalah peserta didik untuk menulis komentar tambahan jika mereka menginginkannya.

d.      Jangan mendiskusikan masalah dengan peserta didik selama tes.

F.      Berikan bahan ajar. Miliki setting instruksional dekat dengan kenyataan dengan semua peralatan dan bahan yang dibutuhkan hadir. Apa saja Bantuan instruksional yang dibutuhkan juga harus tersedia selama percobaan.

1.         Ajarkan peserta didik bahwa Anda memerlukan bantuan mereka dalam mengevaluasi materi.

2.         Mintalah peserta didik menandatangani pekerjaan mereka sehingga Anda dapat membandingkan kinerjanya pada pelajaran dengan kinerja mereka berdasarkan perilaku masuk mereka.

3.         Ajarkan peserta didik untuk melingkari kata-kata yang tidak jelas dan tempatkan cek di sampingnya ilustrasi, contoh, atau penjelasan apa pun tidak jelas dalam instruksi. Peserta didik harus terus mengerjakan materi sampai akhir tanpa henti untuk diskusi.

4.         Catat waktu yang dibutuhkan peserta didik untuk menyelesaikan instruksional bahan. Waktu yang dibutuhkan mungkin lebih dari yang diantisipasi jika peserta didik perlu instruksi tentang peralatan atau prosedur yang tidak dikenal.

G.    Berikan posttest.

1.        Mintalah peserta didik menandatangani posttest mereka untuk memungkinkan perbandingan dengan pretest dan kuesioner.

2.        Minta peserta didik mengelompokkan kosakata yang tidak jelas dan tempatkan cek di sampingnya setiap arah, pertanyaan, atau persyaratan yang tidak jelas.

3.        Mintalah peserta didik menanggapi sebanyak mungkin item, terlepas dari apakah mereka yakin akan jawabannya atau hanya menebak-nebak. Seringkali salah tebakan bisa memberi petunjuk untuk instruksi yang tidak memadai. Anda mungkin ingin mereka untuk menunjukkan jawaban mana yang mencerminkan dugaan.

4.        Catat waktu yang dibutuhkan peserta didik untuk menyelesaikan posttest.

H.    Berikan kuisioner sikap kepada peserta didik.

 1. Anda mungkin ingin mengajukan pertanyaan seperti berikut ini:

•         Apakah instruksi itu menarik perhatian Anda?

•         Apakah instruksi terlalu panjang atau terlalu singkat?

•         Apakah instruksi terlalu sulit atau terlalu mudah?

•         Apakah Anda memiliki masalah dengan bagian instruksi apapun?

•         Apakah kartun atau ilustrasi itu sesuai atau mengganggu?

•         Apakah penggunaan warna menarik atau mengganggu?

•         Apa yang paling kamu suka?

•         Apa yang paling Anda sukai?

•         Bagaimana Anda mengubah instruksi jika Anda bisa?

•         Apakah tes mengukur materi yang disajikan?

•         Apakah Anda lebih memilih media pembelajaran lain?

I.       Atur peserta didik untuk mendiskusikan pretest, instruction, atau posttest dengan Anda atau instruktur mereka setelah mereka menyelesaikan semua pekerjaan.

1.         Anda mungkin ingin menyusun diskusi dengan pertanyaan yang direncanakan.

2.         Anda mungkin ingin mengajukan pertanyaan seperti, "Maukah Anda mengubahnya latihan di bagian X? "atau" Apakah Anda menyukai contoh di bagian X? "

Percobaan lapangan

       I.            Pilih sampel yang sesuai dari populasi target.

A.    Atur kelompok yang dipilih untuk mencoba bahannya.

1.         Pastikan ada cukup jumlah peserta didik dalam kelompok. Tiga puluh orang sering disarankan sebagai jumlah peserta didik untuk berpartisipasi percobaan lapangan

2.         Pastikan bahwa peserta didik terpilih mencerminkan berbagai kemampuan dan keterampilan dari peserta didik dalam populasi sasaran

3.         Pastikan ada personil, fasilitas, dan peralatan yang memadai tersedia untuk persidangan.

B.     Bagikan bahan ajar dan juga instrukturnya tersedia untuk instruktur yang melakukan uji lapangan.

C.     Diskusikan instruksi atau pertimbangan khusus yang mungkin diperlukan jika instruksi di luar konteks

D.    Secara pribadi memainkan peran minimal dalam uji coba lapangan.

E.     Rangkumlah data yang telah Anda kumpulkan. Data yang diringkas mungkin termasuk sebuah laporan sebagai berikut:

1.      Skor pada bagian keterampilan masuk pretest

2.      Skor Pretest dan posttest pada keterampilan yang diajarkan

3.      Waktu yang dibutuhkan siswa untuk menyelesaikan setiap tes yang digunakan

4.      Waktu yang dibutuhkan siswa untuk menyelesaikan instruksi

5.      Sikap peserta didik serta instruktur yang berpartisipasi

Evaluasi Formatif Bahan Tertentu dan Instruktur-Led Instruction

1.      Bahan yang Dipilih

Selain saran formatif untuk bahan ajar sendiri, Anda harus menentukan apakah hal berikut benar:

A.      Semua bagian strategi instruksional diperhitungkan dalam pilihan bahan atau disediakan oleh instruktur.

B.       Transisi antar sumber itu mulus.

C.       Aliran konten dalam berbagai sumber pembelajaran konsisten dan logis

D.      Manual atau instruktur peserta didik secara memadai menyajikan tujuan.

E.       Petunjuk untuk mencari instruksi di dalam masing-masing sumber sudah memadai.

F.        Bagian dari strategi instruksional yang harus dipasok oleh instruktur sudah memadai

G.      Kosakata yang digunakan di semua sumber adalah tepat.

H.      Ilustrasi dan contoh yang digunakan sesuai untuk target kelompok.

2.      Instruktur-Led Instruction

Faktor utama dalam mengevaluasi instruksi yang disampaikan oleh instruktur adalah bahwa mereka adalah bagian interaktif dari instruksi. Selain semua pertimbangan yang disebutkan sebelumnya, beberapa pertimbangan evaluasi penting adalah unik untuk jenis instruksi ini. Apakah instrukturnya:

A.  Meyakinkan, antusias, membantu, dan berpengetahuan luas?

B.  Mampu menghindari penyimpangan untuk menyimpan instruksi dan diskusi mengenai topik yang relevan dan sesuai jadwal?

C.  Membuat presentasi secara menarik dan jelas?

D.  Gunakan alat bantu visual untuk membantu contoh dan ilustrasi?

E.   Berikan umpan balik yang baik untuk pertanyaan peserta didik?

F.   Sediakan latihan latihan yang memadai dengan umpan balik yang tepat?

Anda harus mencatat kejadian yang terjadi selama pengajaran sehingga Anda bisa belajar mereka untuk apa yang mereka maksudkan tentang keefektifan instruksi.

Studi Kasus: Pelatihan Kepemimpinan Grup

mengikuti ilustrasi yang didasarkan pada analisis instruksional dan strategi langkah utama 6, "Mengelola interaksi kelompok kooperatif" yang dipresentasikan di Bab Delapan, Sembilan, dan Sepuluh. Sekali lagi, populasi sasaran adalah siswa tingkat master di kursus kepemimpinan kampus yang memiliki berbagai tingkat pengetahuan dan keterampilan. Melakukan evaluasi formatif satu-ke-satu dan kelompok kecil dijelaskan di bagian ini, dan contoh uji coba lapangan disertakan dalam Praktik dan Umpan Balik bagian. Dalam membaca setiap jenis evaluasi, Anda harus mengingat tujuannya untuk evaluasi, sifat instruksi kepemimpinan, dan karakteristiknya dari para pemimpin mahasiswa

Prosedur Evaluasi Formatif Satu-ke-Satu

Materi untuk Uji Coba Satu-ke-Satu Materi terdiri dari halaman yang diketik dan diketik berisi petunjuk, instruksi, dan penilaian. Video tersebut dipresentasikan sebagai papan cerita kertas pada saat ini Ilustrasi terdiri dari gambar tangan kasar dan clip art Materi untuk setiap tujuan dan setiap tanggapan pemimpin yang dibutuhkan ditempatkan pada satu halaman, dengan umpan balik pada halaman berikut. Ini memudahkan evaluasi urutan dan pengelompokan tujuan dan memastikan keduanya dapat diubah mudah jika dibutuhkan Halaman-halaman itu terbagi menjadi dua kolom, meninggalkan ruangan yang cukup luas untuk siswa tryout serta desainer untuk berkomentar dan menulis saran langsung di materi. Enam salinan bahan kasar diproduksi: satu untuk setiap pelajar, satu untuk perancang, dan satu untuk menghitung hasil dan membuat revisi.

Peserta dan Instruksi Empat siswa dalam program kepemimpinan diundang untuk mengambil kursus sebagai studi mandiri, dan diberi tahu tentang kegiatan itu akan dilakukan selama jangka waktu tersebut. Empat siswa pertama diundang untuk berpartisipasi setuju, percaya bahwa ini adalah kesempatan pertama mereka untuk belajar secara mandiri dengan profesor dan TA dan dengan siswa lain dalam suasana kelompok kecil. Keempatnya siswa berpartisipasi dalam evaluasi satu-ke-satu semester-panjang. Sampel empat terdiri dari siswa dengan jurusan dan minat sarjana yang berbeda: satu Belajar menjadi direktur atletik, seseorang ingin menjadi kepala sekolah menengah, satu ingin bekerja di bidang pelayanan siswa di pendidikan tinggi, dan seseorang mencari posisi di pemerintahan daerah. Semua memiliki pengalaman memimpin pertemuan kelompok di tempat kerja dan di dalam komunitas. Meskipun bahan untuk keseluruhan program dievaluasi dengan ini satu-ke-satu kelompok, diskusi kita disini hanya berkaitan dengan bagian untuk langkah utama 6, mengelola interaksi kelompok kooperatif.

Peserta mengucapkan terima kasih telah hadir, dan kopi, minuman ringan, dan bagel ditawarkan untuk membantu memastikan lingkungan sosial dan bukannya menghakimi. Itu Tujuan untuk sesi tersebut dijelaskan, dan peserta diberitahu ada tidak ada jawaban yang salah, hanya area di mana pengembang mungkin tidak jelas atau lengkap sesuai kebutuhan. Sebelum memulai, mereka diberitahu bahwa para pengembangnya berharap mereka memeriksa kosa kata, tingkat membaca, dan mondar-mandir, serta kejelasannya contoh, latihan, dan umpan balik. Mereka juga diminta untuk mengomentari mereka pengalaman dalam diskusi kelompok terdepan, apakah mereka yakin beberapa bagian bisa dilewati, dan apakah mereka lebih banyak mempercayai informasi dan contoh harus ditambahkan

Bahan Preinstructional Saat peserta mengerjakan setiap bagian dari bahan, untuk membantu mereka mulai mengkritisi, para perancang memintanya mengomentari apakah (1) bahan motivasi awal sudah jelas dan menarik, (2) tujuannya jelas dan relevan bagi mereka, dan (3) mereka sudah memiliki salah satu keterampilan dalam tujuannya. Mereka diminta menuliskan komentar mereka secara langsung pada halaman di margin besar yang disediakan. Perancang memparafrasekan kata verbal mereka komentar di margin juga

Presentasi Konten Siswa mengidentifikasi dan menandai petunjuk atau informasi manajemen yang tidak jelas atau membingungkan, dan mereka mengedepankan kosakata yang tidak biasa di bahan tertulis, termasuk naskah video. Perancang tersebut meminta mereka untuk berkomentar secara lisan tentang kejelasan deskripsi dan contoh yang digunakan, dan untuk menyarankan secara lisan contoh lain dari pengalaman mereka. Pengalaman ini diparafrasekan di margin oleh desainer Mereka juga diminta untuk mengomentari kecukupan urutan isi dan ukuran chunk. Itu tidak mungkin untuk menilai kecepatan karena sifat evaluasi yang interaktif.

Partisipasi Pelajar Siswa diminta untuk melengkapi semua materi latihan dan kegiatan dan untuk mengomentari apakah mereka menarik dan membantu mereka masuk belajar dan mengingat keterampilan. Perancang tersebut meminta peserta untuk mengomentari barang-barang yang tidak mereka lalui (tanpa memberi tahu peserta didik bahwa barang tersebut tidak ada) sehingga bisa mengumpulkan lebih banyak informasi tentang kesalahpahaman dan pembelajaran mereka yang tidak lengkap. Melalui percakapan ini, perancang mengidentifikasi area yang memerlukan lebih banyak informasi dan contoh. Peserta didik juga diminta untuk mengevaluasi kejelasannya dan menolong umpan balik yang diberikan, dan untuk menulis di selisih pertanyaan itu tetap setelah mempelajari umpan baliknya.

Penilaian Untuk pretest dan posttest, peserta didik diminta untuk memberikannya informasi tentang kejelasan instruksi tes, kosakata yang digunakan, dan pertanyaan atau tugas yang dibutuhkan. Mereka menandai kata-kata, pertanyaan, atau pertanyaan yang tidak jelas atau membingungkan arah. Saat peserta merespons, perancang menanyakan pertanyaan menyelidik kapan sebuah item dilewatkan pada posttest untuk mengidentifikasi sumber kesalahan atau kesalahpahaman. Komentar peserta didik dipecase oleh perancang di pinggir samping pertanyaan yang tidak terjawab

Mengikuti evaluasi satu lawan satu, peserta didik diminta untuk merenungkan instruksi dan komentar pada kejelasan dan utilitas secara keseluruhan. Wawancara ini diberikan wawasan tentang relevansi instruksi untuk tugas mereka sebagai pemimpin dan untuk kepentingannya utilitas dalam membantu mereka melakukan pekerjaan mereka dengan lebih baik. Mereka juga diminta berkomentar pada bahan apapun yang mereka percaya harus diperbaiki atau dihilangkan.

Setelah masing-masing melakukan evaluasi satu per satu, komentar peserta didik diperiksa dan disintesis, dan materi direvisi untuk menghilangkan kesalahan yang nyata. Rangkaian bahan yang direvisi kemudian diproduksi untuk sesi evaluasi berikutnya.Dengan evaluasi satu-ke-satu selesai dan materi direvisi sesuai kebutuhan, instruksi harus menjalani evaluasi kelompok kecil untuk mengidentifikasi masalah dengan bahan atau administrasi mereka dalam format yang dimaksud.

Prosedur Evaluasi Formatif Kelompok Kecil

Bahan untuk Percobaan Kelompok Kecil Percobaan kelompok kecil dilakukan semester berikutnya Pada saat ini, bahan ajar benar-benar dikembangkan sesuai dengan tingkat kecanggihan yang dimaksud, termasuk instruksi berbasis web, simulasi, sesi yang dipimpin oleh instruktur, video, dan penilaian, sehingga baik masalah manajemen atau pembelajaran dapat diidentifikasi selama evaluasi. Itu Panduan instruktur juga lengkap dan teruji untuk membantu memastikan berbagai fakultas anggota bisa menggunakan materi secara efektif. Memfasilitasi evaluasi peserta didik terhadap instruktur yang dipimpin, berbasis web, dan instruksi video, sebuah bentuk evaluasi yang memberi nama masing-masing Tujuan dan kegiatan terkait diberikan kepada peserta didik untuk segera menyelesaikannya setelah mereka menyelesaikan setiap bagian instruksi. Bentuknya juga termasuk rating skala untuk menilai kepentingan, kejelasan, dan kegunaan dari setiap kegiatan, serta kolom untuk perbaikan yang mereka sarankan. Ini menggunakan format umum.

Peserta dan Instruksi Semua dua puluh anggota kelas kepemimpinan dipilih untuk evaluasi formatif kelompok kecil. Sekali lagi, mereka semua menguasai tingkat siswa dengan jurusan sarjana yang berbeda dan berbagai bidang minat. Beberapa Peserta memiliki pengalaman sebelumnya dengan pimpinan kelompok, baik di tempat kerja maupun di Komunitas. Dua peserta memiliki pekerjaan kursus formal dalam komunikasi dan manajemen diskusi kelompok.

Hanya satu evaluasi kelompok kecil yang bisa dilakukan karena hanya ada satu kelompok kecil satu kelas istilah ini; Mungkin perlu menjadwalkan kelas lain semester depan setelahnya hasilnya dievaluasi dan panduan materi dan instruktur direvisi. Beberapa revisi dapat menghasilkan peningkatan pembelajaran atau manajemen; yang lain mungkin tidak.

Bahan Preinstructional Peserta didik mengikuti petunjuk dan berpartisipasi sebagai diinstruksikan. Untuk pretest berbasis web, formulir tanggapan gratis disisipkan berikut pretest, dan peserta didik diundang untuk memasukkan komentar mengenai informasi yang tidak jelas ke arahnya. Peserta didik diarahkan untuk menjawab semua pertanyaan ke terbaik dari kemampuan mereka Mengikuti pertanyaan, peserta didik menerima gaya esai lainnya formulir tanggapan, dan mereka diundang untuk mengidentifikasi dan mengomentari pertanyaan itu tidak jelas atau membingungkan Pertanyaan disusun sesuai tujuan, dan Tujuan diorganisir dalam tujuan instruksional. Data dirangkum oleh mengidentifikasi persentase siswa dalam kelompok yang menjawab setiap pertanyaan dengan benar dan persentase item dijawab dengan benar oleh setiap pelajar. Sebagai tambahan, perancang menghitung item dan petunjuk yang ditandai sebagai kata-kata yang tidak jelas dan kosa kata ditandai sebagai asing. Peserta didik tidak berhenti untuk bertanya tentang minat nilai atau kejelasan dari materi motivasi atau tujuan.

Presentasi dan Praktik Konten Peserta didik tidak dihentikan atau diwawancarai selama instruksi Sebelum memulai, mereka diundang untuk menandai secara langsung pada bahan cetak ada penjelasan, contoh, ilustrasi, kosa kata, latihan, dan umpan balik yang mereka anggap tidak jelas. Untuk materi berbasis video dan web, formulir evaluasi kembali diberikan agar peserta didik dapat menandai saat mereka bekerja intruksi. Peserta didik diinstruksikan untuk melengkapi semua item partisipasi dan kegiatan di dalam materi.

Penilaian Posttests ditandai dengan cara yang sama seperti pretest. Demikian pula, pertanyaan disusun sesuai tujuan, dan tujuan disusun dalam tujuan instruksional. Data dirangkum dengan mengidentifikasi persentase peserta didik dalam kelompok yang menjawab setiap pertanyaan dengan benar, begitu juga dengan persentase item dan tujuan dijawab dengan benar oleh masing-masing peserta. Lagi, sebuah penghitungan pertanyaan yang ditandai sebagai kata-kata yang tidak jelas dan kosa kata yang ditandai sebagai tidak dikenal dibuat. Akhirnya, waktu yang dibutuhkan peserta didik untuk menyelesaikan pretest, instruction, dan posttest tercatat, termasuk waktu terpendek, waktu terpanjang, dan waktu rata-rata yang diambil oleh kelompok. Dengan data ini dikumpulkan dan diatur secara obyektif dan tujuan, proses mengidentifikasi masalah dan solusi dimulai.

Instrumen untuk Menilai Sikap Peserta didik tentang Instruksi

Instrumen untuk menilai prestasi peserta didik dalam keterampilan kepemimpinan kelompok adalah diilustrasikan dan dibahas di Bab Sepuluh. Tidak ada kuesioner sikap, bagaimanapun, disajikan, dan evaluasi formatif yang baik mencakup penilaian terhadap prestasi dan sikap. Tabel 11.4 berisi kuesioner sikap untuk tujuan instruksional, "Timbal diskusi kelompok ditujukan untuk memecahkan masalah. "Kuesioner dirancang untuk diberikan sesi berikut 10: "Bergabunglah dengan perilaku anggota koperasi" (tujuan 6.1.1 sampai 6.5.1 pada Tabel 6.7, hal 131). Ini berisi enam bagian. Empat dari bagian berhubungan dengan aspek model ARCS Keller, termasuk perhatian, relevansi, keyakinan, dan kepuasan. Bagian lain memungkinkan peserta didik untuk menilai kejelasannya instruksi. Bagian terakhir meminta peserta didik memberikan komentar mereka di

kekuatan dan kelemahan pengajaran dari sudut pandang mereka. Untuk membantu pekerjaan mereka, Berbagai aspek pengajaran diberi nama di kolom kiri jauh. Dua baris terakhir, ditandai "Lainnya", disertakan untuk mengundang peserta didik mengomentari aspek instruksi yang tidak disebutkan secara khusus pada formulir.

Selain mengevaluasi instruksi, instrumen yang digunakan untuk mengumpulkan informasi juga dinilai untuk kejelasan dan utilitas selama evaluasi formatif. Misalnya, jika beberapa peserta didik mengajukan pertanyaan tentang instruksi atau instruksi tertentu item pada kuesioner sikap atau cenderung meninggalkan barang atau bagian kosong, lalu daerah terkait harus diperiksa kejelasan dan dimodifikasi. Selain itu, jika ada Bagian instrumen tidak menghasilkan data yang berguna untuk menentukan kekuatan dan kelemahan dan untuk merevisi pengajaran, maka itu juga harus direvisi atau dihilangkan.

permasalahan  :

Ada tiga siklus evaluasi formatif yaitu evaluasi one to one, evaluasi kelompok kecil dan evaluasi percobaan lapangan. Nah bagaimana cara kita agar dapat mengidentifikasi masalah-masalah yang muncul didalam evaluasi kelompok kecil, jelaskan menurut pendapat anda.