Pengembangan Sistem Deteksi Kesesuaian Dokumen Proposal Program Kreativitas Mahasiswa Dengan Metode Extended Weighted Tree Similarity

Abstract

Dalam rangka meningkatkan kualitas proposal dan kuantitas perolehan dana hibah Program Kreativitas Mahasiswa (PKM), Tim seleksi internal di Perguruan Tinggi mengevaluasi kesesuaian dokumen digital proposal usulan mahasiswa dengan dokumen pedoman PKM yang berlaku. Evaluasi tersebut seringkali tidak optimal karena ketidakseimbangan jumlah anggota tim seleksi dan jumlah proposal yang ditangani serta perubahan ketentuan dalam setiap tahun pedoman baru. Proposal usulan mahasiswa umumnya memiliki kesalahan dalam sistematika penulisan, uraian isi, ketentuan kriteria dan persyaratan pengusul dalam skema yang dipilih sehingga upaya perbaikan membutuhkan banyak waktu, tenaga dan biaya. Oleh karena itu tujuan jangka panjang penelitian ini adalah tersedianya perangkat lunak sistem pendeteksian otomatis dokumen digital yang mampu mengidentifikasi kesalahan sistematika, isi dan ketentuan sesuai dokumen pedoman PKM yang berlaku. Target khusus yang akan dicapaia dalah ditemukannya model pendeteksian dokumen digital format pdf yang memiliki tingkat presisi dan akurasi tinggi sehingga dapat digunakan oleh tim seleksi internal sebagai alat bantu koreksi awal. Pemodelan ini memanfaatkan operasi text mining untuk mengidentifikasi isi dokumen dengan melibatkan serangkaian metode yaitu tokenizing, stoplist/wordlist, stemming, pembobotan kata TF-IDF dan kemiripan antar bagian dokumen dalam struktur tree dengan metode cosine measure yang dinyatakan dalam bentuk nilai bobot label node tree. Perhitungan kemiripan total rata-rata antara dua buah tree dokumen dengan metode Extended Weighted Tree Similarity menggambarkan hasil kesesuaian sejauh mana proposal mahasiswa telah menerapkan pedoman PKM. Prototipe perangkat lunak telah menghasilkan nilai auto matching antar bagian (sub tree) yang sama dan scoring antara dokumen proposal dan dokumen pedoman PKM. Data pelatihan dari proposal yang lolos pendanaan tidak selalu memiliki nilai tertinggi dibandingkan dengan data pengujian, sehingga kepatuhan terhadap pedoman harus diikuti oleh kualitas dari proposal yang diusulkan. Sebagian besar data pelatihan memiliki nilai tertinggi pertama dan kedua, sehingga kepatuhan terhadap pedoman menjadi pertimbangan dalam menentukan proposal yang didanai.