Pengukur Kualitas Riset Indonesia

Riset menjadi satu bagian peran penting perguruan tinggi (PT), selain pengajaran dan pengabdian kepada masyarakat. Di Indonesia, ketiga peran tersebut diramu ke dalam Tri Dharma Perguruan Tinggi. Salah satu tantangan (lama) yang (masih) dihadapi saat ini adalah metode mengukur kualitas riset. Beragam indikator dapat ditemukan dalam literatur dan praktik. Tidak terkecuali di Indonesia.

Masalah indikator

Beberapa indikator yang jamak digunakan adalah cacah publikasi (termasuk sitasi) dan paten. Indikator ini sekilas terkesan cukup mewakili. Namun jika ditelisik lebih jauh, indikator ini laksana memotret sebuah objek hanya dari satu sudut saja. Sudut yang mudah terlihat. Masih banyak sudut yang tidak terjangkau oleh lensa kamera. Evaluasi riset cenderung dibimbing oleh data (metriks) dan tidak melibatkan asesmen ahli (judgement). Hicks dan kolega dalam tulisan berjudul “Bibliometrics: The Leiden Manifesto for research metrics” yang dimuat dalam Nature edisi 22 April 2015 memberi kritiknya,”Metrics have proliferated: usually well intentioned, not always well informed, often ill applied.”

Terkait dengan publikasi, Sinta Awards (sinta2.ristekdikti.go.id) yang diberikan oleh Direktorat Jenderal Pendidikan Tinggi kepada institusi, jurnal, dan individu pada 4 Juli 2018, menarik disingkap. Dengan formula tertentu, yang melibatkan cacah publikasi dan sitasi, skor Sinta dihitung. Tidak lama setelah malam penganugerahan itu, di media sosial beredar beragam komentar dan kritik. Salah satunya dengan satiris membeberkan kiat meningkatkan skor Sinta, dasar pemberian anugerah.

Beberapa kawan merasa miris, ketika kualitas riset direduksi ke dalam skor yang dapat direkayasa dengan mudah. Kasus ini memperkuat argumen di atas, bahwa mengukur kualitas riset tidaklah mudah. Tentu, ini bukan tuduhan bahwa para penerima Sinta Awards melakukan rekayasa.

Terlepas dari masalah yang mungkin mengiringinya, inisiatif pemberian Sinta Awards tetap patut diapresiasi. Hal ini bisa dipandang sebagai awal yang baik. Masih banyak kesempatan memperbaikinya seiring dengan berjalannya waktu.

Ukuran lain yang digunakan adalah cacah paten. Ketika ukuran ini diterapkan untuk semua konteks (termasuk disiplin yang berbeda), maka beragam komentar bisa diberikan. Paten sering dianggap sebagai ikhtiar dalam hilirisasi hasil riset, mentransformasikannya ke dalam produk massal. Argumen ini sampai tingkat tertentu bisa diterima. Tetapi ketika ukuran yang sama diterapkan untuk semua disiplin, masalah muncul. Sebagai contoh, bagaimana menerapkan konsep paten ke riset yang dilakukan oleh kawan-kawan periset di disiplin filsafat atau agama. Apakah hanya karena tidak mempunyai paten, lantas dikatakan riset mereka tidak berkualitas? Atau jangan-jangan pendidikan tinggi di Indonesia menjebakkan diri dalam nilai-nilai materialisme yang cenderung kapitalistik? Yang jelas, komponen paten ada dalam borang akreditasi program studi di Indonesia.

Perspektif pelengkap

Indikator kualitas riset berdasar metriks harus dipandang bersifat indikatif, tidak definitif atau mutlak. Perlu dilakukan tambahan asesmen ahli (judgement).

Di Inggris, misalnya, evaluasi riset dipandu oleh Research Excellence Framework (www.ref.ac.uk) yang didasarkan pada tiga komponen: (a) kualitas keluaran riset, seperti publikasi periset, (b) statemen terkait lingkungan riset, dan (c) dampak riset pada masyarakat atau ekonomi. Evaluasi tidak hanya didasarkan pada metriks tetapi juga narasi yang dibuat untuk menggambarkan beberapa aspek, terutama terkait dengan dampak. Penilaiannya pun melibatkan panel ahli. Evaluasi dengan pendekatan campuran juga digunakan di Australia.

Di Belanda, bahkan evaluasi dengan metode yang cenderung kualitatif (www.knaw.nl). Kualitas riset lebih didasarkan pada dampaknya pada masyarakat. Tiga aspek pokok yang dilihat adalah: kualitas saintifik, relevansinya ke masyarakat, dan kelayakan strategi riset dari grup yang terlibat. Karakteristik unik setiap disiplin juga dijadikan konsiderans.

Manifesto Leiden (https://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351) yang diusulkan oleh Hicks dan kolega dapat dijadikan rujukan untuk memperkaya perspektif dan memperjauh horison. Terdapat 10 prinsip yang cukup mencelikkan mata, dan menyadarkan bahwa banyak praktik yang selama ini dianggap sebagai sesuai yang harus diterima tanpa protes, dapat membimbing ke arah yang salah.

Pertama, evaluasi metriks secara kuantitatif harus mendukung asemen kualitatif yang dilakukan oleh ahli. Inggris dan Belanda, sebagai contoh, sudah mengarah ke sana. Kedua, pengukuran kinerja perlu didasarkan pada misi riset yang dirumuskan secara institusional maupun individual. Tidak ada ukuran yang sama untuk semua konteks. Ketiga, riset yang relevan dengan konteks lokal perlu dilindungi. Konservasi warisan budaya merupakan salah satu topik yang masuk ke dalam ranah ini. Keempat, data yang digunakan dan analisisnya harus terbuka, tranparan, dan sederhana. Kesederhanaan sangat penting untuk meningkatkan transparansi.

Kelima, ijinkan yang institusi atau individu yang dievaluasi memverikasi data dan analisisnya. Hal ini dapat meningkatkan legitimasi hasil. Keenam, hargai variasi praktik publikasi dan sitasi dalam disiplin yang berbeda-beda. Disiplin A bisa jadi lebih menghargai publikasi dalam bentuk buku, disiplin B lebih menghargai artikel jurnal, dan disiplin C memandang prosiding sebagai salah satu kanal publikasi bergengsi. Karenanya, membandingkan impact factor dari jurnal antardisiplin bukan praktik yang dianjurkan.

Ketujuh, jika ingin menilai periset secara individu, lakukan asesmen kualitatif atas portofolionya. Melihat h-index saja, misalnya, juga bukan praktik dianjurkan, karena semakin senior periset, semakin besar kemungkinan mempunyai h-index yang tinggi, meski tidak lagi aktif melakukan publikasi. Kedelapan, hindari presisi konkret yang palsu. Indikator sains dan teknologi sangat rentan karena ambiguitas konseptual dan didasarkan pada asumsi yang tidak selalu disepakati secara umum. Penggunaan beberapa indikator dapat mengurangi masalah ini.

Kesembilan, sadari efek sistemik dari pilihan model asesmen dan indikator yang dipilih. Skema insentif yang dibuat pun bisa membimbing ke arah yang berbeda dari yang direncanakan. Kesepuluh, secara teratur periksa kembali indikator yang digunakan dan mutakhirkan. Sangat mungkin, lanskap publikasi akademik berubah, termasuk ketersediaan data dan hadirnya formula baru.

Epilog

Mengubah praktik yang sudah ada tidaklah semudah merebut permen dari anak kecil. Namun, perspektif pelengkap di atas dapat ditanamkan menjadi state of mind para periset dan pengambil kebijakan yang pada waktu yang tepat akan mewujud ke dalam praktik nyata.

Sementara, jadikan skor metriks hanya sebagai angka yang bersifat indikatif dan sangat mungkin mengandung kelemahan. Kebenarannya bersifat metodologis, bukan mutlak. Penggunaan metode atau formula yang berbeda, akan memberi hasil yang berbeda. Indikator tersebut hanya efektif untuk perbandingan, tetapi tidak komprehensif memotret realitas.

Sikap yang sama bisa kita gunakan untuk memaknai skor Sinta dan anugerah yang mengikutinya. Wallahu a’lam bish shawab.