Seringkali saya (atau lebih tepatnya kami di INDOCISC) dihadapkan dengan masalah penilaian, seperti misalnya penilaian tingkat keamanan sebuah sistem. Bagaimana pemberian nilai tersebut? Pertanyaan yang paling gampang adalah apakah kita memberi nilai 0 sampai 10 (atau 100) seperti yang biasa digunakan guru di sekolah? Atau kita beri nilai A, B, C, D, E? Atau Low, Medium, High? Atau bahkan fail / pass saja? Atau bagaimana?
Penilaian dengan menggunakan angka (0 sampai 10 atau 100) memiliki keuntungan bahwa dia bisa memiliki granularity yang tinggi. Kita bisa memberikan angka 75,80 misalnya. Akan tetapi penilaian seperti ini sangat kental subyektivitasnya. Apa dasar anda memberikan 0,80 misalnya? Kalau penilaian yang berbasis soal ujian akan mudah menjawab pertanyaan ini, tapi kalau kita mencoba memberikan nilai keamanan sebuah sistem ternyata lebih sukar. Saya bayangkan ini mirip dengan memberikan nilai dari kesehatan seseorang.
Pemberian nilai A, B, C, D, E juga mengalami masalah kalau kita tidak dapat mendefinisikan acuan untuk A, B, C, D, dan E itu sendiri. Penilaian dengan Low, Medium, High atau pass/fail memiliki granularity yang sangat kasar. Seringkali perusahaan tidak ingin dinilai seperti itu.
Hasil pencarian saya menunjukkan bahwa sekarang sedang digemari penilaian dengan menggunakan lima level. Penilaian cara ini sebetulnya meminjam dari Capability Maturity Model (CMM) yang digunakan untuk menilai kematangan sebuah software house. Ada lima level dalam CMM, yaitu:
- initial (bahwa proses pengembangan software masih kacau – chaos, bergantung kepada seseorang)
- repeatable (proses pengembangan sudah ada dan sudah digunakan secara berulang namun belum didefinisikan)
- defined (proses pengembangan sudah terdefinisi, terdokumentasi)
- managed (lebih jauh lagi proses pengembangan sudah dipantau, diukur dengan beberapa indikator)
- optimized (bahkan proses pengembangan sudah dicoba untuk diperbaiki terus)
Nah, metoda peniliaian di atas yang kami gunakan dalam meniliai tingkat keamanan dari sebuah sitem. Tentu saja deskripsinya tidak persis seperti di atas, namun filosofinya hampir sama.
Metoda penilaian seperti CMM ini juga digunakan dalam COBIT (yang banyak digunakan oleh IT Auditor), level kerentanan sistem yang dihasilkan oleh tools Nessus, dan sejumlah metodologi lainnya. Nampaknya angka 5 ini memiliki nuansa khusus. Mungkin itu sebabnya kita memiliki Pancasila? (Lho, apa hubungannya ya?)
Juli 20th, 2006 at 10:47 am
tingkat keamanan itu harusnya dinilai dengan nilai boolean: aman atau tidak aman. dengan nilai ‘aman’ artinya ‘hampir pasti aman, tapi mungkin bisa jebol kalau kita sedang sial’
.
Juli 20th, 2006 at 2:15 pm
gue pernah ungkapan seperti ini,
selama masih buatan manusia, pasti ada celah nya
Juli 20th, 2006 at 4:21 pm
Mungkin bukan angka 5 saja Pak. Angka 10 juga memiliki nuansa khusus. Selain untuk penilaian (skala 1-10), angka 10 ini juga dipakai pada: Dasa Sila Bandung; Dasa Darma Pramuka; 10 Program Pokok PKK dll. Mengapa? Kayaknya secara naluri manusia suka yang pas atau “ganep” (bukan “genap” ya?). Kalau dikasih 3, ganepnya ke 5, kalo dikasih 7, ganepnya ke 10.
(Nguawur kayaknya neh, maklum udah mumet
Juli 20th, 2006 at 8:51 pm
#3, kalau 10 itu mungkin karena jari kita ada 10. Jadi kita terbiasa dengan 10.
Juli 20th, 2006 at 9:55 pm
buat pak gbt dab um pri, ada berapa metode penilaian utk hal2 kyk gini ? apa tdk ada standar yng baku gituh ?
Juli 21st, 2006 at 4:53 am
#5, kehebatan standar adalah … tidak ada standar.
sebetulnya memang ada beberapa metode “standar”. setelah saya cari-cari, ya seperti yang saya tuliskan di tulisan di atas itu.
September 19th, 2007 at 1:36 pm
Iya pak Budi CMM mungkin adalah standar yang paling tepat untuk menentukan penilaian kelayakan suatu software.
Tapi gimana ya caranya biar bisa sampai ke CMM level 5 ?
Apa harus melalui level 1-4 dulu pak?
Apa ada kursusannya mungkin… hehe..he..
trims a lot
Februari 29th, 2008 at 6:52 pm
CMM itu setau saya sudah menjadi stadrard penilaian software yang di pakai juga di seluruh dunia. untuk bisa sampai ke level 5 harus melewati level sebelum nya tentunya
Oktober 14th, 2008 at 11:25 am
bagaimana dg CMMI, kl gak salah setelah 31 desember 2007 semua penilaian dari cmm dianggap expired, migrasi ke CMMI….