SISTEM PENGELOLAAN DATABASE METEOROLOGI

Download Geofisika (BMKG) melakukan pengelolaan data Meteorologi Klimatologi dan Geofisika ... saat ini sedang membangun sistem pengelolaan database...

1 downloads 708 Views 2MB Size
SISTEM PENGELOLAAN DATABASE METEOROLOGI KLIMATOLOGI DAN GEOFISIKA MegaSoft  

Pusat  Database        

 

        Pengarah     :  Drs.  Untung  Merdijanto,  MSi.     Penanggungjawab   :  Drs.  Yunus  S.  Swarinoto,  MSi.         Penyusun   Tim         Urip  Haryoko,  MSi.     Dra.  Sri  Puji  Rahayu,  MSi.     Iqbal,  MTI     Husin  Sanusi,  ST     Hanapi,  ST     Dwi  Yuwono,  ST     Tri  Nurmayati,  SSi         Layout  supported  by  :    

     

  Cetakan  kedua,  Juli  2013   i  

Daftar isi   KATA  PENGANTAR   LATAR  BELAKANG     STATUS  PENGELOLAAN  DATABASE  MKG  ...............................................................  1   RANCANGAN  SISTEM  PENGELOLAAN  DATABASE  MKG  ...................................  3   KONSEP  INTEGRASI  DATABASE  .............................................................................................  3   RANCANGAN  INFRASTRUKTUR  ..............................................................................................  5   RANCANGAN  SISTEM  APLIKASI  ..............................................................................................  6   SISTEM  PENGELOLAAN  DATABASE  MKG  ................................................................  7   MEGASOFT  ................................................................................................................................  7   MEGAENTRY  .............................................................................................................................  7   MEGAVIEW  .............................................................................................................................  10  

   

                               

  ii  

Kata Pengantar

       

   

     

Undang   Undang   No   31   tahun   2009   dan   Peraturan   Pemerintah   No.   46   tahun   2012   mengamanatkan   agar   Badan   Meteorologi   Klimatologi   dan   Geofisika   (BMKG)   melakukan   pengelolaan   data   Meteorologi   Klimatologi   dan  Geofisika  (MKG).  Seiring  dengan  bertambahnya  data  yang  dihasilkan   dari  pengamatan  dan  perkembangan  teknologi    informasi  serta  mengacu   pada   program   Organisasi   Meteorologi   Dunia   (WMO),   maka   perlu   dilakukan   pengelolaan   data   secara   modern   yaitu   “Modern   Database   Management  System  (MDBMS)”.     Database   MKG   dihasilkan   dari   pengamatan   manual   dan   otomatis,   serta   mempunyai   format   yang   beragam.   Kondisi   ini   mengharuskan   BMKG   mempunyai   sistem   pengelolaan   database   yang   terintegrasi   agar   dapat   menyediakan   data   yang   valid,   cepat   dan   mudah   diakses.   Pusat   Database   saat   ini   sedang   membangun   sistem   pengelolaan   database   MKG   dengan   konsep  single  data  entry  yang  diberi  nama  “MegaSoft”.     MegaSoft   terdiri   dari   dua   modul   yaitu   MegaEntry   dan   MegaView.   MegaEntry   digunakan   untuk   entry   data   di   Stasiun,   sedangkan   MegaView   untuk   pengumpulan   data,   kendali   mutu,   export-­‐import,   displai   data,   monitoring   data   dan   beberapa   fungsi   lainnya.   Selama   tahun   2013   MegaSoft   diuji   coba   guna   mendapatkan   feedback   dan   perbaikan   sistem,   dan   pada   Januari   2014   MegaSoft   akan   dioperasionalkan   secara   nasional.   Diharapkan   semua   UPT   dan   stakeholder   database   dapat   segera   melaksanakan   uji   coba   dan   operasionalisasi.   Selama   uji   coba   tentu   saja   akan   ditemui   kendala   atau   kekurangan   sistem.   Untuk   itu   kepada   semua   pihak  diharapkan  dapat  memberikan  kritik  dan  saran  yang  membangun.   Buku  ini  dibuat  dengan  tujuan  agar  semua  pihak  dapat  memperoleh   informasi   yang   komprehensif   tentang   sistem   pengelolaan   database   MKG   MegaSoft.  Akhir  kata  kami  ucapkan  terimakasih  kepada  semua  pihak  yang   telah   berkontribusi   dalam   pembuatan   buku   ini.   Semoga   buku   ini   dapat   memberikan  manfaat  kepada  kita  semua.     DEPUTI  BIDANG  INSTRUMENTASI  KALIBRASI   REKAYASA  DAN  JARINGAN  KOMUNIKASI               Drs.  UNTUNG  MERDIJANTO,  MSi.           NIP.  19590519  198203  1  002  

  iii  

Latar Belakang

   

                   

P  

usat   Database   merupakan   unit   kerja   baru   dalam   struktur   organisasi   Badan   Meteorologi   Klimatologi   dan   Geofisika   (BMKG).   Salah   satu   tugas   Pusat   Database   adalah   melakukan   pembinaan   operasional   sistem   basis   data   meteorologi,   klimatologi,  kualitas  udara  dan  geofisika.  Tahun  2010  telah  melakukan   kegiatan   desain   database   sebagai   dasar   pembangunan   database   meteorologi,   klimatologi,   kualitas   udara   dan   geofisika   (MKKuG).   Sebagai   tindaklanjut   dari   kegiatan   tersebut   adalah   implementasi   pembangunan  sistem  pengelolaan  database  MKG.     Pengelolaan  database  MKKuG  selama  ini  masih  dilakukan  secara   parsial   atau   tidak   terintegrasi,   baik   dari   sistem   database   yang   digunakan   maupun   media   penyimpanannya,   sehingga   untuk   mendapatkan   database   yang   lengkap   dari   berbagai   sumber   sulit   dilakukan.   Hasil   evaluasi   beberapa   data   menunjukkan   adanya   data   yang   belum   dicek   kualitasnya   (belum   melalui   quality   control)   dan   belum   tersedia   metadatanya.   Dengan   kondisi   data   seperti   yang   disebutkan   di   atas,   maka   pelayanan   data   dan   informasi   baik   untuk   keperluan   internal   maupun   eksternal   tidak   optimal   dan   memerlukan   waktu  untuk  mempersiapkan  data  dimaksud.       Beragam   format   data   digital   dan   software   database   yang   ada   di   masing-­‐masing   UPT   dan   BMKG   Pusat   sangat   menyulitkan   dalam   mengintegrasikan   data.   Disamping   itu   database   tersimpan   secara   parsial,   tidak   tersimpan   dalam   satu   storage   server.   Untuk   itu   diperlukan    sistem  pengelolaan  database  yang  terintegrasi  dari  setiap   UPT   ke   satu   pusat   database.   Sistem   pengelolaan   database   yang   dimaksud  adalah  MegaSoft.  

  iv  

    Sasaran Pusat Database “Melayani  kebutuhan  data  bagi  seluruh  stakeholder   internal  dan  eksternal  BMKG”        

 

   

         

     

                             

 

  v  

STATUS PENGELOLAAN DATABASE MKG

S  

ampai   dengan   akhir   tahun   2010,   pengelolaan   database   masih   mengikuti   paradigma   lama   yaitu   database   dilaporkan   dalam   bentuk   laporan   atau   form,   seperti   form   Me-­‐48,   Me-­‐45,   Fklim,   Form-­‐a,   Form-­‐b,   pias   gempa,    dan   lain-­‐lain.   Hanya   beberapa   jenis   database   MKG   yang   telah   terkirim   dan   tersimpan   dalam   bentuk   digital,   seperti   data   gempa,   petir,   AWS,   ARG,  SMS  Hujan,  Satelit,  Radar  dan    data  yang  terkirim  melalui  CMSS.       Penyimpanan   data   masih   terpisah-­‐pisah   dalam   beberapa   data   server,   dengan   format   dan   sistem   database   yang   berbeda-­‐beda,   sehingga   data   tersebut   sulit   untuk   diintegrasikan   ke   dalam   sebuah   sistem   yang   paripurna.   Data   AWS   dan   ARG  disimpan  dalam  beberapa  server  dengan  format  yang  berbeda  misalnya  per   1  menit,  2  menit,  5  menit  dan  10  menit.  Pusat  Database  merekomendasikan  agar   data   AWS   dan   ARG   disimpan   dalam   format   yang   sama   yaitu   per   10-­‐menit   dengan  kolom  data  yang  sama,  satuan  yang  sama  dan  algoritma  yang  sama.     Contoh   lain   adalah   dalam   digitalisasi   data   synop,   iklim   harian   (Fklim),   hujan   harian   Pos   Kerjasama   dan   sebagainya,   umumnya   Stasiun   masih   membuat   dalam   bentuk  laporan.  Pengelolaan  database  modern  mengharuskan  agar  data  mudah   diintegrasikan  dan  dapat  diolah  dengan  mudah.       Pada   awal   tahun   2011,   melalui   kegiatan   Rekonsiliasi   Data   MKG,   telah   berhasil   dikumpulkan  katalog  data  baik  dokumen  maupun  digital.  Dari  katalog  ini  dapat   dipetakan   ketersediaan   data   dan   format   yang   digunakan.   Sejak   saat   ini   telah   dikenalkan   format   baku   dalam   melakukan   digitalisasi   data   yaitu   menggunakan   software  MicroSoft  Excel.  Pada  tahun  2012  sampai  2013  telah  banyak  terkumpul   data  digital  dengan  format  yang  standar.  Proses  selanjutnya  adalah  validasi  data.   Data   dengan   format   baku   ini   nantinya   akan   di-­‐ingest   ke   dalam   sistem   pengelolaan   database   MegaSoft   sebagai   “Historical   Data”   dan   disambungkan   dengan  data  yang  baru.                

 

1  

Diagram   di   bawah   menggambarkan   alur   pengiriman,   pengumpulan   dan   penyimpanan  data  saat  ini.    

           

 

 

Kelemahan  sistem  pengelolaan  data  seperti  di  atas  adalah  :   • Data  tidak  terintegrasi   • Format  tidak  standar   • Data  tidak  tervalidasi   • Akses  data  lambat  

PP  No.  46  Tahun  2012  Pasal  25  Ayat  2  :   Pengelolaan  Data  meliputi:   Pengumpulan   Pengolahan   Analisis   Penyimpanan  dan   Pengaksesan  

2  

RANCANGAN SISTEM PENGELOLAAN DATABASE MKG  

Ada   tiga   komponen   penting   yang   harus   menjadi   perhatian     BMKG   khususnya   Pusat  Database  dalam  mencermati  pembangunan  database  BMKG.       Pertama,   penetapan   tugas   pokok   dan   fungsi,   tujuan,   strategi   dan   sasaran   yang   akan   menjadi   arah   kebijakan   (direction)   bagi   Pusat   Database   dalam   memposisikan   diri   di   masa   yang   akan   datang.   Penentuan   direction   ini   menjadi   dasar   bagi   tim   di   lingkungan   Pusat   Database     dalam   memikirkan     program-­‐ program  yang  akan  mendukung  terwujudnya  cita-­‐cita  Pusat  Database.       Kedua,  setelah  ditetapkan  adanya  arah  kebijakan  yang  jelas,  komponen  penting   yang   harus   dipersiapkan   adalah   tersedianya   sistem   yang   menunjang,   struktur   organisasi   yang   mendukung   terlaksananya   program   yang   telah   didefinisikan,   dan  infrastruktrur  Teknologi  Informasi  dan  Komunikasi  (TIK)  sebagai  pemampu   (enabler)   untuk   menunjang   proses   bisnis   yang   lebih   efektif   dan   efisien.   Sistem   berkenaan   dengan   proses   bisnis   dari   setiap   transaksi   yang   terjadi   sejak   dilakukan   pengamatan   data   di   stasiun   sampai   manajemen   penyimpanan   dan   pengambilan   kembali   data   di   Pusat   Database.     Struktur   organisasi   terlihat   dari   pembagian  peran  manajemen  (management),  pengembangan  (development),  dan   pemeliharaan  (maintenance).  Sedangkan  infrastruktur  TIK  terdiri  dari  perangkat   keras   (hardware),   perangkat   lunak   (software),   dan   perangkat   intelektual   (brainware).       Ketiga,   semua   yang   tercantum   dalam   komponen   kedua   harus   dijalankan   oleh   sumber   daya   manusia   yang   kompeten   dan   memiliki   dedikasi   yang   tinggi   terhadap  kemajuan  dan  perkembangan  organisasi.    

Konsep Integrasi Database

Menyadari   pentingnya   integrasi   database   MKG,   maka   dirancang   sebuah   Desain   Sistem   Database   BMKG   yang   akan   mengintegrasikan   semua   data   MKG   dari   berbagai  sumber.       Diagram   di   bawah   menggambarkan   alur   pengiriman,   pengumpulan   dan   penyimpanan   data   yang   dibangun,   agar   semua   data   dapat   terintegrasi   secara   menyeluruh.  

 

3  

  Keuntungan  sistem  pengelolaan  data  seperti  di  atas  adalah  :   • Data  terintegrasi   • Format  standar   • Data  tervalaidasi   • Akses  data  cepat  

 

 

PP  No.  46  Tahun  2012  Pasal  32  Ayat  1  :     Hasil  Pengolahan  Data  yang  dilakukan  oleh  stasiun  pengamatan  milik   instansi  pemerintah,  pemerintah  daerah,  badan  hukum,  dan/atau   masyarakat  yang  masuk  dalam  sistem  jaringan,  wajib  disampaikan   kepada  Pusat  Data  M eteorologi,  Klimatologi  dan  Geofisika  melalui   sarana  komunikasi  yang  dimiliki.  

               

 

4  

Rancangan Infrastruktur   Infrastruktur   utama   sistem   pengelolaan   database   MKG   adalah   perangkat   keras   Data   Center   (server   cluster,   storage,   workstation),   PC   client   di   seluruh   UPT,   sistem  monitoring  di  Balai  Besar  Wilayah  dan  jaringan  komunikasi.      

  Keterangan  :   1. PC   client   diinstalasi   di   seluruh   UPT   dan   digunakan   untuk   entry   data   setiap  jam.     2. PC   client   di   5   (lima)   Balai   Besar   Wilayah   digunakan   untuk   monitoring   data  dan  pengecekan  kualitas  data.   3. Perangkat   keras   di   Pusat   Data   Nasional   (Data   Center)   yang   diinstalasi   di    Kantor  BMKG  Pusat,  terdiri  dari  server  cluster,  storage  (sampai  dengan    tahun   2013   ditargetkan   berkapasitas   150   TB)   dan   workstation   di   Ruang    Operasional  Database  Pusat.   4. Perangkat   Indonesia   Climate   Assessment   and   Dataset   (ICAD),   sebuah    web  portal  untuk  aplikasi  informasi  iklim  terdiri  dari  nilai  indeks  iklim    ekstrim  dan  trend  wilayah  Indonesia.   5. Perangkat   keras   sistem   informasi   iklim   (CLISYS),   yang   merupakan   bagian  dari  perangkat  proyek  Strengthening.   6. Bagian   dari   sistem   akses   data   berfungsi   sebagai   penyedia   data   untuk   aplikasi  ICAD  dan  CLISYS.  

 

5  

 

Rancangan Sistem Aplikasi  

 

  Diagram  desain  sistem  pengelolaan  database  MKG     Desain    sistem  pengelolaan  database  MKG  mengacu  pada  diagram  di  atas.  Sistem   aplikasi  terdiri  dari  beberapa  modul  utama  yaitu  :   1. Modul   pengumpulan   data   (manual   entry   dan   automatic   download   dari   AWS,  ARG,  AAWS,  Radar,  Satelit,  CMSS;  serta  ingest  data  historis)   2. Modul   quality   control   (interval   consistency,   validity,   temporal   consistency  dan  spatial  consistency)   3. Modul  Pengelolaan  metadata  stasiun     4. Modul  laporan  dan  ekspor  data     5. Modul  otorisasi  user     Pengelolaan   data   dilakukan   mulai   di   UPT   dengan   meng-­‐entry   data   sesaat   melakukan   pengamatan.   Data   akan   tersimpan   di   harddisk   lokal   (UPT)   dan   di   kirim   ke   Pusat   Database.   Disamping   itu   data   historis   dari   berbagai   sumber   dengan   berbagai   format   dapat   dimasukkan   ke   dalam   sistem   pengelolaan   database;  sehingga  akan  diperoleh  data  yang  panjang  dan  kontinyu.      

 

6  

SISTEM PENGELOLAAN DATABASE MKG “MegaSoft” MegaSoft MegaSoft   adalah   suatu   aplikasi   berbasis   web   untuk   mengelola   database   MKG   secara   online   dan   terpusat.   MegaSoft   memiliki   2   application   interface,   yaitu   MegaEntry   dan   MegaView.   Pembangunan   dan   operasionalisasi   MegaSoft   ditargetkan   tercapai   dalam   jangka   waktu   5   tahun.   Tahapan   penyelesaiannya   adalah  sebagai  berikut  :   1. Tahun  2010  :  perancangan  sistem   2. Tahun  2011  :  pembangunan  sistem  tahap  1   3. Tahun  2012  :  pembangunan  sistem  tahap  2   4. Tahun  2013  :  instalasi  PC  Client  dan  uji  coba  sistem   5. Tahun  2014  :  operasionalisasi  sistem      

MegaEntry

MegaEntry  adalah  suatu  aplikasi  entri  data  berbasis  web  yang  terhubung  dengan   MegaView.   Aplikasi   ini   diinstal   di   setiap   UPT   pada   PC   Client   Database.   Komunikasi   yang   menghubungkan   antara   MegaEntry   dan   MegaView   di   Pusat   adalah  komunikasi  intranet  BMKG  (VSAT)  dan  internet.      

   

 

 

7  

Aplikasi  MegaEntry  menyediakan  4  modul  yaitu  :   • Modul  entry  data  current    (saat  ini  sampai  ke  depan)   • Modul  entry  data  historis   • Modul  manajemen  user  dan     • Modul  monitoring       Modul   entry   data   saat   ini   (entry-­‐current)   menyediakan   form   Agm-­‐1a,   Agm-­‐1b,   Form-­‐a  (intensitas  hujan),  hujan  harian  pos  kerjasama,  Me-­‐48  dan  penguapan.     Pada   setiap   form   dilengkapi   dengan   quality   control   yaitu   dengan   memberikan   batas  minimum  dan  maksimum  pada  setiap  parameter  isian.  Jika  terdapat  data   yang   melampui   batas   tersebut,   maka   data   ditolak.   Data   yang   telah   melewati     range  yang  telah  ditentukan  akan  memberikan  pesan  kesalahan.  Operator  harus   membetulkan   data   tersebut   sebelum   data   disimpan.   Konfigurasi   range   tiap   elemen   dapat   disesuikan   dengan   kondisi   lokal   di   masing-­‐masing   stasiun.   Contoh   pesan  kesalahan  seperti    gambar  dibawah  ini.          

         

 

 

8  

Setiap  user  yang  login  akan  diberikan  role.  Role  menentukan  fitur  apa  saja  yang   bisa  dilakukan  oleh  user.  Role  dikelompokkan  menjadi  tiga,  yaitu  Administrator,   Operator  dan  Guests.      

    Administrator   adalah   user   yang   memiliki   fasilitas   paling   lengkap,   misalnya   membuat   user,   membuat   role   dan   meng-­‐entry   data.   Operator  adalah   user   yang   memiliki  fasilitas  meng-­‐entry  data.  Guest  adalah  default  user  sistem  MegaEntry.   User  ini  pasti  ada  ketika  sistem  MegaEntry  di  deploy.       Sesaat   setelah   data   di-­‐commit,   data   akan   terkirim   ke   server   di   Pusat   Database   (BMKG   Pusat).   Antrian   data   yang   belum   terkirim   dapat   dimonitor   lewat   comm   status.            

       

 

9  

MegaView MegaView  adalah  aplikasi  berbasis  web  untuk  mengelola  data  yang  telah  masuk   ke   dalam   sistem   database.   MegaView   tidak   hanya   mengelola   data   yang   dientry   dari  UPT,  namun  juga  data  yang  terkirim  secara  otomatis  dari  berbagai  sumber   data  seperti  gempa,    AWS,  ARG,  Satelit,  Radar,  data  dari  CMSS  dan  data  yang  di-­‐ ingest  ke  dalam  sistem.     Secara   garis   besar   MegaView   menyediakan   modul   Station   Profile,   Metadata,   Pengaturan   quality   control,   Data   Gempa,   Import   Data,   Export   Data,   Monitoring,   Report   dan   Administasi   user.   Monitoring   pengiriman   data   dari   stasiun   dapat   dilihat  seperti  gambar  di  bawah  ini.  Stasiun  yang  telah  mengirim  data  dan  telah   diterima   server   di   Pusat   Database   ditandai   (√),   stasiun   yang   belum   mengirim   data  ditandai  (x).    

 

 

10  

Quality  control   data   sangat   diperlukan   untuk   menjaga   validitas   dan   konsistensi   data.   MegaSoft   melakukan   quality   control   di   sistem   MegaEnty   dan   MegaView.   MegaEntry   di   stasiun   melakukan   range   cek   yang   disesuaikan   dengan   kondisi   lokal  di  stasiun.  MegaView  melakukan  4  jenis  quality   control,  yaitu  range  check,   step   check,   spatial   check   dan   consistency   check.   Range   checks   adalah   modul   untuk   memvalidasi   apakah   data   yang   dikirim   tidak   melebihi   atau   kurang   dari   range   yang   telah   ditentukan.   Setiap   stasiun   dapat   memiliki   nilai   batas   yang   berbeda.   Step   check   adalah   modul   untuk   membandingkan   data   saat   ini   dengan   data   sebelumnya.   Spatial   check   adalah   modul   untuk   membandingkan   data   dengan  stasiun  yang  terdekat.  Consistency  check  adalah  prosedur  quality  control   untuk  menguji  apakah  dua  parameter  mempunyai  konsistensi.     Hasil   dari   keempat   metode   validasi   di   atas   akan   ditampilkan   dengan   data   flag   yang  diberikan  ke  masing-­‐masing  data  yang  telah  melalui  uji  dari  keempat  test   tersebut  di  atas.      

  User  management  diaplikasikan  dalam  pengelolaan  data.  Setiap  user  dari  stasiun   hanya   memiliki   akses   untuk   mengelola   data   dari   stasiun   mereka   sendiri,   akan   tetapi   tidak   menutup   kemungkinan   untuk   mendapatkan   akses   untuk   men-­‐ download   data   dari   stasiun   lain   asalkan   ada   otoritas   yang   harus   diatur   oleh   administrator  sistem  dari  Pusat  Database.  

 

11  

 

 

Metadata   stasiun   adalah   hal   yang   sangat   krusial   dalam   pengelolaan   data.     Membuat   sistem   metadata   yang   komprehensif   membutuhkan   waktu   dan   biaya   yang   besar.   Institusi   yang   mirip   dengan   BMKG   dari   negara-­‐negara   maju   mempunyai   masalah   yang   sama   ketika   mengelola   metadata.   MIRACLE,   sistem   metadata   yang   dibangun   oleh   DWD   Jerman   memiliki   lebih   dari   200   tabel   khusus   untuk  mengelola  metadata.  MegaView  dilengkapi  juga  dengan  sistem  metadata.   Untuk  saat  ini  beberapa  item  yang  dikelola  adalah  stasiun  profile,  histori  stasiun,   observer,  instrument  dan  kondisi  tanah.  Untuk  melengkapi  metadata,  partisipasi   dan   peran   stasiun   sangat   diharapkan.   Operator   di   stasiun   yang   paling   mengetahui   kondisi   di   stasiun.   Selain   itu   kedisiplinan   juga   sangat   dibutuhkan,   Setiap   ada   perubahan   kondisi   di   stasiun   maka   seharusnya   operator   meng-­‐ update  melalui  aplikasi  MegaView.      

 

12  

 

Membangun  sistem  metadata  dimulai  dari  sistem  yang  kecil,  yang  sesuai  dengan   kebutuhan   saat   ini.   Seiring   dengan   kebutuhan   dan   bisnis   proses   yang   berubah,   maka  sistem  metadata  dapat  dikembangkan    agar  sesuai  dengan  kebutuhan  user.  

  Dalam   rangka   membantu   pelayanan   data   baik   internal   maupun   eksternal   BMKG,   Megaview  dilengkapi  fasilitas  untuk  ekspor  dan  ekstrak  data.               Untuk  informasi  selengkapnya,       silahkan  hubungi  kami        

 

     

[email protected]   [email protected]  

     

13