Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
1
BAGIAN 1 : PEMBUKA Pendahuluan Dalam proses desain struktur ataupun layout bangunan, dibutuhkan sebuah data lingkungan sebagai dasar analisis. Seiring perkembangan teknologi, data lingkungan tersebut semakin mudah didapatkan secara gratis di internet. Berbagai instansi dari belahan dunia telah berbaik hati untuk menyediakan data ini kepada kita yang ingin belajar. Contoh salah satu instansi tersebut adalah ECMWF (European Centre for Medium-Range Weather Forecasts) yang merupakan sebuah instansi penelitian gabungan beberapa negara di Eropa.
ECMWF telah menyediakan berbagai macam dataset lingkungan. Salah satu yang paling terkenal adalah data ECMWF Interim. Namun pada tahun 2019, ECMWF telah meluncurkan dataset lingkungan baru dengan nama ECMWF ERA5. Perbedaan keduanya dapat dilihat pada pada link berikut ini. ECMWF ERA5 memiliki banyak kelebihan jika dibandingkan ERA Interim. Salah satu yang paling utama adalah karena data ECMWF ERA5 berinterval satu jam dan data merupakan gabungan dari sejumlah data estimasi global pada tahun-tahun lalu dengan menggunakan pemodelan canggih dan sistem asimilasi data. Sehingga data yang tersedia pun dari tahun 1950 sampai tahun 2019 di seluruh dunia! Walaupun begitu, mengunduh dan mengolah data di ECMWF ERA5 ini cukup tricky, atas alasan itulah tutorial ini dibuat. Tanpa lama-lama lagi, silahkan disimak. Semoga bermanfaat!
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
2
Kondisi dan Software yang Dibutuhkan •
Sambungan internet (direkomendasikan internet yang stabil dan cepat)
•
Browser internet (seperti : Google Chrome, Mozilla Firefox, dll)
•
Ocean Data Viewer (link unduh : https://odv.awi.de/software/download/)
•
Microsoft Excel atau yang sejenis
•
Notepad atau yang sejenis
Data yang Dapat Diunduh •
Angin
•
Gelombang
•
Temperatur dan Tekanan Udara
•
Dan lain lainnya
Metode Pengunduhan Pada tutorial ini akan dijelaskan dua macam metode mengunduh data. 1. Metode Simpel Pengunduhan data menggunakan fitur yang disediakan pada situs ECMWF ERA5 secara langsung. Jadi kita hanya tinggal memilih-memilih kondisi yang diinginkan dan data akan terunduh. Namun kekurangan metode ini adalah data yang terunduh merupakan data seluruh dunia, sehingga ukurannya akan sangat besar. 2. Metode Kompleks Pengunduhan data menggunakan bahasa pemrograman phyton. Metode ini akan rumit di awal. Namun kelebihannya adalah kita dapat memilih lokasi sesuai yang diinginkan sehingga data yang diunduh pun ukurannya akan menjadi sangat kecil. Sebagai perbandingan : data tinggi gelombang selama 1 tahun di seluruh dunia itu 12 GB, sedangkan data tinggi gelombang selama 1 tahun di satu titik lokasi itu hanya 0.5 MB.
Metode Pengolahan Pada tutorial ini akan dijelaskan mengolah data ECMWF ERA5 mentah dengan Ocean Data Viewer menjadi data di dalam microsoft excel sehingga dapat diolah lebih lanjut. Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
3
BAGIAN 2 : MENGUNDUH DATA Pengunduhan Metode Simpel 1. Membuat Akun ECMWF ERA5 Pertama-tama silahkan kunjungi situs (https://cds.climate.copernicus.eu/cdsapp#!/home). Lalu pada bagian kanan atas, terdapat kotak bertulisan “Login/Register”, silahkan klik kotak tersebut. Lalu pilih menu “Create New Account”. Isi seluruh isian yang diminta, jika telah selesai klik tombol “create new account”
Setelah itu pihak ECMWF akan mengirimkan sebuah email maka silahkan dicek inbox email masing-masing. Buka email tersebut, dan klik link verifikasi. Setelah itu maka pendaftaran akun telah selesai.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
4
2. Mengunduh Data dari Situs ECMWF ERA5 Setelah membuat akun. Silahkan kunjungi Copernicus Climate Data Store ECMWF ERA 5 di link ini (https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-single-levels). Lalu pilih tab “Download Data”. Selanjutnya akan muncul berbagai opsi data, kondisi, waktu yang ingin diunduh. Kita ambil contoh misalkan ingin mengunduh data kecepatan dan arah angin Bulan Maret tahun 2018 di Perairan Lhokseumawe, Provinsi Aceh. Maka selanjutnya perlu memilih opsiopsi yang sesuai dengan data yang diinginkan. •
Data : Product Type – Reanalysis
•
Data kecepatan dan arah angin : 10m u-component of wind dan 10m v-component of wind.
•
Bulan Maret : Month - March
•
Tahun 2018 : Year - 2018
•
Satu bulan full : Day – pilih semuanya (dapat mengklik select all)
•
Data per tiap jam : Time – pilih semuanya (dapat mengklik select all)
•
Format : pilih NetCDF (experimental)
Setelah sudah dipilih opsi-opsi tersebut, klik tombol hijau “submit form” . Sekarang permintaan data akan diproses. Proses menunggunya tidak akan terlalu lama (sekitar 5 – 10 menit). File dapat diunduh setelah pada tulisan “status” telah muncul tombol hijau bertuliskan “Download” . Seperti contoh pada gambar di bawah ini
Maka selanjutnya klik tombol hijau “Download” tersebut dan silahkan tunggu hingga data yang diunduh selesai. Perlu menjadi catatan sekali bahwa dengan metode ini kita tidak dapat mengatur lokasi unduhan sehingga data yang diunduh merupakan data seluruh dunia, oleh karena itu ukuran data menjadi sangat besar. Namun tenang saja, karena untuk membuka datanya tidak membutuhkan tenaga komputer yang terlalu berat.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
5
Berikut contoh checklist saat menginginkan Data kecepatan dan arah angin pada Bulan Maret 2018 di perairan Lhokseumawe.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
6
Pengunduhan Metode Kompleks Data dapat diunduh di lokasi tertentu sehingga file tidak akan diunduh dalam ukuran besar. Namun dianjurkan sebelum membaca metode ini, silahkan membaca Metode Simpel terlebih dahulu agar mudah dimengerti. Cara unduh dengan metode ini dibahas sebagai berikut 1. Membuat file .cdsapirc di Komputer Masing-Masing Silahkan login akun di https://cds.climate.copernicus.eu. Selanjutnya klik nama profil kita di sebelah kanan atas. Temukan API Key akun kita seperti yang ditunjukkan gambar
Lalu buka perangkat lunak notepad atau semacamnya. Tuliskan kode sebagai berikut. url: https://cds.climate.copernicus.eu/api/v2 key: [isi dengan API Key masing-masing]
Agar lebih jelas lihat gambar di bawah ini
Lalu
save
file
tersebut
dengan
nama
berikut
“
%USERPROFILE%\.cdsapirc
di folder C:\Users\[user] (folder user masing-masing komputer)
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
7
�
2. Menginstall CDS API di Komputer Masing-Masing Instalasi CDS API dilakukan dengan Python. Silahkan unduh aplikasi pemograman Python di https://www.python.org/downloads/ .
Instalasi dilakukan seperti biasa. Jangan lupa centang opsi “Add Python to Path” saat instalasi. Selanjutnya setelah Python telah berhasil diinstall, buka windows command prompt dengan menekan tombol windows + R di keyboard lalu ketik “cmd“ dan lalu klik “OK”.
Ketik pada windows command prompt kode lokasi python sebagai berikut cd C:\Users\[user]\AppData\Local\Programs\Python\Python37-32
kode tersebut disesuaikan dengan lokasi python masing-masing. Lalu tekan enter. Selanjutnya ketik kode sebagai berikut python -m pip install cdsapi
lalu tekan enter. Sehingga komputer akan menginstall CDS API secara otomatis.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
8
3. Mengunduh Data dengan Python Setelah membuat perangkat lunak python, file .cdsapirc dan menginstall CDS API di komputer masing-masing, maka selanjutnya sudah dapat dilakukan pengunduhan data. Silahkan Buka perangkat lunak IDLE Python yang telah diinstall.
Tuliskan kode berikut lalu enter import cdsapi
lalu ketik kode berikut lalu enter c = cdsapi.Client ()
Selanjutnya di sinilah kita dapat mengatur konfigurasi data dan lokasi data yang ingin kita unduh. Kita ambil contoh yang sama misalkan ingin mengunduh data kecepatan dan arah angin Bulan Maret tahun 2018 di Perairan Lhokseumawe, Provinsi Aceh. Maka selanjutnya kita perlu memilih opsi-opsi yang sesuai dengan data yang diinginkan selayaknya waktu ingin mengunduh dengan metode simpel. Setelah memilih opsi-opsi datanya, klik kotak merah bertuliskan “ Show API request “ di bagian bawah. Saat tombol itu diklik maka akan muncul request data kita dalam bahasa pemograman Python.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
9
Copy Paste kode tersebut dari baris c.retrieve hingga baris ‘download.nc’ ke dalam perangkat lunak IDLE Python. Pada tahap ini kita dapat melakukan pemilihan lokasi agar data yang diunduh lebih spesifik sehingga ukurannya akan menjadi lebih kecil. Caranya adalah dengan menambahkan kode area setelah baris variabel. Kode area adalah sebagai berikut ‘area’:’[titik lintang 1]/[titik bujur 1]/[titik lintang 2]/[titik lintang 2]’
Atau untuk lokasi Lhokseumawe (5.5 Lintang Utara, 97 Bujur Timur) ‘area’:’5.5/97/5.5/97’
Yang artinya adalah data hanya akan diunduh di area 5.5°U dan 97°T hingga 5.5°U dan 97°T, atau dalam kata lain hanya di satu titik. Kode ini dapat diatur sesuai kebutuhan. Resolusi data yang disediakan adalah 0.25°x0.25° (atmosphere), 0.5°x0.5° (wind and ocean waves). Sehingga kode final ditunjukkan seperti gambar di bawah ini.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
10
Selanjutnya tekan “Enter� pada keyboard untuk memulai request pengunduhan data. Proses ini akan membutuhkan waktu tergantung daripada banyaknya data yang ingin diunduh. Semakin banyak data maka akan semakin lama prosesnya, semakin sedikit data maka akan semakin cepat prosesnya.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
11
Jikalau tidak ada error maka seharusnya akan terdapat proses queued, running, dan completed . Setelah itu akan muncul link unduh data sesuai yang kita request seperti pada lingkungan kuning. Copy Paste link unduh tersebut ke dalam browser internet lalu tekan “Enter�. Maka pengunduhan data dengan format .nc akan terjadi. File yang diunduh akan relatif sangat kecil dikarenakan hanya mengunduh di area tertentu. Berbeda dengan metode sederhana yang diunduhnya adalah data seluruh dunia.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
12
BAGIAN 3 : MENGOLAH DATA 1. Membuka File NetCDF dengan Ocean Data Viewer Data yang diunduh dari ECMWF ERA5 merupakan file berformat .nc file atau NetCDF. File tersebut perlu dibuka dengan perangkat lunak Ocean Data Viewer (ODV). Maka silahkan klik kiri dua kali file .nc yang telah diunduh sehingga akan terbuka pada ODV. Saat ODV terbuka, akan muncul window seperti berikut. Silahkan klik OK. Maka akan muncul window baru, silahkan klik Next >. Lalu terus klik Next > . Klik Next > . Klik Next > . Hingga muncul window dengan tampilan peta dunia.
Saat telah muncul window yang menampilkan peta seluruh dunia. Di tahap ini, barulah kita dapat mengatur lokasi data yang diinginkan. Titik-titik biru merepresentasikan titik lokasi data. Maka untuk mendapatkan data di perairan Lhokseumawe perlu dilakukan tahap seperti berikut ini (jikalau file NetCDF yang dibuka adalah data seluruh dunia);
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
13
Klik Zoom Into Map maka akan muncul sebuah kotak merah. Atur kotak merah tersebut seukuran Indonesia seperti gambar di bawah ini lalu tekan enter pada keyboard. Maka akan terseleksi titik biru yang tampil hanya yang di dalam kotak merah. Klik zoom into map lagi ke arah ujung utara Pulau Sumatera dan tekan enter. Lakukan hal tersebut hingga terlihat titik biru mana yang paling mendekati dengan lokasi yang ingin diolah datanya.
Setelah sudah dapat dilihat lokasi titik-titik biru tersebut secara jelas. Kita dapat mengirangira, titik mana yang paling mendekati atau relevan dengan lokasi yang ingin kita tinjau.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
14
Saat sudah ditetapkan titik mana yang paling relevan, silahkan klik zoom into map lagi dan atur kotak merah agar hanya mengkotakan satu titik tersebut. Pada contoh ini Perairan Lhokseumawe direpresentasikan pada satu titik seperti gambar di bawah ini.
Tertulis pada window bahwa telah terpilih satu titik biru (titik stasiun yang ingin diolah datanya). Selanjutnya klik “Finish� Ocean Data Viewer akan memuncul tampilan default sebagai berikut. Lingkaran orange menunjukkan titik koordinat stasiun. Sedangkan lingkaran hijau menunjukkan urutan data (ke-i) dan jumlah data.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
15
Setelah itu silahkan dicoba tekan tombol “F9” pada keyboard dan lalu tekan “enter” pada keyboard. Maka tampilan ODV akan berganti dan menunjukkan bagaimana kondisi angin di titik stasiun tersebut.
Namun yang terpenting adalah bagaimana akhirnya file NetCDF ini dapat dikonversi menjadi file yang dapat diolah di microsoft excel. Maka selanjutnya klik menu “Export” -> “Station Data” -> “ODV Spreadsheet File..”
Simpan file dengan nama dan direktori yang diinginkan.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
16
Pada proses ekspor, akan muncul window baru seperti gambar di bawah ini. Lanjutnya dengan klik tombol “OK” lalu muncul window baru. Hilangkan ceklis pada 5 kotak terbawah dan lalu klik tombol “OK” seperti gambar di bawah.
Maka file akan berhasil diekspor kedalam format spreadsheet
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
17
2. Membuka File Spreadsheet di Microsoft Excel Setelah dilakukan ekspor data dari ODV ke dalam spreadsheet file , perlu dilakukan tahap pemindahan dari .txt ke microsoft excel. Hal ini dilakukan dengan cara berikut Buka file spreadsheet dengan notepad lalu select all isinya dengan menekan ctrl + A pada keyboard dan mengcopynya dengan menekan ctrl + C.
Kemudian buka program microsoft excel dan silahkan paste di sheet kosong dengan menekan ctrl + V, hingga muncul seperti gambar di bawah ini.
Silahkan hapus seluruh baris yang berawalan “ // “ , dan hapus kolom hingga sebelum Time_ISO. Sehingga akan menyisahkan tabel time, latitude, longitude, u10, dan v10. Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
18
Hingga ini pun sudah terlihat data kecepatan angin tiap jam di perairan Lhokseumawe. Kolom U10 menunjukkan kecepatan angin (elv +10m) di sumbu x, V10 menunjukkan kecepatan angin (elv +10m) di sumbu y.
Namun jika data ingin diolah lebih jauh, seperti misalkan memisahkan kolom waktu menjadi kolom tahun, kolom bulan, kolom tanggal, dan kolom jam, maka silahkan ikuti langkahlangkah selanjutnya.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
19
3. Mengolah File Spreadsheet di Microsoft Excel Setelah berhasil membuka data ke dalam microsoft excel, perlu dilakukan beberapa tahap untuk bisa memanfaatkan data menjadi sesuatu yang lebih menarik seperti misalkan diplotkan kedalam windrose atau mawar angin. Pemisahan kolom Time ISO menjadi kolom tahun, bulan, tanggal, dan jam dimulai dengan menambahkan kolom baru setidaknya 7 kolom di samping kanan kolom Time ISO. Lalu proses pemisahan dilakukan dengan men-select kolom Time ISO keseluruhan. Selanjutnya buka tab “Data” , cari dan klik fitur “Text to Column” hingga muncul window seperti gambar di bawah ini. Selanjutnya ceklis “Fixed width”.
Lalu akan muncul window baru. Sekarang kita akan membuat garis pemisah untuk data time ini. Untuk membuat garis pemisah, klik kiri sekali. Untuk menghapus, klik kiri garisnya dua kali. Untuk memindahkan, tekan garis dan geser. Buat garis sedimikian rupa untuk memisahkan tahun, bulan, tanggal, dan jam (contohnya seperti pada gambar). Lalu klik Next > dan klik “Finish”
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
20
Setelah itu kolom Time ISO akan terpisah menjadi beberapa kolom. Silahkan hapus kolomkolom yang tidak berguna hingga menyisahkan kolom dengan data tahun, bulan, tanggal, dan jam.
Lalu data dapat dirapikan dan dinamakan ulang agar tampil lebih jelas.
Kemudian data dapat diolah untuk mendapatkan kecepatan angin resultan serta arah datang dan arah hembus angin, seperti yang ditunjukkan pada gambar di bawah ini.
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
21
Jikalau teman-teman terbiasa dengan aplikasi WRPlot maka data kemudian dapat diplotkan kedalam windrose seperti gambar di bawah ini.
BAGIAN 4 : PENUTUP Tutorial ini telah selesai sampai pada bagian ini. Semoga semua yang ternarasikan ini dapat berguna dan bermanfaat bagi orang yang membutuhkan. Jikalau ada hal yang membingungkan dan ingin ditanyakan, silahkan hubungi kami di email yang disediakan pada cover tutorial. Adapun jikalau ada saran, jangan sungkan memberitahu kami. Salam, Terima Kasih.
Fayed dan Sena (Teknik Kelautan ITB 2015)
Tutorial Mengunduh dan Mengolah Data ECMWF ERA5
oleh Achmad el Fayed & I Komang Sena
22