By: Rifki Fauzi (Divisi ITI), Reza Syahputra (Divisi ADG)

Dalam era transformasi digital, Bank Raya menghadapi tantangan besar dalam mengelola observability sistem yang digunakan. Observability, yang merujuk pada kemampuan untuk memahami bagaimana sistem bekerja internal, memberikan pandangan yang kritis untuk mendeteksi, menganalisis, dan mengatasi masalah operasional.

Observability sendiri adalah konsep yang melibatkan pemahaman menyeluruh tentang kinerja, keandalan, dan keamanan sistem secara real-time. Hal ini mencakup pemantauan tingkat tinggi hingga detil terkecil dari infrastruktur IT, membantu tim IT perusahaan mengidentifikasi perubahan perilaku dan mengatasi masalah sebelum berdampak signifikan pada layanan.

1.Konteks Observability di Bank Raya

Di Bank Raya, tim DevOps berhadapan dengan tantangan dalam mengelola observability dari berbagai layanan yang ditawarkan. Observability yang efektif memungkinkan tim untuk mengamati dan memahami keadaan sistem dari data yang dihasilkan, yang sangat penting untuk menjamin kinerja dan keamanan layanan yang disediakan kepada pelanggan. Salah satu cara untuk meningkatkan observability adalah dengan membaca log.

Sistem yang sebelumnya digunakan, Grafana Loki, berperan sebagai pengumpul log dari berbagai service. Log adalah catatan aktivitas sistem yang memuat informasi penting untuk analisis dan pemantauan. Ini merupakan alat vital untuk memantau sistem dan menanggapi masalah secara proaktif.

2. Batasan Grafana Loki

Grafana Loki digunakan untuk Collecting, Managing, dan Visualize log melalui Grafana. Meskipun pada awalnya berfungsi dengan baik, tim DevOps menemukan beberapa kelemahan Grafana Loki seiring bertambahnya beban kerja dan kebutuhan analisis data.

Grafana Loki menyimpan data secara unindexed/unstructured. Hal ini mengakibatkan data yang disimpan menjadi lebih kecil. Namun ini menjadikan query pada Grafana Loki lebih berat karena selain melakukan lookup data, Grafana Loki juga melakukan parsing data. hal ini mengakibatkan keterlambatan dalam proses Monitoring dan Alerting karena query yang berjalan lambat dan sering kali timeout ketika mengolah data yang cukup besar.

Adapun permasalahan skalabilitas vertikal yang terbatas. Skalabilitas vertikal adalah kemampuan sistem untuk meningkatkan kapasitas dengan menambahkan sumber daya, seperti memori atau CPU, ke server yang ada. Grafana Loki mengalami kesulitan dalam mengelola volume data yang besar, terutama saat ratusan query berbeda harus dijalankan secara bersamaan pada dashboards yang diperbarui secara otomatis.

3. Pencarian Solusi: TimescaleDB

Dalam mencari solusi yang lebih andal, tim DevOps Bank Raya memutuskan untuk mengadopsi TimescaleDB. Keputusan ini didasarkan pada beberapa pertimbangan dan kebutuhan khusus untuk meningkatkan kinerja sistem observability.

3.1 Apa Itu TimescaleDB?

TimescaleDB adalah database time-series yang dibangun di atas PostgreSQL, dirancang untuk mengelola dan menyimpan data yang terus bertambah sepanjang waktu. TimescaleDB memberikan keuntungan dalam performa query yang tinggi, kemampuan untuk menangani data time-series dengan lebih efisien, dan kemudahan integrasi dengan PostgreSQL yang sudah familiar bagi tim.

3.2 Kelebihan TimescaleDB

TimescaleDB menawarkan peningkatan signifikan dalam performa query berkat arsitektur dan fitur-fitur yang dioptimalkan untuk data time-series. Hal ini penting untuk Bank Raya yang perlu mengeksekusi ratusan query bersamaan tanpa mengalami penurunan performa.

Selain itu, TimescaleDB memungkinkan kompresi data yang efektif, yang berarti data dapat disimpan dengan lebih hemat ruang tanpa mengorbankan kecepatan akses. Ini penting untuk sistem yang menghasilkan volume data yang besar dan terus menerus, seperti log aktivitas sistem Bank Raya.

4. Implementasi dan Arsitektur Solusi

Transisi ke TimescaleDB memerlukan pemikiran ulang tentang arsitektur sistem observability Bank Raya. Proses ini melibatkan beberapa langkah dan perubahan dalam cara data dikumpulkan, diproses, dan disimpan.

4.1 Langkah-langkah Implementasi

Implementasi TimescaleDB di Bank Raya dimulai dengan pengaturan Log Router di Google Cloud Platform (GCP) yang mengarahkan log ke Cloud Pub/Sub. Kemudian, parsing service yang dikembangkan khusus untuk menarik log dari Cloud Pub/Sub, memprosesnya, dan menyimpan data yang relevan dalam TimescaleDB.

4.2 Arsitektur Solusi

Berikut ini adalah diagram yang menunjukkan alur data dari sumbernya hingga ke visualisasi:

Dengan diagram ini, kita dapat memvisualisasikan setiap tahap dalam proses pengumpulan dan penyimpanan log, sebelum akhirnya data tersebut dapat ditampilkan melalui Grafana Dashboard.

5. Hasil dan Dampak dari Transisi ke TimescaleDB

Setelah penerapan TimescaleDB, Bank Raya mengalami peningkatan yang signifikan dalam kemampuan observability sistem. Ratusan data yang harus ditampilkan di Grafana dapat dilakukan dengan lancar, dan sistem alerting menjadi lebih andal dan responsif.

Dashboards yang sebelumnya sering mengalami kegagalan dalam menampilkan data karena keterbatasan skalabilitas vertikal dan lambatnya query kini dapat memperbarui informasi secara real-time dengan keandalan yang jauh lebih tinggi. Ini memberikan tim kepercayaan lebih dalam memantau sistem dan mengambil tindakan proaktif terhadap masalah yang mungkin muncul.

6. Kesimpulan dan Langkah Berikutnya

Transisi ke TimescaleDB telah menjadi langkah penting dalam upaya Bank Raya untuk meningkatkan observability. Keberhasilan ini bukan hanya tentang mengatasi tantangan teknis tetapi juga tentang meningkatkan kualitas layanan kepada pelanggan. Bank Raya terus berkomitmen untuk berinovasi dan menggali potensi teknologi terbaru untuk memastikan akan selalu berada di garis depan dalam hal keandalan dan keamanan sistem.