Bias AI dalam Keuangan Pribadi:Kesetaraan &Keadilan Gender

Kecerdasan buatan mengubah dunia kita, termasuk layanan keuangan. AI sedang membentuk kembali sektor perbankan pribadi, namun bagaimana posisi AI saat ini dalam hal kesetaraan gender, transparansi, dan keadilan?

Ketika seseorang mengajukan pinjaman saat ini, kemungkinan besar tidak ada manusia yang membaca permohonannya. Algoritme berbasis data memutuskan apakah mereka memenuhi syarat, berapa banyak yang bisa mereka pinjam, dan seberapa berisiko mereka dipertimbangkan, sering kali dalam hitungan detik dan tanpa penjelasan, secara diam-diam membentuk peluang finansial dengan cara yang tidak pernah dilihat dan dirasakan oleh kebanyakan orang dalam kehidupan sehari-hari.

Sistem ini biasanya disajikan sebagai alat yang netral:lebih cepat daripada manusia, lebih konsisten, dan tidak terlalu rentan terhadap prasangka.

Dalam sektor yang sudah lama dikritik karena ketidakjelasan dan biasnya, janji tersebut menarik dan sering kali digaungkan dalam perdebatan industri dan kebijakan. Namun janji tersebut didasarkan pada asumsi yang rapuh, yang jarang dibuat secara eksplisit, bahwa data yang dipelajari oleh sistem ini mencerminkan kehidupan setiap orang secara setara.

Laporan baru-baru ini yang diterbitkan oleh Badan Hak-Hak Fundamental UE, berdasarkan penelitian lapangan di lima negara anggota, mengkaji bagaimana sistem AI berisiko tinggi diatur berdasarkan UU AI UE di berbagai bidang seperti ketenagakerjaan, tunjangan publik, dan penegakan hukum. Laporan ini menemukan adanya kesenjangan yang mencolok antara ambisi hukum dan praktiknya:meskipun risiko diskriminasi sudah diketahui secara luas, penyedia dan pelaksana sering kali kekurangan alat, keahlian, dan panduan untuk menilai risiko tersebut secara sistematis. Penilaian diri cenderung tidak konsisten, dan pengawasan masih lemah.

Ini adalah masalah penting. Ketika data yang diberikan pada sistem ini gagal menangkap realitas kehidupan finansial perempuan dengan kedalaman dan keakuratan yang sama dengan laki-laki, maka akibatnya bukan hanya kelemahan teknis namun juga distorsi struktural, yang menentukan siapa yang mendapat akses terhadap kredit, syarat-syaratnya, dan konsekuensi jangka panjangnya. Agar keuangan yang digerakkan oleh AI bisa adil, pertama-tama perempuan harus “terlihat” dalam data yang menjadi andalan sistem ini.

Algoritma tidak menilai keadilan atau menanyakan apakah suatu hasil masuk akal, namun memperkirakan apa yang paling mungkin benar berdasarkan data yang diberikan, menggambar pola dan memproyeksikan hasilnya ke depan. Ketika data tidak lengkap atau terdistorsi, kesimpulan sistem didasarkan pada asumsi yang tidak jelas sejak awal.

Jika perempuan kurang terwakili, diukur dengan buruk, atau tidak pernah dianalisis secara terpisah dari laki-laki, sistem tidak akan bisa melihat hasil yang tidak setara, dan apa yang tidak bisa dilihat, tidak bisa diperbaiki. Bias hanya dibawa ke depan dan dijadikan rutinitas.

Dinamika ini mudah terlewatkan ketika pembahasan masih pada tingkat model dan regulasi, namun dampaknya menjadi jelas segera setelah sistem otomatis diterapkan dalam praktiknya. Di berbagai negara, bukti menunjukkan betapa cepatnya ketidaksetaraan dapat tertanam dalam keputusan algoritmik, bukan karena sistem dirancang untuk melakukan diskriminasi, namun karena sistem tersebut dengan setia mereproduksi distorsi yang sudah ada dalam data yang mereka pelajari.

Kenya memberikan ilustrasi yang jitu. Berdasarkan penelitian yang dipublikasikan, algoritma pinjaman digital yang banyak digunakan secara konsisten menawarkan pinjaman yang lebih kecil kepada perempuan dibandingkan laki-laki, dalam beberapa kasus hingga lebih dari sepertiganya, meskipun kinerja pembayarannya lebih kuat. Sistem ini tidak secara sengaja memilih perempuan:sistem ini hanya belajar dari data yang dibentuk oleh kesenjangan sosial dan ekonomi yang sudah berlangsung lama, dan kemudian menerapkan pola-pola tersebut dalam skala besar.

Yang penting dalam contoh ini bukanlah Kenya itu sendiri, namun apa yang terlihat dari kasus tersebut. Algoritme ini melakukan persis seperti yang dirancang, belajar dari perilaku masa lalu dan menerapkan pola-pola tersebut secara konsisten, namun tanpa kemampuan untuk membedakan antara hasil yang diperoleh perempuan dan laki-laki, tidak ada cara untuk mendeteksi bahwa kesenjangan sedang direproduksi secara real-time. Masalahnya bukan otomatisasi, tapi kebutaan.

Bagaimana keuangan dapat mengatasi titik buta gender?

Di sinilah data terpilah berdasarkan jenis kelamin menjadi penting. Dengan mengurutkan data keuangan berdasarkan gender, regulator, lembaga keuangan, dan perancang teknologi dapat mengungkap dampak sistem otomatis, mengidentifikasi siapa yang memiliki akses terhadap keuangan, dan menentukan area di mana hasil mulai berbeda. Tanpa visibilitas tersebut, kesenjangan gender akan tetap tersembunyi, dan kesenjangan yang tersembunyi cenderung menjadi permanen. Dalam keuangan digital, data adalah “sahabat perempuan”, bukan sebagai slogan, namun sebagai syarat praktis untuk akuntabilitas.

Sebagian besar lembaga keuangan sudah mencatat jenis kelamin nasabah sebagai bagian dari identifikasi dasar. Di atas kertas, informasinya ada di sana, tertanam dalam pelaporan rutin dan catatan dasar pelanggan. Namun dalam praktiknya, mencatat suatu variabel tidak sama dengan menggunakannya. Di banyak negara, jenis kelamin pelanggan muncul dalam database namun tidak pernah dianalisis, dilaporkan, atau dipantau oleh supervisor, termasuk dalam kerangka pengawasan inti seperti pelaporan kehati-hatian. Seringkali data sudah ada, namun dikumpulkan, disimpan, dan kemudian diabaikan begitu saja. Masalahnya bukan terletak pada apa yang bisa dilakukan, tapi pada apa yang dilakukan.

Keuangan yang lebih adil:negara-negara berkembang memimpin

Gambaran yang terlihat sangat berbeda terjadi di negara-negara yang sering dianggap memiliki sumber daya yang lebih sedikit. Di beberapa wilayah di Amerika Latin dan Afrika, regulator telah mewajibkan pelaporan terpilah berdasarkan jenis kelamin selama bertahun-tahun dan secara rutin menerbitkan data tentang kesenjangan gender di bidang keuangan.

Di Chile, otoritas keuangan telah melacak perbedaan gender dalam pinjaman dan simpanan selama lebih dari dua dekade, dan menerbitkan statistik keuangan terpilah berdasarkan jenis kelamin secara berkala.

Di Meksiko, regulator menggabungkan data bank dengan survei rumah tangga nasional untuk memahami bagaimana perempuan dan laki-laki menggunakan layanan keuangan dan bagaimana kinerja mereka sebagai peminjam.

Visibilitas tersebut mempunyai konsekuensi praktis. Di Meksiko, data pengawasan menunjukkan bahwa pinjaman yang diberikan kepada perempuan lebih kecil namun risikonya lebih kecil, hal ini merupakan bukti adanya perubahan dalam peraturan pencadangan kerugian pinjaman.

Di Chile, data menunjukkan bahwa akses yang setara terhadap rekening tidak menghasilkan hasil yang sama dalam hal tabungan atau asuransi, sehingga mendorong respons kebijakan yang lebih tepat sasaran. Ketika kesenjangan ini terlihat, semakin sulit untuk diabaikan.

Dilihat dari perspektif ini, situasi di banyak negara berpendapatan tinggi tidak terlihat seperti kelambatan teknis, melainkan lebih seperti keragu-raguan institusional. Di sebagian besar negara Eropa, data gender masih bersifat sukarela atau terfragmentasi meskipun infrastruktur datanya sudah canggih. Hal ini bukan disebabkan oleh kapasitas teknisnya, melainkan karena pilihan kelembagaan. Makalah kebijakan saya yang akan datang, “Data Adalah Sahabat Perempuan:Mengatasi Ketimpangan Finansial Digital Melalui Data Terpilah Berdasarkan Jenis Kelamin”, yang akan diterbitkan pada bulan Mei akan membahas hal ini.

Ketika kecerdasan buatan semakin tertanam dalam pengambilan keputusan keuangan, pilihan tersebut menjadi lebih sulit untuk dipertahankan. Pada saat Eropa menerapkan EU AI Act dan memperdebatkan cara mengatur pengambilan keputusan algoritmik di bidang keuangan, tidak adanya data gender yang sistematis menimbulkan pertanyaan mendasar:bagaimana keadilan dapat dipantau jika data yang diperlukan untuk mendeteksi kesenjangan tidak pernah dianalisis?

Membuat perempuan terlihat dalam data bukanlah hal yang simbolis. Tanpa hal ini, keuangan yang adil tidak lebih dari sekedar klaim.

Email mingguan dalam bahasa Inggris yang menampilkan keahlian dari para sarjana dan peneliti. Laporan ini memberikan pengenalan terhadap keragaman penelitian yang dihasilkan oleh benua ini dan mempertimbangkan beberapa permasalahan utama yang dihadapi negara-negara Eropa. Dapatkan buletinnya!