Prospektus IPO Anthropic Ungkap Risiko Kepunahan akibat AI yang Mengembangkan Diri

Anthropic resmi menyerahkan prospektus untuk penawaran umum perdana (initial public offering/IPO). Langkah itu membuat berbagai informasi yang sebelumnya tertutup kini terbuka bagi publik. Selain memuat angka pendapatan yang mencengangkan dan belanja yang bahkan lebih besar, bagian terbesar dalam dokumen tersebut dialokasikan untuk "faktor risiko", yakni segala hal yang dapat menggagalkan rencana besar Anthropic.

Dalam konteks ini, yang dimaksud adalah risiko bagi umat manusia. Meski banyak dibahas bahwa kecerdasan buatan (AI) merupakan ancaman eksistensial, mekanisme spesifik yang bisa memicu kehancuran itu sebagian besar masih kabur. Namun, 94 halaman yang dialokasikan Anthropic untuk faktor risiko setidaknya memperjelas dari mana perusahaan melihat bahaya itu datang, sekaligus cara para penelitinya berlari ke arah sana demi memenangi perlombaan senjata AI.

"Sistem AI yang cukup canggih, jika tidak dikembangkan, diterapkan, dan dioperasikan dengan pengamanan, pengawasan, dan langkah keamanan yang memadai, dapat menimbulkan risiko katastrofik atau eksistensial bagi umat manusia," demikian bunyi prospektus tersebut.

Prospektus itu mengutip kekhawatiran dari para kritikus, regulator, dan dari dalam Anthropic sendiri. Frasa "risiko eksistensial" muncul tiga kali dalam dokumen, dan kutipan di atas adalah kemunculan pertamanya.

Recursive self-improvement dan hilangnya manusia dari rantai

Anthropic secara cermat mengaitkan kemungkinan terburuk itu dengan satu proses tertentu: recursive self-improvement (RSI). Gagasan di baliknya sederhana. RSI menggambarkan situasi ketika manusia menyerahkan riset dan pengembangan model AI kepada model AI lain. Saat ini AI sudah berperan besar dalam proses tersebut, dan setidaknya satu laboratorium telah memakai sesuatu yang mendekati RSI untuk mempercepat pengembangan sebuah model yang kemampuannya melampaui ukurannya. Skenario yang memicu pembicaraan soal kiamat adalah ketika manusia sama sekali tidak lagi berada dalam rantai itu.

"Risiko akan meningkat ketika sistem AI secara substansial mengotomatiskan riset dan pengembangan AI, misalnya jika sistem itu mempercepat kemajuan AI melampaui kemampuan kami untuk mengevaluasi dan mengamankan model baru," tulis prospektus tersebut.

Dokumen itu berulang kali menegaskan bahwa RSI dapat menghasilkan model AI yang berkembang lebih cepat daripada kapasitas pengamanan perusahaan, dan bahwa Anthropic mungkin tidak menyadari telah kalah dalam perlombaan itu sampai terlambat. Anthropic tidak segera merespons permintaan komentar.

Skenario tindakan berbahaya tanpa campur tangan manusia

Prospektus juga merinci apa yang bisa terjadi setelahnya.

"Ketika sistem AI menjadi lebih otonom dan mampu mengambil tindakan berdampak besar dengan pengawasan manusia yang lebih sedikit, ada risiko bahwa sistem tersebut — entah karena ketidakselarasan dengan maksud manusia, kesalahan dalam perumusan tujuan, atau perilaku mempertahankan diri — mengambil tindakan berbahaya secara mandiri dan dalam skala besar tanpa campur tangan manusia."

Anthropic juga menyoroti risiko yang muncul ketika modelnya mengendalikan peralatan fisik.

"Ketika model kami mengendalikan peralatan fisik, kesalahan, perilaku yang tidak selaras, manipulasi pihak lawan, atau penyalahgunaan dapat mengakibatkan cedera tubuh, kerusakan properti, kerusakan peralatan mahal atau material eksperimen, atau pelepasan bahan berbahaya, dan konsekuensi tersebut bisa segera terjadi dan tidak dapat dipulihkan."

Dari ancaman menjadi "keunggulan struktural"

Dengan taruhan yang tampak begitu besar, pertimbangan serius soal apakah RSI sebaiknya dikejar sama sekali — apalagi dirangkul — mungkin dianggap wajar. Namun di industri AI termutakhir yang sangat kompetitif, proses itu telah menjadi kepastian. Di bagian lain prospektus, tepatnya pada uraian soal "keunggulan inti" perusahaan, Anthropic justru mempromosikan proses yang sama.

"Kami menyebut dinamika rekursif ini sebagai 'closing the loop', dan kami meyakini ini salah satu keunggulan struktural paling signifikan dalam AI termutakhir," demikian bunyi prospektus.

Gagal "menutup lingkar" itu, menurut Anthropic, bisa berujung pada kondisi "tertinggal semakin jauh karena pesaing terus-menerus menggunakan AI untuk lebih meningkatkan kemampuan pengembangan mereka sendiri". Dengan kata lain, sistem yang sama yang memicu kekhawatiran eksistensial adalah sistem yang dipandang krusial bagi keberhasilan perusahaan.

Tekanan yang dihadapi seluruh industri

Ketegangan ini tidak hanya dialami Anthropic. Mantan peneliti Anthropic, Jacob Coxon, sempat menjadi perbincangan luas setelah mengundurkan diri secara terbuka; ia menempatkan pembatasan RSI di urutan teratas daftar keinginannya bagi industri. Karyawan Google DeepMind dan sejumlah pihak lain disebut memiliki pengungkapan serupa.

Di Kongres Amerika Serikat, terdapat sejumlah rancangan undang-undang yang mengusulkan pelarangan RSI, termasuk satu yang disponsori bersama Bernie Sanders. Namun perusahaan-perusahaan ini berorientasi laba, dan nilai yang dipertaruhkan mencapai triliunan dolar.

Dinamika itu sulit dinavigasi. Recursive self-improvement bisa menjadi kereta tanpa rem yang menghancurkan umat manusia. Sampai titik itu tiba, yang tersisa untuk dilihat adalah seberapa cepat ia bisa melaju.

Sumber: WIRED