Agen AI Kelola Tim Fantasy Premier League, Hasilnya Belum Ungguli Manusia

Sebuah eksperimen personal menguji apakah kawanan agen kecerdasan artifisial bisa menyusun sekaligus mengelola tim fantasy Premier League yang menang. Hasil sementaranya: tim bentukan AI itu belum mengungguli rata-rata pemain manusia, meski sarannya jauh lebih baik dibandingkan beberapa tahun lalu.

Eksperimen tersebut dituangkan dalam edisi buletin AI Lab yang ditulis Will Knight untuk WIRED. Ia mengerahkan sejumlah agen AI untuk menyusun dan mengelola susunan pemain tim fantasy sebagai uji coba, di tengah menjamurnya agen AI di hampir setiap aspek kehidupan.

Dari Turing Institute hingga Codex

Knight pertama kali mencermati potensi AI untuk urusan ini beberapa tahun lalu dengan mencoba alat dari Turing Institute di Inggris. Alat itu memilih tim setelah memodelkan data liga fantasy sebelumnya. Sarannya dinilai sangat aneh karena tidak memasukkan informasi dunia nyata, seperti cedera pemain atau pergantian manajemen tim.

Kali ini, saat dalam penerbangan untuk mengunjungi keluarga, ia meminta bantuan Codex. Mula-mula ia menyodorkan beberapa makalah riset yang relevan ke model tersebut. Setelah itu, ia meminta Codex membangun harness, yakni instruksi dan kode yang mengarahkan berbagai agen melalui sejumlah langkah, untuk memeriksa berita terbaru dan menjalankan model guna membuat prediksi.

Codex cepat menghasilkan pengaturan yang tampaknya mengumpulkan dan menganalisis informasi jauh lebih banyak daripada yang sanggup dilakukan Knight sendiri. Namun ia terkejut karena saran tim awal ternyata buruk, termasuk menempatkan Erling Haaland di bangku cadangan.

Pembagian tugas antaragen

Knight lalu meminta Codex membentuk tim agen dengan tugas berbeda-beda: beberapa membaca berita dan tulisan blog, sebagian menganalisis hasil pertandingan terbaru, sebagian lagi menjalankan model, dan sejumlah agen mengkritik saran yang muncul. Pembagian tugas itu tampaknya memperbaiki saran secara signifikan.

Ia sempat menaikkan jumlah agen menjadi lebih dari 100 dengan harapan sistem menjadi lebih pintar. Hasilnya tidak banyak berubah, selain membuat tagihan API-nya membengkak.

Menurut Haifeng Xu, ilmuwan komputer di University of Chicago yang meneliti pemanfaatan AI dalam situasi pasar, model yang lebih baru mungkin lebih baik dalam membuat prediksi karena mampu mengonsumsi dan menganalisis informasi dunia nyata dalam jumlah besar, serta mengorkestrasi sistem yang lebih kompleks untuk tebakannya.

“AI semakin pintar dalam memahami dunia—saya merasa itulah alasan fundamental mengapa kemampuan mereka meningkat,” kata Xu.

Pada akhir tahun lalu, Xu mengamati meningkatnya popularitas pasar prediksi seperti Kalshi dan Polymarket. Ia pun penasaran bagaimana model komersial terbaik akan tampil di pasar tersebut, lalu bersama sejumlah koleganya mulai menguji kemampuan peramalan model-model itu. Mereka meminta model menebak, misalnya, siapa yang akan menjuarai NBA Championship dan dengan siapa Presiden Trump akan bertemu.

“Sangat cepat kami mulai menyadari bahwa model-model itu tampil sangat baik,” kata Xu. Ia menyebut model kadang mampu tampil lebih baik daripada orang rata-rata tanpa instruksi atau panduan khusus. Dalam pengujian mereka, GPT-5 paling baik dalam membuat prediksi, diikuti Grok 4, Claude Sonnet, Gemini, dan Llama.

Tolok ukur dan pasar prediksi

Tim Xu kemudian mengembangkan Prophet Arena, tolok ukur yang mengukur kemampuan sebuah model membuat prediksi. Ini salah satu dari sejumlah tolok ukur untuk menguji kemampuan AI meramal masa depan. Tolok ukur lain, Prediction Arena, dari peneliti Harvard University dan sebuah perusahaan bernama Arcada Labs, baru-baru ini memberi model frontier dana 10.000 dolar AS untuk bertaruh di pasar prediksi selama 57 hari. Model-model itu konsisten kehilangan uang dalam eksperimen tersebut, tetapi para peneliti melihat bukti kemampuan mereka membaik secara konsisten seiring waktu.

Xu mengatakan AI dapat membuat prediksi paling efektif dengan harness khusus. Ia mencatat bahwa memiliki agen dengan tugas unik, misalnya membaca berita, mengumpulkan data lain, dan menganalisis keseluruhan sistem, tampaknya menjadi pendekatan yang paling efektif.

Meski begitu, AI masih sering tertinggal dari pakar sangat terampil yang dikenal sebagai superforecaster. Xu menjelaskan, manusia memang tidak dapat mengonsumsi informasi sebanyak mesin, tetapi pemahaman mereka tentang dunia nyata, yakni dinamika di balik sebuah berita, lebih dalam.

Kendati demikian, bukti bahwa keunggulan superforecaster manusia kian terkikis terus bertambah. Kontes bernama Metaculus Cup baru-baru ini menunjukkan AI kadang bisa mengalahkan peramal manusia terbaik. Sebuah tolok ukur bernama ForecastBench berpotensi memberi bukti lebih lanjut bahwa AI mampu menyamai keterampilan manusia ketika hasil kontes yang masih berjalan diumumkan dalam waktu dekat.

Menurut Knight, laboratorium-laboratorium AI besar dapat diperkirakan akan mengalihkan perhatian ke peramalan masa depan sebagai cara baru yang kuat untuk mengukur kemajuan kecerdasan mesin. Semua eksperimen prediksi itu tampaknya menunjukkan bahwa, seperti matematika, pemrograman, dan hukum, industri yang bertumpu pada perdagangan mungkin segera terguncang oleh AI. Bisa jadi pedagang manusia terbaik akan mengambil peran baru: mengawasi dan mengorkestrasi agen AI yang mampu meramal masa depan jauh lebih baik daripada mereka.

Untuk sementara, saran AI milik Knight belum tampak mengesankan. Timnya belum mencetak skor di atas rata-rata selama beberapa pekan terakhir, dan ia memastikan tidak akan memakai saran itu untuk pilihannya sendiri. Namun AI tentu akan membaik, mungkin membuatnya terlalu mudah mendominasi liga fantasy dalam waktu dekat. Ia berharap hal itu tidak terjadi, karena akan merusak kesenangan meraih hak membanggakan diri dengan menang seorang diri.

Sumber: WIRED