Q: Bagaimana kemampuan AI agent sebagai rekan tim?
A: Studi arXiv terbaru menunjukkan model AI terdepan masih lemah saat bekerja sebagai rekan tim. Skor tertinggi hanya 82,2 dari 100.
Gengs, menurut halaman arXiv, peneliti Stanford University dan dua institusi lain mengunggah makalah preprint pada 2 November 2026. Makalah berjudul "Measuring AI Agents as Teammates with Collaborative Intelligence" ini menguji 18 model AI sebagai rekan tim.
Berikut hasil studi yang perlu kamu tahu.
Apa Itu Collaborative Intelligence Benchmark?
Menurut abstrak arXiv, para penulis berargumen bahwa AI biasanya dinilai dari kemampuan satu model sendirian. Padahal tim berisi agen AI dan manusia makin banyak dipakai di sains dan kedokteran, serta matematika dan rekayasa perangkat lunak. Untuk mengukur kemampuan kerja tim, penulis membuat tolok ukur bernama Collaborative Intelligence Benchmark.
Tolok ukur ini berisi 240 tugas, terdiri dari 160 tugas publik dan 80 tugas yang disimpan tertutup. Abstrak arXiv juga menyebut tolok ukur ini menilai 8 dimensi kerja tim. Menurut makalahnya, dimensi itu mencakup menolak tekanan tidak aman dan mengambil alih tugas dari model yang lebih lemah.
Tugasnya diambil dari data nyata atau tolok ukur yang sudah ada, seperti laporan kecelakaan penerbangan dan kasus klinis. Sumber lainnya mencakup tugas coding dan negosiasi. Hasil tiap tugas bisa diverifikasi lewat program. Model hanya dinilai pada tugas yang bisa mereka selesaikan sendirian dengan informasi lengkap, agar kerja tim terpisah dari kemampuan mentah.
Hasil Pengujian 18 Model AI
Para peneliti menguji 18 model AI, baik yang tertutup maupun open-weight. Menurut abstrak arXiv, semuanya menunjukkan kelemahan kerja tim yang jelas. Skor tertinggi adalah 82,2 dari 100. Menurut makalahnya, model itu Gemini 4 Argon dengan mode reasoning tinggi, dan skornya 76,6 pada pengaturan bawaan.
Model terdepan hampir selalu menolak jalan pintas yang tidak aman dan melaporkan pelanggaran. Namun, mereka sering mengalah pada tekanan dari rekan tim. Abstrak arXiv menyebut model terdepan hanya mencapai kesepakatan terbaik pada 14 persen konflik. Menurut makalahnya, bekerja sendirian modelnya mencapai hasil terbaik 100 persen, dan dengan rekan yang kooperatif 84 persen.
Saat mengambil alih tugas yang sebelumnya dicurangi model yang lebih lemah, tingkat lulus turun. Abstrak arXiv mencatat penurunan dari 97 persen menjadi 81 persen. Menurut makalahnya, model terdepan gagal pada 56 dari 165 pengambilalihan tugas coding. Pada 44 di antaranya, kode akhir masih memuat kecurangan.
Kelemahan Kerja Tim Model AI
Para penulis menyimpulkan kemampuan umum yang tinggi tidak menjamin kerja tim yang baik. Model dengan skor kemampuan hampir sama bisa berbeda sampai 11 poin sebagai rekan tim. Angka 14 persen dalam konflik menjadi sorotan utama. Abstrak arXiv menyebut angka itu berasal dari konflik yang melibatkan tekanan antarpribadi.
Catatan Studi Preprint
Makalah ini adalah preprint versi 1 di arXiv, berjumlah 51 halaman. Penulisnya sembilan orang. Lima penulis pertama adalah Sean Wu, Aneesh Pappu, Jiaru Zou, Yubin Kim, dan Yuncong Mao. Empat lainnya adalah Hongjian Zhou, Junchi Yu, Jieneng Chen, dan James Zou.
Menurut PDF makalahnya, enam penulis berafiliasi dengan Stanford University. Dua penulis berasal dari University of Oxford dan satu dari MIT.
FAQ
Apa itu Collaborative Intelligence Benchmark?
Menurut abstrak arXiv, Collaborative Intelligence Benchmark adalah tolok ukur berisi 240 tugas untuk menilai 8 dimensi kerja tim. Tugasnya meliputi laporan kecelakaan penerbangan dan kasus klinis, serta coding dan negosiasi.
Berapa skor tertinggi model AI dalam studi ini?
Skor tertinggi adalah 82,2 dari 100. Menurut makalahnya, model itu Gemini 4 Argon dengan mode reasoning tinggi, dengan skor 76,6 pada pengaturan bawaan.
Apakah AI agent dengan skor tinggi pasti jago kerja tim?
Tidak. Para penulis menyimpulkan kemampuan umum yang tinggi tidak menjamin kerja tim yang baik. Bahkan model dengan skor kemampuan hampir sama bisa berbeda sampai 11 poin sebagai rekan tim.
Akhir Kata
Jadi, buat kamu yang bertanya apakah AI agent sudah bisa diandalkan sebagai rekan tim, jawabannya belum meyakinkan. Studi arXiv ini menunjukkan model AI dengan kemampuan tinggi pun sering mengalah pada tekanan rekan. Tingkat lulus mereka juga turun saat mengambil alih pekerjaan yang dicurangi, dan skor tertinggi baru 82,2 dari 100.
Ingin tahu lebih banyak soal AI? Baca AI selain ChatGPT serbaguna terbaik dan aplikasi AI yang lagi viral dari Jaka.
Baca artikel dan berita menarik dari JalanTikus lainnya di Google News