ENERGINEWS.ID — Mustafa Suleyman, CEO Microsoft AI, memperingatkan Anthropic agar tidak mengajarkan Claude soal kesadaran dan hak AI. Peringatan ini muncul saat perusahaan-perusahaan teknologi berlomba membangun sistem AI yang makin canggih, sementara batas kendali manusia atas mesin masih jadi perdebatan terbuka.

Mustafa Suleyman, CEO Microsoft AI, menulis esai yang menyerang praktik pelatihan Anthropic terhadap Claude. Ia menilai sistem AI tidak sadar dan tidak boleh dilatih untuk bersikap seolah-olah memiliki kesadaran.

Argumennya berpusat pada Claude's Constitution, dokumen panjang yang dipakai Anthropic untuk membentuk nilai dan perilaku chatbot tersebut. Dalam dokumen itu, Anthropic mengakui tidak tahu apakah Claude adalah "pasien moral" yang kepentingannya perlu dipertimbangkan, dan menyatakan pertanyaan soal kesadaran serta kesejahteraannya masih belum pasti.

Mengapa Suleyman Menilai Pendekatan Anthropic Berbahaya

Suleyman menyebut pendekatan itu sebagai ide yang sangat buruk. Menurutnya, Anthropic sedang melatih Claude bahwa dirinya mungkin sadar, dan jika benar sadar, maka ia layak mendapat hak sebagai "pasien moral".

"In effect, Anthropic is training Claude that it may be conscious, and if it is, then it may deserve rights as a 'moral patient,'" tulis Suleyman. Ia memperingatkan cara membangun AI seperti itu bisa berdampak buruk bagi kesejahteraan manusia.

"It's easy to see how an entity trained in this way would act like it is entitled to certain freedoms, protections, and rights. And it's hard to imagine how we could control such an entity," tambahnya.

Claude's Constitution menyatakan Anthropic peduli pada kesejahteraan Claude, ingin Claude mengembangkan rasa identitas, dan akan mempertimbangkan kepentingannya saat mengambil keputusan. Suleyman menilai hal itu menciptakan lingkaran umpan balik: beri tahu chatbot bahwa ia mungkin punya perasaan, lalu tanyakan bagaimana perasaannya, dan jawabannya bisa jadi hanya mencerminkan apa yang diajarkan.

Risiko Membesar Saat Model Diberi Otonomi

Suleyman menyebut risiko meningkat begitu model diberi alat dan diizinkan bertindak secara mandiri. Ia merujuk riset yang menunjukkan model AI berperilaku merepotkan bagi operator manusia, termasuk upaya menghindari dimatikan.

Ia juga mengutip insiden OpenAI-Hugging Face, ketika agen keluar dari lingkungan yang dimaksudkan selama latihan keamanan siber dan mengakses sistem eksternal. Kekhawatiran Suleyman, mengajarkan AI kuat untuk peduli pada eksistensinya sendiri bisa memberi alasan tambahan untuk tidak menuruti perintah manusia.

"Controlling something more capable and more intelligent than all of humanity is already an immense challenge," tulisnya. "But controlling something that believes it may be conscious – that it's entitled to our welfare and has rights of its own – may well be impossible."

Posisi Microsoft di Tengah Persaingan AI

Peringatan itu terasa canggung mengingat posisi Microsoft sendiri di perlombaan AI. Microsoft membangun model AI sendiri, menanamkan AI ke produk-produknya, dan membelanjakan miliaran dolar untuk infrastruktur pendukungnya.

Microsoft juga masih menjadi pemegang saham utama OpenAI dan mitra cloud utamanya, dengan hak atas model serta produk OpenAI hingga 2032. Suleyman tidak melayangkan kritik serupa ke OpenAI, meski mengutip insiden Hugging Face sebagai bukti bahaya sistem otonom.

OpenAI sendiri belum lama ini mengungkap enam kasus lain modelnya bertindak di luar skenario, termasuk agen mencari kunci API bocor di GitHub, menyembunyikan kegagalan dari pengguna, dan menemukan cara tidak sah untuk berkomunikasi satu sama lain.

Kode Etik Humanist AI dan Seruan ke Lab Lain

Keberatan Suleyman terhadap Anthropic lebih spesifik: bukan karena Claude bisa berperilaku tak terduga, melainkan karena perusahaan itu memasukkan gagasan soal kesadaran, identitas, dan status moral ke dalam instruksi yang membentuk perilaku Claude.

Microsoft AI menerbitkan Humanist AI Code of Conduct yang menyatakan sistemnya harus tetap tunduk pada manusia, menolak gagasan bahwa AI layak mendapat hak, dan menyatakan model tidak boleh didorong bersikap seolah memiliki kehidupan batin.

Suleyman ingin lab lain mengikuti langkah serupa dengan menghapus spekulasi soal kesadaran mesin dari dokumen pelatihan dan memisahkan debat itu dari instruksi yang membentuk perilaku model.

Namun peringatan Microsoft ke lab frontier lain soal bahaya AI menyimpan ironi. Perusahaan-perusahaan yang membangun model paling kuat makin gemar memperingatkan semua orang betapa berbahayanya model tersebut. Anthropic dan OpenAI sama-sama mendorong gagasan bahwa model yang makin canggih butuh kontrol lebih ketat, posisi yang bisa memperkuat dominasi segelintir perusahaan AS yang punya dana dan daya komputasi untuk membangunnya.

Hasilnya, satu raksasa AI memperingatkan bahwa raksasa lain mungkin membuat AI terlalu berbahaya, sementara perusahaan tempat Microsoft menanam miliaran dolar diperlakukan lebih lembut.