Semua orang bereksperimen dengan ChatGPT, bahkan pertukaran crypto.

Coinbase baru-baru ini beralih ke kecerdasan buatan untuk bereksperimen dengan seberapa akurat ChatGPT dapat melakukan tinjauan keamanan token—persyaratan untuk semua token yang terdaftar di bursa.

Setelah meninjau 20 kontrak pintar yang berbeda, alat AI yang sangat populerdiproduksi hasil yang sama dengan tinjauan manual sebanyak 12 kali.

Namun, dari delapan kesalahan, lima adalah kasus di mana ChatGPT salah memberi label aset berisiko tinggi sebagai berisiko rendah, yang merupakan kasus kegagalan terburuk.

Eksperimen tersebut juga mengungkapkan bahwa AI terkadang menghasilkan hasil yang tidak konsisten, dengan perintah yang sama menghasilkan hasil yang berbeda, terutama saat berpindah dari satu iterasi ChatGPT ke iterasi berikutnya.

Tetap saja, tim Coinbase optimis bahwa—dengan rekayasa cepat lebih lanjut—mereka dapat meningkatkan akurasi ChatGPT ke titik yang dapat digunakan sebagai pemeriksaan jaminan kualitas sekunder.

"Kami tidak terkejut karena smart contract semacam itu juga dapat diaudit secara otomatis oleh alat [pemrograman tradisional lainnya]," kata juru bicara dari BlockSec, sebuah perusahaan infrastruktur keamanan blockchainDekripsi . "Namun, itu tidak dapat bekerja untuk logika bisnis yang rumit, yang merupakan permukaan serangan utama dan celah utama yang harus menjadi fokus audit kontrak pintar.

Optimisme Coinbase tentang penggunaan alat untuk jaminan tambahan tetap digaungkan oleh pakar keamanan lainnya di ruang keamanan kripto.

"Pada tahap ini, [AI] tidak dapat menggantikan seseorang, tetapi merupakan bantuan yang sangat diperlukan, termasuk untuk auditor yang lelah atau lalai," Catatan Petugas periset keamanan independen memberi tahuDekripsi melalui Twitter. "Saya rasa Q/A [jaminan kualitas] dan fuzzing pasti tidak akan dapat dilakukan tanpa alat AI di masa mendatang."

ChatGPT menggantikan insinyur

Meskipun tentatif, sektor keamanan blockchain tampaknya menerima kemungkinan penerapan alat AI.

Tapi bisakah AI menggantikan auditor keamanan manual di masa mendatang?

"Mungkin suatu hari nanti kita akan mencapai titik itu, tapi kita masih jauh. Yang lebih mungkin adalah pendekatan pelengkap. Ada beberapa hal yang dilakukan manusia lebih baik daripada mesin dan sebaliknya," Kepala arsitektur solusi Certik, Connie Lam, memberi tahuDekripsi melalui email, "Alat membantu kami membangun hal-hal baru, tetapi tidak menggantikan kami. Penemuan kalkulator tidak membuat akuntan ketinggalan zaman, itu membuat mereka lebih baik dalam pekerjaannya."

Namun, untuk saat ini, alat keamanan non-AI masih jauh lebih berguna daripada sekadar memasuki pasar untuk menemukan kerentanan.

"Alat audit keamanan saat ini masih lebih unggul dari OpenAI," kata seorang juru bicara dari OpenZeppelinDekripsi . "Mereka [Coinbase] sedang mengujinya untuk mendaftarkan token ERC-20, yang merupakan pola yang terkenal. Itu membuatnya lebih cocok untuk otomatisasi."

Itu mungkin berubah.

Kemajuan pesat yang terlihat bahkan antara ChatGPT 3.5 dan ChatGPT 4 dapat diraba, menunjukkan bahwa peningkatan lebih lanjut akan terus mengesankan.

Dan seperti yang mereka lakukan, mengintegrasikan alat-alat ini bahkan harus "didorong".

"Penggunaan ChatGPT harus didorong selama fase pengembangan. Ini adalah alat yang ampuh, dan menolak untuk bekerja dengannya dan mempelajari apa yang dapat dilakukannya akan menjadi kemunduran," kata Lam. "ChatGPT juga merupakan alat yang sangat ampuh untuk mencari informasi dan membangun pusat pengetahuan. Ini dapat membantu pengguna dengan cepat memahami topik yang rumit dan tetap mendapatkan informasi keamanan terbaru.”