Meta Meluncurkan AI LLaMA Saingan ChatGPT , Tetapi Tidak Ada Jaminan Halusinasi
Tidak seperti Google dan OpenAI, Meta akan membagikan model bahasa LLaMA-nya dengan peneliti AI, klaim raksasa media sosial itu.
Tim Fundamental AI Research (FAIR) di Meta, perusahaan induk Facebook, telah memperkenalkan model bahasa kecerdasan buatan (AI) “canggih” baru yang disebut Large Language Model Meta AI (LLaMA).
Model ini akan dapat diakses oleh para peneliti, dan diharapkan dapat membantu para ilmuwan dan insinyur saat mereka menyelidiki penggunaan baru AI, CEO Mark Zuckerberg mengumumkan pada hari Jumat.
“Kami merilis model bahasa besar AI canggih baru yang disebut LLaMA yang dirancang untuk membantu para peneliti memajukan pekerjaan mereka,” tulis Zuckerberg dalam sebuah posting Facebook.
“LLM telah menunjukkan banyak janji dalam menghasilkan teks, melakukan percakapan, meringkas materi tertulis, dan tugas yang lebih rumit seperti memecahkan teorema matematika atau memprediksi struktur protein.”
Kemajuan AI telah menjadi fokus bagi perusahaan teknologi besar dan startup, dengan model bahasa besar seperti Bing AI Microsoft, ChatGPT OpenAI, dan AI Bard Google yang belum dirilis membantu mendukung aplikasi.
Namun, ada beberapa perbedaan Meta’s LLM dari model ini, terutama ukuran dan keterbukaannya terhadap peneliti, klaim raksasa media sosial itu.
LLaMA akan memiliki 7-65 miliar parameter
Menurut Meta, ukuran LLaMA akan berkisar dari 7 miliar parameter hingga 65 miliar parameter.
Terlepas dari kenyataan bahwa model yang lebih besar telah berhasil memperluas kemampuan teknologi, mereka bisa lebih mahal untuk dioperasikan, sebuah tahap yang dikenal sebagai “inferensi”. Chat-GPT 3 dari OpenAI, misalnya, mencakup 175 miliar parameter.
“Model yang lebih kecil yang dilatih dengan lebih banyak token – yang merupakan potongan kata – lebih mudah untuk dilatih ulang dan disesuaikan untuk kasus penggunaan produk potensial tertentu,” tulis Meta AI dalam posting blog pada hari Jumat.
“Kami melatih LLaMA 65B dan LLaMA 33B dengan 1,4 triliun token. Model terkecil kami, LLaMA 7B, dilatih dengan satu triliun token.”
Bertentangan dengan LaMDA Google dan ChatGPT OpenAI, yang model dasarnya bersifat pribadi, Meta juga telah menyatakan bahwa LLM mereka akan tersedia untuk komunitas riset AI.
“Tidak seperti Chinchilla, PaLM, atau GPT-3, kami hanya menggunakan kumpulan data yang tersedia untuk umum, membuat pekerjaan kami kompatibel dengan sumber terbuka dan dapat direproduksi, sementara sebagian besar model yang ada bergantung pada data yang tidak tersedia untuk umum atau tidak terdokumentasikan,” Guillaume Lample, seorang ilmuwan riset di Facebook AI men-tweet pada hari Jumat.
Halusinasi AI – tidak ada jaminan
Seperti model bahasa besar sebelumnya, LLaMA menghasilkan teks secara rekursif dengan menggunakan urutan kata sebagai masukan dan memprediksi istilah berikutnya.
Meta mengklaim telah menggunakan literatur dari 20 bahasa dengan jumlah penutur terbanyak untuk melatih model, berkonsentrasi pada bahasa berbasis alfabet Latin dan Cyrillic.
Namun, Meta belum memberikan jaminan bahwa model bahasanya tidak akan mengalami halusinasi seperti yang lainnya.
“Masih ada penelitian lebih lanjut yang perlu dilakukan untuk mengatasi risiko bias, komentar beracun, dan halusinasi dalam model bahasa besar. Seperti model lainnya, LLaMA berbagi tantangan ini,” kata Meta dalam blognya.
