Perkembangan PaLM Dengan Google AI

Apa itu PaLM?

PaLM (Pathways Language Model) adalah keluarga model bahasa besar (Large Language Model/LLM) yang dikembangkan oleh Google AI. PaLM dirancang untuk memahami dan menghasilkan teks dengan kualitas tinggi, serta memiliki kemampuan penalaran yang kuat. Model ini dibangun di atas arsitektur Transformer yang padat (dense decoder-only) dan dilatih menggunakan sistem Pathways Google, yang memungkinkan pelatihan model tunggal berskala besar secara efisien di banyak chip TPU.

Fitur dan Kemampuan Utama PaLM:

Skala Besar: Versi awal PaLM yang paling terkenal adalah PaLM 540 miliar parameter. Google juga melatih versi yang lebih kecil (8 miliar dan 62 miliar parameter) untuk menguji efek skala model.
Arsitektur Transformer: PaLM menggunakan arsitektur Transformer decoder-only, yang sangat efektif dalam tugas-tugas pembangkitan teks dan pemahaman bahasa.
Pelatihan dengan Pathways: Sistem Pathways memungkinkan PaLM dilatih secara efisien di ribuan chip TPU v4, yang merupakan konfigurasi sistem berbasis TPU terbesar yang digunakan untuk pelatihan pada saat itu.

Dataset Pelatihan Luas: PaLM dilatih pada korpus berkualitas tinggi yang terdiri dari 780 miliar token, mencakup berbagai tugas bahasa alami dan kasus penggunaan. Dataset ini meliputi halaman web yang difilter, buku, artikel Wikipedia, berita, kode sumber dari repositori open source GitHub, dan percakapan media sosial. Sekitar 50% dari korpus adalah percakapan media sosial, yang membantu kemampuan percakapan model.

Kemampuan Penalaran Tingkat Lanjut: PaLM unggul dalam berbagai tugas penalaran, termasuk:

Penalaran Akal Sehat (Commonsense Reasoning): Memahami dan menyimpulkan informasi berdasarkan pengetahuan umum.
Penalaran Aritmatika (Arithmetic Reasoning): Mampu memecahkan soal matematika multi-langkah.
Penjelasan Lelucon (Joke Explanation): Memahami dan menjelaskan humor.
Generasi Kode (Code Generation): Mampu menghasilkan kode dalam berbagai bahasa pemrograman (meskipun hanya 5% kode dalam dataset pra-pelatihan, kinerjanya sebanding dengan model khusus kode).
Terjemahan (Translation): Mampu menerjemahkan teks antar bahasa.

Few-Shot Learning: PaLM menunjukkan kinerja luar biasa dalam few-shot learning, yang secara drastis mengurangi jumlah contoh pelatihan spesifik tugas yang diperlukan untuk mengadaptasi model ke aplikasi tertentu.

Peningkatan Diskontinu: Pada sejumlah tugas, PaLM 540B menunjukkan peningkatan kinerja yang diskontinu seiring dengan peningkatan skala model, artinya kinerja meningkat tajam saat diskalakan ke model terbesar.

Sejarah Perkembangan PaLM:

Awal Mula dan Konsep Pathways (Sebelum 2022):

Pengembangan PaLM berakar pada visi Google untuk sistem AI yang lebih efisien dan serbaguna yang disebut Pathways. Pathways adalah arsitektur AI baru yang memungkinkan satu model untuk mempelajari jutaan atau miliaran tugas dan secara efisien beradaptasi dengan tugas-tugas baru, yang jauh lebih efisien daripada melatih model terpisah untuk setiap tugas.
Google telah melakukan penelitian ekstensif dalam model bahasa besar sebelumnya, termasuk pengembangan arsitektur Transformer dan model seperti LaMDA. PaLM adalah upaya untuk mendorong batas-batas skala dan efisiensi model bahasa.

Pengumuman PaLM 540B (April 2022):

Google AI secara resmi memperkenalkan PaLM (Pathways Language Model) pada April 2022 melalui sebuah blog post dan makalah penelitian. Model ini segera menarik perhatian karena ukurannya yang masif (540 miliar parameter) dan kinerja terdepannya di berbagai benchmark bahasa.
Pada saat itu, PaLM 540B melampaui kinerja few-shot model-model besar sebelumnya seperti GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, dan LaMDA pada 28 dari 29 tugas.
Penekanan utama adalah pada kemampuan PaLM untuk melakukan penalaran multi-langkah, yang merupakan tantangan besar bagi LLM sebelumnya.

Pengembangan Varian dan Aplikasi (2022-2023):

Setelah PaLM 540B, Google mulai mengembangkan varian dan aplikasi dari model dasar ini:

Med-PaLM (Juni 2022): Model ini adalah yang pertama berhasil mendapatkan nilai kelulusan pada pertanyaan lisensi medis AS, menunjukkan kemampuan penalaran dan evaluasi diri dalam domain medis.
PaLM-E (Maret 2023): Google memperluas PaLM dengan vision transformer untuk menciptakan PaLM-E, model bahasa-visi state-of-the-art yang dapat digunakan untuk manipulasi robotik tanpa perlu pelatihan ulang atau fine-tuning. Ini menunjukkan kemampuan multimodal PaLM.

Pengumuman PaLM 2 (Google I/O 2023):

Pada Google I/O Mei 2023, Google mengumumkan PaLM 2, sebagai penerus PaLM asli. PaLM 2 dirancang agar lebih efisien, lebih cepat, dan lebih mumpuni daripada pendahulunya.
PaLM 2 dilatih pada kumpulan data yang lebih luas dan lebih beragam, termasuk teks multibahasa (lebih dari 100 bahasa) dan kode. Ini menghasilkan peningkatan signifikan dalam penalaran, pengkodean, dan kemampuan multibahasa.
PaLM 2 hadir dalam empat ukuran: Gecko, Otter, Bison, dan Unicorn, memungkinkan fleksibilitas untuk berbagai kasus penggunaan, mulai dari perangkat seluler hingga aplikasi skala besar.
Pada saat pengumumannya, PaLM 2 menjadi model dasar untuk banyak produk Google, termasuk Bard (yang awalnya didukung oleh LaMDA, kemudian bermigrasi ke PaLM 2 dan selanjutnya ke Gemini), Google Workspace, dan Google Cloud.

Transisi ke Gemini (Akhir 2023 dan Seterusnya):

Meskipun PaLM 2 adalah model yang sangat kuat, Google terus berinovasi. Pada akhir 2023, Google memperkenalkan Gemini sebagai model AI generasi berikutnya yang lebih ambisius, dirancang untuk menjadi multimodal secara native (mampu memahami dan beroperasi di berbagai jenis data seperti teks, gambar, audio, dan video).
Gemini secara efektif menjadi penerus PaLM dan LaMDA, mengintegrasikan dan memperluas kemampuan terbaik dari kedua model tersebut. Saat ini, banyak produk Google yang sebelumnya menggunakan PaLM atau PaLM 2 telah beralih atau sedang dalam proses transisi ke Gemini.

Singkatnya, PaLM adalah langkah revolusioner dalam upaya Google untuk menciptakan model bahasa yang sangat besar dan mumpuni. Dengan fokus pada skala, efisiensi, dan kemampuan penalaran, PaLM telah menjadi fondasi penting bagi banyak inovasi AI Google, yang berpuncak pada pengembangan model Gemini yang lebih canggih.