Terapkan AudioCraft di NVIDIA Jetson: Hasilkan Audio dan Musik Berkualitas Tinggi

Selamat datang di dunia pembuatan musik yang menarik, tempat kecerdasan buatan bertemu dengan kreativitas untuk menciptakan suara yang belum pernah ada sebelumnya. Baik Anda seorang pemula yang mencoba-coba produksi musik, seorang menengah yang ingin membumbui komposisi Anda, atau seorang ahli yang mencari musik terbaru yang dihasilkan oleh AI, MusicGen menawarkan sesuatu untuk semua orang dan bagi mereka yang menantikan teknologi terbaru. Kita dapat menggunakan reComputer untuk menghasilkan musik kapan saja kita menggunakan musicGen. Mari kita mulai perjalanan melalui kemampuannya dan bagaimana Anda dapat memanfaatkan kekuatannya.

Apa yang Anda butuhkan !

• Salah satu perangkat Jetson berikut:
  Jetson AGX Orin (64GB) Jetson AGX Orin (32GB) Jetson Orin Nano (8GB)

• Menjalankan salah satu versi JetPack berikut : JetPack 5 (L4T r35.x)
  Perlu dicatat bahwa semua seri reComputer telah diinstal sebelumnya dengan Jetpack 5.1.1 pada SSD NVMe yang disertakan. Jika Anda akan menggunakan kit pengembang AGX Orin untuk proyek ini, silakan periksa wiki terlebih dahulu untuk mem-flash versi jetpack tertentu pada perangkat Anda.

• Ruang penyimpanan yang cukup (sebaiknya dengan NVMe SSD).

Pada intinya, MusicGen menggunakan model dekoder transformator untuk menghasilkan musik. Bergantung pada kebutuhan dan sumber daya yang Anda miliki, Anda dapat memilih dari beberapa varian:

Facebook/musicgen-small : Model parameter 300M, sempurna bagi mereka yang baru memulai atau memiliki sumber daya komputasi terbatas.

Facebook/musicgen-medium : Dengan parameter 1,5B, model ini menawarkan keseimbangan antara kompleksitas dan kinerja.

Facebook/musicgen-melody : Model parameter 1,5B lainnya, tetapi dengan kemampuan tambahan pengkondisian melodi, ideal untuk pengguna tingkat menengah yang ingin menghasilkan musik berdasarkan nada tertentu.

Facebook/musicgen-large : Varian paling rumit dengan parameter 3,3B, dirancang bagi para ahli yang mencari hasil keluaran dengan kualitas tertinggi.

Untuk tujuan demonstrasi, kami menggunakan varian “kecil”, tetapi Anda bebas menjelajahi varian lainnya saat Anda merasa lebih nyaman dengan platform ini.

Menyiapkan MusicGen di Jetson

Menjalankan MusicGen di perangkat Jetson Anda melibatkan beberapa langkah, mulai dari menginisialisasi model hingga menyiapkan parameter pembuatan. Berkat pustaka Audiocraft, proses ini menjadi lebih efisien, sehingga Anda dapat fokus pada aspek kreatif produksi musik.

Inti dari sistem ini adalah perangkat keras NVIDIA Jetson , yang didukung oleh JetPack SDK, yang menyediakan kekuatan komputasi yang diperlukan. Seluruh sistem dienkapsulasi dalam kontainer Docker , yang memastikan portabilitas dan konsistensi. Pengguna berinteraksi dengan lapisan aplikasi (API, validasi input, manajemen tugas, penanganan output,…dll), yang dapat diakses melalui server web atau UI yang mudah digunakan, tempat mereka menentukan input untuk pembuatan musik. Input ini kemudian diproses oleh model MusicGen yang dioptimalkan di backend, yang memanfaatkan kemampuan akselerasi GPU Jetson. Musik yang dihasilkan dikirimkan sebagai file audio , baik diputar ulang melalui perangkat yang terhubung atau disimpan untuk penggunaan di masa mendatang.

MusicGen melibatkan inisialisasi model dan pengaturan parameter pembangkitan. Proses ini dilakukan secara mudah melalui pustaka audiocraft , yang menyediakan alat yang diperlukan untuk mewujudkan visi musikal Anda.

Menyesuaikan Pengalaman Anda

MusicGen menawarkan berbagai macam parameter yang dapat disesuaikan, yang memungkinkan Anda untuk menyempurnakan proses pembuatan musik agar sesuai dengan kebutuhan kreatif Anda. Parameter tersebut meliputi:

• use_sampling (bool, opsional): gunakan sampling jika Benar, jika tidak lakukan decoding argmax. Nilai default adalah Benar.

• top_k (int, opsional): top_k digunakan untuk pengambilan sampel. Nilai default adalah 250.

• top_p (float, opsional): top_p digunakan untuk pengambilan sampel, bila diatur ke 0 top_k digunakan. Nilai default adalah 0.0.

• suhu (float, opsional): parameter suhu softmax. Nilai default adalah 1.0.

• durasi (float, opsional): durasi bentuk gelombang yang dihasilkan. Nilai default adalah 30,0.

• cfg_coef (float, opsional): koefisien yang digunakan untuk panduan bebas pengklasifikasi. Nilai default adalah 3,0.

Jika tidak diubah, MusicGen akan kembali ke parameter default-nya.

Menghasilkan Musik Lintas Mode

MusicGen bukan hanya sekedar alat, tetapi mitra kreatif yang mendukung berbagai cara pembuatan musik. Kita dapat menggunakan salah satu di antaranya:

• Generasi Tanpa Syarat : Ciptakan musik dari awal tanpa syarat apa pun yang telah ditentukan sebelumnya, sempurna untuk saat Anda mencari inspirasi murni.

• Kelanjutan Musik : Mengembangkan karya yang sudah ada, menambahkan ide musikal Anda secara mulus.

• Pembuatan Bersyarat Teks : Hidupkan deskripsi Anda dengan membuat musik yang sesuai dengan perintah berbasis teks, ideal untuk mencapai suasana atau genre tertentu.

• Pembangkitan Bersyarat Melodi : Mulailah dengan sebuah melodi dan biarkan MusicGen menggubah karya lengkap di sekitarnya, menawarkan perpaduan unik antara kreativitas manusia dan kecanggihan AI.

MusicGen dan NVIDIA Jetson, khususnya jika dipasangkan dengan seri reComputer Jetson Orin kami , menawarkan perangkat canggih bagi siapa pun yang ingin menjelajahi masa depan musik. Perangkat ini tidak hanya canggih, tetapi juga dirancang untuk menangani komputasi dan inferensi kompleks yang dibutuhkan oleh model AI tingkat lanjut secara efisien, sehingga pembuatan musik menjadi lebih sederhana dan lebih mudah diakses dari sebelumnya. Baik Anda membuat soundtrack, bereksperimen dengan genre, atau sekadar mengeksplorasi kreativitas, teknologi ini menyediakan platform yang tak tertandingi untuk inovasi.

Kesimpulannya, kemampuan AI NVIDIA Jetson AGX Orin yang hebat, ditambah dengan efisiensi dan fleksibilitasnya, menjadikannya mesin yang sempurna untuk mendukung MusicGen. Mesin ini menyediakan alat yang andal dan ampuh bagi para musisi, produser, dan kreator untuk menjelajahi batas-batas baru penciptaan musik yang digerakkan oleh AI, menawarkan pandangan sekilas tentang masa depan inovasi musik.