Overview

Neural Voice Cloning adalah proyek riset dan implementasi kecerdasan buatan dalam bidang Speech Synthesis dan Deep Generative Models. Sistem ini memungkinkan pembuatan model suara sintetis (kloning vokal) yang terdengar alami dan ekspresif hanya dengan menggunakan sampel suara referensi berdurasi 3 hingga 10 detik (Few-Shot / Zero-Shot Speaker Adaptation). Sistem ini diimplementasikan secara langsung ke dalam ekosistem aplikasi mobile "Tutur" sebagai bagian dari strategi integrasi kecerdasan buatan (AI integration) di platform mobile. Implementasi ini bertujuan mempermudah produksi konten audio naratif, sulih suara (voice over), asisten virtual personal, serta alat bantu komunikasi interaktif yang dapat diakses langsung oleh pengguna smartphone secara praktis.

Key Features

• Few-Shot Speaker Adaptation: Mengekstrak vektor representasi pembicara (speaker embeddings) dari cuplikan audio singkat tanpa perlu proses retraining model yang memakan waktu lama.
• Mobile Integration ("Tutur" App): Integrasi seamless ke dalam aplikasi mobile "Tutur", memungkinkan pengguna melakukan kloning dan sintesis suara secara cepat langsung dari perangkat genggam.
• Kontrol Prosodi & Emosi: Menyesuaikan nada bicara (pitch), kecepatan tempo, dan intonasi emosional (netral, antusias, tenang, formal).
• Neural Vocoder Berlatensi Rendah: Menghasilkan bentuk gelombang audio (raw audio waveforms) berkualitas tinggi mendekati standar rekaman studio menggunakan arsitektur HiFi-GAN / BigVGAN.
• Dukungan Multibahasa: Kemampuan menyintesis teks dalam bahasa Indonesia dan bahasa Inggris dengan tetap mempertahankan karakteristik unik suara penutur asli.
• Web & Mobile Interface: Antarmuka interaktif pada web dan aplikasi mobile untuk merekam/mengunggah sampel suara, memasukkan teks skrip, dan mendengarkan hasil sintesis secara instan.

Technologies Used

• PyTorch & CUDA: Framework komputasi utama untuk arsitektur deep learning dan akselerasi inferensi GPU.
• VITS & FastSpeech2: Model arsitektur end-to-end Text-to-Speech untuk pemetaan teks ke representasi mel-spektrogram.
• HiFi-GAN Vocoder: Neural vocoder berbasis GAN untuk sintesis audio resolusi tinggi.
• FastAPI Backend & On-Device Processing Optimization: Service RESTful API yang melayani permintaan sintesis audio secara asynchronous serta optimasi inferensi untuk perangkat mobile.
• Flutter / React Native & Web Audio API: Antarmuka aplikasi mobile "Tutur" serta dashboard visual untuk pemutar audio interaktif dan perekaman langsung.

Challenges and Learnings

Tantangan tersulit adalah menghilangkan artefak suara robotik, menjaga kemiripan timbre vokal, serta mengoptimalkan latensi pemrosesan AI agar responsif saat dipanggil melalui aplikasi mobile "Tutur". Pendekatan ekstraksi speaker embedding dengan encoder terlatih, modul denoiser audio, dan optimasi API pipeline berhasil menghasilkan kloning suara yang jernih dengan Mean Opinion Score (MOS) mendekati suara manusia asli secara real-time.

Outcome

Sistem berhasil diintegrasikan ke dalam aplikasi mobile "Tutur" sebagai fitur AI unggulan, memangkas waktu pembuatan audio voice-over personal dari hitungan jam rekaman manual menjadi hanya beberapa detik pemrosesan di perangkat mobile, dengan kemiripan vokal di atas 90% pada pengujian dengar subjektif.

• Publikasi Ilmiah: PENGEMBANGAN MODEL TEXT TO SPEECH BERBAHASA INDONESIA PADA APLIKASI ALAT BANTU KOMUNIKASI PENYANDANG DISABILITAS