UI Kembangkan Aplikasi Penerjemah Gerakan Isyarat ke Teks Indonesia
Senin, 24 Agustus 2020 - 21:15 WIB
loading...
A
A
A
Dr Erdefi menuturkan, “Kami ingin memfasilitasi pembelajaran bahasa isyarat bagi mereka yang membutuhkan, baik itu yang berkebutuhan khusus maupun tenaga pengajar, orang tua maupun masyarakat. Kami tengah mengembangkan dua aplikasi berkaitan dengan SIBI, yaitu aplikasi untuk menerjemahkan text-to-gesture dan aplikasi untuk menerjemahkan gestures-to-text. Namun, pada kesempatan awal, kami memfokuskan untuk menangani masalah tersulit terlebih dahulu, yaitu sistem penerjemahan gestures-to-text," katanya melalui siaran pers, Senin (24/8). (Baca juga: Menuju Kelas Dunia, FEB Unpad Peroleh Akreditasi Internasional )
“Sistem penerjemah yang kami kembangkan mampu mengakomodasi gerakan isyarat dalam SIBI yang mengikuti struktur tata Bahasa Indonesia, seperti penyusunan kata-kata bahasa Indonesia yang memiliki infiks, prefiks, dan sufiks. Masalah pengenalan kata berimbuhan sebagai suatu unit akan memerlukan komputasional yang tinggi, dan membutuhkan basis data yang besar. Hal ini disebabkan karena ada banyak sekali kemungkinan kombinasi imbuhan dan kata dasar, dan adanya kata-kata baru yang terus ditambahkan ke Bahasa Indonesia,” lanjutnya.
Salah satu keunikan dari SIBI adalah adanya isyarat kata berimbuhan yang dibentuk dengan menggabungkan gerakan isyarat imbuhan (awalan, akhiran, partikel) dengan gerakan isyarat kata dasar.
Sistem penerjemah ini juga memiliki kemampuan untuk mengenali komponen-komponen yang membangun suatu isyarat kata berimbuhan. Dengan adanya kemampuan tersebut, sistem yang dibangun oleh Dr. Erdefi ini juga akan mudah beradaptasi terhadap penambahan kata-kata baru di Bahasa Indonesia.
Untuk membangun sistem penerjemah ini, Dr.Erdefi dan tim menggunakan MobileNet untuk mengekstraksi fitur video; model Threshold Conditional Random Fields (T-CRF) untuk mengidentifikasi frame video mana yang mengandung gesture dan frame video mana yang berisi non-gesture (gerakan transisi); dan model LSTM Bidirectional 2-layer untuk melakukan klasifikasi proses perekaman gerakan isyarat.
“Sistem penerjemah yang kami kembangkan mampu mengakomodasi gerakan isyarat dalam SIBI yang mengikuti struktur tata Bahasa Indonesia, seperti penyusunan kata-kata bahasa Indonesia yang memiliki infiks, prefiks, dan sufiks. Masalah pengenalan kata berimbuhan sebagai suatu unit akan memerlukan komputasional yang tinggi, dan membutuhkan basis data yang besar. Hal ini disebabkan karena ada banyak sekali kemungkinan kombinasi imbuhan dan kata dasar, dan adanya kata-kata baru yang terus ditambahkan ke Bahasa Indonesia,” lanjutnya.
Salah satu keunikan dari SIBI adalah adanya isyarat kata berimbuhan yang dibentuk dengan menggabungkan gerakan isyarat imbuhan (awalan, akhiran, partikel) dengan gerakan isyarat kata dasar.
Sistem penerjemah ini juga memiliki kemampuan untuk mengenali komponen-komponen yang membangun suatu isyarat kata berimbuhan. Dengan adanya kemampuan tersebut, sistem yang dibangun oleh Dr. Erdefi ini juga akan mudah beradaptasi terhadap penambahan kata-kata baru di Bahasa Indonesia.
Untuk membangun sistem penerjemah ini, Dr.Erdefi dan tim menggunakan MobileNet untuk mengekstraksi fitur video; model Threshold Conditional Random Fields (T-CRF) untuk mengidentifikasi frame video mana yang mengandung gesture dan frame video mana yang berisi non-gesture (gerakan transisi); dan model LSTM Bidirectional 2-layer untuk melakukan klasifikasi proses perekaman gerakan isyarat.
(mpw)
Lihat Juga :
