update NusaTranslation and NusaParagraph benchmark

IndoNLP · Sep 15, 2023 · b26efc7 · b26efc7
1 parent a1b2934
commit b26efc7
Showing 1 changed file with 169 additions and 12 deletions.
diff --git a/nusacrowd/config_helper.py b/nusacrowd/config_helper.py
@@ -413,22 +413,179 @@
         'librivox_indonesia_min_nusantara_sptext',
     ],
     'NusaTranslation': [
-        'nusatranslation_senti_nusantara_text',
-        'nusatranslation_emot_nusantara_text',
-        'nusatranslation_mt_nusantara_t2t',
+        # NusaTranslation Senti
+        'nusatranslation_senti_abs_nusantara_text',
+        'nusatranslation_senti_btk_nusantara_text',
+        'nusatranslation_senti_bew_nusantara_text',
+        'nusatranslation_senti_bhp_nusantara_text',
+        'nusatranslation_senti_jav_nusantara_text',
+        'nusatranslation_senti_mad_nusantara_text',
+        'nusatranslation_senti_mak_nusantara_text',
+        'nusatranslation_senti_min_nusantara_text',
+        'nusatranslation_senti_mui_nusantara_text',
+        'nusatranslation_senti_rej_nusantara_text',
+        'nusatranslation_senti_sun_nusantara_text',
+
+        # NusaTranslation Emot
+        'nusatranslation_emot_abs_nusantara_text',
+        'nusatranslation_emot_btk_nusantara_text',
+        'nusatranslation_emot_bew_nusantara_text',
+        'nusatranslation_emot_bhp_nusantara_text',
+        'nusatranslation_emot_jav_nusantara_text',
+        'nusatranslation_emot_mad_nusantara_text',
+        'nusatranslation_emot_mak_nusantara_text',
+        'nusatranslation_emot_min_nusantara_text',
+        'nusatranslation_emot_mui_nusantara_text',
+        'nusatranslation_emot_rej_nusantara_text',
+        'nusatranslation_emot_sun_nusantara_text',
+
+        # NusaTranslation MT Ind-XXX
+        'nusatranslation_mt_ind_btk_nusantara_t2t',
+        'nusatranslation_mt_ind_bew_nusantara_t2t',
+        'nusatranslation_mt_ind_bug_nusantara_t2t',
+        'nusatranslation_mt_ind_jav_nusantara_t2t',
+        'nusatranslation_mt_ind_mad_nusantara_t2t',
+        'nusatranslation_mt_ind_mak_nusantara_t2t',
+        'nusatranslation_mt_ind_min_nusantara_t2t',
+        'nusatranslation_mt_ind_mui_nusantara_t2t',
+        'nusatranslation_mt_ind_rej_nusantara_t2t',
+        'nusatranslation_mt_ind_sun_nusantara_t2t',
+
+        # NusaTranslation MT XXX-Ind
+        'nusatranslation_mt_btk_ind_nusantara_t2t',
+        'nusatranslation_mt_bew_ind_nusantara_t2t',
+        'nusatranslation_mt_bug_ind_nusantara_t2t',
+        'nusatranslation_mt_jav_ind_nusantara_t2t',
+        'nusatranslation_mt_mad_ind_nusantara_t2t',
+        'nusatranslation_mt_mak_ind_nusantara_t2t',
+        'nusatranslation_mt_min_ind_nusantara_t2t',
+        'nusatranslation_mt_mui_ind_nusantara_t2t',
+        'nusatranslation_mt_rej_ind_nusantara_t2t',
+        'nusatranslation_mt_sun_ind_nusantara_t2t',
     ],
     'NusaParagraph': [
-        'nusaparagraph_emot_nusantara_text',
-        'nusaparagraph_topic_nusantara_text',
-        'nusaparagraph_rhetoric_nusantara_text',
+        # NusaParagraph Topic
+        'nusaparagraph_topic_btk_nusantara_text',
+        'nusaparagraph_topic_bew_nusantara_text',
+        'nusaparagraph_topic_bug_nusantara_text',
+        'nusaparagraph_topic_jav_nusantara_text',
+        'nusaparagraph_topic_mad_nusantara_text',
+        'nusaparagraph_topic_mak_nusantara_text',
+        'nusaparagraph_topic_min_nusantara_text',
+        'nusaparagraph_topic_mui_nusantara_text',
+        'nusaparagraph_topic_rej_nusantara_text',
+        'nusaparagraph_topic_sun_nusantara_text',
+
+        # NusaParagraph Rhetoric
+        'nusaparagraph_rhetoric_btk_nusantara_text',
+        'nusaparagraph_rhetoric_bew_nusantara_text',
+        'nusaparagraph_rhetoric_bug_nusantara_text',
+        'nusaparagraph_rhetoric_jav_nusantara_text',
+        'nusaparagraph_rhetoric_mad_nusantara_text',
+        'nusaparagraph_rhetoric_mak_nusantara_text',
+        'nusaparagraph_rhetoric_min_nusantara_text',
+        'nusaparagraph_rhetoric_mui_nusantara_text',
+        'nusaparagraph_rhetoric_rej_nusantara_text',
+        'nusaparagraph_rhetoric_sun_nusantara_text',
+
+        # NusaParagraph Emot
+        'nusaparagraph_emot_btk_nusantara_text',
+        'nusaparagraph_emot_bew_nusantara_text',
+        'nusaparagraph_emot_bug_nusantara_text',
+        'nusaparagraph_emot_jav_nusantara_text',
+        'nusaparagraph_emot_mad_nusantara_text',
+        'nusaparagraph_emot_mak_nusantara_text',
+        'nusaparagraph_emot_min_nusantara_text',
+        'nusaparagraph_emot_mui_nusantara_text',
+        'nusaparagraph_emot_rej_nusantara_text',
+        'nusaparagraph_emot_sun_nusantara_text',
     ],
     'NusaWrites': [
-        'nusatranslation_senti_nusantara_text',
-        'nusatranslation_emot_nusantara_text',
-        'nusatranslation_mt_nusantara_t2t',
-        'nusaparagraph_emot_nusantara_text',
-        'nusaparagraph_topic_nusantara_text',
-        'nusaparagraph_rhetoric_nusantara_text',    
+        # NusaTranslation Senti
+        'nusatranslation_senti_abs_nusantara_text',
+        'nusatranslation_senti_btk_nusantara_text',
+        'nusatranslation_senti_bew_nusantara_text',
+        'nusatranslation_senti_bhp_nusantara_text',
+        'nusatranslation_senti_jav_nusantara_text',
+        'nusatranslation_senti_mad_nusantara_text',
+        'nusatranslation_senti_mak_nusantara_text',
+        'nusatranslation_senti_min_nusantara_text',
+        'nusatranslation_senti_mui_nusantara_text',
+        'nusatranslation_senti_rej_nusantara_text',
+        'nusatranslation_senti_sun_nusantara_text',
+
+        # NusaTranslation Emot
+        'nusatranslation_emot_abs_nusantara_text',
+        'nusatranslation_emot_btk_nusantara_text',
+        'nusatranslation_emot_bew_nusantara_text',
+        'nusatranslation_emot_bhp_nusantara_text',
+        'nusatranslation_emot_jav_nusantara_text',
+        'nusatranslation_emot_mad_nusantara_text',
+        'nusatranslation_emot_mak_nusantara_text',
+        'nusatranslation_emot_min_nusantara_text',
+        'nusatranslation_emot_mui_nusantara_text',
+        'nusatranslation_emot_rej_nusantara_text',
+        'nusatranslation_emot_sun_nusantara_text',
+
+        # NusaTranslation MT Ind-XXX
+        'nusatranslation_mt_ind_btk_nusantara_t2t',
+        'nusatranslation_mt_ind_bew_nusantara_t2t',
+        'nusatranslation_mt_ind_bug_nusantara_t2t',
+        'nusatranslation_mt_ind_jav_nusantara_t2t',
+        'nusatranslation_mt_ind_mad_nusantara_t2t',
+        'nusatranslation_mt_ind_mak_nusantara_t2t',
+        'nusatranslation_mt_ind_min_nusantara_t2t',
+        'nusatranslation_mt_ind_mui_nusantara_t2t',
+        'nusatranslation_mt_ind_rej_nusantara_t2t',
+        'nusatranslation_mt_ind_sun_nusantara_t2t',
+
+        # NusaTranslation MT XXX-Ind
+        'nusatranslation_mt_btk_ind_nusantara_t2t',
+        'nusatranslation_mt_bew_ind_nusantara_t2t',
+        'nusatranslation_mt_bug_ind_nusantara_t2t',
+        'nusatranslation_mt_jav_ind_nusantara_t2t',
+        'nusatranslation_mt_mad_ind_nusantara_t2t',
+        'nusatranslation_mt_mak_ind_nusantara_t2t',
+        'nusatranslation_mt_min_ind_nusantara_t2t',
+        'nusatranslation_mt_mui_ind_nusantara_t2t',
+        'nusatranslation_mt_rej_ind_nusantara_t2t',
+        'nusatranslation_mt_sun_ind_nusantara_t2t',
+
+        # NusaParagraph Topic
+        'nusaparagraph_topic_btk_nusantara_text',
+        'nusaparagraph_topic_bew_nusantara_text',
+        'nusaparagraph_topic_bug_nusantara_text',
+        'nusaparagraph_topic_jav_nusantara_text',
+        'nusaparagraph_topic_mad_nusantara_text',
+        'nusaparagraph_topic_mak_nusantara_text',
+        'nusaparagraph_topic_min_nusantara_text',
+        'nusaparagraph_topic_mui_nusantara_text',
+        'nusaparagraph_topic_rej_nusantara_text',
+        'nusaparagraph_topic_sun_nusantara_text',
+
+        # NusaParagraph Rhetoric
+        'nusaparagraph_rhetoric_btk_nusantara_text',
+        'nusaparagraph_rhetoric_bew_nusantara_text',
+        'nusaparagraph_rhetoric_bug_nusantara_text',
+        'nusaparagraph_rhetoric_jav_nusantara_text',
+        'nusaparagraph_rhetoric_mad_nusantara_text',
+        'nusaparagraph_rhetoric_mak_nusantara_text',
+        'nusaparagraph_rhetoric_min_nusantara_text',
+        'nusaparagraph_rhetoric_mui_nusantara_text',
+        'nusaparagraph_rhetoric_rej_nusantara_text',
+        'nusaparagraph_rhetoric_sun_nusantara_text',
+
+        # NusaParagraph Emot
+        'nusaparagraph_emot_btk_nusantara_text',
+        'nusaparagraph_emot_bew_nusantara_text',
+        'nusaparagraph_emot_bug_nusantara_text',
+        'nusaparagraph_emot_jav_nusantara_text',
+        'nusaparagraph_emot_mad_nusantara_text',
+        'nusaparagraph_emot_mak_nusantara_text',
+        'nusaparagraph_emot_min_nusantara_text',
+        'nusaparagraph_emot_mui_nusantara_text',
+        'nusaparagraph_emot_rej_nusantara_text',
+        'nusaparagraph_emot_sun_nusantara_text',
     ],
 }