Skip to content

Commit

Permalink
Skip unsupported examples for fasttest
Browse files Browse the repository at this point in the history
Note other models still have incorrect answers
  • Loading branch information
computermacgyver committed Sep 25, 2024
1 parent 9e2a281 commit 30bde9b
Showing 1 changed file with 8 additions and 7 deletions.
15 changes: 8 additions & 7 deletions app/test/test_langid.py
Original file line number Diff line number Diff line change
Expand Up @@ -14,18 +14,18 @@
class TestLangidBlueprint(BaseTestCase):
TESTS = [
{ 'fasttext': 'hi', 'cld3': 'hi', 'microsoft': 'hi', 'google': 'hi', 'text': 'नमस्ते मेरा नाम करीम है' },
{ 'fasttext': 'nl', 'cld3': 'hi-Latn', 'microsoft': 'en', 'google': ['hi', 'hi-Latn'], 'text': 'namaste mera naam Karim hai' },
{ 'fasttext': None, 'cld3': 'hi-Latn', 'microsoft': 'en', 'google': ['hi', 'hi-Latn'], 'text': 'namaste mera naam Karim hai' },
{ 'fasttext': 'mr', 'cld3': 'mr', 'microsoft': 'hi', 'google': 'mr', 'text': 'हॅलो माझे नाव करीम आहे' },
{ 'fasttext': 'bn', 'cld3': 'bn', 'microsoft': 'bn', 'google': 'bn', 'text': 'হ্যালো আমার নাম কারিম' },
{ 'fasttext': 'id', 'cld3': 'hi-Latn', 'microsoft': 'id', 'google': ['bn', 'bn-Latn'], 'text': 'hyalo amara nama Karim' },
{ 'fasttext': None, 'cld3': 'hi-Latn', 'microsoft': 'id', 'google': ['bn', 'bn-Latn'], 'text': 'hyalo amara nama Karim' },
{ 'fasttext': 'gu', 'cld3': 'gu', 'microsoft': 'gu', 'google': 'gu', 'text': 'હેલો, મારું નામ કરીમ છે' },
{ 'fasttext': 'it', 'cld3': 'ja-Latn', 'microsoft': 'ms', 'google': ['gu', 'gu-Latn'], 'text': 'helo, marum nama Karim che' },
{ 'fasttext': None, 'cld3': 'ja-Latn', 'microsoft': 'ms', 'google': ['gu', 'gu-Latn'], 'text': 'helo, marum nama Karim che' },
{ 'fasttext': 'ml', 'cld3': 'ml', 'microsoft': 'ml', 'google': 'ml', 'text': 'ഹലോ എന്റെ പേര് കരീം ആണ്' },
{ 'fasttext': 'ta', 'cld3': 'ta', 'microsoft': 'ta', 'google': 'ta', 'text': 'வணக்கம் என் பெயர் கரிம்' },
{ 'fasttext': 'fr', 'cld3': 'id', 'microsoft': 'fr', 'google': ['ta', 'ta-Latn'], 'text': 'vanakkam en peyar Karim' },
{ 'fasttext': None, 'cld3': 'id', 'microsoft': 'fr', 'google': ['ta', 'ta-Latn'], 'text': 'vanakkam en peyar Karim' },
{ 'fasttext': 'te', 'cld3': 'te', 'microsoft': 'te', 'google': 'te', 'text': 'హలో నా పేరు కరీం' },
{ 'fasttext': 'fil', 'cld3': 'fil', 'microsoft': 'tl', 'google': ['fil', 'tl', 'tl-Latn'], 'text': 'kamusta ang aking pangalan ay Karim' },
{ 'fasttext': 'fa', 'cld3': 'ja', 'microsoft': 'und', 'google': 'und', 'text': '🙋🏽👨‍🎤' }
{ 'fasttext': None, 'cld3': 'ja', 'microsoft': 'und', 'google': 'und', 'text': '🙋🏽👨‍🎤' }
]

def setUp(self):
Expand Down Expand Up @@ -79,8 +79,9 @@ def test_langid_cld3(self):

def test_langid_fasttext(self):
for test in TestLangidBlueprint.TESTS:
result = FastTextLangidProvider.langid(test['text'])
self.assertEqual(test['fasttext'], result['result']['language'], test['text'])
if test['fasttext']!=None:
result = FastTextLangidProvider.langid(test['text'])
self.assertEqual(test['fasttext'], result['result']['language'], test['text'])

def test_langid_api_get(self):
response = self.client.post(
Expand Down

0 comments on commit 30bde9b

Please sign in to comment.