Skip to content

Hi en fixes #476

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
mayuris-00 wants to merge 1 commit into
base: staging/hi_en_itn_codeswitched
Choose a base branch
from
Open

Hi en fixes #476

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 8 additions & 0 deletions nemo_text_processing/inverse_text_normalization/hi/data/measure/measurements.tsv
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -286,6 +286,14 @@ mi/h मील प्रति घंटा
mi/h मील प्रति घंटे
mi/m मील प्रति मिनट
₹/ac रुपए प्रति एकड़
m/s मीटर प्रति सेकंड
m/s मीटर प्रति सेकेंड
km/s किलोमीटर प्रति सेकंड
m/min मीटर प्रति मिनट
kg/h किलोग्राम प्रति घंटा
kg/h किलोग्राम प्रति घंटे
L/s लीटर प्रति सेकंड
ns नैनोसेकंड
w हफ़्ते
w हफ़्ता
w सप्ताह
Expand Down
4 changes: 4 additions & 0 deletions nemo_text_processing/inverse_text_normalization/hi/data/whitelist/whitelist.tsv
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -5,3 +5,7 @@
श्री. श्रीमान
मा. मास्टर
डॉ. डॉक्टर
प्रो. प्रोफेसर
इंजी. इंजीनियर
पं. पंडित
स्व. स्वर्गीय
5 changes: 3 additions & 2 deletions nemo_text_processing/inverse_text_normalization/hi/taggers/time.py
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -39,8 +39,9 @@ class TimeFst(GraphFst):
def __init__(self, cardinal: GraphFst):
super().__init__(name="time", kind="classify")

hour_graph = cardinal.graph_digit | cardinal.graph_teens_and_ties
time_hours = pynini.union(*[integer_to_devanagari(i) for i in range(1, 25)]).optimize()
zero_graph = pynini.string_file(get_abs_path("data/numbers/zero.tsv")).invert()
hour_graph = cardinal.graph_digit | cardinal.graph_teens_and_ties | zero_graph
time_hours = pynini.union(*[integer_to_devanagari(i) for i in range(0, 25)]).optimize()
hour_graph = hour_graph @ time_hours

cardinal_graph = cardinal.graph_single_digit_with_zero | cardinal.graph_teens_and_ties
Expand Down
52 changes: 52 additions & 0 deletions tests/nemo_text_processing/hi_en/data_inverse_text_normalization/test_cases_address.txt
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -39,3 +39,55 @@ two hundred and fifty four arques avenue~254 arques avenue
मुंबई one one zero zero zero one~मुंबई ११०००१
चेन्नई six zero zero zero zero one~चेन्नई ६००००१
दिल्ली one one zero zero zero one~दिल्ली ११०००१
छह छह हाइफ़न चार पार्कहर्स्ट आर डी~६६-४ पार्कहर्स्ट आर डी
तीन सात चार विलियम एस कैनिंग स्ट्रीट~३७४ विलियम एस कैनिंग स्ट्रीट
तीन तीन सात रसेल स्ट्रीट~३३७ रसेल स्ट्रीट
दो नौ पाँच प्लायमाउथ स्ट्रीट~२९५ प्लायमाउथ स्ट्रीट
एक सात सात पाँच वाशिंगटन स्ट्रीट~१७७५ वाशिंगटन स्ट्रीट
दो आठ शून्य वाशिंगटन स्ट्रीट~२८० वाशिंगटन स्ट्रीट
तीन दो ए नाज़ प्लाज़ा मेरिस रोड~३२ ए नाज़ प्लाज़ा मेरिस रोड
सात शून्य सुखद वैली स्ट्रीट~७० सुखद वैली स्ट्रीट
एक चार सात शून्य एस वाशिंगटन स्ट्रीट~१४७० एस वाशिंगटन स्ट्रीट
सात चार दो मेन स्ट्रीट~७४२ मेन स्ट्रीट
सात दो मुख्य स्ट्रीट~७२ मुख्य स्ट्रीट
दो शून्य शून्य ओटिस स्ट्रीट~२०० ओटिस स्ट्रीट
एक आठ शून्य नॉर्थ किंग स्ट्रीट~१८० नॉर्थ किंग स्ट्रीट
पाँच पाँच पाँच पूर्व मुख्य स्ट्रीट~५५५ पूर्व मुख्य स्ट्रीट
तीन शून्य शून्य कॉलोनी भएक रामघाट रोड~३०० कॉलोनी भएक रामघाट रोड
तीन शून्य एक फॉल्स स्ट्रीट~३०१ फॉल्स स्ट्रीट
एक एक शून्य पाँच बोस्टन रोड~११०५ बोस्टन रोड
एक शून्य शून्य चार्लटन रोड~१०० चार्लटन रोड
तीन तीन तीन मेन स्ट्रीट~३३३ मेन स्ट्रीट
तीन पाँच दो पामर रोड~३५२ पामर रोड
छह दो छह पाँच ब्रॉकपोर्ट स्पेंसरपोर्ट रोड~६२६५ ब्रॉकपोर्ट स्पेंसरपोर्ट रोड
पाँच तीन नौ नौ डब्ल्यू जेनसे स्ट्रीट~५३९९ डब्ल्यू जेनसे स्ट्रीट
तीन एक नौ एक काउंटी रोड एक शून्य~३१९१ काउंटी रोड १०
आठ शून्य छह चार ब्रेवर्टन रोड~८०६४ ब्रेवर्टन रोड
दो एक दो लवाका स्ट्रीट~२१२ लवाका स्ट्रीट
आठ पाँच कुटिल हिल रोड~८५ कुटिल हिल रोड
दो शून्य नौ ट्रॉय रोड~२०९ ट्रॉय रोड
चार बटा पाँच न्यू म्युनिसिपल मार्केट रोड नंबर पाँच और छह सेन्टाक्रूज़ वेस्ट~४/५ न्यू म्युनिसिपल मार्केट रोड नंबर ५ और ६ सेन्टाक्रूज़ वेस्ट
कमला नगर एस जी बर्वे रोड कुर्ला ईस्ट चार शून्य शून्य शून्य दो चार~कमला नगर एस जी बर्वे रोड कुर्ला ईस्ट ४०००२४
एक शून्य चार शून्य एक बेनेट रोड~१०४०१ बेनेट रोड
एक आठ एक आठ राज्य मार्ग तीन~१८१८ राज्य मार्ग ३
चार तीन शून्य शून्य लेकविले रोड~४३०० लेकविले रोड
के दो आठ ग्रीन पार्क एक्सटेंशन~के २८ ग्रीन पार्क एक्सटेंशन
आठ एक हेनली बीच रोड~८१ हेनली बीच रोड
नौ अक्वेटिक रोड परफ्लीट~९ अक्वेटिक रोड परफ्लीट
एक शून्य फ़ॉकनर स्ट्रीट पडलडॉक न्यू साउथ वेल्स~१० फ़ॉकनर स्ट्रीट पडलडॉक न्यू साउथ वेल्स
तीन आठ दो तीन रनीमेडे रोड~३८२३ रनीमेडे रोड
एक शून्य तीन साउथ कैरोलीन स्ट्रीट~१०३ साउथ कैरोलीन स्ट्रीट
एक शून्य शून्य शून्य राज्य मार्ग तीन छह~१००० राज्य मार्ग ३६
एक चार शून्य शून्य काउंटी रोड छह चार~१४०० काउंटी रोड ६४
एक तीन पाँच फेयरग्राउंड मेमोरियल पार्कवे~१३५ फेयरग्राउंड मेमोरियल पार्कवे
एक पाँच क्रीडन स्ट्रीट~१५ क्रीडन स्ट्रीट
नंबर दो एस वी के कॉम्प्लेक्स गनिगरपेट~नंबर २ एस वी के कॉम्प्लेक्स गनिगरपेट
चार नौ सात पाँच ट्रांजिट रोड~४९७५ ट्रांजिट रोड
पाँच सात नौ ट्रॉय हाइफ़न शेंक्टाडी रोड~५७९ ट्रॉय-शेंक्टाडी रोड
एक छह बटा एक सात फ़ोर्थ फ्लोर जवाहर नगर मटरू मंदिर रोड नंबर दो~१६/१७ ४th फ्लोर जवाहर नगर मटरू मंदिर रोड नंबर २
वीया नोलाना तीन सात कोरोडानो~वीया नोलाना ३७ कोरोडानो
चार तीन स्टीफनविले स्ट्रीट~४३ स्टीफनविले स्ट्रीट
सात पाँच शून्य मिडिल कंट्री रोड~७५० मिडिल कंट्री रोड
नंबर तीन छह सेकंड फ्लोर सुपर आठ फेज एक एकबतन टाउन तेहरान एक तीन नौ चार सात~नंबर ३६ २nd फ्लोर सुपर ८ फेज १ एकबतन टाउन तेहरान १३९४७
तीन एक तीन तीन ई मेन स्ट्रीट~३१३३ ई मेन स्ट्रीट
सेकंड फ्लोर नंबर आठ शून्य आठ आजादी स्ट्रीट~२nd फ्लोर नंबर ८०८ आजादी स्ट्रीट
52 changes: 52 additions & 0 deletions tests/nemo_text_processing/hi_en/data_inverse_text_normalization/test_cases_cardinal.txt
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -59,3 +59,55 @@ twenty one crore ninety eight lakh thirty six thousand five hundred and ninety t
दस and twenty~१० and 20
सौ and one hundred~१०० and 100
two hundred और तीन सौ~200 और ३००
चार छक्के चौदह चौके~४ छक्के १४ चौके
छह रन बनाए~६ रन बनाए
नौ छक्के~९ छक्के
पाँच चौके~५ चौके
नौ पॉइंट्स~९ पॉइंट्स
चार मृत अठारह घायल~४ मृत १८ घायल
पाँच गोल मार दिए~५ गोल मार दिए
पाँच गोल~५ गोल
सात केले~७ केले
आठ मैच ड्रॉ~८ मैच ड्रॉ
चार चौके~४ चौके
छह खिलाड़ी आउट~६ खिलाड़ी आउट
वनप्लस आठ प्रो~वनप्लस ८ प्रो
पाँच चार्जर~५ चार्जर
चार ओवर में सत्रह रन~४ ओवर में १७ रन
पाँच चॉकलेट्स नौ टॉफ़िज़~५ चॉकलेट्स ९ टॉफ़िज़
आठ कैच आउट~८ कैच आउट
पाँच विकिट पे दस रन~५ विकिट पे १० रन
छह रन पाँच विकिट~६ रन ५ विकिट
सात बॉल ग्यारह रन~७ बॉल ११ रन
छह चॉकलेट चार टॉफी~६ चॉकलेट ४ टॉफी
पाँच ओवर~५ ओवर
छह गेंद~६ गेंद
श्लोक सात पाठ पंद्रह~श्लोक ७ पाठ १५
पेज नंबर आठ पैराग्राफ छह~पेज नंबर ८ पैराग्राफ ६
छह विकेट~६ विकेट
चैप्टर पाँच सीन छह~चैप्टर ५ सीन ६
छह सवाल पाँच गलत~६ सवाल ५ गलत
छह ड्रॉ सात हार नौ जीत~६ ड्रॉ ७ हार ९ जीत
पाँच बिल्डिंग~५ बिल्डिंग
छह बच्चे~६ बच्चे
पैराग्राफ तेरह लाइन चार~पैराग्राफ १३ लाइन ४
पाँच गड्ढे~५ गड्ढे
आठ बस्ती~८ बस्ती
पाँच बस~५ बस
छह शार्क तीस इन्वेस्टर्स~६ शार्क ३० इन्वेस्टर्स
छह बॉलर~६ बॉलर
लाइन छह पैराग्राफ नौ~लाइन ६ पैराग्राफ ९
कैदी नंबर चार~कैदी नंबर ४
चार डॉक्टर~४ डॉ.
पाठ संख्या चार~पाठ संख्या ४
आठ ओवर~८ ओवर
चार बॉल आठ रन~४ बॉल ८ रन
छह रन~६ रन
छह गोल~६ गोल
छह मैच हारे~६ मैच हारे
नौ मैच जीते~९ मैच जीते
श्लोक छह पाठ नौ~श्लोक ६ पाठ ९
पाठ दस प्रष्ठ चार~पाठ १० प्रष्ठ ४
पाँच जोड़ी जूते~५ जोड़ी जूते
दस ओवर में नौ रन~१० ओवर में ९ रन
आठ रन~८ रन
76 changes: 76 additions & 0 deletions tests/nemo_text_processing/hi_en/data_inverse_text_normalization/test_cases_date.txt
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -35,3 +35,79 @@ january पच्चीस~january २५
दस jan~१० jan
march बीस~march २०
दस march twenty twenty~१० march 2020
एकवी जनवरी~१वी जनवरी
दो हज़ार बीस से दो हज़ार इक्कीस~२०२०-२०२१
दो हज़ार दस से दो हज़ार बीस~२०१०-२०२०
उन्नीस सौ नब्बे से दो हज़ार~१९९०-२०००
अठारह सौ से उन्नीस सौ~१८००-१९००
july twenty fifth two thousand twelve~july 25, 2012
nineteen eighties~1980s
two thousand and twenty~2020
two thousand and nine~2009
the twenty fifth of july two thousand twelve~25 july, 2012
the twenty second of july twenty twelve~22 july, 2012
the seventeenth of may twenty ten~17 may, 2010
march sixteen sixty five~march 1665
sixteen sixty five~1665
july two thousand twelve~july 2012
october nineteen oh five~october 1905
july fifteen o six~july 1506
july one thousand eight hundred seventy six~july 1876
one thousand eight~1008
nineteen seventy six~1976
june twentieth twenty fourteen~june 20, 2014
nineteen seventy three~1973
nineteen seventy five~1975
eleven fifty five~1155
छ: सौ बाईस ईस्वी~६२२ ई.
छ: मई~६ मई
छ: जून~६ जून
छ: मार्च दो हज़ार दस~६ मार्च, २०१०
छ: मार्च उन्नीस सौ नब्बे~६ मार्च, १९९०
छ: अगस्त~६ अगस्त
छ: जनवरी~६ जनवरी
छ: जुलाई~६ जुलाई
छ: तारीख~६ तारीख
छ: नवंबर~६ नवंबर
छ: मार्च~६ मार्च
छ: अप्रैल~६ अप्रैल
छ: दिसंबर~६ दिसंबर
छ: सितंबर~६ सितंबर
मई की दस~मई १०
एक सौ बीस ईसा पूर्व~१२० ई.पू.
मई की तीन तारीख~मई ३ तारीख
मई की तीन~मई ३
नौ तक जाया जाएगा~९ तक जाया जाएगा
मई की तेईस~मई २३
दो सौ बहतर से दो सौ बानवे ईसा पूर्व~२७२-२९२ ई.पू.
सन दो हज़ार आठ में~सन २००८ में
सन दो हज़ार चार~सन २००४
सन दो हज़ार बीस~सन २०२०
सन दो हज़ार तेरह~सन २०१३
सन दो हज़ार बाईस~सन २०२२
मई की अठारह~मई १८
मई की ग्यारह~मई ११
एक मई~१ मई
दस मई~१० मई
दो मई~२ मई
आठ मई~८ मई
नौ मई~९ मई
एक जून~१ जून
दस जून~१० जून
दो जून~२ जून
आठ जून~८ जून
नौ जून~९ जून
दो हजार बाईस की योजना उन्नीस अगस्त~२०२२ की योजना १९ अगस्त
आज चौदह तारीख~आज १४ तारीख
दो हज़ार दस की~२०१० की
आठ मार्च दो हजार चार~८ मार्च, २००४
एक जुलाई दो हजार बाईस~१ जुलाई, २०२२
एक जनवरी दो हजार पच्चीस~१ जनवरी, २०२५
एक जनवरी दो हज़ार सात में~१ जनवरी, २००७ में
नौ जनवरी दो हज़ार बारह में~९ जनवरी, २०१२ में
दो जुलाई दो हज़ार अठारह में~२ जुलाई, २०१८ में
दो मार्च दो हज़ार अठारह~२ मार्च, २०१८
दो हज़ार एक जूनियर वर्ल्ड कप~२००१ जूनियर वर्ल्ड कप
दो तारीख को~२ तारीख को
दो हज़ार सात की बात~२००७ की बात
दो हज़ार तीन से~२००३ से
Loading