Polish merged stopwords

valeriansaliou · Jul 22, 2024 · a2bf0c5 · a2bf0c5
1 parent c21a3b8
commit a2bf0c5
Show file tree

Hide file tree

Showing 2 changed files with 108 additions and 108 deletions.
diff --git a/README.md b/README.md
@@ -267,14 +267,15 @@ Sonic supports a wide range of languages in its lexing system. If a language is
 * 🏳 Latin
 * 🇱🇻 Latvian
 * 🇱🇹 Lithuanian
+* 🇮🇳 Malayalam
 * 🇮🇳 Marathi
 * 🇳🇵 Nepali
 * 🇮🇷 Persian
 * 🇵🇱 Polish
 * 🇵🇹 Portuguese
 * 🇮🇳 Punjabi
 * 🇷🇺 Russian
-* 🇷🇸 Serbian (latin)
+* 🇷🇸 Serbian
 * 🇸🇰 Slovak
 * 🇸🇮 Slovene
 * 🇪🇸 Spanish

diff --git a/src/stopwords/mal.rs b/src/stopwords/mal.rs
@@ -4,7 +4,6 @@
 // Copyright: 2019, Valerian Saliou <valerian@valeriansaliou.name>
 // License: Mozilla Public License v2.0 (MPL v2.0)
 
-// Notice: we do not have stopwords for this language yet.
 pub static STOPWORDS_MAL: &[&str] = &[
     "കാണാന്‍",
     "നിന്ന്",
@@ -15,110 +14,110 @@ pub static STOPWORDS_MAL: &[&str] = &[
     "ഈ",
     "കൂടുതല്‍",
     "താങ്കള്‍",
-    "എന്നാല്", 
-    "അതിനു", 
-    "ശേഷം", 
-    "ചെയ്യുന്നു", 
-    "ഇവിടത്തെ", 
-    "വേണ്ടി", 
-    "ഏറ്റവും", 
-    "ഇതില്", 
-    "വേണ്ടിയും", 
-    "ആണ്", 
-    "സ്ഥിതിചെയ്യുന്നു", 
-    "സ്ഥിതി", 
-    "സ്ഥിതിചെയ്യുന്ന", 
-    "ചെയ്യണം", 
-    "നമ്മുടെ", 
-    "ഇപ്പോള്", 
-    "ഒരു", 
-    "തന്റെ", 
-    "ചെയ്യുന്ന", 
-    "എന്ന", 
-    "ചെയ്യുന്നത്", 
-    "ഉണ്ട്", 
-    "മുന്‍പ്", 
-    "മുമ്പ്", 
-    "കൂടെ", 
-    "ചേര്‍ത്തു", 
-    "ഇപ്രകാരം", 
-    "എന്നിവയുടെ", 
-    "കഴിയും", 
-    "എന്നീ", 
-    "ഇതാണ്", 
-    "വളരെ", 
-    "കാരണം", 
-    "ഇവിടത്തെ", 
-    "എപ്പോഴും", 
-    "കൊണ്ട്", 
-    "നല്ല", 
-    "ധാരാളം", 
-    "എപ്പോഴും", 
-    "ഇവ", 
-    "കാരണം", 
-    "ഇതു", 
-    "മാത്രമല്ല", 
-    "മറ്റു", 
-    "എന്നിവ", 
-    "കൂടിയാണ്", 
-    "ഇടയില്", 
-    "ഇല്ല", 
-    "എന്നാണ്", 
-    "എന്നു", 
-    "കുറച്ച്", 
-    "അതായത്", 
-    "എന്തെന്നാല്", 
-    "എന്നറിയപ്പെടുന്നു", 
-    "കിടക്കുന്ന", 
-    "പോയാല്", 
-    "ഇത്", 
-    "എല്ലാ", 
-    "വേണ്ടി", 
-    "ഇവിടെ", 
-    "വരുന്നു", 
-    "പോലുള്ള", 
-    "വലിയ", 
-    "പറഞ്ഞ്", 
-    "ഇതിനെ", 
-    "കൊടുത്തിട്ടും", 
-    "എന്ന്", 
-    "വേണം", 
-    "ഒരുപോലെ", 
-    "ഒരു പോലെ", 
-    "കാര്യമാണ്", 
-    "കഴിയുന്നു", 
-    "വളരെ", 
-    "അധികം", 
-    "വളരെ അധികം", 
-    "വളരെയധികം", 
-    "പോയി", 
-    "ഉണ്ടാകുന്നുണ്ട്", 
-    "പക്ഷേ", 
-    "അതേ", 
-    "കൊണ്ട്", 
-    "ഏത്", 
-    "നിന്നും", 
-    "എത്താന്‍", 
-    "അടുത്ത്", 
-    "ആയി", 
-    "എന്നു പറയുന്നു", 
-    "ഇപ്പോൾ", 
-    "ഏകദേശം", 
-    "എന്നുപറയുന്നു", 
-    "കാണാൻ", 
-    "ആ", 
-    "വിവിധ", 
-    "ഇതിന്റെ", 
-    "നിന്നു", 
-    "ഇതിന്", 
-    "അടുത്ത", 
-    "അടുത്തുള്ള", 
-    "പല", 
-    "പ്രധാന", 
-    "നിലനിൽക്കുന്ന", 
-    "നിലനിൽക്കുന്നത്", 
-    "മുതലായവ", 
-    "മുതലായവക്ക്", 
-    "വേണ്ട", 
-    "പ്രാധാന്യം"
+    "എന്നാല്",
+    "അതിനു",
+    "ശേഷം",
+    "ചെയ്യുന്നു",
+    "ഇവിടത്തെ",
+    "വേണ്ടി",
+    "ഏറ്റവും",
+    "ഇതില്",
+    "വേണ്ടിയും",
+    "ആണ്",
+    "സ്ഥിതിചെയ്യുന്നു",
+    "സ്ഥിതി",
+    "സ്ഥിതിചെയ്യുന്ന",
+    "ചെയ്യണം",
+    "നമ്മുടെ",
+    "ഇപ്പോള്",
+    "ഒരു",
+    "തന്റെ",
+    "ചെയ്യുന്ന",
+    "എന്ന",
+    "ചെയ്യുന്നത്",
+    "ഉണ്ട്",
+    "മുന്‍പ്",
+    "മുമ്പ്",
+    "കൂടെ",
+    "ചേര്‍ത്തു",
+    "ഇപ്രകാരം",
+    "എന്നിവയുടെ",
+    "കഴിയും",
+    "എന്നീ",
+    "ഇതാണ്",
+    "വളരെ",
+    "കാരണം",
+    "ഇവിടത്തെ",
+    "എപ്പോഴും",
+    "കൊണ്ട്",
+    "നല്ല",
+    "ധാരാളം",
+    "എപ്പോഴും",
+    "ഇവ",
+    "കാരണം",
+    "ഇതു",
+    "മാത്രമല്ല",
+    "മറ്റു",
+    "എന്നിവ",
+    "കൂടിയാണ്",
+    "ഇടയില്",
+    "ഇല്ല",
+    "എന്നാണ്",
+    "എന്നു",
+    "കുറച്ച്",
+    "അതായത്",
+    "എന്തെന്നാല്",
+    "എന്നറിയപ്പെടുന്നു",
+    "കിടക്കുന്ന",
+    "പോയാല്",
+    "ഇത്",
+    "എല്ലാ",
+    "വേണ്ടി",
+    "ഇവിടെ",
+    "വരുന്നു",
+    "പോലുള്ള",
+    "വലിയ",
+    "പറഞ്ഞ്",
+    "ഇതിനെ",
+    "കൊടുത്തിട്ടും",
+    "എന്ന്",
+    "വേണം",
+    "ഒരുപോലെ",
+    "ഒരു പോലെ",
+    "കാര്യമാണ്",
+    "കഴിയുന്നു",
+    "വളരെ",
+    "അധികം",
+    "വളരെ അധികം",
+    "വളരെയധികം",
+    "പോയി",
+    "ഉണ്ടാകുന്നുണ്ട്",
+    "പക്ഷേ",
+    "അതേ",
+    "കൊണ്ട്",
+    "ഏത്",
+    "നിന്നും",
+    "എത്താന്‍",
+    "അടുത്ത്",
+    "ആയി",
+    "എന്നു പറയുന്നു",
+    "ഇപ്പോൾ",
+    "ഏകദേശം",
+    "എന്നുപറയുന്നു",
+    "കാണാൻ",
+    "ആ",
+    "വിവിധ",
+    "ഇതിന്റെ",
+    "നിന്നു",
+    "ഇതിന്",
+    "അടുത്ത",
+    "അടുത്തുള്ള",
+    "പല",
+    "പ്രധാന",
+    "നിലനിൽക്കുന്ന",
+    "നിലനിൽക്കുന്നത്",
+    "മുതലായവ",
+    "മുതലായവക്ക്",
+    "വേണ്ട",
+    "പ്രാധാന്യം",
 ];