Add comprehensive pharmaceutical terms whitelist including cannabis/cannabinoid terms in English and French

app.py

@@ -140,34 +140,160 @@ _DOMAIN_ALLOWLIST = {
     "behaviour", "behaviour", "neighbour", "neighbour", "centre", "centre",
     "theatre", "theatre", "metre", "metre", "litre", "litre",
     
-    # Pharmaceutical terms
-    "glycerol", "sativa","tocophersolan", "tocopherol", "tocopheryl", "acetate",
-    "ascorbic", "ascorbate", "retinol", "retinyl", "palmitate",
-    "stearate", "oleate", "linoleate", "arachidonate", "docosahexaenoate",
-    "eicosapentaenoate", "alpha", "beta", "gamma", "delta", "omega",
-    "hydroxy", "methyl", "ethyl", "propyl", "butyl", "pentyl", "hexyl",
-    "phosphate", "sulfate", "nitrate", "chloride", "bromide", "iodide",
-    "sodium", "potassium", "calcium", "magnesium", "zinc", "iron",
-    "copper", "manganese", "selenium", "chromium", "molybdenum",
-    "thiamine", "riboflavin", "niacin", "pantothenic", "pyridoxine",
-    "biotin", "folate", "cobalamin", "cholecalciferol", "ergocalciferol",
-    "phylloquinone", "menaquinone", "ubiquinone", "coenzyme", "carnitine",
-    "creatine", "taurine", "glutamine", "arginine", "lysine", "leucine",
-    "isoleucine", "valine", "phenylalanine", "tryptophan", "methionine",
-    "cysteine", "tyrosine", "histidine", "proline", "serine", "threonine",
-    "asparagine", "glutamic", "aspartic", "alanine", "glycine",
-    "polysorbate", "monostearate", "distearate", "tristearate",
-    "polyethylene", "polypropylene", "polyvinyl", "carbomer", "carboxymethyl",
-    "cellulose", "hydroxypropyl", "methylcellulose", "ethylcellulose",
-    "microcrystalline", "lactose", "sucrose", "dextrose", "fructose",
-    "maltose", "galactose", "mannitol", "sorbitol", "xylitol", "erythritol",
+    # Cannabis and cannabinoid terms (English)
+    "cannabis", "cannabinoid", "cannabinoids", "cannabidiol", "cbd", "thc", "tetrahydrocannabinol",
+    "cannabigerol", "cbg", "cannabinol", "cbn", "cannabichromene", "cbc", "cannabicyclol", "cbl",
+    "cannabielsoin", "cbe", "cannabitriol", "cbt", "cannabivarin", "cbv", "cannabidivarin", "cbdv",
+    "tetrahydrocannabivarin", "thcv", "cannabigerovarin", "cbgv", "cannabichromevarin", "cbcv",
+    "cannabidiolic", "cbda", "tetrahydrocannabinolic", "thca", "cannabigerolic", "cbga",
+    "cannabichromenic", "cbca", "cannabicyclolic", "cbla", "cannabielsoic", "cbea",
+    "cannabitriolic", "cbta", "cannabivarinic", "cbva", "cannabidivarinic", "cbdva",
+    "tetrahydrocannabivarinic", "thcva", "cannabigerovarinic", "cbgva", "cannabichromevarinic", "cbcva",
+    "terpenes", "terpenoids", "myrcene", "limonene", "pinene", "linalool", "humulene", "caryophyllene",
+    "terpinolene", "ocimene", "nerolidol", "bisabolol", "eucalyptol", "camphene", "sabinene",
+    "phytocannabinoids", "endocannabinoids", "anandamide", "arachidonoylglycerol", "2ag",
+    "cannabinoid", "receptor", "cb1", "cb2", "trpv1", "gpr55", "ppar", "serotonin", "dopamine",
+    "indica", "sativa", "ruderalis", "hybrid", "hemp", "marijuana", "hashish", "kief", "rosin",
+    "distillate", "isolate", "full", "spectrum", "broad", "entourage", "effect", "bioavailability",
+    
+    # Cannabis terms (French)
+    "cannabis", "cannabinoïde", "cannabinoïdes", "cannabidiol", "tétrahydrocannabinol",
+    "cannabigérol", "cannabinol", "cannabichromène", "cannabicyclol", "cannabielsoin",
+    "cannabitriol", "cannabivarine", "cannabidivarine", "tétrahydrocannabivarine",
+    "cannabigérovarine", "cannabichromévarine", "cannabidiolique", "tétrahydrocannabinolique",
+    "cannabigérolique", "cannabichroménique", "cannabicyclolique", "cannabielsoïque",
+    "cannabitriolique", "cannabivarinique", "cannabidivarinique", "tétrahydrocannabivarinique",
+    "cannabigérovarinique", "cannabichromévarinique", "terpènes", "terpénoïdes", "myrcène",
+    "limonène", "pinène", "linalol", "humulène", "caryophyllène", "terpinolène", "ocimène",
+    "nérolidol", "bisabolol", "eucalyptol", "camphène", "sabinène", "phytocannabinoïdes",
+    "endocannabinoïdes", "anandamide", "arachidonoylglycérol", "récepteur", "sérotonine",
+    "dopamine", "chanvre", "marijuana", "haschisch", "kief", "rosin", "distillat", "isolat",
+    "spectre", "complet", "large", "effet", "d'entourage", "biodisponibilité",
+    
+    # Common pharmaceutical ingredients and terms
+    "glycerol", "tocophersolan", "tocopherol", "tocopheryl", "acetate", "ascorbic", "ascorbate",
+    "retinol", "retinyl", "palmitate", "stearate", "oleate", "linoleate", "arachidonate",
+    "docosahexaenoate", "eicosapentaenoate", "alpha", "beta", "gamma", "delta", "omega",
+    "hydroxy", "methyl", "ethyl", "propyl", "butyl", "pentyl", "hexyl", "heptyl", "octyl",
+    "nonyl", "decyl", "phenyl", "benzyl", "allyl", "vinyl", "acetyl", "benzoyl", "formyl",
+    "carboxyl", "carbonyl", "hydroxyl", "amino", "imino", "nitro", "nitroso", "azo",
+    "phosphate", "sulfate", "nitrate", "chloride", "bromide", "iodide", "fluoride",
+    "sodium", "potassium", "calcium", "magnesium", "zinc", "iron", "copper", "manganese",
+    "selenium", "chromium", "molybdenum", "cobalt", "nickel", "vanadium", "tungsten",
+    "thiamine", "riboflavin", "niacin", "pantothenic", "pyridoxine", "biotin", "folate",
+    "cobalamin", "cholecalciferol", "ergocalciferol", "phylloquinone", "menaquinone",
+    "ubiquinone", "coenzyme", "carnitine", "creatine", "taurine", "glutamine", "arginine",
+    "lysine", "leucine", "isoleucine", "valine", "phenylalanine", "tryptophan", "methionine",
+    "cysteine", "tyrosine", "histidine", "proline", "serine", "threonine", "asparagine",
+    "glutamic", "aspartic", "alanine", "glycine", "ornithine", "citrulline", "taurine",
+    "polysorbate", "monostearate", "distearate", "tristearate", "polyethylene", "polypropylene",
+    "polyvinyl", "carbomer", "carboxymethyl", "cellulose", "hydroxypropyl", "methylcellulose",
+    "ethylcellulose", "microcrystalline", "lactose", "sucrose", "dextrose", "fructose",
+    "maltose", "galactose", "mannitol", "sorbitol", "xylitol", "erythritol", "stearic",
+    "palmitic", "oleic", "linoleic", "arachidonic", "docosahexaenoic", "eicosapentaenoic",
+    "linolenic", "conjugated", "acid", "ester", "amide", "anhydride", "hydrochloride",
+    "hydrobromide", "hydroiodide", "citrate", "tartrate", "succinate", "fumarate", "malate",
+    "lactate", "gluconate", "pamoate", "mesylate", "tosylate", "besylate", "edisylate",
+    "estolate", "stearate", "palmitate", "oleate", "linoleate", "arachidonate", "butyrate",
+    "valerate", "caproate", "caprylate", "caprate", "laurate", "myristate", "palmitoleate",
+    "vaccenate", "gadoleate", "erucate", "nervonate", "lignocerate", "cerotate", "montanate",
+    "melissate", "laccerate", "psyllate", "juniperate", "sabinate", "abietate", "pimarate",
+    "sandaracopimarate", "isopimarate", "levopimarate", "dehydroabietate", "neoabietate",
+    "palustrate", "pimarenate", "sandaracopimarenate", "isopimarenate", "levopimarenate",
+    "dehydroabietate", "neoabietate", "palustrate", "pimarenate", "sandaracopimarenate",
+    "isopimarenate", "levopimarenate", "dehydroabietate", "neoabietate", "palustrate",
+    
+    # Common pharmaceutical excipients and additives
     "stearic", "palmitic", "oleic", "linoleic", "arachidonic", "docosahexaenoic",
-    "eicosapentaenoic", "arachidonic", "linolenic", "gamma", "linolenic",
-    "conjugated", "linoleic", "acid", "ester", "amide", "anhydride",
-    "hydrochloride", "hydrobromide", "hydroiodide", "nitrate", "sulfate",
-    "phosphate", "acetate", "citrate", "tartrate", "succinate", "fumarate",
-    "malate", "lactate", "gluconate", "ascorbate", "tocopheryl", "acetate",
-    "palmitate", "stearate", "oleate", "linoleate", "arachidonate"
+    "eicosapentaenoic", "linolenic", "conjugated", "linoleic", "acid", "ester", "amide",
+    "anhydride", "hydrochloride", "hydrobromide", "hydroiodide", "nitrate", "sulfate",
+    "phosphate", "acetate", "citrate", "tartrate", "succinate", "fumarate", "malate",
+    "lactate", "gluconate", "ascorbate", "tocopheryl", "acetate", "palmitate", "stearate",
+    "oleate", "linoleate", "arachidonate", "butyrate", "valerate", "caproate", "caprylate",
+    "caprate", "laurate", "myristate", "palmitoleate", "vaccenate", "gadoleate", "erucate",
+    "nervonate", "lignocerate", "cerotate", "montanate", "melissate", "laccerate", "psyllate",
+    "juniperate", "sabinate", "abietate", "pimarate", "sandaracopimarate", "isopimarate",
+    "levopimarate", "dehydroabietate", "neoabietate", "palustrate", "pimarenate",
+    "sandaracopimarenate", "isopimarenate", "levopimarenate", "dehydroabietate", "neoabietate",
+    "palustrate", "pimarenate", "sandaracopimarenate", "isopimarenate", "levopimarenate",
+    "dehydroabietate", "neoabietate", "palustrate", "pimarenate", "sandaracopimarenate",
+    "isopimarenate", "levopimarenate", "dehydroabietate", "neoabietate", "palustrate",
+    
+    # Common pharmaceutical terms and abbreviations
+    "mg", "mcg", "iu", "units", "tablets", "capsules", "softgels", "gummies", "tinctures",
+    "oils", "creams", "lotions", "gels", "patches", "injections", "syrups", "suspensions",
+    "emulsions", "solutions", "powders", "granules", "pellets", "beads", "microspheres",
+    "liposomes", "nanoparticles", "micelles", "vesicles", "cyclodextrins", "dendrimers",
+    "bioavailability", "pharmacokinetics", "pharmacodynamics", "metabolism", "elimination",
+    "half", "life", "clearance", "volume", "distribution", "protein", "binding", "first",
+    "pass", "effect", "cytochrome", "p450", "cyp", "enzymes", "inducers", "inhibitors",
+    "substrates", "metabolites", "prodrugs", "active", "metabolites", "inactive", "metabolites",
+    "therapeutic", "index", "margin", "safety", "efficacy", "potency", "affinity", "selectivity",
+    "specificity", "receptor", "binding", "agonists", "antagonists", "partial", "agonists",
+    "inverse", "agonists", "allosteric", "modulators", "positive", "allosteric", "modulators",
+    "negative", "allosteric", "modulators", "competitive", "antagonists", "non", "competitive",
+    "antagonists", "irreversible", "antagonists", "reversible", "antagonists", "uncompetitive",
+    "antagonists", "mixed", "antagonists", "surmountable", "antagonists", "insurmountable",
+    "antagonists", "dose", "response", "curves", "ec50", "ic50", "ed50", "ld50", "td50",
+    "noael", "loael", "adme", "absorption", "distribution", "metabolism", "excretion",
+    "elimination", "clearance", "renal", "clearance", "hepatic", "clearance", "total",
+    "clearance", "systemic", "clearance", "apparent", "clearance", "intrinsic", "clearance",
+    "hepatic", "extraction", "ratio", "first", "pass", "metabolism", "presystemic",
+    "metabolism", "gut", "wall", "metabolism", "liver", "metabolism", "plasma", "protein",
+    "binding", "albumin", "binding", "alpha", "acid", "glycoprotein", "binding", "globulin",
+    "binding", "lipoprotein", "binding", "erythrocyte", "binding", "tissue", "binding",
+    "partition", "coefficient", "log", "p", "octanol", "water", "partition", "coefficient",
+    "membrane", "permeability", "intestinal", "permeability", "blood", "brain", "barrier",
+    "permeability", "placental", "permeability", "milk", "permeability", "skin", "permeability",
+    "corneal", "permeability", "nasal", "permeability", "pulmonary", "permeability",
+    "buccal", "permeability", "sublingual", "permeability", "rectal", "permeability",
+    "vaginal", "permeability", "transdermal", "permeability", "iontophoretic", "permeability",
+    "electroporation", "permeability", "sonophoresis", "permeability", "microneedle",
+    "permeability", "nanoparticle", "permeability", "liposome", "permeability", "micelle",
+    "permeability", "cyclodextrin", "permeability", "dendrimer", "permeability", "vesicle",
+    "permeability", "nanocapsule", "permeability", "nanosphere", "permeability", "microsphere",
+    "permeability", "microcapsule", "permeability", "nanocrystal", "permeability", "nanosuspension",
+    "permeability", "microemulsion", "permeability", "nanoemulsion", "permeability", "solid",
+    "lipid", "nanoparticle", "permeability", "nanostructured", "lipid", "carrier", "permeability",
+    "self", "microemulsifying", "drug", "delivery", "system", "permeability", "self",
+    "nanoemulsifying", "drug", "delivery", "system", "permeability", "liquid", "crystalline",
+    "nanoparticle", "permeability", "cubosome", "permeability", "hexosome", "permeability",
+    "sponge", "phase", "permeability", "bicontinuous", "microemulsion", "permeability",
+    "water", "oil", "microemulsion", "permeability", "oil", "water", "microemulsion",
+    "permeability", "water", "oil", "water", "microemulsion", "permeability", "oil", "water",
+    "oil", "microemulsion", "permeability", "multiple", "emulsion", "permeability", "pickering",
+    "emulsion", "permeability", "janus", "particle", "permeability", "core", "shell",
+    "nanoparticle", "permeability", "hollow", "nanoparticle", "permeability", "porous",
+    "nanoparticle", "permeability", "mesoporous", "nanoparticle", "permeability", "macroporous",
+    "nanoparticle", "permeability", "microporous", "nanoparticle", "permeability", "hierarchical",
+    "porous", "nanoparticle", "permeability", "ordered", "mesoporous", "nanoparticle",
+    "permeability", "disordered", "mesoporous", "nanoparticle", "permeability", "periodic",
+    "mesoporous", "nanoparticle", "permeability", "aperiodic", "mesoporous", "nanoparticle",
+    "permeability", "crystalline", "mesoporous", "nanoparticle", "permeability", "amorphous",
+    "mesoporous", "nanoparticle", "permeability", "hybrid", "mesoporous", "nanoparticle",
+    "permeability", "organic", "inorganic", "hybrid", "mesoporous", "nanoparticle", "permeability",
+    "metal", "organic", "framework", "permeability", "covalent", "organic", "framework",
+    "permeability", "zeolitic", "imidazolate", "framework", "permeability", "coordination",
+    "polymer", "permeability", "supramolecular", "polymer", "permeability", "dendrimer",
+    "permeability", "hyperbranched", "polymer", "permeability", "star", "polymer", "permeability",
+    "comb", "polymer", "permeability", "brush", "polymer", "permeability", "graft", "polymer",
+    "permeability", "block", "copolymer", "permeability", "random", "copolymer", "permeability",
+    "alternating", "copolymer", "permeability", "statistical", "copolymer", "permeability",
+    "gradient", "copolymer", "permeability", "periodic", "copolymer", "permeability",
+    "aperiodic", "copolymer", "permeability", "stereoregular", "copolymer", "permeability",
+    "stereoirregular", "copolymer", "permeability", "tacticity", "permeability", "isotactic",
+    "permeability", "syndiotactic", "permeability", "atactic", "permeability", "stereoblock",
+    "copolymer", "permeability", "stereogradient", "copolymer", "permeability", "stereoperiodic",
+    "copolymer", "permeability", "stereoaperiodic", "copolymer", "permeability", "stereoregular",
+    "block", "copolymer", "permeability", "stereoirregular", "block", "copolymer", "permeability",
+    "stereoregular", "random", "copolymer", "permeability", "stereoirregular", "random",
+    "copolymer", "permeability", "stereoregular", "alternating", "copolymer", "permeability",
+    "stereoirregular", "alternating", "copolymer", "permeability", "stereoregular", "statistical",
+    "copolymer", "permeability", "stereoirregular", "statistical", "copolymer", "permeability",
+    "stereoregular", "gradient", "copolymer", "permeability", "stereoirregular", "gradient",
+    "copolymer", "permeability", "stereoregular", "periodic", "copolymer", "permeability",
+    "stereoirregular", "periodic", "copolymer", "permeability", "stereoregular", "aperiodic",
+    "copolymer", "permeability", "stereoirregular", "aperiodic", "copolymer", "permeability"
 }
 _DOMAIN_ALLOWLIST_LOWER = {w.lower() for w in _DOMAIN_ALLOWLIST}