Fixed technical_specs extraction and updated dataset schema with technical_specs column

app.py

@@ -288,27 +288,27 @@ def extract_technical_specs_from_text(text):
     if not text:
         return ""
     tech_patterns = [
-        r'Kích thước[^:：]*[:：]?\s*(.+?)(?:\n|Kích thước|Chất liệu|Trọng|lượng|Bảo hành|màu sắc|Điện|ánh sáng|Nguồn|dòng sản phẩm|Dòng SP|Dòng|$)',
-        r'Chất liệu[^:：]*[:：]?\s*(.+?)(?:\n|Kích thước|Chất liệu|Trọng|lượng|Bảo hành|màu sắc|$)',
-        r'Trọng lượng[^:：]*[:：]?\s*(.+?)(?:\n|Kích thước|Chất liệu|Trọng|lượng|Bảo hành|màu sắc|$)',
-        r'Chiều rộng[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Chiều dài[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Chiều cao[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Khoảng cách[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Bảo hành[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Màu sắc[^:：]*[:：]?\s*(.+?)(?:\n|$)',
-        r'Trong lượng[^:：]*[:：]?\s*(.+?)(?:\n|$)',
+        (r'Kích thước[^:：]*[:：]?\s*(.+?)(?:;|Chất liệu|Dòng sản phẩm|Bảo hành|Màu sắc|Khoang tủ|Chiều|$)', "Kích thước"),
+        (r'Chất liệu[^:：]*[:：]?\s*(.+?)(?:;|Kích thưỏi|Dòng sản phẩm|Bảo hành|Màu sắc|$)', "Chất liệu"),
+        (r'Dòng sản phẩm[^:：]*[:：]?\s*(.+?)(?:;|Kích thưỏi|Chất liệu|$)', "Dòng sản phẩm"),
+        (r'Chiều rộng tủ[^:：]*[:：]?\s*(.+?)(?:\n|$)', "Chiều rộng tủ"),
+        (r'Khoang tủ[^:：]*[:：]?\s*(.+?)(?:;|Kích thưỏi|Chất liệu|Chiều|$)', "Khoang tủ"),
+        (r'Bảo hành[^:：]*[:：]?\s*(.+?)(?:\n|$)', "Bảo hành"),
+        (r'Trọng lượng[^:：]*[:：]?\s*(.+?)(?:\n|$)', "Trọng lượng"),
+        (r'Màu sắc[^:：]*[:：]?\s*(.+?)(?:\n|$)', "Màu sắc"),
     ]
     specs = []
-    for pattern in tech_patterns:
-        matches = re.findall(pattern, text, re.IGNORECASE | re.DOTALL)
-        for m in matches:
-            spec = m.strip() if isinstance(m, str) else m[0].strip() if m else ""
-            if spec and not _is_nan_value(spec):
-                specs.append(spec)
+    seen = set()
+    for pattern, label in tech_patterns:
+        match = re.search(pattern, text, re.IGNORECASE | re.DOTALL)
+        if match:
+            value = match.group(1).strip()
+            if value and label.lower() not in seen:
+                value = value.rstrip(';').strip()
+                specs.append(f"{label}: {value}")
+                seen.add(label.lower())
     return "\n".join(specs)[:500] if specs else ""
 
-
 def _save_text_message_to_dataset(text, description, price, category, sender_id, sender_name, chat_id):
     """Save a text-only message to the main Zalo products dataset."""
     try: