TRUMO12/customs-brand-model

Гаалийн импортын датаас брэнд таних model

Энэ repository нь гаалийн импортын барааны мөрүүдээс брэндийн нэр таамаглахад зориулсан сургасан joblib model агуулна.

Model file:

• brand_model.joblib

Юунд ашиглах вэ?

Энэ model нь бохир, замбараагүй CSV дата дээрх барааны мэдээллээс Брэнд баганыг автоматаар бөглөх зорилготой.

Жишээ ашиглалт:

• Гаалийн импортын CSV цэвэрлэх
• Барааг ангилал, дэд ангилал, бүлэг, брэндээр цэгцлэх
• Power BI / dashboard-д ашиглах master дата бэлтгэх
• Олон мөртэй CSV дээр брэндийг гараар бөглөх ажлыг багасгах

Model ямар багануудыг харж таамагладаг вэ?

Model нь нэг мөрийн олон текстэн талбарыг хамтад нь ашиглаж брэнд таамаглана. Ерөнхийдөө дараах төрлийн баганууд чухал:

• Барааны код
• Код4
• Код6
• Барааны нэр
• Марк
• Брэнд
• Зориулалт
• Гадаад нэр
• Үйлдвэрлэсэн компани
• Санхүүгийн хувьд хариуцагч
• улс / гарал үүслийн мэдээлэл

Жишээ:

Марк = "Shin Ramen 120g"
Үйлдвэрлэсэн компани = "Nongshim Co., Ltd"

Model-ийн зорилго:

Брэнд = "Nongshim"

Simple Cleaner систем дотор хэрхэн ажилладаг вэ?

Энэ model нь simple_cleaner workflow-д ашиглагдаж болно.

Ерөнхий pipeline:

CSV upload
  -> өгөгдөл цэвэрлэх
  -> HS кодоор category шүүх
  -> Ангилал / Дэд ангилал / Бүлэг бөглөх
  -> Брэнд таамаглах
  -> cleaned_predicted.csv export

Одоогийн workflow дээр брэнд таних дараалал:

1. Эхлээд rule / fallback ашиглаж тодорхой брэндийг хурдан олно.
2. Олдохгүй бол сургасан model эсвэл Qwen fallback ашиглан таамаглаж болно.
3. Эргэлзээтэй бол null эсвэл хоосон үлдээнэ.
4. *_null_brands.csv файлд шалгах шаардлагатай мөрүүдийг гаргана.

Python дээр model ачаалах жишээ

joblib file нь шууд estimator эсвэл metadata агуулсан dictionary wrapper байж болно.

import joblib

artifact = joblib.load("brand_model.joblib")

if isinstance(artifact, dict) and "model" in artifact:
    model = artifact["model"]
    feature_columns = artifact.get("feature_columns", [])
else:
    model = artifact
    feature_columns = []

Prediction хийхдээ training үед ашигласан feature бүтэцтэй ижил input өгөх шаардлагатай.

Анхаарах зүйл

joblib / pickle төрлийн file нь Python object deserialize хийдэг. Тиймээс зөвхөн итгэмжлэгдсэн орчинд ачаална.

import joblib
model = joblib.load("brand_model.joblib")

Хязгаарлалт

Энэ model нь ерөнхий хэрэглээний language model биш. Зөвхөн гаалийн импортын барааны дата, түүнтэй төстэй бүтэцтэй CSV дээр сайн ажиллах зорилготой.

Хязгаарлалтууд:

• Training дата дээр байгаагүй шинэ брэнд дээр алдах магадлалтай.
• Барааны нэр, марк, үйлдвэрлэгчийн мэдээлэл дутуу бол таамаг сул болно.
• OCR алдаа, үсгийн алдаа, хэт товчилсон нэршил байвал буруу таних боломжтой.
• Confidence багатай мөрүүдийг хүнээр шалгах хэрэгтэй.

Зөвлөмж

Production workflow-д дараах байдлаар ашиглахыг зөвлөж байна:

brand prediction
  -> confidence шалгах
  -> өндөр confidence бол шууд бөглөх
  -> бага confidence бол null / review list рүү оруулах

Ингэснээр буруу брэндээр автоматаар бөглөгдөх эрсдэл багасна.

Өгөгдлийн нууцлал

Энэ repository-д training CSV дата оруулаагүй. Зөвхөн сургасан model artifact байршуулна.