Update make_data.py

make_data.py

@@ -1,48 +1,14 @@
-import pandas as pd
-from sklearn.model_selection import train_test_split
-
-
-DATA_PATH = "hbl_nadra_clean.csv"
-
-# ============================================================
-# LIMIT ROWS FOR EXPERIMENTS
-# Set to None for full dataset
-# Example: 50000 for testing
-# ============================================================
-LIMIT_ROWS = None
-
-
-df = pd.read_csv(DATA_PATH)
-
-
-if LIMIT_ROWS:
-    df = df.head(LIMIT_ROWS)
-
-
-print("Total rows:", len(df))
-
-
-# ============================================================
-# TRAIN / VALIDATION / TEST SPLIT
-# 95% train
-# 3% validation
-# 2% test
-# ============================================================
-
-train_df, temp_df = train_test_split(
-    df,
-    test_size=0.05,
-    random_state=42
-)
-
-
-val_df, test_df = train_test_split(
-    temp_df,
-    test_size=0.40,
-    random_state=42
-)
-
-
-print("Train:", len(train_df))
-print("Validation:", len(val_df))
-print("Test:", len(test_df))
+urdu,roman
+ریاض حُسین|سرفراز|سرفراز|گلی/ محلہ لال خیل،ڈاک خانہ کوٹ جائی،کھرو والی،تحصیل پہاڑ پور،ضلع ڈیرہ اسماعیل خان|گلی/ محلہ لال خیل،ڈاک خانہ کوٹ جائی،کھرو والی،تحصیل پہاڑ پور،ضلع ڈیرہ اسماعیل خان|ڈیرہ اسماعیل خان,RIAZ HUSSAIN|SARFRAZ|SARFRAZ|GALI MOHALA LAL KHAIL POST OFFICE KOT JAI KHARO WALI TEHSIL PAHARR PUR DISTRICT DERA ISMAIL KHAN|GALI MOHALA LAL KHAIL POST OFFICE KOT JAI KHARO WALI TEHSIL PAHARR PUR DISTRICT DERA ISMAIL KHAN|DERA ISMAIL KHAN
+"دلیپ کمار|کرشن کمار|کرشن کمار|مکان نمبر B-19?محلہ راجڑکالونی نزدنیوسبزی منڈی?میرپور خاص?ضلع میر پور خاص|گوٹھ حاجی وینھل پنھور?ڈاک خانہ پرانی میرپور?دیہہ نمبر 118?تحصیل میرپور خاص?ضلع میر پور خاص|میرپور خاص,میر پور خاص",DALEEP KUMAR|KRISHAN KUMAR|KRISHAN KUMAR|HOUSE NUMBER B19 MOHALA RAJAR COLONY NUZD NEW SABZI MANDI MIRPUR KHAS DISTRICT MEER PUR KHAS|GOTH HAJI VENHAL PANHWAR POST OFFICE PURANI MIRPUR DEHA NUMBER 118 TEHSIL MIRPUR KHAS DISTRICT MEER PUR KHAS|MIRPUR KHAS MEER PUR KHAS
+سچومل|اڌو مل|اڌو مل|مکان نمبر Z-66-A،گلی/ محلہ قائم خاني پاڙو،کپرو،ضلع سانگھڙ|مکان نمبر Z-66-A،گلی/ محلہ قائم خاني پاڙو،کپرو،ضلع سانگھڙ|شڪارپور,SACHO MILL|ADHO MAL|ADHO MAL|HOUSE NUMBER Z66A GALI MOHALA QAIM KHANI PARO KUPRO DISTRICT SANGHAR|HOUSE NUMBER Z66A GALI MOHALA QAIM KHANI PARO KUPRO DISTRICT SANGHAR|SHIKARPUR
+"مدیحہ نورین|محمد ناصر اشرف|محمد ناصر اشرف|ڈاک خانہ خاص،دھریالہ جالپ،تحصیل پنڈ دادن خان،ضلع جہلم|ڈاک خانہ خاص،دھریالہ جالپ،تحصیل پنڈ دادن خان،ضلع جہلم|پنڈ دادن خان,جہلم",MADEEHA NOREEN|MUHAMMAD NASIR ASHRAF|MUHAMMAD NASIR ASHRAF|POST OFFICE KHAS DHARYALA JALAP TEHSIL PIND DADAN KHAN DISTRICT JHELUM|POST OFFICE KHAS DHARYALA JALAP TEHSIL PIND DADAN KHAN DISTRICT JHELUM|PIND DADAN KHAN JHELUM
+"خالد محمود|رحمت علی|رحمت علی|نزد مسجد ڈیفنس روڈ،محلہ گلشن توحید ٹاؤن،سیالکوٹ|ڈاک خانہ خاص،چک رندہاوہ،تحصیل پسرور،ضلع سیالکوٹ|سیالکوٹ,سیالکوٹ",KHALID MEHMOOD|REHMAT ALI|REHMAT ALI|NAZD MASJID DEFENCE ROAD MOHALA GULSHAN TOUHEED TOWN SIALKOT|DAAK KHANA KHAS CHAK RANDHAWA TEHSIL PASROOR DISTRICT SIALKOT|SIALKOT SIALKOT
+محمد صابر بھٹی|محمد مالک بھٹی|محمد مالک بھٹی|عید گاہ ڈاکخانہ سعیلہ?جہلم|ڈاک خانہ سعیلہ?عیدگاہ?تحصیل جہلم?ضلع جہلم|جہلم,MUHAMMAD SABIR BHATTI|MUHAMMAD MALIK BHATTI|MUHAMMAD MALIK BHATTI|EID GAH POST OFFICE SAEELA JHELUM|DAAK KHANA SAEELA EIDGAH TEHSIL JHELUM DISTRICT JHELUM|JHELUM
+"حمزہ شوکت|شوکت علی|شوکت علی|مکان نمبر 40/a، سٹریٹ نمبر 7/بی فیض سٹریٹ،محلہ کوٹ کمبوہ خورد بند روڈ،لاہور|محلہ شہاب ٹاؤن بند روڈ،لاہور|لاہور,لاہور",HAMZA SHAUKAT|SHAUKAT ALI|SHAUKAT ALI|HOUSE NUMBER 40A GALI NUMBER 7 B FAIZ GALI MOHALA KOT KAMBOH KHURD BUND ROAD LAHORE|MOHALA SHAHAB TOWN BUND ROAD LAHORE|LAHORE
+"ماہ نور|امتیاز احمد|امتیاز احمد|سٹریٹ نمبر 2،ڈیفنس روڈ نزد شہاب پھاٹک،محلہ حیدر ٹاؤن،سیالکوٹ|سٹریٹ نمبر 2،ڈیفنس روڈ نزد شہاب پھاٹک،محلہ حیدر ٹاؤن،سیالکوٹ|سیالکوٹ,سیالکوٹ",MAH NOOR|IMTIAZ AHMED|IMTIAZ AHMED|GALI NUMBER 2 DEFENCE ROAD NAZD SHAHAB PHATAK MOHALA HAIDER TOWN SIALKOT|GALI NUMBER 2 DEFENCE ROAD NAZD SHAHAB PHATAK MOHALA HAIDER TOWN SIALKOT|SIALKOT SIALKOT
+"ممتاز قیصر|الله داد|الله داد|گلشن مہر علی فیز 2،عبدا لحکیم،تحصیل کبیر والا،ضلع خانیوال|گلشن مہر علی فیز 2،عبدا لحکیم،تحصیل کبیر والا،ضلع خانیوال|میاں چنوں,خانیوال",MUMTAZ QAISAR|AL LAHDAD|AL LAHDAD|GULSHAN MEHAR ALI PHASE 2 ABIDA LAHAKEEM TEHSIL KABEER WALA DISTRICT KHANEWAL|GULSHAN MEHAR ALI PHASE 2 ABIDA LAHAKEEM TEHSIL KABEER WALA DISTRICT KHANEWAL|MIAN CHANNO KHANEWAL
+"sudheer munir|mohammed munir|mohammed munir|2 Ivanhoe St,Dudley, DY20YB , West Midlands , United Kingdom|vill and p o dheri choudhrian,Mirpur, District Mirpur , Pakistan|میرپور",SUDHEER MUNIR|MOHAMMED MUNIR|MOHAMMED MUNIR|2 IVANHOE ST DUDLEI DY20YB WEST MIDLANDS UNITED KINGDOM|VILL AND P O DHERI CHOUDHRIAN MIRPUR DISTRICT MIRPUR PAKISTAN|MIRPUR
+"فواد|محمد مظہر الحسن|محمد مظہر الحسن|مکان نمبر 711،وارڈنمبر3،محلہ سرائے،شورکوٹ،ضلع جھنگ|مکان نمبر 711،وارڈنمبر3،محلہ سرائے،شورکوٹ،ضلع جھنگ|شورکوٹ,جھنگ",FAWAD|MUHAMMAD MAZHARUL HASSAN|MUHAMMAD MAZHARUL HASSAN|HOUSE NUMBER 711 WARD NUMBER 3 MOHALA SARAI SHORKOT DISTRICT JHANG|HOUSE NUMBER 711 WARD NUMBER 3 MOHALA SARAI SHORKOT DISTRICT JHANG|SHORKOT JHANG
+"غلام شبیر|غلام مرتضٰی|غلام مرتضٰی|ڈاک خانہ خاص،ٹھٹھی بالا راجا،تحصیل لالیاں،ضلع چنیوٹ|ڈاک خانہ خاص،ٹھٹھی بالا راجا،تحصیل لالیاں،ضلع چنیوٹ|لالیاں,چنیوٹ",GHULAM SHABIR|GHULAM MURTAZA|GHULAM MURTAZA|POST OFFICE KHAS THATTHI BALA RAJA TEHSIL LALIAN DISTRICT CHINIOT|POST OFFICE KHAS THATTHI BALA RAJA TEHSIL LALIAN DISTRICT CHINIOT|LALIAN CHINIOT
+"عنبرین اقبال|ذیشان احمد|ذیشان احمد|مکان نمبر CB-2393، سٹریٹ نمبر 17،محلہ گلشن ظہیر ٹینچ بھاٹہ،راولپنڈی کینٹ،تحصیل/ضلع راولپنڈی|محلہ جامع مسجد مولوی گل محمد،پنڈی گھیب،ضلع اٹک|پنڈی گھیب,اٹک",AMBREEN IQBAL|ZEESHAN AHMED|ZEESHAN AHMED|HOUSE NUMBER CB2393 GALI NUMBER 17 MOHALA GULSHAN ZAHEER TENCH BHATA RAWALPINDI CANTT TEHSIL DISTRICT RAWALPINDI|MOHALA JAMAI MASJID MOLVI GUL MUHAMMAD PINDI GHAIB DISTRICT ATTOCK|PINDI GHAIB ATTOCK