Upload DATA.txt

DATA.txt

@@ -0,0 +1,393 @@
+
+
+
+(1)
+
+!apt-get install ffmpeg -y
+
+
+(2)
+
+
+
+
+import os
+import shutil
+import zipfile
+import subprocess
+from google.colab import drive
+
+# 1. گوگل ڈرائیو کو ماؤنٹ کرنا (اگر پہلے سے ماؤنٹ نہ ہو)
+if not os.path.exists('/content/drive'):
+    drive.mount('/content/drive')
+
+# فائنل منزل (گوگل ڈرائیو کا وہی فولڈر جہاں پہلے آڈیوز گئی ہیں)
+destination_dir = '/content/drive/MyDrive/Piper_Project/dataset/wavs'
+os.makedirs(destination_dir, exist_ok=True)
+
+# بالکل نئے ناموں کے ساتھ کولیب کے لوکل فولڈرز (تاکہ پرانا لوکل ڈیٹا مکس نہ ہو)
+extract_temp_dir = '/content/temp_extracted_new'
+local_mix_dir = '/content/local_mixed_wavs_new'
+
+os.makedirs(extract_temp_dir, exist_ok=True)
+os.makedirs(local_mix_dir, exist_ok=True)
+
+# 2. صرف آپ کا نیا گوگل ڈرائیو لنک (پرانے لنکس ختم کر دیے گئے ہیں)
+new_file_id = '1CAFdGTOFkAruYCiH6YNHlVu9PT7UW6aB'
+
+print("مرحلہ 1: نئی زپ فائل ڈاؤن لوڈ اور نئے لوکل فولڈر میں مکس کی جا رہی ہے...")
+
+zip_path = '/content/new_file_batch.zip'
+
+# نئی فائل ڈاؤن لوڈ کرنا
+print(f"\n[+] نئی فائل ڈاؤن لوڈ ہو رہی ہے...")
+!gdown --id {new_file_id} -O {zip_path}
+
+if not os.path.exists(zip_path):
+    print("[!] ایرر: نئی فائل ڈاؤن لوڈ نہیں ہو سکی۔ براہ کرم لنک چیک کریں۔")
+else:
+    print("[+] نئی فائل ان زپ ہو رہی ہے...")
+    current_extract_dir = os.path.join(extract_temp_dir, 'new_batch')
+    
+    try:
+        with zipfile.ZipFile(zip_path, 'r') as zip_ref:
+            zip_ref.extractall(current_extract_dir)
+    except zipfile.BadZipFile:
+        print("[!] ایرر: ڈاؤن لوڈ کی گئی فائل درست زپ فائل نہیں ہے۔")
+        current_extract_dir = None
+
+    if current_extract_dir:
+        # 'wavs' فولڈر تلاش کر کے آڈیوز کو بالکل نئے لوکل مکس فولڈر میں ڈالنا
+        found_wavs = False
+        for root, dirs, files in os.walk(current_extract_dir):
+            if os.path.basename(root) == 'wavs':
+                found_wavs = True
+                print("[->] اس نئی فائل کے اندر بھی 'wavs' فولڈر مل گیا۔ آڈیوز کو لوکل منتقل کیا جا رہا ہے...")
+                
+                for file in files:
+                    if file.lower().endswith('.wav'):  # صرف واو فائلیں
+                        source_file_path = os.path.join(root, file)
+                        mix_file_path = os.path.join(local_mix_dir, file)
+                        
+                        # اگر فائل پہلے سے نئے لوکل فولڈر میں نہ ہو تو کاپی کریں
+                        if not os.path.exists(mix_file_path):
+                            shutil.copy2(source_file_path, mix_file_path)
+                break
+                
+        if not found_wavs:
+            print("[!] وارننگ: اس نئی فائل کے اندر 'wavs' نام کا فولڈر نہیں ملا!")
+
+print("\n--------------------------------------------------")
+print("مرحلہ 2: نئی آڈیوز کو 22050 Hz میں تبدیل کر کے گوگل ڈرائیو پر پرانی آڈیوز کے ساتھ مکس کیا جا رہا ہے...")
+print("--------------------------------------------------")
+
+mixed_files = [f for f in os.listdir(local_mix_dir) if f.lower().endswith('.wav')]
+total_files = len(mixed_files)
+print(f"[+] نئے بیچ (Batch) میں کل {total_files} آڈیوز پروسیس کے لیے تیار ہیں۔")
+
+converted_count = 0
+skipped_count = 0
+
+for idx, file in enumerate(mixed_files, start=1):
+    input_path = os.path.join(local_mix_dir, file)
+    output_path = os.path.join(destination_dir, file)
+    
+    # اگر یہ آڈیو گوگل ڈرائیو پر پہلے سے موجود ہے تو اسے بالکل نہیں چھیڑیں گے (Safe check)
+    if os.path.exists(output_path):
+        skipped_count += 1
+        continue
+        
+    # FFmpeg کے ذریعے آڈیو کو 22050 Hz اور Mono چینل پر تبدیل کر کے گوگل ڈرائیو پر بھیجنا
+    command = ['ffmpeg', '-y', '-i', input_path, '-ar', '22050', '-ac', '1', output_path]
+    
+    result = subprocess.run(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+    
+    if result.returncode == 0:
+        converted_count += 1
+        if idx % 50 == 0 or idx == total_files:  # ہر 50 آڈیوز کے بعد کولیب سکرین پر پروگریس دکھائے گا
+            print(f"[+] پروگریس: {idx}/{total_files} آڈیوز کامیابی سے ڈرائیو پر منتقل ہو گئیں...")
+    else:
+        print(f"[!] ایرر: فائل {file} کو کنورٹ کرنے میں کوئی مسئلہ آیا۔")
+
+print(f"\n--- فائنل رپورٹ (نیا بیچ) ---")
+print(f"✓ کامیابی سے کنورٹ ہو کر ڈرائیو پر گئیں: {converted_count}")
+print(f"✓ ڈرائیو پر پہلے سے موجود تھیں (محفوظ رہیں/اسکپ ہوئیں): {skipped_count}")
+print("--- مبارک ہو میرے بھائی! نئے لنک کا پورا کام بھی ترتیب سے مکمل ہو گیا ہے ---")
+
+
+
+
+
+
+
+
+
+
+
+
+السلام علیکم میرے بھائی! کیا حال ہے اور آپ کیسے ہیں؟
+
+یہ جو اوپر کوڈنگ دی گئی ہے، کیا یہ براہِ راست گوگل ڈرائیو میں جائے گی؟ یعنی جو گوگل ڈرائیو کا لنک آپ نے دیا ہے، اس کے ذریعے آڈیوز پہلے گوگل کولیب (Google Colab) کی لوکل اسٹوریج میں ایڈ ہوں گی اور پھر یہ سارا ڈیٹا گوگل ڈرائیو میں چلا جائے گا۔ شاید آپ کو میری بات صحیح طرح سمجھ نہ آئی ہو، میں یہ کہہ رہا ہوں کہ جہاں یہ لنک لکھا ہوا ہے:
+
+```python
+# 2. صرف آپ کا نیا گوگل ڈرائیو لنک (پرانے لنکس ختم کر دیے گئے ہیں)
+new_file_id = '1CAFdGTOFkAruYCiH6YNHlVu9PT7UW6aB'
+
+```
+
+یہاں آپ نے گوگل ڈرائیو سے کاپی کیا ہوا اپنا لنک یا فائل آئی ڈی پیسٹ کرنی ہے۔ اب یہ کوڈ کرتا کیا ہے؟ یہ کوڈ پہلے آپ کے دیے گئے لنک سے زپ (Zip) فائل ڈاؤن لوڈ کرتا ہے، پھر اس کے اندر 'wavs' نام کا فولڈر ڈھونڈتا ہے جس میں آڈیوز ہوتی ہیں۔ یہ آڈیوز گوگل کولیب کی لوکل اسٹوریج میں آ جاتی ہیں، اور پھر ان کا سیمپل ریٹ تبدیل کیا جاتا ہے۔
+
+```python
+'22050'
+
+```
+
+یہ جو سیمپل ریٹ لکھا ہے، اسے آپ اپنی مرضی سے تبدیل کر سکتے ہیں اور اپنی پسند کا پاتھ (Path) بھی دے سکتے ہیں۔ یہ پاتھ میں نے آپ کو سمجھانے کے لیے بطور مثال لکھا ہے:
+
+```python
+# فائنل منزل (گوگل ڈرائیو کا وہی فولڈر جہاں پہلے آڈیوز گئی ہیں)
+destination_dir = '/content/drive/MyDrive/Piper_Project/dataset/wavs'
+
+```
+
+آپ اپنی مرضی سے یہ پاتھ تبدیل کر سکتے ہیں۔ اس کوڈ کا اصل مقصد یہ ہے کہ اگر آپ کا آڈیو ڈیٹا کسی دوسری جگہ یا دوسری آئی ڈی پر موجود ہے اور آپ اسے اپنے مین جی میل اکاؤنٹ پر لانا چاہتے ہیں، تو اس کوڈ کے ذریعے وہ فائلز اوپر بتائے گئے سیمپل ریٹ میں تبدیل ہو کر خود بخود آپ کے مخصوص فولڈر میں محفوظ ہو جائیں گی۔
+
+-------------------------------------
+
+
+(3)
+
+
+
+import os
+
+# فولڈر کا راستہ
+target_dir = '/content/U_v2-5,271/wavs'
+
+if os.path.exists(target_dir):
+    # فولڈر کے اندر موجود صرف .wav فائلوں کی لسٹ بنانا
+    wav_files = [f for f in os.listdir(target_dir) if f.lower().endswith('.wav')]
+    total_count = len(wav_files)
+    
+    print("--------------------------------------------------")
+    print(f"📁 فولڈر کا نام: {os.path.basename(target_dir)}")
+    print(f"📊 کل آڈیو فائلوں (.wav) کی تعداد: {total_count}")
+    print("--------------------------------------------------")
+else:
+    print(f"[!] ایرر: بتایا گیا راستہ موجود نہیں ہے!\nبراہ کرم چیک کریں کہ گوگل ڈرائیو ماؤنٹ (Connect) ہے یا نہیں۔")
+
+
+
+
+
+
+
+# فولڈر کا راستہ
+target_dir = '/content/U_v2-5,271/wavs'
+
+
+بھائی، اس کوڈ کے ذریعے آپ دیکھ سکتے ہیں کہ آپ کی کل کتنی آڈیوز موجود ہیں۔ اوپر دیے گئے پاتھ (Path) کو تبدیل کر کے آپ کسی بھی فولڈر میں موجود آڈیوز کی کل تعداد معلوم کر سکتے ہیں۔
+
+
+-------
+
+
+
+
+(A-1)
+
+
+
+import os
+import shutil
+import zipfile
+
+# 1. بالکل نئے اور صاف ستھرے لوکل فولڈرز بنانا
+base_dir = '/content/U_v2-5,271' # فائنل زپ بننے سے پہلے کا مین فولڈر
+wavs_destination = os.path.join(base_dir, 'wavs') # اس کے اندر wavs فولڈر
+
+os.makedirs(wavs_destination, exist_ok=True)
+
+extract_temp_dir = '/content/temp_extract'
+os.makedirs(extract_temp_dir, exist_ok=True)
+
+# 2. آڈیوز والی 3 زپ فائلوں کی IDs
+audio_zip_ids = [
+    '17LMgGuZV8S47eEIQ8c9SVxl_ej7uRd6v', # پہلی زپ فائل
+    '1OX3I8uSxoJtR_qySsWn_WKefAoJgUMet', # دوسری زپ فائل
+    '1CAFdGTOFkAruYCiH6YNHlVu9PT7UW6aB'  # تیسری زپ فائل
+]
+
+# 3. چوتھی اہم فائل (metadata.csv) کی ID
+metadata_file_id = '1i0Jg0L-eWE6Qvx1gXYDddsmoXASvht9N'
+
+print("=== پروسیس شروع ہو رہا ہے، آپ کی دی گئی ترتیب کے مطابق ===")
+
+# --- مرحلہ 1: تینوں زپ فائلوں سے آڈیوز نکال کر ایک فولڈر میں جمع کرنا ---
+for idx, file_id in enumerate(audio_zip_ids, start=1):
+    zip_path = f'/content/audio_file_{idx}.zip'
+    
+    print(f"\n[+] آڈیو زپ فائل نمبر {idx} ڈاؤن لوڈ ہو رہی ہے...")
+    !gdown --id {file_id} -O {zip_path}
+    
+    if os.path.exists(zip_path):
+        print(f"[+] آڈیو زپ فائل نمبر {idx} کو ان زپ کیا جا رہا ہے...")
+        current_extract_path = os.path.join(extract_temp_dir, f'batch_{idx}')
+        
+        try:
+            with zipfile.ZipFile(zip_path, 'r') as zip_ref:
+                zip_ref.extractall(current_extract_path)
+            
+            # اندر موجود 'wavs' فولڈر کو ڈھونڈ کر آڈیوز کاپی کرنا
+            for root, dirs, files in os.walk(current_extract_path):
+                if os.path.basename(root) == 'wavs':
+                    for file in files:
+                        if file.lower().endswith('.wav'):
+                            source_file = os.path.join(root, file)
+                            dest_file = os.path.join(wavs_destination, file)
+                            
+                            # اگر فائل پہلے سے نہ ہو تو کاپی کریں (نو ریپلیسمنٹ)
+                            if not os.path.exists(dest_file):
+                                shutil.copy2(source_file, dest_file)
+                    break
+        except zipfile.BadZipFile:
+            print(f"[!] ایرر: فائل نمبر {idx} درست زپ فائل نہیں ہے۔")
+    else:
+        print(f"[!] ایرر: فائل نمبر {idx} ڈاؤن لوڈ نہیں ہو سکی۔")
+
+# --- مرحلہ 2: چوتھی اہم ترین فائل (metadata.csv) ڈاؤن لوڈ کرنا ---
+print("\n--------------------------------------------------")
+print("[+] مرحلہ 2: چوتھی اہم فائل (metadata.csv) ڈاؤن لوڈ ہو رہی ہے...")
+print("--------------------------------------------------")
+
+# اسے 'wavs' فولڈر سے باہر، مین فولڈر کے اندر ڈاؤن لوڈ کر رہے ہیں
+metadata_dest_path = os.path.join(base_dir, 'metadata.csv')
+
+# gdown کے ذریعے فائل ڈاؤن لوڈ کرنا
+!gdown --id {metadata_file_id} -O {metadata_dest_path}
+
+# پکی تسلی کرنا کہ فائل کا نام بالکل ٹھیک ہو اور ڈبل ایکسٹینشن نہ ہو
+if os.path.exists(metadata_dest_path):
+    print("[✓] metadata.csv فولڈر سے باہر کامیابی سے محفوظ ہو گئی ہے۔")
+else:
+    print("[!] الرٹ: چوتھی فائل ڈاؤن لوڈ نہیں ہو سکی، براہ کرم لنک چیک کریں۔")
+
+# --- مرحلہ 3: سب چیزوں کو ملا کر فائنل زپ فائل بنانا ---
+print("\n--------------------------------------------------")
+print("[+] مرحلہ 3: فائنل زپ فائل 'U_v2-5,271.zip' تیار کی جا رہی ہے...")
+print("--------------------------------------------------")
+
+final_zip_output_name = '/content/U_v2-5,271' # شٹل خود ہی .zip آخر میں لگا دے گا
+
+# زپ فائل بنانا
+shutil.make_archive(final_zip_output_name, 'zip', base_dir)
+
+final_zip_file_path = '/content/U_v2-5,271.zip'
+
+if os.path.exists(final_zip_file_path):
+    print("\n==================================================")
+    print("✓ مبارک ہو میرے بھائی! فائنل زپ فائل بالکل تیار ہے۔")
+    print(f"✓ فائل کا نام: {os.path.basename(final_zip_file_path)}")
+    print(f"✓ لوکیشن: یہ کولیب کے ہوم فولڈر میں باہر ہی موجود ہے۔")
+    print("==================================================")
+else:
+    print("[!] زپ فائل بنانے میں کوئی مسئلہ آیا۔")
+
+
+
+
+
+
+
+
+
+ہاں، تو یہ جو کوڈ ہے یہ ایک الگ چیز ہے۔ آپ چاہتے ہیں کہ گوگل کولیب (Google Colab) کے اندر یہ سارا آڈیو ڈیٹا ایک فولڈر میں اکٹھا ہو جائے تاکہ بعد میں آپ اسے ہگنگ فیس (Hugging Face) پر زپ فائل (Zip File) کی صورت میں ریلیز کر سکیں۔ یعنی اس فولڈر کے باہر ایک فائل ہو گی جس کا نام `metadata.csv` ہو گا، اور اسی کے اندر ایک فولڈر ہو گا جس کا نام `wavs` ہو گا اور اس میں آپ کی آڈیوز ہوں گی۔
+
+پھر کچھ ہی دیر میں یہ ایک زپ فائل بن جائے گی، جس کا نام `U_v2-5,271.zip` ہو گا۔ اس زپ فائل کا نام آپ اپنی مرضی سے تبدیل بھی کر سکتے ہیں۔ اب اس فائل کو آپ ہگنگ فیس پر اپلوڈ کریں یا اپنی گوگل ڈرائیو پر، یہ آپ کی مرضی ہے۔ یہاں میں نے آپ کو صرف گوگل کولیب کی لوکل اسٹوریج کے اندر زپ فائل بنانے کا طریقہ بتایا ہے۔
+
+--------------------
+
+
+
+
+
+(H-1)
+
+
+
+
+
+!pip install --upgrade huggingface_hub
+from huggingface_hub import HfApi
+
+# 1. آپ کی فراہم کردہ معلومات
+token = "nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn" # آپ کا ہگنگ فیس ٹوکن
+repo_id = "zeeno73ml/000283g"                  # آپ کی ماڈل ریپو آئی ڈی
+
+local_file_path = "/content/U_v2-5,271.zip"     # کولیب میں موجود زپ فائل کا راستہ
+path_in_repo = "U/U_v2-5,271.zip"               # ہگنگ فیس پر فائنل لوکیشن (U فولڈر کے اندر)
+
+print("=== ہگنگ فیس پر ریلیز کرنے کا عمل شروع ہو رہا ہے ===")
+
+# HfApi کا انسٹنس بنانا
+api = HfApi()
+
+try:
+    print(f"[+] فائل اپلوڈ کی جا رہی ہے: {local_file_path}")
+    print(f"[->] ہگنگ فیس لوکیشن: {repo_id}/tree/main/{path_in_repo}")
+    
+    # بغیر repo_type تبدیل کیے (ڈیفالٹ ماڈل ریپو ہی رہے گی) اپلوڈ کرنا
+    api.upload_file(
+        path_or_fileobj=local_file_path,
+        path_in_repo=path_in_repo,
+        repo_id=repo_id,
+        token=token
+    )
+    
+    print("\n==================================================")
+    print("✓ مبارک ہو میرے بھائی! فائل کامیابی سے ہگنگ فیس پر ریلیز ہو گئی ہے۔")
+    print(f"✓ لنک: https://huggingface.co/zeeno73ml/000283g/tree/main/U")
+    print("==================================================")
+
+except Exception as e:
+    print(f"\n[!] اپلوڈ کے دوران کوئی مسئلہ آیا۔ ایرر کی تفصیل یہ ہے:\n{str(e)}")
+
+
+
+
+
+
+
+
+
+
+پچھلی بات چیت میں، میں نے آپ کو بتایا تھا کہ جو زپ فائل آپ نے بنانی ہے، اس کے اندر ایک `metadata.csv` فائل ہو گی اور ساتھ ہی `wavs` نام کا ایک فولڈر ہو گا، جس کے بعد وہ زپ فائل میں تبدیل ہو جائے گی۔ وہ نام تو آپ کو یاد ہی ہو گا جو میں نے بتایا تھا۔
+
+اب اگر آپ اسے ہگنگ فیس (Hugging Face) پر ریلیز کرنا چاہتے ہیں، تو اوپر دیا گیا کوڈ چلائیں۔ اس سے آپ کی یہ فائل زپ میں کنورٹ ہو جائے گی۔ میں پہلے ہی بتا رہا ہوں کہ یہ سب میں نے آپ کو سمجھانے کے لیے بطور مثال لکھا ہے، ٹوکن اور ریپو آئی ڈی (Repo ID) آپ نے خود اپنی مرضی سے تبدیل کرنی ہے۔ جیسے میں نے ٹوکن کی جگہ پر 'nnnn' لکھا ہوا ہے، وہاں آپ اپنا اصل ٹوکن ڈالیں گے۔ اسی طرح جہاں ریپو آئی ڈی `zeeno73ml/000283g` لکھی ہے، اسے بھی آپ نے خود تبدیل کرنا ہے۔
+
+```python
+# 1. آپ کی فراہم کردہ معلومات
+token = "nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn" # آپ کا ہگنگ فیس ٹوکن
+repo_id = "zeeno73ml/000283g" 
+
+```
+
+یہ چیزیں آپ کو خود ہی بدلنی ہوں گی۔ آپ اپنی مرضی سے زپ فائل کا نام بھی تبدیل کر سکتے ہیں۔ آپ کو یاد ہو گا کہ پچھلی بار ہماری زپ فائل جہاں بنی تھی، میں نے اس کا پاتھ اور نام یہ رکھا تھا:
+
+```python
+local_file_path = "/content/U_v2-5,271.zip"     # کولیب میں موجود زپ فائل کا راستہ
+path_in_repo = "U/U_v2-5,271.zip"               # ہگنگ فیس پر فائنل لوکیشن (U فولڈر کے اندر)
+
+```
+
+اس وقت میں نے اس کے بارے میں تفصیل نہیں بتائی تھی اور کہا تھا کہ بعد میں بتاؤں گا کہ اس کا کیا کرنا ہے۔ اب اس کوڈ کے ذریعے ہم اسے ہگنگ فیس پر ریلیز کر سکتے ہیں۔
+
+
+
+
+
+
+
+
+
+