Hugging Face's logo

tefoteknik
/
agiformer

Model card Files
xet
Community
agiformer
File size: 4,215 Bytes 
0320913
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
 
## Developer: inkbytefo
## Modified: 2025-11-22

import os
import re
import torch
from datasets import load_dataset
from tqdm import tqdm

def clean_wiki_text(text):
    """
    Wikipedia metinleri için özel temizlik.
    Dipnotları, parantez içi referansları ve 'Dosya:' gibi meta verileri temizler.
    """
    # 1. [1], [kaynak belirtilmeli] gibi referansları sil
    text = re.sub(r'\[\d+\]', '', text)
    text = re.sub(r'\[.*?\]', '', text)
    
    # 2. (İngilizce: ...), (d. 1990) gibi parantezleri koru ama içindeki garip kodları temizle
    # Basit html tag temizliği
    text = re.sub(r'<.*?>', '', text)
    
    # 3. Gereksiz boşlukları ve satır sonlarını düzelt
    text = re.sub(r'\s+', ' ', text).strip()
    
    return text

def prepare_clean_turkish_data(data_dir="./data", target_mb=150):
    os.makedirs(data_dir, exist_ok=True)
    output_path = os.path.join(data_dir, "trwiki_clean_train.bin")
    val_path = os.path.join(data_dir, "trwiki_clean_val.bin")
    
    if os.path.exists(output_path):
        print(f"Clean data already exists at {output_path}")
        return

    print(f"Downloading OFFICIAL Wikipedia (Turkish) dataset...")
    # "20220301.tr" config'i standarttır.
    try:
        dataset = load_dataset("wikipedia", "20220301.tr", split="train", streaming=True, trust_remote_code=True)
    except:
        print("Fallback: Using 'wikimedia/wikipedia' dataset...")
        dataset = load_dataset("wikimedia/wikipedia", "20231101.tr", split="train", streaming=True)
    
    collected_bytes = []
    total_bytes = 0
    target_size = target_mb * 1024 * 1024
    
    print("Processing Wikipedia articles (High Quality)...")
    pbar = tqdm(total=target_mb, unit="MB")
    
    for i, article in enumerate(dataset):
        raw_text = article['text']
        
        # Çok kısa makaleleri (taslakları) atla
        if len(raw_text) < 1000:
            continue
            
        cleaned = clean_wiki_text(raw_text)
        
        # Encode
        encoded = cleaned.encode('utf-8')
        
        # Makaleleri ayırmak için özel ayırıcı (Byte seviyesinde)
        # \n\n (Yeni paragraf) yeterlidir.
        collected_bytes.append(encoded)
        collected_bytes.append(b'\n\n') 
        
        chunk_size = len(encoded) + 2
        total_bytes += chunk_size
        pbar.update(chunk_size / (1024 * 1024))
        
        if total_bytes >= target_size:
            break
            
    pbar.close()
    
    # Flatten
    print("Saving binary files...")
    full_data = b"".join(collected_bytes)
    
    # Split 95/5
    split_idx = int(len(full_data) * 0.95)
    train_data = full_data[:split_idx]
    val_data = full_data[split_idx:]
    
    with open(output_path, "wb") as f:
        f.write(train_data)
    with open(val_path, "wb") as f:
        f.write(val_data)
        
    print(f"✅ Dataset Ready: {len(train_data)/1e6:.1f}MB Train, {len(val_data)/1e6:.1f}MB Val")

# Dataset Sınıfı (Aynı kalabilir, sadece dosya adlarını doğru kullanmalı)
class CleanTurkishDataset(torch.utils.data.Dataset):
    def __init__(self, data_path, seq_len=1024):
        with open(data_path, "rb") as f:
            self.data = f.read()
        self.seq_len = seq_len
        
    def __len__(self):
        return max(0, len(self.data) - self.seq_len - 4)
        
    def __getitem__(self, idx):
        chunk = self.data[idx : idx + self.seq_len + 4]
        x = torch.tensor(list(chunk[:-4]), dtype=torch.long)
        y = torch.tensor(list(chunk[4:]), dtype=torch.long)
        return x, y

def get_clean_loader(data_dir, batch_size, seq_len, split="train"):
    path = os.path.join(data_dir, f"trwiki_clean_{split}.bin")
    if not os.path.exists(path):
        # Auto-prepare if missing
        prepare_clean_turkish_data(data_dir)
        
    dataset = CleanTurkishDataset(path, seq_len)
    return torch.utils.data.DataLoader(
        dataset, 
        batch_size=batch_size, 
        shuffle=(split=="train"), 
        num_workers=0,
        pin_memory=True
    )

if __name__ == "__main__":
    # Gerekli kütüphaneyi yükle
    os.system("pip install datasets apache_beam mwparserfromhell")
    prepare_clean_turkish_data()