code/inspect_mark.py

"""mark.txt dosyalarının formatını keşfetmek için yardımcı script.
Kullanım: python3 inspect_mark.py
"""
import os
import json

MARK_PATH = "datasets/sources/hitit_local/32/mark.txt"

with open(MARK_PATH, "rb") as f:
    raw = f.read(5000)

print("=== İlk 500 byte (raw) ===")
print(raw[:500])
print()

# Encoding dene
for enc in ("utf-8", "utf-16", "latin-1"):
    try:
        text = raw.decode(enc)
        print(f"=== {enc} ile decode edildi, ilk 1000 karakter ===")
        print(text[:1000])
        print()

        # JSON mu diye kontrol et
        try:
            full = open(MARK_PATH, "r", encoding=enc).read()
            data = json.loads(full)
            print(f"=== JSON olarak parse edildi ({enc}) ===")
            if isinstance(data, dict):
                print("Tip: dict")
                print("Anahtarlar:", list(data.keys())[:20])
                for key in list(data.keys())[:5]:
                    val = data[key]
                    if isinstance(val, list):
                        print(f"  {key}: list, uzunluk={len(val)}")
                        if len(val) > 0:
                            print(f"    İlk eleman: {str(val[0])[:300]}")
                    elif isinstance(val, dict):
                        print(f"  {key}: dict, anahtarlar={list(val.keys())[:10]}")
                    else:
                        print(f"  {key}: {type(val).__name__} = {str(val)[:200]}")
            elif isinstance(data, list):
                print(f"Tip: list, uzunluk={len(data)}")
                if len(data) > 0:
                    print(f"İlk eleman tipi: {type(data[0]).__name__}")
                    print(f"İlk eleman: {str(data[0])[:500]}")
        except json.JSONDecodeError as e:
            print(f"JSON parse hatası ({enc}): {e}")
        except Exception as e:
            print(f"Hata ({enc}): {e}")
        break
    except UnicodeDecodeError:
        print(f"{enc} ile decode edilemedi")

# Dosya boyutu
size = os.path.getsize(MARK_PATH)
print(f"\nDosya boyutu: {size} byte ({size/1024:.1f} KB)")

# Tüm mark.txt dosyalarını listele ve boyutlarını göster
print("\n=== Tüm mark.txt dosyaları ===")
for root, dirs, files in os.walk("datasets" / "sources" / "hitit_local"):
    for f in files:
        if f == "mark.txt":
            path = os.path.join(root, f)
            size = os.path.getsize(path)
            print(f"  {path}: {size/1024:.1f} KB")