import numpy as np

# Engångsjobb: läs filen som råa bytes, spara som uint8-array
data = np.fromfile("bigfile.txt", dtype=np.uint8)

# Dela i train/val (t.ex. 99.5/0.5)
n = len(data)
data[: int(n * 0.995)].tofile("train.bin")
data[int(n * 0.995):].tofile("val.bin")