| import numpy as np | |
| # Engångsjobb: läs filen som råa bytes, spara som uint8-array | |
| data = np.fromfile("bigfile.txt", dtype=np.uint8) | |
| # Dela i train/val (t.ex. 99.5/0.5) | |
| n = len(data) | |
| data[: int(n * 0.995)].tofile("train.bin") | |
| data[int(n * 0.995):].tofile("val.bin") |