2ira
/

Byte-lingua-code

Model card Files Files and versions

Byte-lingua-code / superbpe /tokenizers_superbpe /bindings /python /test.txt

2ira's picture

offline_compression_graph_code

72c0672 verified 4 months ago

history blame contribute delete

1.66 kB

	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>
	<DOCUMENT> \test{bla} thisisatest </DOCUMENT>