Avoid calling byte_pair_encode for existing tokens #210
| Job | Run time |
|---|---|
| 26s | |
| 21m 51s | |
| 3m 30s | |
| 22m 58s | |
| 3m 37s | |
| 23m 10s | |
| 3m 37s | |
| 22m 44s | |
| 3m 38s | |
| 4m 20s | |
| 3m 59s | |
| 22m 2s | |
| 4m 14s | |
| 3m 28s | |
| 4m 34s | |
| 3m 33s | |
| 4m 37s | |
| 5m 16s | |
| 3m 45s | |
| 3m 56s | |
| 2m 51s | |
| 2h 52m 6s |
| Job | Run time |
|---|---|
| 26s | |
| 21m 51s | |
| 3m 30s | |
| 22m 58s | |
| 3m 37s | |
| 23m 10s | |
| 3m 37s | |
| 22m 44s | |
| 3m 38s | |
| 4m 20s | |
| 3m 59s | |
| 22m 2s | |
| 4m 14s | |
| 3m 28s | |
| 4m 34s | |
| 3m 33s | |
| 4m 37s | |
| 5m 16s | |
| 3m 45s | |
| 3m 56s | |
| 2m 51s | |
| 2h 52m 6s |