OpenThaiWilai / special_tokens_map.json
JonusNattapong's picture
End of training
894f951 verified
{
"additional_special_tokens": [
"<NL>",
"<TAB>",
"<|system|>",
"<|user|>",
"<|assistant|>",
"<|eot|>",
"<think>",
"</think>",
"<tool_call>",
"</tool_call>",
"<tool_result>",
"</tool_result>",
"<fim_prefix>",
"<fim_middle>",
"<fim_suffix>",
"<|endofdocument|>",
"<emoji>",
"<NUM>",
"<extra_0>",
"<extra_1>",
"<extra_2>",
"<extra_3>",
"<extra_4>",
"<extra_5>",
"<extra_6>",
"<extra_7>",
"<extra_8>",
"<extra_9>",
"<extra_10>",
"<extra_11>",
"<extra_12>",
"<extra_13>",
"<extra_14>",
"<extra_15>",
"<extra_16>",
"<extra_17>",
"<extra_18>",
"<extra_19>",
"<extra_20>",
"<extra_21>",
"<extra_22>",
"<extra_23>",
"<extra_24>",
"<extra_25>",
"<extra_26>",
"<extra_27>",
"<extra_28>",
"<extra_29>",
"<extra_30>",
"<extra_31>",
"<extra_32>",
"<extra_33>",
"<extra_34>",
"<extra_35>",
"<extra_36>",
"<extra_37>",
"<extra_38>",
"<extra_39>",
"<extra_40>",
"<extra_41>",
"<extra_42>",
"<extra_43>",
"<extra_44>",
"<extra_45>",
"<extra_46>",
"<extra_47>",
"<extra_48>",
"<extra_49>",
"<extra_50>",
"<extra_51>",
"<extra_52>",
"<extra_53>",
"<extra_54>",
"<extra_55>",
"<extra_56>",
"<extra_57>",
"<extra_58>",
"<extra_59>",
"<extra_60>",
"<extra_61>",
"<extra_62>",
"<extra_63>",
"<extra_64>",
"<extra_65>",
"<extra_66>",
"<extra_67>",
"<extra_68>",
"<extra_69>",
"<extra_70>",
"<extra_71>",
"<extra_72>",
"<extra_73>",
"<extra_74>",
"<extra_75>",
"<extra_76>",
"<extra_77>",
"<extra_78>",
"<extra_79>",
"<extra_80>",
"<extra_81>",
"<extra_82>",
"<extra_83>",
"<extra_84>",
"<extra_85>",
"<extra_86>",
"<extra_87>",
"<extra_88>",
"<extra_89>",
"<extra_90>",
"<extra_91>",
"<extra_92>",
"<extra_93>",
"<extra_94>",
"<extra_95>",
"<extra_96>",
"<extra_97>",
"<extra_98>",
"<extra_99>"
],
"bos_token": {
"content": "<bos>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"eos_token": {
"content": "<eos>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "<pad>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "<unk>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
}
}