transformers로 사용 안됨 / cannot try this model via transformers library
안녕하세요.
모델 페이지의 'use this model' 눌러서 나오는 안내를 따라 해 봤는데 작동하지를 않네요.
transformers 라이브러리의 문제인 지 엑사원 모델의 문제인 지 모르겠지만 개선이 되면 좋겠습니다.
감사합니다.
'use this model' direction using transformers library fails to generate output--please investigate.
1
2
안녕하세요,
먼저 이슈 공유해주셔서 감사합니다.
EXAONE 모델은 GPT2Tokenizer를 사용하는데, pipeline으로 사용할 경우 자동으로 tokenizer가 연결되지 않는 문제가 있었습니다.
config.json에 아래와 같이 "tokenizer_class": "GPT2Tokenizer" 를 추가하면 정상적으로 pipeline이 작동되는 것을 확인했습니다.
각 모델 repository를 업데이트하도록 하겠습니다. 그 전까지는 직접 고쳐서 사용해주시길 바랍니다!
...
"rope_theta": 1000000.0,
"tie_word_embeddings": false,
"tokenizer_class": "GPT2Tokenizer",
"torch_dtype": "float32",
"transformers_version": "4.43.0",
"use_cache": true,
"vocab_size": 102400
}
Hello,
Thank you for bringing this issue to our attention.
We've checked that while the EXAONE model uses GPT2Tokenizer, there's an issue where the tokenizer doesn't automatically connect when using the pipeline interface.
We've confirmed that adding "tokenizer_class": "GPT2Tokenizer" to the config.json file resolves this issue, and makes the pipeline to function properly.
We'll be updating each model repository accordingly.
In the meantime, please apply this fix manually to your config.json file.