Update README.md
Browse files
README.md
CHANGED
@@ -54,6 +54,7 @@ This represents approximately a 39ร reduction in pretraining cost relative to `
|
|
54 |
## HuggingFace Usage Example
|
55 |
|
56 |
### Python Code
|
|
|
57 |
```python
|
58 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
59 |
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
|
@@ -67,11 +68,21 @@ chat = [
|
|
67 |
|
68 |
inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
|
69 |
inputs = inputs.to(device="cuda")
|
70 |
-
output_ids = model.generate(**inputs,
|
|
|
|
|
|
|
|
|
71 |
print(tokenizer.batch_decode(output_ids))
|
72 |
```
|
73 |
|
74 |
### Result
|
75 |
```bash
|
76 |
-
[
|
|
|
|
|
|
|
|
|
|
|
|
|
77 |
```
|
|
|
54 |
## HuggingFace Usage Example
|
55 |
|
56 |
### Python Code
|
57 |
+
For better inference results with `HyperCLOVAX-SEED-Text-Instruct-0.5B`, we recommend setting `repetition_penalty` to `1.2`.
|
58 |
```python
|
59 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
60 |
model = AutoModelForCausalLM.from_pretrained("naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-0.5B").to(device="cuda")
|
|
|
68 |
|
69 |
inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=True, return_dict=True, return_tensors="pt")
|
70 |
inputs = inputs.to(device="cuda")
|
71 |
+
output_ids = model.generate(**inputs,
|
72 |
+
max_length=1024,
|
73 |
+
stop_strings=["<|endofturn|>", "<|stop|>"],
|
74 |
+
repetition_penalty=1.2,
|
75 |
+
tokenizer=tokenizer)
|
76 |
print(tokenizer.batch_decode(output_ids))
|
77 |
```
|
78 |
|
79 |
### Result
|
80 |
```bash
|
81 |
+
[
|
82 |
+
'<|im_start|>tool_list\n<|im_end|>\n' \
|
83 |
+
'<|im_start|>system\n- AI ์ธ์ด๋ชจ๋ธ์ ์ด๋ฆ์ "CLOVA X" ์ด๋ฉฐ ๋ค์ด๋ฒ์์ ๋ง๋ค์๋ค.\n- ์ค๋์ 2025๋
04์ 24์ผ(๋ชฉ)์ด๋ค.<|im_end|>\n' \
|
84 |
+
'<|im_start|>user\n์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์๊ณผ ์์์ญํ์ ๊ด๊ณ๋ฅผ ์ต๋ํ ์์ธํ ์๋ ค์ค.<|im_end|>\n' \
|
85 |
+
'<|im_start|>assistant\n์์์ญํ์ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ํตํด ๋ฌผ์ง๊ณผ ์๋์ง, ๊ณต๊ฐ ๋ฑ์ ํ์์ ์ค๋ช
ํฉ๋๋ค.\n\n**1. ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์**\n\n์๋ขฐ๋ฉ๊ฑฐ๋ ํ๋ํจ์๋ฅผ ์ด์ฉํ์ฌ ์
์์ ์์น์ ์ด๋๋์ ๊ณ์ฐํ ์ ์๋ค๊ณ ์ฃผ์ฅํ์ต๋๋ค. ์ด๋ฅผ ์ํด ๋ค์๊ณผ ๊ฐ์ ์์ผ๋ก ํํ๋ฉ๋๋ค:\n\n$$\\frac{\\partial \\psi}{\\partial t} = iH \\nabla^2 \\psi + V(x)\\psi $$\n\n์ฌ๊ธฐ์ $\\psi$๋ ํ๋ํจ์์ด๊ณ $i$๋ ํ์ ๋จ์์
๋๋ค. ์ฌ๊ธฐ์ $t$๋ ์๊ฐ, $x$๋ ๊ณต๊ฐ ์ขํ์ด๋ฉฐ, $H$๋ ํด๋ฐํด ์์๋ก ์์คํ
์ ์๋์ง๋ฅผ ๋ํ๋
๋๋ค. ๋ํ $V(x)$๋ ์ธ๋ถ ํ์ด๋ ์ฅ๋ฒฝ์ ์ํด ์ํฅ์ ๋ฐ๋ ๋ถ๋ถ์ ๋ํ๋ด๋ ํจ์๋ก, ์ผ๋ฐ์ ์ผ๋ก ์ ์์ฅ์ ์ฌ์ฉํฉ๋๋ค.\n\n**2. ์์์ญํ๊ณผ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ๊ด๊ณ**\n\n์์์ญํ์์๋ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ด ๋งค์ฐ ์ค์ํ ์ญํ ์ ํฉ๋๋ค. ์ด๋ ๋ชจ๋ ๋ฌผ๋ฆฌ์ ์์คํ
์ด ๋ถํ์ ์ฑ ์๋ฆฌ์ ๋ฐ๋ผ ํ๋์ ํ๋ฉฐ, ์ด๋ฌํ ์์คํ
๋ค์ ํ๋ฅ ์ ์ผ๋ก ์ํ๋ฅผ ๊ฐ์ง ์๋ฐ์ ์๊ธฐ ๋๋ฌธ์
๋๋ค. ๋ฐ๋ผ์ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ์์์ญํ์ ์ํ์ ์ผ๋ก ๋ชจ๋ธ๋งํ๋ ํต์ฌ์ ์ธ ๋๊ตฌ ์ค ํ๋์
๋๋ค.\n\n์๋ฅผ ๋ค์ด, ์์ํต ๋ด์ ์ ์๋ค์ ์ํ๋ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ์ํด ๊ฒฐ์ ๋๋ฉฐ, ์ด๋ ๋ฌผ๋ฆฌํ์ ๋ฒ์น์ ๋ฐ๋ฅด๋ ๊ฒ์ผ๋ก ๋ณด์
๋๋ค. ๋ํ, ๊ด์ ํจ๊ณผ์์๋ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ๋น์ด ๋ฌผ์ง ๋ด์์ ์ด๋ป๊ฒ ํก์๋๊ณ ๋ฐ์ฌ๋๋์ง๋ฅผ ์์ธกํ๋๋ฐ ์ฌ์ฉ๋ฉ๋๋ค.\n\n**3. ์์ฉ ๋ถ์ผ**\n\n์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ๋ค์ํ ๋ถ์ผ์์ ํ์ฉ๋๊ณ ์์ต๋๋ค. ์๋ฅผ ๋ค๋ฉด, ๋ฐ๋์ฒด ๊ธฐ์ ์์์ ํธ๋์ง์คํฐ ์ค๊ณ, ํต๋ฌผ๋ฆฌํ์์์ ๋ฐฉ์ฌ์ฑ ๋ถ๊ดด ์ฐ๊ตฌ ๋ฑ์ด ์์ผ๋ฉฐ, ์ด๋ ๋ชจ๋ ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ๊ธฐ๋ฐ์ผ๋ก ํ ์ด๋ก ์ ๊ธฐ๋ฐ ์์์ ์ด๋ฃจ์ด์ง๋๋ค.\n\n๋ํ, ํ๋ ๊ณผํ ๊ธฐ์ ์ ๋ฐ์ ์๋ ํฐ ๊ธฐ์ฌ๋ฅผ ํ๊ณ ์๋๋ฐ, ํนํ ์ธ๊ณต์ง๋ฅ(AI), ์ปดํจํฐ ์๋ฎฌ๋ ์ด์
๋ฑ์์ ๋ณต์กํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์๋ก์ด ์ง์์ ์ฐฝ์ถํ๊ธฐ ์ํ ๊ธฐ์ด๊ฐ ๋๊ณ ์์ต๋๋ค.\n\n๊ฒฐ๋ก ์ ์ผ๋ก, ์๋ขฐ๋ฉ๊ฑฐ ๋ฐฉ์ ์์ ์์์ญํ์ ๊ธฐ๋ณธ ๊ฐ๋
๋ค์ ์ดํดํ๊ณ ํด์ํ๋ฉฐ, ๊ทธ ๊ฒฐ๊ณผ๋ก์ ๋ง์ ํ์ ์ ์ด๊ณ ์ค์ฉ์ ์ธ ๊ธฐ์ ์ ๊ฐ๋ฅํ๊ฒ ํ์ต๋๋ค. ์ด๋ ์์์ญํ์ ์ค์์ฑ์ ๋ณด์ฌ์ฃผ๋ ๋ํ์ ์ธ ์์๋ผ๊ณ ํ ์ ์์ต๋๋ค.<|im_end|>' \
|
86 |
+
'<|endofturn|>'
|
87 |
+
]
|
88 |
```
|