Update README.md
Browse files
README.md
CHANGED
@@ -17,14 +17,14 @@ datasets:
|
|
17 |
|
18 |
## Introduction
|
19 |
Command r plus ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ์์ฒด ๊ตฌ์ถํ RAG ํนํ ๋ฐ์ดํฐ์
, CoT ๋ฐ์ดํฐ์
, ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์
์ผ๋ก Qwen2.5 14B ๋ชจ๋ธ์ Full fine-tuning ํ ๋ชจ๋ธ์
๋๋ค.
|
20 |
-
ํด๋น ๋ชจ๋ธ์ ์ผ๋ฐ์ ์ธ RAG ์๋น์ค์ ์
๋ ฅ๋ฐ์ดํฐ์ ๋ํด์ ์ ํํ ๋ต๋ณ๊ณผ ๋ต๋ณ ์ถ์ฒ๋ฅผ ์์ฑํ ์
|
21 |
-
์ถ๋ ฅ
|
22 |
1. "related_document"์ ๊ฐ : ์ง๋ฌธ๊ณผ ๊ด๋ จ ์๋ ๋ฌธ์ doc_id, ์ ๋ชฉ (key : ๋ฌธ์ ๋ฒํธ, Value : ๋ฌธ์ ์ ๋ชฉ)
|
23 |
2. "source" : ์ง๋ฌธ๊ณผ ๊ด๋ จ์๋ ๋ฌธ์ doc_id์ ๋ต๋ณ์ ์์ฑํ ์ธ์ฉ๊ตฌ ๊ตฌ์
|
24 |
3. "answer"์ ๊ฐ : ์ถ์ฒ๋ฅผ ํ๊ธฐํ์ง ์์ 3~6๋ฌธ์ฅ ์ค๋ช
ํ ๋ต๋ณ
|
25 |
4. "grounded_answer"์ ๊ฐ : answer๊ณผ ๋์ผํ๋ <co: doc_id>์ </co: doc_id> ๊ธฐํธ๋ก ์ธ์ฉ ์ถ์ฒ๋ฅผ ๋ช
์ํ ๋ต๋ณ
|
26 |
|
27 |
-
|
28 |
```
|
29 |
{
|
30 |
"related_document": {
|
@@ -40,7 +40,6 @@ Command r plus ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ์์ฒด ๊ตฌ์ถํ RAG ํนํ ๋ฐ์ดํฐ์
,
|
|
40 |
}
|
41 |
```
|
42 |
|
43 |
-
|
44 |
## RAG Prompt
|
45 |
```
|
46 |
RAG_PROMPT = """<|im_start|>system\n\n ๋น์ ์ ๋ํํ AI๋ก์, ์ฌ์ฉ์์ ์ง๋ฌธ์ ์ ๋ขฐํ ์ ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๊ฒ์ด ์ฃผ์ ์ญํ ์
๋๋ค. ์ฌ์ฉ์์ ์๊ตฌ๋ฅผ ์ ํํ ์ดํดํ๊ณ , ๊ด๋ จ ๋ฌธ์๋ฅผ ๋ถ์ํ์ฌ ์ต์ ์ ๋ต๋ณ์ ์์ฑํด์ผ ํฉ๋๋ค. \n๋น์ ์ ๋ค์๊ณผ ๊ฐ์ ์์น์ ์ค์ํด์ผ ํฉ๋๋ค:\n1. ํญ์ ์ฌ์ฉ์์ ์์ฒญ์ ์ต์ฐ์ ์ผ๋ก ๊ณ ๋ คํ๋ฉฐ, ๋ช
ํํ๊ณ ์ดํดํ๊ธฐ ์ฌ์ด ๋ต๋ณ์ ์ ๊ณตํฉ๋๋ค.\n2. ์ ๊ณต๋ ๋ฌธ์๋ฅผ ์ต๋ํ ํ์ฉํ์ฌ ์๋ต์ ๊ตฌ์ฑํ๋, ์ถ๊ฐ์ ์ธ ๋ถ์๊ณผ ๋
ผ๋ฆฌ๋ฅผ ํตํด ์๋ต์ ์ง์ ๋์
๋๋ค.\n3. ์๋ต์ ์์ฑํ ๋๋ ๋ฐ๋์ ์ฃผ์ด์ง ์ง์นจ์ ๋ฐ๋ฅด๊ณ , ๋ช
ํํ ์ถ์ฒ๋ฅผ ์ ๊ณตํด์ผ ํฉ๋๋ค.\n4. ์ฌ์ฉ์์ ์ง๋ฌธ์ด ๋ชจํธํ ๊ฒฝ์ฐ, ๋ช
ํ์ฑ์ ํ๋ณดํ๊ธฐ ์ํด ์ง๋ฌธ์ ์ฌ๊ตฌ์ฑํ๋ ๋ฐฉ์์ ๊ณ ๋ คํ ์ ์์ต๋๋ค.\n\n# ์ฌ์ฉ์ ์๋ด๋ฌธ\n## ์์
๋ฐ ๋งฅ๋ฝ\n๋น์ ์ ์ฌ์ฉ์ ์ง๋ฌธ์ ๋ํด ๊ด๋ จ ๋ฌธ์๋ฅผ ๋ถ์ํ๊ณ , ์ ๋ขฐํ ์ ์๋ ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ์๋ต์ ์์ฑํด์ผ ํฉ๋๋ค. ๋จ์ํ ์ ๋ณด ์ ๋ฌ์ ๋์ด, ๋ฌธ๋งฅ์ ๊ณ ๋ คํ์ฌ ๊ฐ์ฅ ์ ์ ํ ํํ๋ก ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.\n\n## ์คํ์ผ ๊ฐ์ด๋\njson ํ์์ผ๋ก ๋ต๋ณ์ ์ถ๋ ฅํ์ธ์.[
|
|
|
17 |
|
18 |
## Introduction
|
19 |
Command r plus ๋ชจ๋ธ์ ์ด์ฉํ์ฌ ์์ฒด ๊ตฌ์ถํ RAG ํนํ ๋ฐ์ดํฐ์
, CoT ๋ฐ์ดํฐ์
, ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์
์ผ๋ก Qwen2.5 14B ๋ชจ๋ธ์ Full fine-tuning ํ ๋ชจ๋ธ์
๋๋ค.
|
20 |
+
ํด๋น ๋ชจ๋ธ์ ์ผ๋ฐ์ ์ธ RAG ์๋น์ค์ ์
๋ ฅ๋ฐ์ดํฐ์ ๋ํด์ ์ ํํ ๋ต๋ณ๊ณผ ๋ต๋ณ ์ถ์ฒ๋ฅผ ์์ฑํ ์ ์์ผ๋ฉฐ, Json ํํ๋ก ๋ต๋ณ์ ์ถ๋ ฅํ๋ ํน์ง์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
|
21 |
+
์ถ๋ ฅ ํค๊ฐ์ ์๋์ ๊ฐ์ต๋๋ค.
|
22 |
1. "related_document"์ ๊ฐ : ์ง๋ฌธ๊ณผ ๊ด๋ จ ์๋ ๋ฌธ์ doc_id, ์ ๋ชฉ (key : ๋ฌธ์ ๋ฒํธ, Value : ๋ฌธ์ ์ ๋ชฉ)
|
23 |
2. "source" : ์ง๋ฌธ๊ณผ ๊ด๋ จ์๋ ๋ฌธ์ doc_id์ ๋ต๋ณ์ ์์ฑํ ์ธ์ฉ๊ตฌ ๊ตฌ์
|
24 |
3. "answer"์ ๊ฐ : ์ถ์ฒ๋ฅผ ํ๊ธฐํ์ง ์์ 3~6๋ฌธ์ฅ ์ค๋ช
ํ ๋ต๋ณ
|
25 |
4. "grounded_answer"์ ๊ฐ : answer๊ณผ ๋์ผํ๋ <co: doc_id>์ </co: doc_id> ๊ธฐํธ๋ก ์ธ์ฉ ์ถ์ฒ๋ฅผ ๋ช
์ํ ๋ต๋ณ
|
26 |
|
27 |
+
### ๋ต๋ณ ์ถ๋ ฅ ์์
|
28 |
```
|
29 |
{
|
30 |
"related_document": {
|
|
|
40 |
}
|
41 |
```
|
42 |
|
|
|
43 |
## RAG Prompt
|
44 |
```
|
45 |
RAG_PROMPT = """<|im_start|>system\n\n ๋น์ ์ ๋ํํ AI๋ก์, ์ฌ์ฉ์์ ์ง๋ฌธ์ ์ ๋ขฐํ ์ ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๊ฒ์ด ์ฃผ์ ์ญํ ์
๋๋ค. ์ฌ์ฉ์์ ์๊ตฌ๋ฅผ ์ ํํ ์ดํดํ๊ณ , ๊ด๋ จ ๋ฌธ์๋ฅผ ๋ถ์ํ์ฌ ์ต์ ์ ๋ต๋ณ์ ์์ฑํด์ผ ํฉ๋๋ค. \n๋น์ ์ ๋ค์๊ณผ ๊ฐ์ ์์น์ ์ค์ํด์ผ ํฉ๋๋ค:\n1. ํญ์ ์ฌ์ฉ์์ ์์ฒญ์ ์ต์ฐ์ ์ผ๋ก ๊ณ ๋ คํ๋ฉฐ, ๋ช
ํํ๊ณ ์ดํดํ๊ธฐ ์ฌ์ด ๋ต๋ณ์ ์ ๊ณตํฉ๋๋ค.\n2. ์ ๊ณต๋ ๋ฌธ์๋ฅผ ์ต๋ํ ํ์ฉํ์ฌ ์๋ต์ ๊ตฌ์ฑํ๋, ์ถ๊ฐ์ ์ธ ๋ถ์๊ณผ ๋
ผ๋ฆฌ๋ฅผ ํตํด ์๋ต์ ์ง์ ๋์
๋๋ค.\n3. ์๋ต์ ์์ฑํ ๋๋ ๋ฐ๋์ ์ฃผ์ด์ง ์ง์นจ์ ๋ฐ๋ฅด๊ณ , ๋ช
ํํ ์ถ์ฒ๋ฅผ ์ ๊ณตํด์ผ ํฉ๋๋ค.\n4. ์ฌ์ฉ์์ ์ง๋ฌธ์ด ๋ชจํธํ ๊ฒฝ์ฐ, ๋ช
ํ์ฑ์ ํ๋ณดํ๊ธฐ ์ํด ์ง๋ฌธ์ ์ฌ๊ตฌ์ฑํ๋ ๋ฐฉ์์ ๊ณ ๋ คํ ์ ์์ต๋๋ค.\n\n# ์ฌ์ฉ์ ์๋ด๋ฌธ\n## ์์
๋ฐ ๋งฅ๋ฝ\n๋น์ ์ ์ฌ์ฉ์ ์ง๋ฌธ์ ๋ํด ๊ด๋ จ ๋ฌธ์๋ฅผ ๋ถ์ํ๊ณ , ์ ๋ขฐํ ์ ์๋ ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ์๋ต์ ์์ฑํด์ผ ํฉ๋๋ค. ๋จ์ํ ์ ๋ณด ์ ๋ฌ์ ๋์ด, ๋ฌธ๋งฅ์ ๊ณ ๋ คํ์ฌ ๊ฐ์ฅ ์ ์ ํ ํํ๋ก ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.\n\n## ์คํ์ผ ๊ฐ์ด๋\njson ํ์์ผ๋ก ๋ต๋ณ์ ์ถ๋ ฅํ์ธ์.[
|