daebum commited on
Commit
a892c97
ยท
verified ยท
1 Parent(s): 3936520

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -16
README.md CHANGED
@@ -19,22 +19,10 @@ datasets:
19
  Qwen2.5 14B ๋ชจ๋ธ์„ ์ž์ฒด ๊ตฌ์ถ•ํ•œ RAG ํŠนํ™” ๋ฐ์ดํ„ฐ์…‹, CoT ๋ฐ์ดํ„ฐ์…‹, ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ Full fine-tuning ํ•œ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.
20
  ํ•ด๋‹น ๋ชจ๋ธ์€ ์ผ๋ฐ˜์ ์ธ RAG ์„œ๋น„์Šค์˜ ์ž…๋ ฅ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด์„œ ์ •ํ™•ํ•œ ๋‹ต๋ณ€๊ณผ ๋‹ต๋ณ€ ์ถœ์ฒ˜๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ Json ํ˜•ํƒœ๋กœ ๋‹ต๋ณ€์„ ์ถœ๋ ฅํ•˜๋Š” ํŠน์ง•์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
21
  ์ถœ๋ ฅ key๊ฐ’์€ ์•„๋ž˜์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค.
22
- 1. "source"์˜ ๊ฐ’ : ์‚ฌ์šฉ์ž์˜ ๋งˆ์ง€๋ง‰ ์ž…๋ ฅ์— ๋Œ€ํ•œ ๋‹ต๋ณ€์— ์ธ์šฉํ•ด์•ผ ํ•  ๋‚ด์šฉ์„ ํฌํ•จํ•œ ๋ฌธ์„œ๋ฅผ 1๊ฐœ ๋˜๋Š” 2๊ฐœ ์‹๋ณ„ํ•˜๊ณ , ๊ทธ ๋ฌธ์„œ๋“ค์˜ doc_id๋ฅผ ์ฐพ์•„ ์‹๋ณ„ํ•˜์„ธ์š”. ์ฐพ์€ doc_id๋ฅผ key๋กœ ์‚ฌ์šฉ, value๋กœ๋Š” ์ธ์šฉ๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋”•์…”๋„ˆ๋ฆฌ๋ฅผ ์ถœ๋ ฅํ•˜์‹ญ์‹œ์˜ค. ์ธ์šฉ๊ตฌ๋ž€, "content_of_context"์—์„œ ์‚ฌ์šฉ์ž ์งˆ๋ฌธ์— ๋Œ€ํ•œ ๋‹ต์„ ์ฐพ์„ ์ˆ˜ ์žˆ๋Š” ๊ตฌ์ ˆ์„ ์˜๋ฏธํ•˜๋ฉฐ, ๋ฐ˜๋“œ์‹œ ์›๋ฌธ ๊ทธ๋Œ€๋กœ ํ‘œ๊ธฐํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋‹ต๋ณ€์— ์ธ์šฉํ•ด์•ผ ํ•  ๋‚ด์šฉ์„ ํฌํ•จํ•œ ๋ฌธ์„œ๊ฐ€ ์—†๋Š” ๊ฒฝ์šฐ ๋”•์…”๋„ˆ๋ฆฌ ๋Œ€์‹  None์„ ์ถœ๋ ฅํ•˜์‹ญ์‹œ์˜ค.
23
- 2. "answer"์˜ ๊ฐ’ : ์‚ฌ์šฉ์ž์˜ ๋งˆ์ง€๋ง‰ ์ž…๋ ฅ์— ๋Œ€ํ•œ ๊ณ ํ’ˆ์งˆ์˜ ์ž์—ฐ์Šค๋Ÿฌ์šด ํ•œ๊ตญ์–ด ์‘๋‹ต์„ 3-6๋ฌธ์žฅ์˜ ์„ค๋ช…ํ˜•์œผ๋กœ ์ž‘์„ฑํ•˜์‹ญ์‹œ์˜ค. ์‹ค์ œ ์ •๋‹ต์€ ๋ฌธ์„œ ์ •๋ณด์˜ "original_answer"์— ๊ธฐ์žฌ๋˜์–ด ์žˆ์œผ๋ฏ€๋กœ ์ด๋ฅผ ์ฐธ๊ณ ํ•˜๊ณ , ์‚ฌ์šฉ์ž๊ฐ€ ์ดํ•ดํ•˜๊ธฐ ์‰ฌ์šด ์นœ์ ˆํ•˜๊ณ  ์ž์„ธํ•œ 3~6๋ฌธ์žฅ์œผ๋กœ ์ž‘์„ฑํ•˜์‹ญ์‹œ์˜ค. ์ธ์šฉ์ด๋‚˜ ์ถœ์ฒ˜ ํ‘œ์‹œ๋Š” ์ƒ๋žตํ•˜์‹ญ์‹œ์˜ค.
24
- 3. "grounded_answer"์˜ ๊ฐ’ : "answer"์™€ ๋™์ผํ•œ ์‘๋‹ต์— ์ธ์šฉ ์ถœ์ฒ˜ ๊ธฐํ˜ธ ํƒœ๊ทธ๋ฅผ ํ‘œ๊ธฐํ•˜์—ฌ ์ถœ๋ ฅํ•˜์‹ญ์‹œ์˜ค. ๋ฌธ์„œ์—์„œ ์ œ๊ณต๋œ ์ •๋ณด๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜์—ฌ, ์‚ฌ์‹ค์„ ์ธ์šฉํ•  ๋•Œ <co: doc_id>์™€ </co: doc_id> ๊ธฐํ˜ธ๋กœ ๋ช…์‹œํ•˜์‹ญ์‹œ์˜ค.
25
-
26
- ```
27
- <์ถœ๋ ฅ ์˜ˆ์‹œ>
28
- [
29
- {{
30
- "related_document" : {{"๋ฌธ์„œ ์ •๋ณด์—์„œ ์ฐพ์€ doc_id"}},
31
- "source" : {{"๋ฌธ์„œ ์ •๋ณด์—์„œ ์ฐพ์€ doc_id" : "ํ•ด๋‹น ๋ฌธ์„œ์—์„œ ์ฐพ์„ ์ˆ˜ ์žˆ๋Š” ์ธ์šฉ๊ตฌ ๊ตฌ์ ˆ, ์›๋ฌธ ๊ทธ๋Œ€๋กœ ํ‘œ๊ธฐ",
32
- "๋ฌธ์„œ ์ •๋ณด์—์„œ ์ฐพ์€ doc_id" : "ํ•ด๋‹น ๋ฌธ์„œ์—์„œ ์ฐพ์„ ์ˆ˜ ์žˆ๋Š” ์ธ์šฉ๊ตฌ ๊ตฌ์ ˆ, ์›๋ฌธ ๊ทธ๋Œ€๋กœ ํ‘œ๊ธฐ"}},
33
- "answer" : "์ถœ์ฒ˜๋ฅผ ํ‘œ๊ธฐํ•˜์ง€ ์•Š์€ 3~6๋ฌธ์žฅ ์„ค๋ช…ํ˜• ๋‹ต๋ณ€",
34
- "grounded_answer" : "answer๊ณผ ๋™์ผํ•˜๋˜ <co: doc_id>์™€ </co: doc_id> ๊ธฐํ˜ธ๋กœ ์ธ์šฉ ์ถœ์ฒ˜๋ฅผ ๋ช…์‹œํ•œ ๋‹ต๋ณ€"
35
- }}
36
- ]
37
- ```
38
 
39
  ## ๋‹ต๋ณ€ ์ถœ๋ ฅ ์˜ˆ์‹œ
40
  ```
 
19
  Qwen2.5 14B ๋ชจ๋ธ์„ ์ž์ฒด ๊ตฌ์ถ•ํ•œ RAG ํŠนํ™” ๋ฐ์ดํ„ฐ์…‹, CoT ๋ฐ์ดํ„ฐ์…‹, ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ Full fine-tuning ํ•œ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.
20
  ํ•ด๋‹น ๋ชจ๋ธ์€ ์ผ๋ฐ˜์ ์ธ RAG ์„œ๋น„์Šค์˜ ์ž…๋ ฅ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด์„œ ์ •ํ™•ํ•œ ๋‹ต๋ณ€๊ณผ ๋‹ต๋ณ€ ์ถœ์ฒ˜๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ Json ํ˜•ํƒœ๋กœ ๋‹ต๋ณ€์„ ์ถœ๋ ฅํ•˜๋Š” ํŠน์ง•์„ ๊ฐ€์ง€๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
21
  ์ถœ๋ ฅ key๊ฐ’์€ ์•„๋ž˜์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค.
22
+ 1. "related_document"์˜ ๊ฐ’ : ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ ์žˆ๋Š” ๋ฌธ์„œ doc_id, ์ œ๋ชฉ
23
+ 2. "source" : ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ์žˆ๋Š” ๋ฌธ์„œ doc_id์™€ ๋‹ต๋ณ€์— ์ƒ์„ฑํ•œ ์ธ์šฉ๊ตฌ ๊ตฌ์ ˆ
24
+ 3. "answer"์˜ ๊ฐ’ : ์ถœ์ฒ˜๋ฅผ ํ‘œ๊ธฐํ•˜์ง€ ์•Š์€ 3~6๋ฌธ์žฅ ์„ค๋ช…ํ˜• ๋‹ต๋ณ€
25
+ 4. "grounded_answer"์˜ ๊ฐ’ : answer๊ณผ ๋™์ผํ•˜๋˜ <co: doc_id>์™€ </co: doc_id> ๊ธฐํ˜ธ๋กœ ์ธ์šฉ ์ถœ์ฒ˜๋ฅผ ๋ช…์‹œํ•œ ๋‹ต๋ณ€
 
 
 
 
 
 
 
 
 
 
 
 
26
 
27
  ## ๋‹ต๋ณ€ ์ถœ๋ ฅ ์˜ˆ์‹œ
28
  ```