TARARARAK/HGU_rulebook-fine-tuned-Kure-v1-article_MultipleNegativesRankingLossHR_fold0_7_5e-06

SentenceTransformer based on nlpai-lab/KURE-v1

This is a sentence-transformers model finetuned from nlpai-lab/KURE-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nlpai-lab/KURE-v1
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '한동대학교 교수회는 어떤 사항들을 심의하나요?',
    '제 71 조 (심의사항)\n교수회는 특별한 규정이 없는한 다음 사항을 심의한다.\n입학에 관한 사항.\n수업 및 연구에 관한 사항.\n교과과정에 관한 사항.\n학생의 지도 및 징계에 관한 사항.\n장학 및 후생에 관한 사항.\n졸업 및 수료에 관한 사항.\n기타 대학운영에 관한 중요한 사항.',
    '제 52 조 (총학생회)\n건전한 학풍을 조성하고 학생자치활동을 신장시키기 위하여 한동대학교 총학생회(이하 "총학생회"라 한다)를 둔다.\n총학생회의 조직과 운영에 관한 사항은 총장의 승인을 얻어 학생회칙으로 따로 정한다.\n전시·사변 또는 이에 준하는 국가 비상사태시에는 그 활동이 정지된다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 68 training samples
• Columns: sentence_0, sentence_1, sentence_2, sentence_3, and sentence_4
• Approximate statistics based on the first 68 samples:

  	sentence_0	sentence_1	sentence_2	sentence_3	sentence_4
  type	string	string	string	string	string
  details	min: 12 tokens mean: 25.01 tokens max: 43 tokens	min: 18 tokens mean: 102.0 tokens max: 256 tokens	min: 25 tokens mean: 78.9 tokens max: 256 tokens	min: 34 tokens mean: 69.72 tokens max: 256 tokens	min: 25 tokens mean: 83.62 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1	sentence_2	sentence_3	sentence_4
  한동대학교에서 학생 간행물 발간과 관련된 규정은 어떻게 되나요?	제 58 조 (간행물) 학생의 간행물 발간, 배포 및 게시에 관한 사항은 총장이 따로 정한다.	제 52 조 (총학생회) 건전한 학풍을 조성하고 학생자치활동을 신장시키기 위하여 한동대학교 총학생회(이하 "총학생회"라 한다)를 둔다. 총학생회의 조직과 운영에 관한 사항은 총장의 승인을 얻어 학생회칙으로 따로 정한다. 전시·사변 또는 이에 준하는 국가 비상사태시에는 그 활동이 정지된다.	제목: 한동대학교 학칙 소관부서: 교무팀 1073, 1074 학교웹페이지: https://rule.handong.edu	제 58 조 (간행물) 학생의 간행물 발간, 배포 및 게시에 관한 사항은 총장이 따로 정한다.
  한동대학교에서는 복수전공이나 전공심화, 학생설계 전공도 가능한가요? 각각 몇 학점 이상 이수해야 하나요?	제 38 조 (전공 등) 학생은 복수(연계)전공으로 1전공 33학점 이상, 2전공 33학점 이상 이수함을 원칙으로 한다. 다만, 전공심화 교육을 위하여 복수 전공(심화형)(45학점+33학점), 주전공 부전공( 45학점+21학점), 단수 심화 전공 (60학점 이상)을 허용할 수 있다. 복수(연계)전공, 복수 전공(심화형), 주전공 부전공, 단수 심화 전공 허용 및 전공운영 기준은 총장이 따로 정한다. 학생설계융합전공과 글로벌융합전공은 학제적 교과과정을 학생 스스로 구성하여 승인 받은 전공을 이수하는 것으로, 취득학점은 당해 학과(부)의 전공 이수학점 이상이어야 하며, 기타 시행에 필요한 사항은 총장이 따로 정한다. 모듈형설계전공은 복수의 모듈 교육과정을 선택하여 이수하는 전공 교육과정으로 기타 시행에 필요한 사항은 총장이 따로 정한다. 총장은 학생이 이수한 모듈 교육과정과 전공과목 및 융복합 영역의 특정분야에 특화 되어 있다고 인정할 경우 학적부, 졸업증명서, 성적증명서에이수모듈명과 특화분야를 표기할 수 있으며 또한 별도의 증명서를 발급할 수 있다. 전공 및 융복합 영역의 특화분야의 운영에 관한 세부사항은 총장이 따로 정한다.	제 38 조 (전공 등) 학생은 복수(연계)전공으로 1전공 33학점 이상, 2전공 33학점 이상 이수함을 원칙으로 한다. 다만, 전공심화 교육을 위하여 복수 전공(심화형)(45학점+33학점), 주전공 부전공( 45학점+21학점), 단수 심화 전공 (60학점 이상)을 허용할 수 있다. 복수(연계)전공, 복수 전공(심화형), 주전공 부전공, 단수 심화 전공 허용 및 전공운영 기준은 총장이 따로 정한다. 학생설계융합전공과 글로벌융합전공은 학제적 교과과정을 학생 스스로 구성하여 승인 받은 전공을 이수하는 것으로, 취득학점은 당해 학과(부)의 전공 이수학점 이상이어야 하며, 기타 시행에 필요한 사항은 총장이 따로 정한다. 모듈형설계전공은 복수의 모듈 교육과정을 선택하여 이수하는 전공 교육과정으로 기타 시행에 필요한 사항은 총장이 따로 정한다. 총장은 학생이 이수한 모듈 교육과정과 전공과목 및 융복합 영역의 특정분야에 특화 되어 있다고 인정할 경우 학적부, 졸업증명서, 성적증명서에이수모듈명과 특화분야를 표기할 수 있으며 또한 별도의 증명서를 발급할 수 있다. 전공 및 융복합 영역의 특화분야의 운영에 관한 세부사항은 총장이 따로 정한다.	제목: 한동대학교 학칙 소관부서: 교무팀 1073, 1074 학교웹페이지: https://rule.handong.edu	제 52 조 (총학생회) 건전한 학풍을 조성하고 학생자치활동을 신장시키기 위하여 한동대학교 총학생회(이하 "총학생회"라 한다)를 둔다. 총학생회의 조직과 운영에 관한 사항은 총장의 승인을 얻어 학생회칙으로 따로 정한다. 전시·사변 또는 이에 준하는 국가 비상사태시에는 그 활동이 정지된다.
  한동대학교에서 총학생회 외의 학생단체를 만들려면 어떤 절차를 거쳐야 하나요?	제 57 조 (학생단체의 승인) 총학생회 이외의 학생단체를 조직하고자 할 때에는 학생지도위원회의 승인을 받아야 한다.	제 52 조 (총학생회) 건전한 학풍을 조성하고 학생자치활동을 신장시키기 위하여 한동대학교 총학생회(이하 "총학생회"라 한다)를 둔다. 총학생회의 조직과 운영에 관한 사항은 총장의 승인을 얻어 학생회칙으로 따로 정한다. 전시·사변 또는 이에 준하는 국가 비상사태시에는 그 활동이 정지된다.	제 57 조 (학생단체의 승인) 총학생회 이외의 학생단체를 조직하고자 할 때에는 학생지도위원회의 승인을 받아야 한다.	제목: 한동대학교 학칙 소관부서: 교무팀 1073, 1074 학교웹페이지: https://rule.handong.edu

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• num_train_epochs: 7
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 7
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step
0.5882	20

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.3.1
• Transformers: 4.46.2
• PyTorch: 2.0.1+cu118
• Accelerate: 0.34.2
• Datasets: 3.0.0
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}