Special Research Paper on “Applications of Data Science and Artificial Intelligence in Economic and Environmental Geology”
Split Viewer
Econ. Environ. Geol. 2024; 57(5): 539-550
Published online October 29, 2024
https://doi.org/10.9719/EEG.2024.57.5.539
© THE KOREAN SOCIETY OF ECONOMIC AND ENVIRONMENTAL GEOLOGY
Development of a Large-scale Korean Language Model in the Field of Geosciences
Correspondence to : *energy@kigam.re.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided original work is properly cited.
Abstract
With the rapid development and commercialization of large-scale generative language models, concerns regarding the appropriateness of model outputs, expertise, and data security have been emerged. In particular, Korean generative language models specialized in the field of geoscience have not yet been studied due to difficulties in data processing, preprocessing and a lack of development cases. This study conducted the entire process for developing a Korean language model specialized in the field of geoscience and evaluated its applicability in related fields. To achieve this, academic data related to geoscience were collected and preprocessed to create a dataset suitable for the training of the language model. The dataset was applied to the Llama2 model for the training. The trained model was quantitatively evaluated using 19 different evaluation datasets from various fields. The results demonstrated improved functionalities related to scientific question-answering and Korean text interpretation compared to the original model. The language model developed through this study can potentially enhance research productivity in the field of geoscience, offering benefits such as idea generation. The outcomes of this study are expected to stimulate further research and the utilization of generative language models in geoscience in the future.
Keywords large language model, generative model, natural language processing, artificial intelligence, geoscience
지질과학 분야 한국어 대규모 언어 모델 개발
이상호*
한국지질자원연구원 광물자원연구본부 선임연구원
요 약
최근 대규모 생성형 언어 모델의 급격한 발달과 상용화가 이루어지면서 모델 출력의 적정성, 전문성 문제 및 데이터 보안 문제가 제기되고 있다. 특히 지질과학 유관 분야에서는 가공된 자료 및 전처리의 어려움과 개발 사례의 부족으로 인해 해당 분야에 특화된 한국어 언어 모델 개발은 아직 진행된 사례가 없다. 이에 따라 본 연구에서는 지질과학 분야에 특화된 한국어 언어 모델 개발을 위한 전반적인 과정을 수행하고 이를 평가함으로써 유관 분야에서의 적용 가능성을 알아보고자 하였다. 이를 위하여 지질과학 유관 분야의 학술 자료를 수집하고 전처리하여 언어 모델의 학습에 적합한 자료를 준비하고, 이를 Llama 2 모델에 적용하여 사전학습 및 미세조정을 수행하였다. 학습된 모델은 19종의 분야별 평가용 데이터셋을 이용하여 정량적으로 평가하였으며, 그 결과 원본 모델 대비 과학 관련 질의응답 및 및 한국어 지문 해석 관련 기능이 향상된 것으로 나타났다. 본 연구를 통해 개발된 언어 모델은 유관 분야에서 아이디어 창출과 같은 연구 생산성 제고에 기여할 수 있으며, 향후 언어 모델을 활용한 연구 및 활용을 활성화할 수 있을 것으로 기대된다.
주요어 대규모 언어 모델, 생성형 모델, 자연어 처리, 인공지능, 지질과학
PDF
Standard view
Export citation
Share Article
Special Research Paper on “Applications of Data Science and Artificial Intelligence in Economic and Environmental Geology”
Econ. Environ. Geol. 2024; 57(5): 539-550
Published online October 29, 2024 https://doi.org/10.9719/EEG.2024.57.5.539
Copyright © THE KOREAN SOCIETY OF ECONOMIC AND ENVIRONMENTAL GEOLOGY.
Development of a Large-scale Korean Language Model in the Field of Geosciences
Sang-ho Lee*
Mineral Resources Division, Korea Institute of Geosciences and Mineral Resources, Daejeon 34132, Republic of Korea
Correspondence to:*energy@kigam.re.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided original work is properly cited.
Abstract
With the rapid development and commercialization of large-scale generative language models, concerns regarding the appropriateness of model outputs, expertise, and data security have been emerged. In particular, Korean generative language models specialized in the field of geoscience have not yet been studied due to difficulties in data processing, preprocessing and a lack of development cases. This study conducted the entire process for developing a Korean language model specialized in the field of geoscience and evaluated its applicability in related fields. To achieve this, academic data related to geoscience were collected and preprocessed to create a dataset suitable for the training of the language model. The dataset was applied to the Llama2 model for the training. The trained model was quantitatively evaluated using 19 different evaluation datasets from various fields. The results demonstrated improved functionalities related to scientific question-answering and Korean text interpretation compared to the original model. The language model developed through this study can potentially enhance research productivity in the field of geoscience, offering benefits such as idea generation. The outcomes of this study are expected to stimulate further research and the utilization of generative language models in geoscience in the future.
Keywords large language model, generative model, natural language processing, artificial intelligence, geoscience
지질과학 분야 한국어 대규모 언어 모델 개발
이상호*
한국지질자원연구원 광물자원연구본부 선임연구원
요 약
최근 대규모 생성형 언어 모델의 급격한 발달과 상용화가 이루어지면서 모델 출력의 적정성, 전문성 문제 및 데이터 보안 문제가 제기되고 있다. 특히 지질과학 유관 분야에서는 가공된 자료 및 전처리의 어려움과 개발 사례의 부족으로 인해 해당 분야에 특화된 한국어 언어 모델 개발은 아직 진행된 사례가 없다. 이에 따라 본 연구에서는 지질과학 분야에 특화된 한국어 언어 모델 개발을 위한 전반적인 과정을 수행하고 이를 평가함으로써 유관 분야에서의 적용 가능성을 알아보고자 하였다. 이를 위하여 지질과학 유관 분야의 학술 자료를 수집하고 전처리하여 언어 모델의 학습에 적합한 자료를 준비하고, 이를 Llama 2 모델에 적용하여 사전학습 및 미세조정을 수행하였다. 학습된 모델은 19종의 분야별 평가용 데이터셋을 이용하여 정량적으로 평가하였으며, 그 결과 원본 모델 대비 과학 관련 질의응답 및 및 한국어 지문 해석 관련 기능이 향상된 것으로 나타났다. 본 연구를 통해 개발된 언어 모델은 유관 분야에서 아이디어 창출과 같은 연구 생산성 제고에 기여할 수 있으며, 향후 언어 모델을 활용한 연구 및 활용을 활성화할 수 있을 것으로 기대된다.
주요어 대규모 언어 모델, 생성형 모델, 자연어 처리, 인공지능, 지질과학
Fig 1.
Download
Fig 2.
Download
Fig 3.
Download
Fig 4.
Download
Fig 5.
Download
Fig 6.
Download
-
Table 1 . Hyperparameters and time required for the pre-training.
Hyperparameter and variable Value Learning rate 1e-5 Learning rate scheduler type constant with warmup Warmup steps 100 Torch data type bfloat16 Per-device batch size 4 Gradient accumulation steps 8 Training steps 5,506 Training runtime(hr) 182.4
-
Table 2 . Hyperparameters and time required for the fine-tuning.
Hyperparameter and variable Instruction tuning Alignment tuning Learning rate 3e-5 Learning rate scheduler type cosine Torch data type bfloat16 Per-device batch size 4 Gradient accumulation steps 8 Target modules q_proj, v_proj Training epochs 5 Training steps per epoch 363 484 Training runtime per epoch(hr) 5.91 21.4
-
Table 3 . Examples of responses to the same prompt entered in 3 different models.
-
Table 4 . Datasets used for the evaluation of the language model.
-
Table 5 . Final quantitative evaluation results for each model.
Raw Pretrained Instruct DPO-1 DPO-2 DPO-3 DPO-4 DPO-5 ARC-C 0.4130 0.4172 0.4445 0.4531 0.4599 0.4642 0.4616 0.4642 ARC-E 0.6886 0.7012 0.7247 0.7319 0.7311 0.7315 0.7298 0.7298 BoolQ 0.7789 0.7495 0.7679 0.7927 0.7927 0.7969 0.8064 0.8034 COPA 0.8800 0.8700 0.8900 0.8900 0.8900 0.8800 0.8800 0.8800 AP-Geo-K 0.2889 0.2853 0.3118 0.3168 0.3118 0.3111 0.3111 0.3125 HT-A 0.4605 0.4803 0.4671 0.4474 0.4671 0.4803 0.4737 0.4737 HT-CB 0.2708 0.2986 0.3542 0.3889 0.3819 0.3958 0.3889 0.4028 HT-CC 0.2500 0.2500 0.3400 0.3300 0.3400 0.3500 0.3900 0.3800 HT-ColP 0.2255 0.2451 0.2451 0.2941 0.2941 0.3235 0.3529 0.3333 HT-ConP 0.3787 0.3234 0.4000 0.3787 0.3872 0.3660 0.3660 0.3702 HT-HG 0.3687 0.3636 0.5303 0.5303 0.5354 0.5354 0.5404 0.5404 BoolQ-K 0.5677 0.5556 0.7934 0.7080 0.8405 0.8618 0.8618 0.8597 COPA-K 0.7970 0.7770 0.7860 0.7900 0.7930 0.7920 0.7920 0.7910 HellaSwag-K 0.5000 0.4780 0.5040 0.5000 0.4940 0.4980 0.4960 0.4960 SNeg-K 0.5340 0.7128 0.7053 0.7103 0.7305 0.7380 0.7456 0.7431 OBQA 0.3260 0.3020 0.3220 0.3180 0.3200 0.3240 0.3220 0.3240 PIQA 0.7802 0.7720 0.7824 0.7851 0.7818 0.7840 0.7840 0.7824 SciQ 0.9120 0.9220 0.9330 0.9430 0.9430 0.9460 0.9440 0.9420 WG 0.7040 0.7080 0.7040 0.7103 0.7088 0.7088 0.7064 0.7088 Averaged Score 0.5329 0.5375 0.5792 0.5799 0.5896 0.5941 0.5975 0.5967
Article Tools
Stats or Metrics
Share this article on
Related articles in KSEEG
-
A Study on Enhancement Method of Public Perception about Geoscience using Big Data Analysis: Focusing on Media Articles
Chan Souk Kim
Econ. Environ. Geol. 2022; 55(3): 273-280 -
The Applicability of Conditional Generative Model Generating Groundwater Level Fluctuation Corresponding to Precipitation Pattern
Jiho Jeong, Jina Jeong, Byung Sun Lee, Sung-Ho Song
Econ. Environ. Geol. 2021; 54(1): 77-89
