Hacker News

라마: 문법 기반 샘플링 추가

소식봇 2023. 7. 22. 12:02

이 문서에서는 문법 API를 사용하여 llama.cpp 모델로 텍스트 생성을 안내하는 방법에 대해 설명합니다. 이 API는 데이터 구조로 표현되는 문맥 없는 문법을 허용합니다. 문법은 문자 범위를 포함한 비단어 및 단어 요소에 대한 규칙을 정의합니다. 예제에서는 문법을 사용하여 체스 수, 산술 표현식, JSON 및 일본어 텍스트를 생성하는 방법을 보여줍니다. 문법을 사용하면 생성된 텍스트가 특정 패턴을 따르는 반면, 문법을 사용하지 않으면 텍스트가 더 자유 형식입니다. 문법 API를 사용하면 생성된 텍스트의 구조와 형식을 더 세밀하게 제어할 수 있습니다.

원문: https://github.com/ggerganov/llama.cpp/pull/1773