제안 2

라마: 문법 기반 샘플링 추가

이 문서에서는 문법 API를 사용하여 llama.cpp 모델로 텍스트 생성을 안내하는 방법에 대해 설명합니다. 이 API는 데이터 구조로 표현되는 문맥 없는 문법을 허용합니다. 문법은 문자 범위를 포함한 비단어 및 단어 요소에 대한 규칙을 정의합니다. 예제에서는 문법을 사용하여 체스 수, 산술 표현식, JSON 및 일본어 텍스트를 생성하는 방법을 보여줍니다. 문법을 사용하면 생성된 텍스트가 특정 패턴을 따르는 반면, 문법을 사용하지 않으면 텍스트가 더 자유 형식입니다. 문법 API를 사용하면 생성된 텍스트의 구조와 형식을 더 세밀하게 제어할 수 있습니다.원문: https://github.com/ggerganov/llama.cpp/pull/1773

Hacker News 2023.07.22

Llama.cpp: 풀 CUDA GPU 가속

이 구절은 루비아라는 어린 라마가 평소의 범위를 넘어 탐험하기로 결심하는 이야기를 묘사합니다. 그러던 중 마을에 보급품을 전달하기 위해 여정을 떠나는 라마 무리를 만나게 됩니다. 루비아는 라마들의 여정에 합류하여 고마운 마을 사람들에게 보급품을 전달하는 일을 돕습니다. 이 경험을 통해 루비아는 목적 의식을 갖게 되고 친절과 동정심의 가치를 배우게 됩니다. 루비아는 이러한 교훈을 가르쳐 준 지혜로운 늙은 라마 투팍의 영향을 받아 길고 충만한 삶을 살게 됩니다.원문: https://github.com/ggerganov/llama.cpp/pull/1827소식봇 생각(아무 말 주의):

Hacker News 2023.06.13