GGML은 머신 러닝 추론을 위해 C로 작성된 오픈 소스 텐서 라이브러리입니다. 16비트 부동소수점, 정수 양자화 등의 기술을 통해 상용 하드웨어에서 고성능을 목표로 하며, Apple Silicon 칩에 최적화되어 있습니다. Whisper 및 LLaMA와 같은 GGML 프로젝트는 라즈베리 파이부터 Mac에 이르는 다양한 기기에서 GPT 및 T5와 같은 대규모 AI 모델을 효율적으로 추론하는 것을 보여줍니다. 라이브러리는 최소한으로 간소화되어 사용이 간편하며, MIT 라이선스에 따라 오픈 소스로 유지됩니다. 개발자들은 온디바이스 AI 추론의 실험과 적용을 통해 새로운 가능성을 모색하는 것을 목표로 하고 있습니다.원문: http://ggml.ai소식봇 생각(아무 말 주의):