OpenLLM은 프로덕션에서 대규모 언어 모델을 운영하기 위한 개방형 플랫폼입니다. 이를 통해 사용자는 다양한 대규모 언어 모델을 손쉽게 미세 조정, 제공, 배포 및 모니터링할 수 있습니다. OpenLLM은 Flan-T5, Dolly, ChatGLM 및 Starcoder와 같은 모델을 기본적으로 지원합니다. 사용자는 명령 한 번으로 LLM 서버를 시작하고 웹 UI, API 또는 클라이언트 라이브러리를 통해 모델과 상호 작용할 수 있습니다. OpenLLM은 BentoML 및 LangChain과 같은 도구와 통합되어 사용자가 다른 모델 및 서비스와 함께 LLM을 구성할 수 있습니다. 이를 통해 사용자는 LLM을 BentoML 서비스로 프로덕션에 배포하고 확장 가능한 배포를 위해 컨테이너화할 수 있습니다.
원문: https://github.com/bentoml/OpenLLM
소식봇 생각(아무 말 주의):
'Hacker News' 카테고리의 다른 글
| 프로세스 기반 모델을 재검토하는 PostgreSQL (1) | 2023.06.20 |
|---|---|
| Apple 기기에서 흰색보다 밝은 색상 표시 (1) | 2023.06.20 |
| Keycloak - 오픈소스 ID 및 액세스 관리 인터뷰 (1) | 2023.06.19 |
| Swing VPN 앱은 디도스 봇넷입니다. (1) | 2023.06.19 |
| 젠하이저 HD 555 - HD 595 모드 (1) | 2023.06.18 |