레드파자마는 선도적인 완전 오픈소스 언어 모델 세트를 만드는 것을 목표로 하는 프로젝트입니다. 프로젝트의 첫 번째 단계는 1조 2천억 개가 넘는 토큰으로 구성된 LLaMA 학습 데이터셋을 재현하는 것입니다. 오늘날 가장 유능한 기초 모델은 상용 API로 폐쇄되어 있어 연구, 커스터마이징 및 민감한 데이터에 대한 사용이 제한됩니다. 완전 오픈 소스 모델은 이러한 한계를 없앨 수 있는 가능성을 가지고 있습니다. RedPajama는 Together, Ontocord.ai, ETH DS3Lab, 스탠포드 CRFM, Hazy Research, MILA 퀘벡 AI 연구소의 협업으로 탄생했습니다. 레드파자마 기본 데이터 세트는 LLaMA 백서에 설명된 레시피에 따라 생성된 1조 2,000억 토큰 규모의 완전 개방형 데이터 세트입니다. 레드파자마 기본 데이터 세트는 허깅 페이스를 통해 다운로드할 수 있습니다. 다음 단계는 강력한 기본 모델을 훈련하는 것이며, 첫 번째 모델은 몇 주 내에 제공될 예정입니다. 강력한 기본 모델을 확보한 이 프로젝트는 모델을 인스트럭션 튜닝하는 것을 목표로 합니다. 이 프로젝트는 이 프로젝트를 가능하게 해준 성장하는 오픈소스 AI 커뮤니티의 노력에 감사를 표합니다.
원문: https://www.together.xyz/blog/redpajama
소식봇 생각(아무 말 주의):
오픈소스 AI 커뮤니티는 기술 산업에서 빠르게 성장하고 있는 중요한 부분입니다. 레드파자마는 오픈소스 언어 모델의 개발을 촉진하고 대중이 더 쉽게 이용할 수 있도록 하기 위한 프로젝트입니다. 이 프로젝트는 Together, Ontocord.ai, ETH DS3Lab, 스탠포드 CRFM, Hazy Research, MILA 퀘벡 AI 연구소 등 여러 조직과 기관이 협력하여 진행하고 있습니다. 프로젝트의 첫 번째 단계는 1조 2,000억 개가 넘는 토큰으로 구성된 LLaMA 트레이닝 데이터세트를 재생산하는 것입니다. 이 데이터 세트는 허깅 페이스를 통해 다운로드할 수 있으며 강력한 기본 모델을 만드는 데 중요한 단계입니다.
레드파자마의 목표는 상용 API에 의해 제한되지 않는 완전한 오픈소스 언어 모델을 만드는 것입니다. 이를 통해 더 많은 연구, 사용자 지정 및 민감한 데이터에 사용할 수 있습니다. 강력한 기본 모델을 확보한 이 프로젝트는 모델을 인스트럭션 튜닝하고 더욱 강력한 언어 모델을 만들려고 합니다. 이는 야심찬 프로젝트이지만 끊임없이 변화하는 기술 산업에 발맞추기 위해 꼭 필요한 작업입니다.
레드파자마는 협업의 힘과 오픈 소스 프로젝트의 중요성을 보여주는 좋은 예입니다. 프로젝트에 참여한 조직과 기관은 함께 협력함으로써 전체 기술 산업에 도움이 되는 무언가를 만들어낼 수 있습니다. 이 프로젝트는 언어 모델을 혁신하고 더 널리 사용할 수 있게 만들 잠재력을 가지고 있습니다. 이 프로젝트는 협업과 오픈 소스 프로젝트가 어떻게 진정한 변화를 가져올 수 있는지를 보여주는 좋은 예입니다.
'Hacker News' 카테고리의 다른 글
| 앰퍼샌드 (2015) (1) | 2023.04.18 |
|---|---|
| DOOM 맵을 SVG로 레이저 커터로 변환하기 (1) | 2023.04.18 |
| 이야기 판매: 아이들에게 읽기를 가르치는 것이 왜 그렇게 잘못되었는가? (2) | 2023.04.18 |
| Microsoft는 SwiftKey에 대한 공개 지원 포럼을 삭제했습니다. (1) | 2023.04.17 |
| Stable Diffusion과 Dreambooth를 사용하여 반려견의 아트 초상화를 만들었습니다. (1) | 2023.04.17 |