nlp 2

StableLM: 새로운 오픈 소스 언어 모델

Stability AI는 텍스트와 코드를 생성할 수 있고 다양한 다운스트림 애플리케이션을 지원할 수 있는 오픈 소스 언어 모델인 StableLM을 출시했습니다. 알파 버전의 모델은 30억 개와 70억 개의 매개변수로 제공되며, 150억 개에서 650억 개의 매개변수 모델이 뒤따를 예정입니다. StableLM은 더 파일에 구축된 새로운 실험 데이터 세트를 기반으로 학습되었지만, 콘텐츠가 1조 5천억 개로 3배 더 큽니다. 이 데이터 세트의 풍부함 덕분에 StableLM은 30억에서 70억 개의 매개변수라는 작은 크기에도 불구하고 대화 및 코딩 작업에서 놀라울 정도로 높은 성능을 제공합니다. StableLM은 투명하고 접근 가능하며 지원되도록 설계되었습니다. 오픈 소스 모델은 상업적 또는 연구 목적으로 조정..

Hacker News 2023.04.20

NumPy 60줄의 GPT

Jaykmody.com의 블로그 게시물은 Python에서 과학 컴퓨팅에 널리 사용되는 라이브러리인 Numpy를 사용하여 생성적 사전 학습 트랜스포머(GPT) 언어 모델을 처음부터 구현하는 데 초점을 맞추고 있습니다. 저자는 GPT의 기본 개념과 텍스트 생성 및 언어 번역과 같은 자연어 처리 작업에 어떻게 사용되는지 설명합니다. 또한 행렬 연산, 활성화 함수, 손실 함수 등 GPT 모델을 구현하는 데 사용되는 Numpy 함수에 대한 코드 스니펫과 설명도 제공합니다. 전반적으로 이 블로그 게시물은 GPT에 대한 포괄적인 이해와 Numpy를 사용하여 구현하는 방법을 제공하므로 언어 모델과 Numpy에 관심이 있는 모든 사람에게 훌륭한 리소스가 될 것입니다. https://jaykmody.com/blog/gpt..

Hacker News 2023.02.10