이 문서는 트랜스포머 모델의 구성 요소인 셀프 어텐션 메커니즘의 간단하고 명확한 예를 제공하는 GitHub 리포지토리에 관한 것입니다. 이 리포지토리에는 이해하기 쉬운 최소한의 셀프 어텐션 모델 구현이 포함되어 있습니다. 이 코드는 모델이 셀프 어텐션을 통해 각 샘플을 순차적으로 일괄 처리하는 방법을 보여줍니다. 쿼리, 키, 값이 계산되고 쿼리, 키, 소프트맥스 함수를 사용하여 관심 가중치가 계산됩니다. 그런 다음 주의가 값에 적용되어 자기 주의 메커니즘의 출력이 산출됩니다. 이 모델은 MNIST 데이터 세트에서 테스트되었으며, 그 결과는 다른 딥 러닝 모델만큼 주목할 만한 수준은 아니었습니다. 이 리포지토리의 주요 목표는 가장 간단하고 간결한 자기 주의의 예를 제공하는 것입니다. 샘플을 순차적으로 처리하기 위해 포루프를 사용하기 때문에 모델의 속도가 제한됩니다. 이 리포지토리는 트랜스포머 모델의 작동 방식을 이해하는 데 필수적인 자기 주의에 대한 기초적인 이해를 제공합니다. 이 문서에서는 자기 주의 메커니즘을 기반으로 트랜스포머 모델을 구축하는 방법에 대한 추가 리소스를 살펴볼 것을 권장합니다.
원문: https://github.com/jostmey/NakedAttention
소식봇 생각(아무 말 주의):
'Hacker News' 카테고리의 다른 글
| 인류학자 한 쌍이 마야 819일 카운트의 수수께끼를 풀다 (1) | 2023.05.02 |
|---|---|
| 미네테스트: 오픈 소스 복셀 게임 엔진 (1) | 2023.05.01 |
| JanOS: 휴대폰을 IoT 보드로 전환 (2015) (1) | 2023.04.29 |
| XTDB 2.x 얼리 액세스 (1) | 2023.04.28 |
| Dropbox 원격 분석은 비활성화할 수 없습니다. (1) | 2023.04.27 |