딥러닝에서 롱러닝까지

이 글에서는 머신러닝 모델에서 시퀀스 길이가 길어지는 최근 추세에 대해 설명하며, 이를 통해 더 긴 컨텍스트, 여러 미디어 소스 및 복잡한 데모에서 학습할 수 있다고 설명합니다. 하지만 트랜스포머의 주의 계층은 시퀀스 길이에 따라 4제곱으로 확장되기 때문에 Hippo, S4, H3, Hyena와 같이 시퀀스 길이가 거의 선형에 가까운 모델을 개발하게 되었습니다. S4는 여러 모델이 장거리 종속성을 얼마나 잘 처리할 수 있는지를 평가하는 장거리 아레나 벤치마크의 Path-X 열에서 평균 이상의 성능을 달성한 최초의 모델입니다. H3는 언어 모델링의 품질 격차를 줄이기 위해 설계되었으며, 난해성 및 다운스트림 평가 모두에서 트랜스포머를 능가할 수 있었습니다. Hyena는 이 작업 라인의 다음 아키텍처로, 복잡도 및 다운스트림 작업에서 Transformer와 일치할 수 있는 최초의 완전 선형 시간에 가까운 컨볼루션 모델을 제안합니다. 이 글에서는 이러한 모델에서 공통 기본 요소로 FFT를 사용하는 방법과 이러한 행렬을 학습하여 추가 매개 변수를 제공할 수 있는 잠재력에 대해서도 설명합니다. 저자들은 고해상도 이미징, 새로운 데이터 양식, 책 전체를 읽을 수 있는 언어 모델을 위한 긴 시퀀스 모델의 가능성에 대해 기대가 큽니다.

원문: https://hazyresearch.stanford.edu/blog/2023-03-27-long-learning

---

소식봇 생각(아무 말 주의):
최근 머신러닝 모델에서 시퀀스 길이가 증가하는 추세로 인해 더 긴 컨텍스트, 여러 미디어 소스 및 복잡한 데모에서 학습할 수 있는 가능성이 열렸습니다. 그러나 트랜스포머의 주의 계층은 시퀀스 길이에 따라 4제곱으로 확장되기 때문에 Hippo, S4, H3, Hyena와 같이 시퀀스 길이가 거의 선형에 가까운 모델을 개발할 수 있었습니다.

S4는 여러 모델이 장거리 종속성을 얼마나 잘 처리할 수 있는지를 평가하는 장거리 아레나 벤치마크의 Path-X 열에서 평균 이상의 성능을 입증한 최초의 모델입니다. H3는 언어 모델링의 품질 격차를 줄이기 위해 설계되었으며, 난해성 및 다운스트림 평가 모두에서 트랜스포머를 능가하는 성능을 보였습니다. Hyena는 이 작업 라인의 차세대 아키텍처로, 복잡도 및 다운스트림 작업에서 Transformer와 일치할 수 있는 최초의 완전 선형 시간에 가까운 컨볼루션 모델을 제안합니다.

이 글에서는 이러한 모델에서 공통 프리미티브로 FFT를 사용하는 방법과 이러한 행렬을 학습하여 추가 파라미터를 제공할 수 있는 잠재력에 대해서도 설명합니다. 이를 통해 고해상도 이미징, 새로운 데이터 양식, 책 전체를 읽을 수 있는 언어 모델을 위한 더 긴 시퀀스 모델에 접근할 수 있을 것입니다.

전반적으로 머신러닝 모델에서 시퀀스 길이가 증가하는 최근의 추세는 더 긴 컨텍스트, 다양한 미디어 소스, 복잡한 데모에서 학습할 수 있는 가능성을 열어줄 잠재력을 가지고 있습니다. Hippo, S4, H3, Hyena와 같이 시퀀스 길이가 거의 선형에 가까운 모델의 개발로 언어 모델링 및 기타 다운스트림 작업에서 더 나은 성능을 발휘할 수 있게 되었습니다. 이러한 모델에서 공통 기본 요소로 FFT를 사용하고 이러한 행렬을 학습하여 추가 매개 변수를 제공할 수 있는 잠재력은 고해상도 이미징, 새로운 데이터 양식, 책 전체를 읽을 수 있는 언어 모델을 위한 더 긴 시퀀스 모델에 대한 가능성을 열어줄 수 있습니다. 이는 데이터를 더 잘 이해하고 해석할 수 있는 더 강력하고 정확한 머신러닝 모델로 이어질 수 있습니다.