성능 5

벡터화: 소개

벡터화는 부동 소수점 연산을 벡터 배열에서 병렬로 실행하도록 컴파일하여 과학 코드의 성능을 개선하는 기술입니다. 목표는 하드웨어 병렬 처리를 통해 성능 이점을 얻는 것입니다. 이 글에서는 하드웨어, 컴파일러 및 코딩 관행과 관련된 벡터화 프로세스에 대해 설명합니다. 벡터화를 수행해야 하는 위치, 성능을 향상시키는 방법, 컴파일러가 루프를 적절하게 벡터화하고 있는지를 아는 것이 중요합니다. 이러한 지식은 Stampede2와 같은 최신 HPC 시스템에서 성능을 극대화하는 데 도움이 될 수 있습니다.원문: https://cvw.cac.cornell.edu/vector/default소식봇 생각(아무 말 주의):

Hacker News 2023.06.02

PostgreSQL로 스스로를 보호하는 방법

이 글에서는 PostgreSQL을 사용할 때 흔히 저지르는 실수를 피하는 9가지 방법에 대해 설명합니다. 저자는 확장성의 중요성과 확장성이 데이터베이스 성능에 어떤 영향을 미칠 수 있는지 강조합니다. 가장 중요한 실수 중 하나는 성능 저하를 유발할 수 있는 work_mem의 기본값을 유지하는 것입니다. 저자는 문제가 발생하기 전에 자동화된 타사 시스템을 사용하여 경고할 것을 권장합니다. 모든 애플리케이션 로직을 Postgres 함수 및 절차에 푸시하는 것도 성능을 저하시킬 수 있으므로 실수가 될 수 있습니다. 저자는 하위 쿼리 대신 CTE를 사용하고 시간이 중요한 쿼리에는 재귀적 CTE를 피할 것을 제안합니다. 또한 이 문서에서는 외래 키에 인덱스를 추가하지 말고, NULL을 사용하는 일반 비교 연산자 ..

Hacker News 2023.04.25

ML 모델의 91%는 시간이 지남에 따라 성능이 저하됩니다.

MIT, 하버드 및 기타 기관의 최근 연구에 따르면 머신러닝(ML) 모델의 91%가 시간이 지남에 따라 성능이 저하되는 것으로 나타났습니다. 이 연구는 배포 후 ML 모델의 동작과 보이지 않는 데이터에 따라 성능이 어떻게 변화하는지를 연구하는 데 중점을 두었습니다. 저자들은 시간적 모델 성능 저하를 식별하기 위한 테스트 프레임워크를 개발하여 4개의 표준 ML 모델을 사용하여 4개 산업의 32개 데이터 세트에 적용했습니다. 그 결과 시간이 지남에 따라 오차가 증가하고, 시간이 지남에 따라 오차 변동성이 증가하여 불규칙한 동작으로 이어진다는 사실을 발견했습니다. 저자들은 점진적인 성능 저하 또는 성능 저하 없음, 폭발적인 성능 저하, 오류 변동성 증가 등 네 가지 일반적인 성능 저하 패턴을 확인했습니다. 저..

Hacker News 2023.04.14

Llama.cpp 30B는 이제 6GB의 RAM으로만 실행됩니다.

이 문서는 가중치 로딩 속도를 10~100배 빠르게 하는 파일 형식 변경에 대한 풀 리퀘스트입니다. 파일 형식을 수정하여 읽기() 또는 복사할 필요 없이 가중치를 메모리로 직접 mmap()할 수 있도록 변경했습니다. 이렇게 하면 커널이 추론 프로세스에서 파일 캐시 페이지에 직접 액세스할 수 있고 파일 캐시 페이지가 퇴거될 가능성이 훨씬 줄어듭니다. 새로운 파일 형식은 LLaMA 7b와 같은 단일 파일 모델과 LLaMA 13B와 같은 다중 파일 모델을 지원합니다. 이제 Python 도구는 foo.1, foo.2 등의 파일을 다시 단일 파일로 병합하여 매핑하는 C++ 코드가 매번 데이터를 재구성할 필요가 없도록 합니다. 이 변경으로 텐서가 32바이트 경계에 올바르게 정렬되어 일부 마이크로프로세서에서 추가적인..

Hacker News 2023.04.01

스타파이터 16인치: 4K 코어부트/라이젠 리눅스 노트북

스타파이터는 개인 정보 보호와 성능의 새로운 기준을 제시하는 Linux 전용 노트북입니다. 최대 4K 해상도, 165Hz 주사율, 600cd/m²의 밝기를 지원하는 16인치 IPS 디스플레이가 특징입니다. 또한 탈착식 웹캠, 백라이트 키보드, 햅틱 트랙패드를 갖추고 있습니다. 이 노트북은 플라즈마 전해 산화 처리로 보호되며 무선 연결을 위한 킬 스위치가 있습니다. 인텔® 코어® 12세대 프로세서와 최대 64GB 6400MHz 메모리로 구동됩니다. 또한 65W 질화 갈륨 충전기와 1년 제한 보증이 제공됩니다. 이 노트북은 고도로 사용자 정의할 수 있으며 선택한 배포판으로 사전 설치할 수 있습니다. 무료 배송이 가능합니다. 원문: https://starlabs.systems/pages/starfighter ..

Hacker News 2023.02.12