메모리 5

이제 WebGPU의 브라우저에서 StableDiffusion을 직접 실행할 수 있습니다.

이 데모를 통해 WebGPU를 사용하여 웹 브라우저에서 직접 대규모 AI 모델인 Stable Diffusion을 실행할 수 있습니다. 단, 실험적 WebAssembly 플래그를 활성화한 Chrome이 필요합니다. 데모 작성자는 브라우저에서 4GB 이상의 메모리 사용을 지원하기 위해 Stable Diffusion을 JavaScript로 포팅하고 onnxruntime에 패치를 적용해야 했습니다. 현재 이 데모는 CPU 코어를 하나만 사용하고 WebGPU의 제한으로 인해 속도가 느립니다. 하지만 WebGPU와 자바스크립트에 최적화된 연산이 추가되면 성능이 크게 향상될 수 있습니다. 데모 코드는 오픈 소스이며 다른 사람들이 학습하고 구축할 수 있도록 GitHub에서 사용할 수 있습니다.원문: https://is..

Hacker News 2023.07.18

LLM 기반 자율 에이전트

이 문서에서는 대규모 언어 모델을 핵심 컨트롤러로 사용하는 자율 에이전트 구축에 대해 설명합니다. 작업 분해, 메모리, 도구 사용, 자기 반성 등 LLM을 보완하기 위한 몇 가지 메커니즘이 제안되어 있습니다. 그러나 LLM의 한정된 컨텍스트 길이, 신뢰할 수 없는 자연어 인터페이스, 장기적인 계획의 어려움으로 인해 여전히 과제가 남아 있습니다. 이러한 문제에도 불구하고 AutoGPT 및 GPT-Engineer와 같은 개념 증명 데모는 코드 생성과 같은 복잡한 작업을 위한 LLM 기반 에이전트의 잠재력을 보여줍니다. 외부 도구와 메모리로 LLM을 보강하면 그 기능을 크게 확장할 수 있지만, 도구를 안정적으로 사용하려면 언제 어떻게 효과적으로 활용할지 결정하는 모델의 능력에 달려 있습니다.원문: https:..

Hacker News 2023.06.27

C++ 할당자 모델에 대한 간단하지 않은 소개

1. 이 문서에서는 객체가 서로 다른 메모리 영역에서 메모리를 할당할 수 있도록 하는 C++의 다형성 할당자 모델(PMR)에 대해 설명합니다.2. PMR은 전역 힙에서 할당하는 대신 객체가 더 작은 로컬 메모리 영역에서 할당할 수 있도록 합니다. 3. 객체와 관련된 모든 할당은 해당 객체와 동일한 메모리 영역에서 이루어집니다.4. 서로 다른 영역에 있는 오브젝트 간에 소유권을 이전할 수 없으므로 이동 시맨틱이 제한됩니다.5. 할당자는 컨테이너에서 해당 요소로, 컨테이너 간에는 옆으로 전파할 수 있습니다. 6. PMR 얼로케이터는 메모리 영역에 대한 중요한 상태를 전달하므로 옆으로 전파되지 않습니다.7. 객체의 할당자는 복사 연산에 의해 복사되지 않으므로 두드러진 상태로 간주되지 않습니다.8. PMR 벡터..

Hacker News 2023.06.05

메모리 할당이 어떻게 작동하는지에 대한 매우 직관적인 단계별 시각적 가이드

메모리 할당은 프로그램이 메모리를 사용하는 방식에서 필수적인 부분입니다. 프로그램은 메모리를 요청하는 malloc()과 메모리를 반환하는 free()와 같은 함수를 사용합니다. 단순 할당자는 마지막 할당이 끝난 위치만 추적하고 다음 할당을 시작하지만 메모리 누수가 발생할 수 있습니다. 더 나은 얼로케이터는 할당된 메모리와 사용 가능한 메모리를 추적하여 메모리를 해제할 수 있도록 합니다. 그러나 더 큰 요청을 충족할 수 없는 작은 여유 블록이 있는 경우 조각화가 여전히 발생할 수 있습니다. 전체 할당, 메모리 분할, 인라인 부기 등의 기술은 조각화를 줄이고 할당 효율을 높이는 데 도움이 됩니다. 전반적으로 메모리 할당은 속도, 공간 사용량, 조각화 사이의 균형을 맞춰야 하는 복잡한 작업입니다.원문: htt..

Hacker News 2023.05.23

macOS 내부

"macOS 내부" 웹 페이지는 거의 15년에 걸친 John Siracusa의 Mac OS X 리뷰 중 하이라이트 모음을 제공합니다. 주요 내용은 시간순으로 정리되어 있으며, 쿼츠 2D, 패키지 애플리케이션 및 프레임워크, 윈도우 서버, 메모리 관리, 랑데부, GPU 가속 디스플레이 합성, 스포트라이트, DTrace 및 인스트루먼트 등 다양한 주제를 다룹니다, 코어 애니메이션, 타임머신, LLVM, Clang 및 Objective-C 블록, GCD, 복구 파티션, 숨겨진 스크롤 막대 및 자연스러운 스크롤 방향, 자동 종료, 앱 샌드박싱 및 자격, ARC, FileVault 전체 디스크 암호화, iCloud, Gatekeeper, Objective-C 2. 0 구문, 파워냅, Finder 태그, 앱 냅 및..

Hacker News 2023.05.07