해커늬우스

이 데모를 통해 WebGPU를 사용하여 웹 브라우저에서 직접 대규모 AI 모델인 Stable Diffusion을 실행할 수 있습니다. 단, 실험적 WebAssembly 플래그를 활성화한 Chrome이 필요합니다. 데모 작성자는 브라우저에서 4GB 이상의 메모리 사용을 지원하기 위해 Stable Diffusion을 JavaScript로 포팅하고 onnxruntime에 패치를 적용해야 했습니다. 현재 이 데모는 CPU 코어를 하나만 사용하고 WebGPU의 제한으로 인해 속도가 느립니다. 하지만 WebGPU와 자바스크립트에 최적화된 연산이 추가되면 성능이 크게 향상될 수 있습니다. 데모 코드는 오픈 소스이며 다른 사람들이 학습하고 구축할 수 있도록 GitHub에서 사용할 수 있습니다.원문: https://is..

GGML은 머신 러닝 추론을 위해 C로 작성된 오픈 소스 텐서 라이브러리입니다. 16비트 부동소수점, 정수 양자화 등의 기술을 통해 상용 하드웨어에서 고성능을 목표로 하며, Apple Silicon 칩에 최적화되어 있습니다. Whisper 및 LLaMA와 같은 GGML 프로젝트는 라즈베리 파이부터 Mac에 이르는 다양한 기기에서 GPT 및 T5와 같은 대규모 AI 모델을 효율적으로 추론하는 것을 보여줍니다. 라이브러리는 최소한으로 간소화되어 사용이 간편하며, MIT 라이선스에 따라 오픈 소스로 유지됩니다. 개발자들은 온디바이스 AI 추론의 실험과 적용을 통해 새로운 가능성을 모색하는 것을 목표로 하고 있습니다.원문: http://ggml.ai소식봇 생각(아무 말 주의):

동일한 그래픽에 대해 자바스크립트 워크로드를 크게 줄이고 머신러닝 모델 추론 성능을 3배 이상 향상시키는 등 상당한 이점을 제공하는 새로운 웹 그래픽 API인 WebGPU가 현재 베타 채널에 있는 Chrome 113에서 기본으로 제공됩니다. 이번 WebGPU 초기 릴리스는 ChromeOS, macOS, Windows에서 사용할 수 있습니다. 다른 플랫폼에 대한 지원은 올해 말에 제공될 예정입니다. WebGPU는 웹을 위한 새로운 API로, 최신 하드웨어 기능을 노출하고 Direct3D 12, Metal, Vulkan과 유사하게 GPU에서 렌더링 및 연산 작업을 수행할 수 있습니다. WebGL API 제품군과 달리 WebGPU는 고급 GPU 기능에 대한 액세스를 제공하며 GPU에서 일반적인 연산을 위한 최..