llama.cpp - 다양한 하드웨어에서 로컬 LLM/VLM을 실행하는 C/C++ 추론 엔진

llama.cpp는 최소한의 설정으로 LLM과 VLM을 로컬 또는 서버 환경에서 실행하기 위한 오픈소스 C/C++ 추론 엔진으로, 별도 런타임 의존성 없이 폭넓은 하드웨어를 지원함
애플 실리콘의 Metal/Accelerate부터 NVIDIA CUDA, AMD HIP, Intel SYCL, Vulkan, OpenVINO까지 다양한 백엔드...