차이
문서의 선택한 두 판 사이의 차이를 보여줍니다.
| tech:llama.cpp [2026/03/02 10:01] – 만듦 192.168.0.1 | tech:llama.cpp [2026/03/02 10:07] (현재) – 192.168.0.1 | ||
|---|---|---|---|
| 줄 15: | 줄 15: | ||
| **-t N, --threads N | **-t N, --threads N | ||
| ** | ** | ||
| + | |||
| 이것도 매우 중요한 옵션입니다. 위의 ngl 옵션과 함께 퍼포먼스 수준을 결정한다고 해도 과언이 아니죠. 바로 여러분의 CPU를 풀로 활용하기 위한 옵션입니다. 적절한 스레드 숫자를 찾아줘야 CPU 가동율 100%를 달성하여 최적화 할 수 있는데요. 이 숫자는 보통 PC의 물리코어 숫자와 동일하게 맞춰주면 된다고 합니다. 하지만 환경차이로 인해서 다른 결과가 나올 수도 있으니, 숫자를 조금씩 더하거나 빼면서 CPU 가동율을 모니터링 해서 자신에게 가장 적합한 값을 찾아내는 게 베스트일 거예요. | 이것도 매우 중요한 옵션입니다. 위의 ngl 옵션과 함께 퍼포먼스 수준을 결정한다고 해도 과언이 아니죠. 바로 여러분의 CPU를 풀로 활용하기 위한 옵션입니다. 적절한 스레드 숫자를 찾아줘야 CPU 가동율 100%를 달성하여 최적화 할 수 있는데요. 이 숫자는 보통 PC의 물리코어 숫자와 동일하게 맞춰주면 된다고 합니다. 하지만 환경차이로 인해서 다른 결과가 나올 수도 있으니, 숫자를 조금씩 더하거나 빼면서 CPU 가동율을 모니터링 해서 자신에게 가장 적합한 값을 찾아내는 게 베스트일 거예요. | ||
| + | |||
| + | .\llama-cli.exe | ||
| + | [ Prompt: 38.3 t/s | Generation: 8.1 t/s ] | ||