LLM속도1 로컬 AI가 인사 한마디에 3분? AMD 라데온에서 Ollama 느린 원인과 ROCm 해결법 로컬 AI 모델에게 "한 문장으로 자기소개 해줘"라고 했더니 답이 오기까지 2~3분이 걸렸습니다. 그래픽카드가 약해서가 아니었습니다. 제 PC(AMD 라데온 RX 6800 XT)에서는 원인이 두 가지 겹쳐 있었습니다. 에이전트 앱이 메시지마다 약 2만 토큰짜리 입력을 보내고 있었고, Ollama가 AMD 전용 가속(ROCm) 대신 범용 방식(Vulkan)으로 몰래 돌고 있었습니다. 두 번째를 고치자 2만 5천 토큰 입력 처리가 약 9분에서 약 30초로 줄었습니다.아래 수치는 모두 2026년 9월 28일 Windows 11 PC 한 대에서 Ollama 0.34.4와 qwen3 8b·14b(Q4_K_M)로 직접 잰 값입니다. PC마다 숫자는 다르겠지만 점검 순서는 그대로 쓸 수 있습니다.증상: 인사 한마디에.. 2026. 9. 29. 이전 1 다음
