[RTX 5060 Ti 16GB] 145B 모델 Edge0-145B, 16GB 카드에서 돌아갈까? 짧은 질문엔 17.6 t/s, 70토큰 넘는 질문은 대부분 멈췄다
145B MoE 모델 Edge0-145B를 RTX 5060 Ti 16GB, 램 32GB PC에서 돌렸습니다. 짧은 질문에는 초당 17.6토큰으로 답했지만 70토큰을 넘는 질문은 대부분 읽다가 멈췄고, 읽힌 것도 엉뚱하게 답했습니다. 제작사의 16GB 제한 측정(36.8)과 비교했습니다.