![[RTX 5060 Ti 16GB] Liquid AI의 LFM2.5-24B-A2B를 16GB에서 돌리면, 이 PC에서 잰 모델 중 가장 빠른 초당 209토큰이었다](https://evuelaimg.dothome.co.kr/blog/d22e68d82f55_thumb.jpg)
RTX-5060TI 16GB
[RTX 5060 Ti 16GB] Liquid AI의 LFM2.5-24B-A2B를 16GB에서 돌리면, 이 PC에서 잰 모델 중 가장 빠른 초당 209토큰이었다
24B 중 토큰마다 2.45B만 쓰는 Liquid AI의 LFM2.5-24B-A2B를 RTX 5060 Ti 16GB의 Unsloth Studio에서 쟀습니다. 기본값 초당 208.6토큰으로 이 PC에서 가장 빨랐고, 100,000자 요약은 20.7초, 생각은 끌 수 없었습니다.
![[RTX 5060 Ti 16GB] 로컬 AI 판단 전용 모델 d1-3B, 한국어 144문제를 얼마나 맞힐까, 쉬운 100개는 모두 맞히고 답 하나 0.06초였다](https://evuelaimg.dothome.co.kr/blog/b67466dcae1b_thumb.jpg)