topickapp on Nostr: https://zenn.dev/robustonian/articles/deepseek_r1-ud-iq1_s 1.58-bit版DeepSeek ...

https://zenn.dev/robustonian/articles/deepseek_r1-ud-iq1_s
1.58-bit版DeepSeek R1の日本語性能評価

1.58bit版DeepSeek R1の日本語性能を評価。Shaberi3ベンチマークでgemini-2.0-flash-thinking-exp-1219と同等のスコア。
量子化による性能劣化はダジャレ判定やハルシネーション回避能力に顕著。
llama.cppのパラメータ調整で推論速度を改善し、ベンチマークを実施した結果を詳細に報告。