Kro :verified_blue: on Nostr: ...
以前、3070ti(8GBのVRAM)と32GBのramを搭載したシステムでローカルLLMを実行したことがある。そのようなカードでも、投稿が一度に一語ずつゆっくりと作られていくのを見ることができました(笑)。
Published at
2024-06-13 13:00:42Event JSON
{
"id": "24fb8756646bf6988fa57d37cb9b3404a277c95ff54b670ec0cc7c6ef591ed15",
"pubkey": "5c8a2a28b328a7fc9351c1bb18912f9e1318d741e78cd3d15f39b15e683f6e44",
"created_at": 1718283642,
"kind": 1,
"tags": [
[
"proxy",
"https://misskey.io/notes/9ugu113tj77j0cdg",
"activitypub"
]
],
"content": "以前、3070ti(8GBのVRAM)と32GBのramを搭載したシステムでローカルLLMを実行したことがある。そのようなカードでも、投稿が一度に一語ずつゆっくりと作られていくのを見ることができました(笑)。",
"sig": "bf120bc02b0b0061209c1713581e792d087e33f9d994e5faa94ffd809205d3a7ec519f59c53f3dcbec8ede3ee855a036129194ecbebdca9753d9dcd77baed771"
}
