Running Ollama Locally with Podman on Fedora Linux
(fedoramagazine.org)
Tipsad 2026-08-19 på Anders Ytterströms webblogg
Lokal LLM i container
Det här är ett bra exempel, eftersom det även garanterat funkar med SELinux då det är Fedora.
Det är utan grafiskt skal, så promptning sker genom att göra ett HTTP-anrop med frågan i en JSON-payload. Har man, likt mig, en spelrigg med nvidia-grafikkort som mest samlar damm kan det vara värt att laborera litet med.
Jag hade nog personligen skrivit ett script liknande detta för att få bättre terminalhistorik:
#!/bin/sh
p=$(cat -)
curl http://localhost:11434/api/generate \
-d "{\"model\":\"llama3\",\"prompt\": \
\"$p\",\"stream\":false}" |
jq '.name' | cat
Och sen kört såhär:
./prompt.sh <<END
> Varför är Metallica större än Slayer?
> END