Jak rozjet lokální LLM napojený na Home Assistant
Když se nedaří rozjet lokální model, bývá to většinou o jedné špatné komponentě. Uživatel z r/LocalLLaMA se o tom přesvědčil na vlastní kůži: po roce vzdávání stačila hodina práce s llama.cpp a Qwen 3.8 27B se změnil z frustrace ve fungujícího agenta napojeného na Home Assistant. Příběh: rok frustrace, hodina práce OP si v roce 2023 pořídil několik GPU pro Folding@Home a vždy chtěl vlastního…
Lokální LLM (Large Language Model) může být obtížné rozbrát, ale uživatel z r/LocalLLaMA se takovému problému podařilo čelit. Po roce vzdávání úsilí najel za fungujícím agentem, který bude pomáhat s programováním a domácí automatizací. Uživatel odstranil OpenWebUI, spravil docker konfiguraci llama.cpp a rozjel Qwen 3.8 27B. Model byl propojen se serverem Home Assistant a model si upravil na základě promptu a screenshotu.
Uživatel byl překvapen vestavěnou podporou vize, model je schopen pracovat se screenshoty bez další konfigurace. Významný problém byl s OpenWebUI, který mnozí uživatelé měli problémy. Proces vyhledávání měl také problémy s konfigurací SearXNG, doporučení bylo omezit počet vyhledávačů na pár ověřených. Komunita poskytla hodnotné tipy pro nastavení lokálního LLM a pomohla uživateli dosáhnout funkčnosti.
Written by urgent.news from Dev.to's reporting — not their text. Machine-written — may contain errors; check the original before relying on it.
