Installare una AI in locale e Open Source and Open-Weight
Abstract
Far girare un LLM sul proprio hardware oggi è un comando. Scegliere cosa far girare, con quale motore e con quale licenza, no.
Una panoramica per chi vuole capire prima di installare:
Open Source e Open-Weight: cosa vuol dire davvero «open» per un modello, e quali licenze sembrano libere senza esserlo.
I modelli: famiglie, taglie, quantizzazione, e perché il limite non è solo la VRAM.
I runner: da llama.cpp e Ollama a LM Studio e vLLM, e quando usare cosa.
I framework per costruirci sopra, con un esempio reale di applicazione RAG.
Demo dal vivo, una parte interattiva e, per chi deve decidere, uno strumento per scegliere fra locale, server dedicato e cloud: il Triangolo di ferro dell'AI.
Speaker
Vincenzo Iodice è fondatore di DeepAiUG. Nell'informatica dal 1987, co-fondatore del Linux User Group Brescia.