Skip to content

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 

Repository files navigation

Selvhosting av AI – workshop

Fra nedlastet modell til din første lokale AI-tjeneste på omtrent 52 minutter. Du trenger ikke en dyr GPU eller erfaring med maskinlæring for å delta.

Målet: Kjør en språkmodell på egen maskin, still den spørsmål, kall den fra et lite program og sammenlign to modeller. OpenCode/Pi og mer avansert serverdrift er valgfrie utvidelser.

Korteste vei: Installer LM Studio hvis du foretrekker et grafisk grensesnitt, eller Ollama hvis du liker terminalen. Start med Qwen3-4B i Q4_K_M / qwen3:4b. Det er et bevisst, lite og etablert øvingsvalg – ikke en påstand om at det er den beste modellen i oktober 2026. Nyere alternativer finnes i modelloversikten.

Finn din løype

Jeg vil … Velg Installer
Prøve lokal AI uten terminal A: LM Studio Bare LM Studio og én modell
Bruke terminal og et enkelt API B: Ollama Bare Ollama og én modell
Bruke en lokal kodeagent OpenCode eller Pi etter A/B En fungerende modellserver og ett harness
Eksperimentere med modellservere llama.cpp, vLLM eller SGLang Verktøyene for akkurat den løypen

Ikke installer alt. Gjør A eller B, og fortsett til API-øvelsen. Du kan også gjennomføre chat- og sammenligningsøvelsen helt i GUI.

Program

Tid Tema Dette går vi gjennom
0–7 min Hvorfor selvhoste? Datakontroll, offlinebruk, tilpasning og kostnader – mot driftsansvar, kapasitet og modellkvalitet.
7–17 min Begrepene som betyr noe Modellvekter, inferens, tokens, kontekstvindu, kvantisering og lisenser.
17–27 min Kom i gang Finn en modell på Hugging Face, velg kjøremotor, last ned, start og koble til chat/API. Vis eventuelt Pi/OpenCode.
27–42 min Workshop: prøv selv Kjør en modell, still spørsmål, bruk API-et fra et lite program og sammenlign to modeller.
42–52 min Fra demo til tjeneste Samtidige brukere, tilgang, logging, overvåking, oppgraderinger, prompting, RAG og finjustering.

Før du kommer

  • Ta med maskin og lader. Sjekk hvor mye RAM og eventuell VRAM du har.
  • Installer ett av verktøyene over. Sjekk at du har lov til å installere programvare på jobbmaskinen.
  • Last gjerne ned første modell på forhånd. Modellfiler er store, og felles Wi-Fi kan bli flaskehalsen.
  • Sett av rundt 10 GB ledig disk for den lille hovedløypen og to små modeller; større modeller trenger langt mer.
  • For programøvelsen: installer Python 3. Eksemplet bruker bare standardbiblioteket, ingen pip-pakker.
  • Bruk oppdiktede data. Ikke ta med kundeopplysninger, persondata eller API-nøkler i øvingspromptene.

Hva trenger maskinen?

  • 8 GB RAM, ingen dedikert GPU: Prøv en 1–3B-modell kvantisert til 4 bit. Lukk tunge programmer. CPU fungerer, men svarene kan være trege.
  • 16 GB RAM eller mer: Et bedre utgangspunkt for hovedløypens 4B-modell.
  • Windows/Linux med GPU: Kontroller driver og Ollamas GPU-støtte. Ikke alle AMD-, Intel- eller NVIDIA-kort støttes av alle motorer.
  • Mac med Apple Silicon: CPU og GPU deler unified memory. 16 GB på en Mac er ikke 16 GB VRAM i tillegg til systemminnet; macOS og andre programmer trenger også plass.
  • LM Studio: Se systemkravene. Blant annet kreves macOS 14+ og Apple Silicon på Mac; Intel-Mac støttes ikke av LM Studio.

Du trenger ikke Docker, CUDA Toolkit, Hugging Face-konto eller Node.js for A/B. Noen modeller er adgangsbegrensede (gated) og krever konto og godkjente vilkår, men hovedløypens Qwen-modell er ikke det. GPU-driver kan fortsatt være nødvendig.

Hvorfor selvhoste?

Mulig gevinst Hva du samtidig overtar
Kontroll over hvor inferens og data behandles Sikring av maskinen, klientene, lagrede samtaler og logger
Offlinebruk etter installasjon og nedlasting Ingen automatisk tilgang til ferske fakta eller nettjenester
Valgfri modell, kvantisering og integrasjon Kompatibilitet, lisenser, oppgraderinger og kvalitetstesting
Ingen ekstern tokenpris for lokal inferens Maskinvare, strøm, driftstid og begrenset kapasitet

Selvhosting er ikke automatisk billigere, sikrere eller bedre. En liten lokal modell kan være nyttig til avgrensede oppgaver uten å matche en stor skymodell. Lokal modell betyr heller ikke at alle verktøy er lokale: nettsøk, MCP-servere, skyløsninger og deling av agentsesjoner kan sende data ut av maskinen.

Begrepene som betyr noe

Begrep Kort forklart
Modellvekter Tallene modellen har lært. Det er disse du laster ned. 4B betyr omtrent fire milliarder parametere.
Inferens Å kjøre modellen på en input for å produsere et svar; ikke det samme som å trene den.
Token En tekstbit, ikke nødvendigvis et helt ord. Både spørsmål, historikk, verktøybeskrivelser, eventuell resonnering og svar bruker tokens.
Kontekstvindu Hvor mye input og output modellen kan håndtere i én kjøring. Et oppgitt maksimum er ikke et fornuftig standardvalg på alle maskiner. Start med 4 096 tokens.
KV-cache / kjøretidstilstand Minne brukt under kjøring for konteksten. Behovet avhenger av arkitektur, kontekstlengde og antall samtidige forespørsler.
Kvantisering Lavere presisjon på vektene, for eksempel 4 i stedet for 16 bit, for å spare minne. Kan påvirke kvaliteten; ulike Q4-varianter er ikke identiske.
MoE Mixture of Experts: bare deler av modellen aktiveres per token. 24B-A2B trenger fortsatt plass til langt mer enn 2B vekter.
Offloading Å legge deler av vektene/beregningen i systemminnet i stedet for GPU-minnet. Kan gjøre modellen mulig å kjøre, men ofte tregere.
Kjøremotor / modellserver Programmet som laster vektene og kjører inferens, for eksempel llama.cpp, Ollama, vLLM eller SGLang.
Harness Agentprogrammet rundt modellen, for eksempel OpenCode eller Pi. Håndterer blant annet historikk, filer og verktøykall; erstatter ikke modellserveren.

En nyttig overslagsregel for bare vektene er antall parametere × bit / 8 byte. En 27B-modell ved 4 bit er dermed minst omtrent 13,5 GB før kvantiseringsmetadata, ikke-kvantiserte lag, kontekst og andre buffere. Filstørrelse er ikke totalt minnebehov.

Åpne vekter er ikke det samme som åpen kildekode

Nedlastbare vekter sier ikke at treningsdata, treningskode eller alle bruksrettigheter er åpne. Les modellkortet og lisensen, også for finjusterte og kvantiserte varianter.

  • Qwen3-4B, Qwen3.8-27B og Saluki oppgir Apache-2.0; GLM-5.3-Flash og DeepSeek-V4.1-Flash-1017 oppgir MIT.
  • LiquidAIs LFM2.5-modeller bruker LFM Open License v1.0, med begrensninger på kommersiell bruk for virksomheter over en omsetningsterskel på USD 10 millioner årlig. Ikke behandle dem som Apache/MIT.
  • Qwen3.8-Flash-Next bruker Qwen Community License 1.0, med egne vilkår, blant annet for kommersielle modell- og AI-assistenttjenester.

Avklar rettighetene med arbeidsgiver ved jobbbruk. En workshop er ikke en generell godkjenning for senere kommersiell bruk.

Velg modell etter maskinen

Modellkort, filer og dokumentasjon sjekket 23. oktober 2026. Dette er kandidater, ikke en «best i test»-rangering. Minnetallene under er omtrentlige nedlastingsstørrelser, ikke garanterte VRAM-krav. Hold konteksten kort og legg inn minnemargin.

Minneklasse / maskin Modell og lenke Variant og praktisk vurdering
CPU / lite minne Qwen3-1.7B ollama run qwen3:1.7b. Mindre alternativ når hovedmodellen blir tung.
4–8 GB VRAM, eller vanlig laptop Qwen3-4B Hovedløype: offisiell GGUF Q4_K_M, ca. 2,50 GB, eller qwen3:4b i Ollama.
4–8 GB VRAM / CPU LFM2.5-2.6B Offisiell GGUF, Q4_K_M ca. 1,67 GB. Lite alternativ for tekst, uttrekk og verktøybruk; modellkortet fraråder agentisk koding og kunnskapstunge oppgaver. Se lisensen.
8–16 GB VRAM Qwen3-8B ollama run qwen3:8b, et større sammenligningsvalg. Agentbruk og lang kontekst trenger mer margin enn enkel chat.
8–16 GB VRAM, helst øvre del Underdog Saluki 27B 1.0 Qwen3.8-basert, verktøyrettet GGUF med svært lav presisjon: IQ2-mix, 7,89 GB. Ikke regn med at den får plass fullt på en 8 GB-GPU. Kan bruke RAM/offloading. Utgiverens benchmark er ikke en garanti for frontier-kvalitet.
16–32 GB VRAM, helst 24 GB+ LFM2.5-24B-A2B GGUF Q4_K_M ca. 14,53 GB, eller ollama run lfm2.5:24b. 16 GB blir trangt når kjøretidsminnet kommer i tillegg. Se lisensen.
16–32 GB VRAM, helst 24 GB+ Qwen3.8-27B Unsloths GGUF, UD-Q4_K_M ca. 16,46 GB. Denne filen alene er større enn en 16 GB-GPU; originalvektene er omtrent 54 GB. Bruk oppdatert motor.
32–96 GB VRAM Modellene over med høyere presisjon / mer kontekst Start heller med en modell som får god plass enn å bruke alt minnet på størst mulig modell. Flash-Next med offloading er et avansert eksperiment, ikke standardløypen.
96–192 GB VRAM + nok RAM Qwen3.8-Flash-Next Stor MoE med egen N-gram-tabell. Original BF16-utgave er ca. 360 GB. SGLang-oppskriften beskriver blant annet NVFP4 på 96 GB Blackwell med tabell i CPU-minne og minst 64 GB ledig verts-RAM. Dette kan ikke generaliseres til alle GPU-er.
192–384 GB VRAM / stor arbeidsstasjon GLM-5.3-Flash 320B totalt / 18B aktive. Originalutgaven er ca. 328 GB med FP8/blandet presisjon. Ved 96–192 GB kreves en annen kvantisering/offloading med bekreftet motorstøtte; ikke bare færre aktive parametere.
Server / flere GPU-er DeepSeek-V4.1-Flash-1017 Konkret versjon brukt av DeepInfer-eksemplet. Originalutgaven er ca. 510 GB. 192–384 GB VRAM er ikke nok til alle disse vektene alene. Krever annet format/offloading eller mer maskinvare, samt kompatibel motor.

Viktig om store modeller: «64 GB RAM og litt offloading» er ikke en generell oppskrift for Flash-Next. Total størrelse, hvilke deler som kan flyttes, kvantisering, GPU-arkitektur og programvareversjon avgjør. Unified memory kan heller ikke telles både som RAM og VRAM. Modellene i de nederste radene er fordypning eller instruktørdemo.

Spesialmodell, ikke chat: Cloudflare/Clef-Flash er en 9B beslutningsmodell basert på Qwen3.5-9B. Den returnerer sannsynligheter for tillatte valg, ikke fritekstsvar. Modellkortet viser egen Python-kode og SGLang-endepunktet /v1/systemone, ikke en vanlig /v1/chat/completions-løype. BF16-vektene alene er rundt 18 GB; ikke lov kjøring på 8–16 GB uten en konkret støttet kvantisering. Aktuelt som bonus om klassifisering/ruting, ikke som erstatning i chatøvelsene.

Hugging Face: hva skal jeg laste ned?

Hugging Face er en modellkatalog, ikke én bestemt kjøremotor. Les Model card, Files and versions og License før nedlasting.

Format Typisk bruk
GGUF, gjerne Q4_K_M som start llama.cpp og kompatible GUI-er; Ollama kan importere støttede GGUF-modeller.
Safetensors + konfigurasjon/tokenizer Transformers, vLLM og SGLang. Last ned modellpakken gjennom motoren, ikke én tilfeldig shard.
MLX, ofte en egen kvantisert utgave Apple Silicon med MLX/MLX-LM eller LM Studios MLX-motor når modellen støttes.

En HF-modell-ID er ikke nødvendigvis et Ollama-navn. LiquidAI/LFM2.5-2.6B betyr for eksempel ikke at ollama run lfm2.5:2.6b finnes. Bruk dokumenterte tagger, eller GGUF i LM Studio/llama.cpp. Ny arkitektur krever ofte oppdatert motor selv om filformatet er riktig.

A: LM Studio – uten terminal

  1. Last ned og installer LM Studio for operativsystemet ditt.
  2. Åpne Discover. Søk etter Qwen/Qwen3-4B-GGUF, eller lim inn modellens URL.
  3. Velg Q4_K_M, omtrent 2,5 GB. Har du lite minne, velg en mindre modell fra oversikten.
  4. Åpne Chat, velg modellen og last den inn. Sett konteksten til 4 096 tokens til å begynne med.
  5. Spør: Forklar hva inferens er med to setninger. /no_think
  6. For API-øvelsen: åpne Developer og velg Start server. Behold lokal lytting; ikke aktiver deling på nettverket. Standardadresse er http://127.0.0.1:1234.

Ferdig når: Du får et svar i chatten. Med serveren startet kan du også hente http://127.0.0.1:1234/v1/models i nettleseren. Noter modellens id til API-øvelsen.

/no_think er en Qwen3-instruksjon for å slå av resonnering og få et raskere øvingssvar; det er ikke en universell innstilling for alle modeller.

Se modellnedlasting og lokal API-server. GUI-alternativ: Jan er en åpen kildekode-app for Windows, macOS og Linux med modellnedlasting, chat og lokalt OpenAI-kompatibelt API. Velg en lokal modell, ikke en skytilkobling. API-porten er vanligvis 1337; kontroller appens adresse og eventuell autentisering.

B: Ollama – terminal og API

1. Installer og start

curl -fsSL https://ollama.com/install.sh | sh

Dette laster ned og kjører et installasjonsskript. Les skriptet først hvis du vil kontrollere det; følg virksomhetens installasjonsregler.

Hvis serveren ikke allerede kjører som app/tjeneste, start ollama serve i en egen terminal. Meldingen «address already in use» betyr ofte at den allerede er startet. Lokal standardadresse er http://127.0.0.1:11434.

2. Last ned og chat

Disse kommandoene fungerer også i PowerShell:

ollama pull qwen3:4b
ollama run qwen3:4b

Skriv i chatten:

/set parameter num_ctx 4096
Forklar forskjellen på RAM og VRAM med to setninger. /no_think

Avslutt chatten med /bye. Modellen forblir nedlastet. Se og frigjør kjøretidsminne med:

ollama list
ollama ps
ollama stop qwen3:4b

ollama list viser nedlastede modeller; ollama ps viser innlastede modeller og om CPU/GPU brukes. stop stopper modellen i minnet, ikke Ollama-serveren.

Ferdig når: Du får et lokalt svar, og http://127.0.0.1:11434/v1/models viser modellen. Lokal bruk trenger ingen betalt konto eller sky-API-nøkkel. Unngå modeller merket cloud; se lokalmodus uten skyfunksjoner hvis du vil deaktivere skyfunksjonene helt.

Bruk modellen gjennom et API

Et OpenAI-kompatibelt API beskriver et grensesnitt, ikke hvor modellen kjører. Her går forespørslene til din egen maskin, ikke til OpenAI. Kompatibiliteten er delvis: blant annet verktøykall, resonnering og multimodal input varierer mellom servere.

Server Base-URL i klienten Modellnavn
Ollama http://127.0.0.1:11434/v1 For eksempel qwen3:4b
LM Studio http://127.0.0.1:1234/v1 Kopier id fra /v1/models
llama.cpp-eksemplet under http://127.0.0.1:8080/v1 workshop (vårt eksplisitte alias)
vLLM-eksemplet under http://127.0.0.1:8000/v1 Qwen/Qwen3-1.7B
SGLang-eksemplet under http://127.0.0.1:30000/v1 Qwen/Qwen3-1.7B

Første forespørsel

Lagre følgende som request.json i en øvingsmappe, med UTF-8-koding. Bytt model hvis du bruker noe annet enn Ollama:

{
  "model": "qwen3:4b",
  "messages": [
    {"role": "user", "content": "Forklar selvhosting med to setninger. /no_think"}
  ],
  "max_tokens": 1024,
  "stream": false
}

Kjør fra samme mappe, og bytt port hvis du bruker LM Studio:

curl http://127.0.0.1:11434/v1/chat/completions -H "Content-Type: application/json" --data-binary @request.json

PowerShell: Bruk curl.exe i stedet for curl, og skriv filargumentet som --data-binary "@request.json". Dette unngår både aliaset til Invoke-WebRequest og problemer med shell-sitering.

Svaret er JSON; den genererte teksten ligger i choices[0].message.content. Ved feil modellnavn: hent /v1/models og bruk den eksakte id-verdien.

Et lite Python-program

Lagre som lokal_ai.py i øvingsmappen. Ingen ekstra biblioteker kreves:

import argparse
import json
import time
import urllib.error
import urllib.request

parser = argparse.ArgumentParser()
parser.add_argument("--base-url", default="http://127.0.0.1:11434/v1")
parser.add_argument("--model", default="qwen3:4b")
parser.add_argument("--prompt", default="Forklar inferens med to setninger. /no_think")
args = parser.parse_args()

payload = {
    "model": args.model,
    "messages": [{"role": "user", "content": args.prompt}],
    "max_tokens": 1024,
    "stream": False,
}
request = urllib.request.Request(
    args.base_url.rstrip("/") + "/chat/completions",
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
)
start = time.perf_counter()
try:
    with urllib.request.urlopen(request, timeout=300) as response:
        result = json.load(response)
except urllib.error.HTTPError as error:
    raise SystemExit(f"HTTP {error.code}: {error.read().decode('utf-8', errors='replace')}")
except (urllib.error.URLError, TimeoutError) as error:
    raise SystemExit(f"Kunne ikke nå modellserveren: {error}")

choice = result["choices"][0]
print(choice["message"].get("content") or "Ingen svartekst; sjekk resonnering/tokenbudsjett.")
print(f"Tid: {time.perf_counter() - start:.1f} s. Avslutning: {choice.get('finish_reason')}")

Kjør med Ollama:

python3 lokal_ai.py

Med LM Studio, erstatt MODELL_ID med verdien fra /v1/models:

python3 lokal_ai.py --base-url http://127.0.0.1:1234/v1 --model MODELL_ID

På Windows kan du bruke py i stedet for python3. Eksemplene forutsetter lokal server uten autentisering. Har du aktivert autentisering, må klienten også sende serverens nødvendige autorisasjonshode; ikke legg ekte nøkler i README eller Git.

Programmet sender ett spørsmål uten samtalehistorikk. Det bruker HTTP direkte; du kan senere erstatte dette med OpenAI-SDK-et eller serverens eget bibliotek. Reasoning-modeller kan bruke tokenbudsjettet på resonnering før svaret kommer. Ved finish_reason: length, øk budsjettet innenfor konteksten eller bruk modellens dokumenterte innstilling for mindre resonnering.

Workshopoppgaver: 15 minutter

  1. 0–4 min: Få ett svar. Start modellen og spør om noe du selv kan kontrollere. Noter modell, kvantisering og kontekstlengde.
  2. 4–9 min: Bruk API-et. Kjør forespørselen og Python-programmet over. Endre prompten. Foretrekker du GUI, gjør samme oppgave der; API-delen kan gjøres sammen med en annen deltaker.
  3. 9–14 min: Sammenlign to modeller. Bruk nøyaktig samme prompt, ny samtale og like innstillinger så langt det lar seg gjøre. I Ollama er qwen3:1.7b og qwen3:4b et lite par; ved god plass kan du sammenligne med qwen3:8b. I LM Studio laster du inn én modell om gangen.
  4. 14–15 min: Del funn. Hva var raskest? Hva var faktisk riktig? Ville du brukt dette til en jobboppgave?

Forslag til felles oppgave:

Trekk ut informasjon fra teksten under. Svar bare med gyldig JSON med feltene
"kunde", "produkt", "antall" og "frist". Bruk null for informasjon som mangler.
Ikke legg til opplysninger som ikke står i teksten.

Tekst: Nordlys AS ønsker tre skjermer levert innen fredag.
/no_think

Kontroller at resultatet kan parses som JSON, at antallet er 3, og at modellen ikke finner på en kalenderdato. Prøv også en tekst uten frist. Dette tester instruksjonsfølging og uttrekk, ikke bare om svaret høres godt ut.

Modell / kvantisering Kontekst Gyldig JSON? Riktige felt / ingen oppdiktning? Total tid, varm kjøring
Modell A
Modell B

Kjør gjerne to ganger: første forespørsel kan inkludere innlasting. Total tid er ikke det samme som tokens/sekund. Registrer om svaret ble avkuttet, og ikke konkluder om generell modellkvalitet fra én oppgave. To kvantiseringer av samme modell er også et nyttig eksperiment, men merk da at du sammenligner presisjon, ikke to ulike modeller.

Valgfritt: bruk modellen i OpenCode eller Pi

OpenCode / Pi → lokalt API → modellserver → modellvekter på CPU/GPU

Harnesset kan lese/skrive filer og kjøre kommandoer. Bruk en egen, ufarlig øvingsmappe uten hemmeligheter, og helst en sandbox/container. Ikke kjør som administrator. Pi har ikke innebygde tillatelsesdialoger som sikkerhetsgrense; en tom mappe begrenser heller ikke alene prosessens tilgang til resten av maskinen.

Agentbruk krever at modell + chat-template + serverens tool-parser + klient fungerer sammen. At modellen kan chatte er ikke nok. Små modeller kan feile på verktøykall selv om API-et fungerer.

Felles forberedelse med Ollama

Dette er en ekstra løype for maskiner med mer minnemargin enn minimumsløypen. Bruk for eksempel Qwen3-8B og 16K kontekst; det kan bli for tungt for en 8 GB-GPU uten offloading. Bruk en mindre modell ved behov.

ollama pull qwen3:8b

Lagre dette som Modelfile i øvingsmappen:

FROM qwen3:8b
PARAMETER num_ctx 16384

Lag et lokalt alias som brukes av begge eksemplene:

ollama create workshop-agent -f Modelfile

Kontekstgrensen må stilles på serveren, ikke bare oppgis i klienten. 16K er et utgangspunkt for en liten øvelse; større kodebaser og mange verktøy trenger ofte mer.

OpenCode V2

  1. Installer etter V2-veiledningen. Den har installer for macOS/Linux og egne binærfiler for Windows. Bruk V2-konfigurasjonen under, ikke oppskrifter for V1.
  2. La Ollama kjøre og start opencode i øvingsmappen.
  3. Åpne /models og velg ollama/workshop-agent. V2 oppdager lokale Ollama-, LM Studio- og vLLM-servere automatisk på standardadressene. Ingen skyinnlogging kreves for lokal Ollama.

For fast modellvalg, legg følgende i opencode.json i øvingsmappen (flett inn hvis filen allerede finnes):

{
  "$schema": "https://opencode.ai/config.json",
  "model": "ollama/workshop-agent"
}

Prøv: Lag en Python-funksjon som regner om Celsius til Fahrenheit, og en enkel test. Kontroller foreslåtte endringer og kommandoer. Bytt eventuelt til en bedre egnet modell hvis verktøykallene feiler.

For andre servere/porter og eksplisitte modeller: se V2 providers og lokale modeller. Oppdagede vLLM-modeller har verktøystøtte deaktivert til den er konfigurert; serveren må også starte med riktig tool-parser. Ikke anta at automatisk oppdagelse setter opp dette.

Pi

Installer etter pi.dev. Med Node.js 22.19+ kan du bruke npm på tvers av plattformene:

npm install -g --ignore-scripts @earendil-works/pi-coding-agent

Opprett eller flett inn i ~/.pi/agent/models.json (på Windows: under brukerens hjemmemappe). Ikke overskriv eksisterende providere:

{
  "$schema": "https://pi.dev/schemas/models.schema.json",
  "providers": {
    "workshop": {
      "baseUrl": "http://127.0.0.1:11434/v1",
      "api": "openai-completions",
      "apiKey": "local",
      "models": [
        {
          "id": "workshop-agent",
          "name": "Lokal Qwen3-8B",
          "contextWindow": 16384,
          "maxTokens": 4096
        }
      ]
    }
  }
}

Start pi i øvingsmappen, åpne /model, og velg modellen under workshop. local er en dummy-verdi som gjør modellen tilgjengelig i Pi; det aktiverer ikke autentisering i Ollama. /login trengs ikke for dette lokale endepunktet. Bruk den samme Fahrenheit-oppgaven som over.

For LM Studio, llama.cpp eller SGLang endrer du baseUrl, modellens id og grensene til det som faktisk er satt på serveren. Se Pis modelloppsett. Et OpenAI-kompatibelt endepunkt bruker her API-navnet openai-completions, selv om Pi sender chatmeldinger.

Fordypning: andre måter å kjøre modellen på

Dette er alternativer, ikke flere nødvendige steg i hovedløypen. Kontroller kombinasjonen OS + maskinvare + motorversjon + modellarkitektur + kvantisering før du laster ned store modeller.

Verktøy Passer best til Begrensninger / hva du må installere
LM Studio GUI, modellutforsking, chat og lokalt API App + støttet modell/runtime. Enkelt deltakeralternativ.
Jan Åpen kildekode-GUI med lokal chat/API App + støttet modell. Ikke forveksle lokal kjøring med appens skyintegrasjoner.
Ollama Enkel modellhåndtering, CLI og lokalt API Installer + modelltagg; mindre detaljkontroll enn direkte motorbruk. Har også app/chatgrensesnitt.
llama.cpp GGUF, CPU/GPU, offloading og en lett server med webchat Ferdigbygget binær eller kompilering med riktig backend. Bred maskinvarestøtte.
MLX-LM Effektiv lokal inferens på Apple Silicon Python-miljø + mlx-lm + støttet MLX-modell. Alternativ til GGUF, ikke et universelt GPU-backend.
vLLM GPU-tjenester, batching og flere samtidige klienter Riktig plattform/backend; eksemplet under er Linux/NVIDIA. Andre plattformer har egne oppskrifter.
SGLang Effektiv serving, prefix-cache og agentarbeidslaster Plattformspesifikt oppsett. Docker-eksemplet under krever Linux/NVIDIA og CUDA 13-kompatibel driver.
DeepInfer Spesialisert DeepSeek-inferens i stor skala Ikke en generell laptopserver eller ferdig drop-in-API. Se avgrensningene under.
llama.cpp: én GGUF, innebygd webchat og API

Installer fra offisielle installasjonsvalg / releases. Velg riktig CPU-, Metal-, CUDA- eller Vulkan-build; en tilfeldig binær gir ikke nødvendigvis GPU-akselerasjon. Med Homebrew på Mac kan du bruke brew install llama.cpp; på Windows finnes winget install llama.cpp.

Start den samme lille Qwen-modellen med eksplisitt port, alias og kontekst:

llama-server -hf Qwen/Qwen3-4B-GGUF:Q4_K_M --host 127.0.0.1 --port 8080 --alias workshop -c 4096 --jinja

På Windows kan binæren hete llama-server.exe. Kommandoen laster ned modellen første gang. Åpne http://127.0.0.1:8080 for webchat. API-et er http://127.0.0.1:8080/v1, med modellnavnet workshop. GPU-offloading avhenger av valgt build og ledig minne; sjekk oppstartsloggen.

For LFM2.5-2.6B kan du bytte HF-argument til LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M etter lisensavklaring. For Saluki bruker du modellkortets GGUF-oppskrift; start med kortere kontekst enn 32K hvis minnet er trangt.

Se serverdokumentasjonen. Avslutt med Ctrl+C.

vLLM: Linux/NVIDIA, API-server i eget Python-miljø

Installer uv og kontroller GPU/driver mot vLLMs installasjonskrav. Følgende er Bash-kommandoer for Linux/NVIDIA, ikke en generell Windows/Mac-oppskrift:

uv venv .venv-vllm --python 3.12 --seed
source .venv-vllm/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels
vllm serve Qwen/Qwen3-1.7B --host 127.0.0.1 --port 8000 --max-model-len 4096 --gpu-memory-utilization 0.8

Her brukes en liten modell uten manuell kvantisering for å gjøre oppstarten enklere. API: http://127.0.0.1:8000/v1; modell-ID: Qwen/Qwen3-1.7B. Prøv Python-programmet med disse verdiene. Serveren laster selv ned modellpakken fra Hugging Face.

Start med chat, ikke agentverktøy. Verktøykall krever modellspesifikke flagg som --enable-auto-tool-choice og riktig --tool-call-parser; bruk dokumentasjonen for akkurat modellen. Nyere LFM/Qwen/GLM-modeller kan kreve nyere versjoner eller egne recipes. En annen modell-ID er ikke alltid tilstrekkelig.

Avslutt serveren med Ctrl+C og miljøet med deactivate.

SGLang: Linux/NVIDIA, API-server i Docker

Installer Docker Engine og NVIDIA Container Toolkit, inkludert konfigurasjon av Docker-runtime. Dagens standardimage krever CUDA 13-kompatibel driver og støttet GPU. Se installasjonskrav.

Kjør i Bash på Linux:

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  lmsysorg/sglang:latest \
  sglang serve Qwen/Qwen3-1.7B --host 0.0.0.0 --port 30000 --context-length 4096 --mem-fraction-static 0.8

0.0.0.0 gjelder inne i containeren; porten publiseres bare på vertens 127.0.0.1. --ipc=host deler vertens IPC-navnerom og bør bare brukes med et betrodd image. Modellcachen beholdes på verten etter at containeren stoppes.

Vent på at serveren er klar. API: http://127.0.0.1:30000/v1; modell-ID: Qwen/Qwen3-1.7B. Bruk disse i Python-programmet. Avslutt med Ctrl+C.

Bruk modell- og maskinvarespesifikke oppskrifter for større modeller, resonnering og verktøykall. latest er praktisk for utforsking, men instruktøren bør låse en testet versjon/digest før workshop og produksjon. Docker Desktop på Mac gir ikke denne NVIDIA-akselerasjonen; velg native LM Studio/Ollama/MLX i stedet.

DeepInfer: relevant forskning, ikke deltakerløype

Deepseek-ai/DeepInfer er en utgivelse av motoren bak DeepSeeks storskala inferens. Per kildesjekken:

  • Støttet modell: DeepSeek-V4.1-Flash; offline-eksemplet bruker deepseek-ai/DeepSeek-V4.1-Flash-1017.
  • Støttet maskinvare: NVIDIA SM100 og Huawei Ascend 950, ikke vilkårlige forbruker-GPU-er.
  • Byggkrav: Linux, GCC 13+, Python 3.12 og CUDA 13 eller CANN 9.2.
  • Den offentlige utgivelsen tilbyr offline-inferens. Blant annet et komplett KV-cache-system, disaggregert tjenesteoppsett og lastbalansering er ikke inkludert som en ferdig inferenstjeneste.

Det er derfor misvisende å presentere den som «installer og få samme chat-API som Ollama». Bruk prosjektets byggveiledning og eksempler ved videre eksperimentering på riktig maskinvare. vLLM/SGLang er mer naturlige generelle API-serveralternativer i denne workshopen.

Fra demo til tjeneste

Tema Spørsmål før andre får bruke løsningen
Kapasitet Hvor mange samtidige forespørsler og hvor lang kontekst tåler maskinen? Mål tid til første token, svartid, kø, tokens/s og minne under reell last. Batching kan øke samlet kapasitet, men endre ventetiden.
Tilgang Behold loopback i øvelsen. For deling: bruk autentisering, TLS, brannmur/proxy og rate limits. Et lokalt API kan mangle autentisering helt. En dummy-API-nøkkel er ikke sikkerhet.
Logging/personvern Unngå råprompter, kundedata og hemmeligheter i standardlogger. Avklar tilgang, lagringstid og sletting av samtaler og agentsesjoner.
Overvåking Følg med på feilrate, avbrutte svar, kø, CPU/GPU, minne og helsesjekker. Håndter timeout og overlast kontrollert.
Oppgraderinger Lås motor, modellrevisjon, kvantisering og chat-template. Kjør et fast evalueringssett før oppgradering, og ha en vei tilbake til forrige versjon.
Kvalitet og sikkerhet Test med egne oppgaver og norsk språk. Begrens agentverktøy og tilganger, test prompt injection, og krev menneskelig kontroll for risikofylte handlinger.

Prompting, RAG eller finjustering?

Teknikk Hva endres? Når er det nyttig?
Prompting Instruksjoner, eksempler og konteksten du sender med Start her for bedre format, tone og oppgaveløsning. Vektene endres ikke.
RAG Dokumentutdrag hentes fra en kunnskapskilde og legges i prompten Når modellen skal bruke egne/ferske dokumenter. Vektene endres ikke; dokumenttilgang og kildegrunnlag må fortsatt sikres.
Finjustering Modellvekter eller adaptere trenes på eksempler Når oppførsel eller spesifikke oppgaver skal læres systematisk. Krever data og evaluering; er ikke standardløsningen for stadig nye fakta.

Feilsøking

Problem Prøv dette
Connection refused Start app/server, vent på modellinnlasting og kontroller porten. Ikke start flere servere på samme port.
Model not found / 404 Se ollama list eller GET /v1/models. Bruk eksakt modell-ID, ikke visningsnavn eller en antatt HF/Ollama-tagg. Sjekk også URL-stien.
Out of memory / maskinen henger Last ut andre modeller, reduser kontekst/samtidighet eller velg en mindre modell/lavere presisjon. La OS-et beholde minnemargin.
Svært tregt Sjekk CPU/GPU-bruk med ollama ps eller motorloggen. CPU/offloading kan være forventet. Mål på nytt etter innlasting.
Bare resonnering eller tomt svar Sjekk finish_reason, tokenbudsjett og modellens thinking-innstilling/parser. /no_think hjelper Qwen3, ikke nødvendigvis andre familier.
Agenten skriver verktøykall som vanlig tekst Kontroller modellens verktøystøtte, template og serverparser. Test vanlig chat separat først.
Ny modell kan ikke lastes Oppdater motoren eller følg modellkortets versjonskrav. Riktig filendelse betyr ikke at arkitekturen støttes.
PowerShell feiler på curl Bruk curl.exe og filargumentet "@request.json" som vist over. Python-programmet unngår JSON-sitering i shell.

Svak maskin? Velg den minste modellen og CPU, eller jobb i par. En instruktørstyrt fellesserver kan være en reserve, men da foregår inferensen ikke på din maskin; bruk avtalt tilgang og avklar hvilke data som sendes dit.

Kilder og vedlikehold

Modell- og fil-lenkene i tabellen er kildene til arkitektur, størrelser og lisenser. Utgivernes kvalitets- og hastighetspåstander er ikke målinger gjort i dette repoet. Oppsettet er dokumentasjonsbasert; GPU-, GUI- og agentløypene må røykprøves på deltakernes aktuelle plattformer før arrangementet.

Til instruktøren: Be deltakerne forhåndsinstallere og laste ned, test begge hovedløypene på Windows/macOS/Linux, velg to konkrete modellvarianter, noter versjoner og kontroller lisensene på nytt. La API og modellbytte være kjernen i de 15 minuttene; agent- og GPU-serveroppsett kan tas som demo eller viderearbeid.

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors