Behandle fortrolige filer via IA, privat på pc

Brug af kunstig intelligens i arbejdsmiljøer rejser alvorlige databeskyttelsesproblemer. Lokale AI-modeller giver en sikker løsning til behandling af følsomme data uden at forlade ens computer.

Et af de store problemer ved brugen af kunstig intelligens i arbejdsmiljøer er databeskyttelse. I intet kontor eller virksomhed vil det nogensinde være tilladt at uploade følsomme eller private oplysninger online og lade dem blive behandlet af Google eller ChatGPT.

At uploade et regnskab eller en patientjournal til tech-giganternes servere svarer til at overdrage fortrolige oplysninger til fremmede. De store platforme træner konstant deres algoritmer med de tekster, brugerne indtaster. Hver kommando, der skrives, eller tekst, der indsættes, bliver potentielt offentligt materiale, som systemerne bruger til at generere svar. Der findes et konkret alternativ for fagfolk, der er tvunget til at beskytte følsomme data af juridiske årsager eller for at beskytte forretningshemmeligheder. At køre avancerede sprogmodeller direkte på ens egen computer gør det muligt at overvinde dette problem og opsummere og stille spørgsmål til dokumenter, selv uden nogen internetforbindelse.

Problemet med fjernbehandling på virksomhedens servere

De fleste mennesker ignorerer servicevilkårene for de mest populære chat-tjenester. Ved at sende en PDF-fil til en kommerciel kunstig intelligens bliver dokumentet pakket ud, overført og behandlet på fjerndrevne maskiner, der ligger på andre kontinenter. Flere store virksomheder har strengt forbudt brugen af disse værktøjer til deres ansatte efter at have opdaget lækager af kildekode og utilsigtet offentliggørelse af interne strategier.

Lokalt behandling flytter beregningsmotoren helt til harddisken på den anvendte maskine. Filen forlader aldrig det rum, man befinder sig i, hvilket sikrer strengt overholdelse af gældende databeskyttelseslovgivning.

Hardwarekrav for at køre algoritmer offline

At få en sprogmodel til at køre på ens egen computer kræver passende systemressourcer. Arbejdshukommelse er den vitale parameter for at undgå blokeringer af operativsystemet. At køre moderne algoritmer kræver mindst seksten gigabyte RAM, selvom trentito nu er det optimale standard for ikke at opleve forsinkelser.

For at opnå øjeblikkelige svar kræves der også et dedikeret grafikkort med rigelig VRAM eller en processor udstyret med en moderne NPU-enhed.

Ved at bruge ældre maskiner eller normale pc'er uden grafisk acceleration, vil beregningerne lægge et betydeligt pres på CPU'en. Analysen vil forløbe meget langsomt, idet den returnerer et ord ad gangen, og selvom sikkerheden ved det analyserede materiale opretholdes, vil det være en pine. Dette er måske det største problem for dem, der bruger virksomhedens computere, som ofte er gamle eller af lav kvalitet, og man bør overbevise dem, der betaler, om at investere i hardware!

De bedste programmer til at undersøge private dokumenter

Der er blevet udviklet mange applikationer, der specifikt er designet til at downloade og køre åbne modeller. De giver mulighed for hurtigt at forvandle en almindelig bærbar computer til en sikker server.

LM Studio tilbyder det reneste interface til at downloade sprogmodeller tilpasset ens egen hardware. Gennem en intern søgebar kan man finde det ønskede element og starte det straks. Den sidepanel viser realtids hukommelsesforbrug og giver mulighed for at balancere arbejdsbyrden mellem hovedprocessor og grafikkort uden at skulle skrive kodelinjer.

GPT4All er skabt med et præcist mål og sigter mod at få tekstbehandling til at fungere på maskiner uden ekstrem grafisk styrke. Den optimerer individuelle matematiske operationer for ikke at belaste de interne komponenter for meget. Den inkluderer en indbygget funktion dedikeret til at uploade hele lokale mapper med dokumenter fra virksomheden, der skal inspiceres.

AnythingLLM er et absolut referencepunkt for massiv dokumentanalyse. Den baseres på teknologi til indeksering af tekster for at tvinge algoritmen til kun at svare baseret på de kilder, brugeren leverer. Den giver mulighed for at organisere filer i klart adskilte arbejdsområder.

Lader man manualerne ligge ét sted og fakturaerne et andet, vil dataene aldrig blive krydset eller forvirret.

ChatRTX er det officielle værktøj udgivet af Nvidia til ejere af nyere grafikkort. Applikationen udnytter brutalt den rå kraft fra de proprietære hardwarekomponenter til at læse enorme kataloger af tekstdokumenter. Den returnerer resuméer og ekstrapoleringer med en hastighed, der er svær at efterligne med andre gratis applikationer.

For advokatkontorer og strukturerede virksomheder findes der en klart overlegen løsning, der kræver en smule ekstra opsætningsindsats. Den mest kraftfulde metode at installere Ollama som en stille motor på PC'en og tilføje Open WebUI som grafisk interface i browseren. Dette økosystem muliggør oprettelse af brugerkonti beskyttet af adgangskoder, dele adgang i lokalnetværk mellem kolleger og importere strenge adfærdsdirektiver. Man opnår granular kontrol over hele it-arkitekturen og undgår enhver månedlig abonnementsafgift.

At downloade administrationsprogrammet er kun halvdelen af arbejdet. Den reelle motor i systemet er filen til det sproglige model, som kan downloades gratis, men skal vælges med ekstrem omhu baseret på den tilgængelige RAM og algorithmens evne til at forstå italiensk uden dårlige oversættelser.

De mest præcise sproglige modeller til at analysere dokumenter på italiensk

Forkortelsen GGUF angiver det komprimerede format af disse filer, som er specielt designet til at veje mindre på harddisken og køre glat, selv på hjemmecomputere. Når man søger efter en fil i de integrerede biblioteker i programmerne, bør man altid sigte efter de optimerede versioner med denne udvidelse.

Llama 3.1 (version 8B). Udviklet af Meta, er denne model et obligat udgangspunkt. Den otte milliarder parameter version vejer omkring fem gigabyte, passer perfekt i seksten gigabyte RAM og tilbyder en fejlfri beherskelse af italiensk. Den understøtter et enormt kontekstvindue, hvilket gør det muligt at indsætte dusinvis af sider tekst i en enkelt forespørgsel uden at systemet mister information undervejs.

Qwen 2.5 (version 7B eller 14B). Denne model overgår ofte de vestlige rivaler i ren logik og dataanalyse. På kolonnerede tekster, såsom balancer eller regneark, udtrækker den tabeller og numeriske data med ekstrem høj præcision. Den fjorton milliarder parameter version kræver et moderne grafikkort, men leverer svar, der er sammenlignelige med betalte cloud-tjenester.

Gemma 2 (version 9B). Udgivet af Google (men open source og ikke relateret til Gemini), udnytter den arkitekturen fra high-end systemer, mens den reducerer vægten til lokal brug. Den er ekstremt streng i sine svar, idet den nægter at opfinde data, hvis den ikke finder dem i det angivne dokument. Den kræver lidt mere kraftfulde komponenter end Llama for at fungere glat, men garanterer en granitisk konsistens på formelle dokumenter.

Phi-3.5 Mini (eller den følgende iteration Phi-4). Microsofts løsning til gamle computere eller laptops uden dedikeret grafikkort. Den vejer mindre end fire gigabyte og fokuserer på logisk ræsonnering. Den italienske bliver lidt mere mekanisk, men muliggør opsummering af lange kontrakter selv på ældre maskiner.

Den usynlige indekseringsmotor til søgninger på PDF

At forespørge et arkiv med hundrede filer lokalt kræver et grundlæggende ekstra skridt, der ofte overses af overfladiske guides. Avancerede programmer som AnythingLLM eller Open WebUI grænsefladen bruger to separate algoritmer, der arbejder sammen, en til at bearbejde sproget og en til at læse og katalogisere de fysiske sider.

For at maksimere præcisionen og aldrig lade analysen skride, hemmeligheden.

Det består i at downloade en dedikeret embedding-model i stedet for at stole på den foruddefinerede. Ved at søge og indstille nomic-embed-text som vektorlæsemotor i programmets indstillinger, bliver scanning af afsnit lynhurtig. Denne lille fil på under en gigabyte håndterer udelukkende indeksering af koncepterne i det oprindelige dokument og sender derefter de præcise koordinater til den primære sprogmodel, som vil formulere svaret på skærmen.

Hvordan imødegå analysen af egne filer step by step

At starte et dokumentlæsningssystem kræver ekstrem disciplin. Man skal kanalisere systemets evner for at undgå opfundne svar.

• Download og installer den udvalgte software på hoveddrevet, helst på en solid state-disk for at eliminere flaskehalse under læsningen.
• Find en sprogmodel, der passer til dine beregningskapaciteter. Modeller baseret på Mistral-strukturen eller Llama-familien, optimeret til under ti milliarder parametre, sikrer en god forståelse af det italienske sprog uden at overbelaste computeren.
• Opret et nyt arbejdsområde i programmet og navngiv det efter det aktuelle projekt.
• Træk regneark, tekstfiler eller præsentationer ind i det angivne uploadområde i interface.
• Vent tålmodigt på den indledende behandling, som systemet har brug for til at fragmentere teksten og konvertere den til et internt vektordatabaser, der kan tilgås offline.
• Skriv forespørgsler, der specifikt beder algoritmen om kun at trække koncepter fra det netop leverede materiale og om ikke at tilføje eksterne informationer.

Andet at vide

• Behandlingstid. Hastigheden, hvormed teksten vises på skærmen, måles i tokens pr. sekund og afhænger udelukkende af de elektroniske komponenter. På gamle systemer kræver det lang ventetid at udtrække specifikke klausuler fra en tredive-siders kontrakt.
• Språklige evner og størrelser. For komprimerede modeller fylder lidt, men de kæmper med oversættelser eller skaber grammatisk fejlagtige sætninger. For at opnå glatte og professionelle behandlinger på italiensk skal der downloades tunge pakker på mindst fem eller seks gigabyte.
• Læsning af scannede dokumenter. Lokale software kan ikke læse papir dokumenter gemt som fotografier uden valgbart tekst. Før du går videre, skal filerne behandles i et OCR-program til visuel udtrækning af de enkelte ord.
• Problemet med hallucinationer. Selvom man arbejder helt isoleret fra det globale netværk, har algoritmer en tendens til at opfinde fakta eller numre, når de ikke finder det nøjagtige svar i de analyserede tekster. Det bliver obligatorisk at tjekke de udtrukne citater grundigt, før de bruges til formelle arbejdsformål.
• Virksomhedsudgifter og besparelse. De nævnte programmer kræver ikke besværlige abonnementer og fjerner de tilbagevendende omkostninger ved kommercielle abonnementsservice. Den eneste udgift, der kræves, er det indledende køb af moderne processorer eller grafikkort, hvis kontorets terminaler viser sig at være forældede.