Update AB · Business Central
Varje tal på den här sidan kommer ur ett skript som går att köra om. Under varje tal står vad det inte säger — för ett mått utan sin gräns är en marknadsföringssiffra, inte ett mått.
Vad mätningarna visar
Ett tyst fel är ett svar som är fel och som ingen varnar för. Det är den enda felsorten som kostar pengar: en flagga stannar ordern för en människa, ett tyst fel går rakt in i bokföringen.
Säger inte att allt blir rätt. Av tjugo dokument går tre igenom utan att någon behöver titta — resten flaggas, och det är meningen.
Kund, ordernummer, leveransdatum, varje artikel, varje antal och varje enhet. Ett enda fel fält räknas som fel dokument. De två kvarvarande felen är PDF:er där en artikelkod bryts över två rader.
Mätt på dokument vi själva skrivit, valda för att vara svåra — reviderade antal, två adresser, antal skrivna som ord, en prisförfrågan som inte är en order. Inte på riktiga kundordrar. Talet har stigit i steg: 12/20 (9 sep) → 14/20 (17 sep) → 18/20 (21 sep) — samma tjugo dokument varje gång.
Mediantid för hela läsningen av ett dokument i nivå A, från uppladdning till färdigt förslag att granska.
Ett medianvärde döljer spridningen — enstaka dokument tar längre, särskilt okända kunder och ovanliga layouter.
Version Plucky Moose, körd i testportalen bcbuddytest.gipskatten.com: 15 chattfrågor (bland annat pris, lager, marginal, antal ordrar, omsättning per år, fakturerat per kund, obetalt, inköp per leverantör och en tvetydig fråga som får en motfråga) och 18 orderdokument — 33 av 33 rätt.
Ett enda provtillfälle, mot samma testdata som övriga tal på den här sidan — inte mot riktiga kundordrar.
Systemet skriver inte bara "kund: Adatum" utan visar rutan i dokumentet där det står. Hittas citatet inte ordagrant flaggas fältet. Det är hallucinationsskyddet: en uppgift utan plats i dokumentet är en uppgift att kontrollera.
Säger inte att uppgiften är rätt tolkad — bara att den finns i dokumentet och går att slå upp.
Katalogen säger vad som finns. Den säger inte vad den här inloggningen får läsa. Skillnaden mäts varje natt: 615 svarar, 51 kräver ett dokument-id, 154 är stängda. Frågor styrs bara till de som svarar.
Siffrorna gäller den här installationen. En annan kund med andra tillägg och behörigheter får en annan karta — den byggs automatiskt.
En fråga på svenska matchas mot beskrivningarna av 820 entiteter. "Vilka fakturor förfaller" ska landa i fakturor, inte i leverantörsreskontran.
Säger inget om svaret — bara att frågan letar på rätt ställe.
Nitton av fyrtio frågor känns igen direkt och går till rätt funktion. De andra tjugoen lämnas till modellen. Noll skickas till fel funktion.
Att avstå är inte gratis: de frågorna tar längre tid, för modellen måste själv leta.
Går något fel står det vad som är fel och vad man kan göra åt det, på svenska. Tjugotvå frågor, varav tolv avsiktligt omöjliga, gav noll felkoder och noll obegripliga meningar.
Mätt på texten, inte på om rådet hjälper.
De tio färgerna som binder en uppgift till sin plats i dokumentet är mätta mot varje yta de ritas på, i båda temana, mot WCAG-kraven. Dokumentet självt är papper i båda lägena och bär med sig sin egen uppsättning.
Räknat, inte bedömt av ett öga. Färgblindhet är inte separat prövad.
Vad AI:n gör
Språkmodellen kör på den här datorn och gör tre saker: läser dokumentet, föreslår vilka uppgifter som är vad, och formulerar svar på frågor. Den bestämmer aldrig ett artikelnummer, ett kundnummer eller en enhet — de koderna kommer alltid från Business Central, aldrig från texten. Modellen får föreslå; systemet slår upp.
Samma sak i chatten: varje svar bygger på ett faktiskt anrop mot Business Central och redovisar vilket. Modellen sammanfattar det som hämtats — den svarar aldrig ur minnet, och den räknar aldrig själv på siffror som inte hämtats.
Vad vi lagt till runt modellen
En språkmodell som läser en PDF är en demo. Det som gör den till ett arbetsverktyg är vad som händer när den har fel — och det är allt det här:
Varje uppgift citerar var i dokumentet den står, och citatet slås upp i texten. Finns det inte ordagrant flaggas fältet. Det är skillnaden mellan ett förslag och en gissning.
Kund, artikel och enhet matchas mot det som faktiskt finns. Två snarlika artiklar ger aldrig en säker träff — tvetydighet är tvetydighet oavsett poäng, och då frågar systemet i stället för att välja.
Innan en fråga skickas kontrolleras att fältet finns och att typen stämmer. Felet fångas lokalt, med en rättelse som pekar på ett fält som duger — i stället för ett felmeddelande från affärssystemet.
Kundens egna artikelnummer kan aldrig gissas fram. Peka ut kopplingen en gång, så minns systemet den för just den kunden — och nästa order med samma utseende tolkas rätt direkt.
Felkoder, engelska typnamn och interna entitetsnamn tvättas bort ur allt användaren läser, och ersätts med vad som är fel och vad man gör åt det. Det mäts, och siffran är noll.
Varje påstående på den här sidan har ett skript bakom sig som går att köra om. En ändring som förbättrar tre dokument och tyst försämrar nio är en försämring — och det syns bara om man mäter före och efter.
Det vi inte vet
Alla tal ovan är mätta mot dokument vi själva skrivit och mot en testmiljö. Det som inte är mätt är träffsäkerheten mot riktiga kundordrar, jämfört med hur ofta en människa gör fel på samma ordrar. Innan det är gjort vet vi att systemet inte gör tysta fel på det vi provat — men inte hur ofta det gör rätt på det ni faktiskt får in.
Det är nästa mätning, och den kräver riktiga ordrar.