Observerbarhet för AI-agenter: se vad en agent gör i realtid

Ju mer autonomi en AI-agent får, desto mer central blir frågan "vad gjorde den egentligen?". En agent som körs kontinuerligt, kontaktas via flera kanaler, anropar verktyg och ibland delegerar till underagenter, producerar en aktivitet som är svår att följa med blotta ögat. Observerbarhet är det tekniska svaret på det problemet: att göra det som faktiskt sker inuti systemet synligt, spårbart och begripligt.

Detaljerad definition

Observerbarhet, i vid mening inom mjukvaruteknik, är förmågan att förstå ett systems interna tillstånd genom att undersöka det systemet producerar utåt, typiskt spårningar, mätvärden och loggar. Det är den definition som OpenTelemetry utgår från, referensstandarden för mjukvaruinstrumentering, som stöds av många leverantörer av observerbarhetsverktyg. Dessa tre datatyper spelar kompletterande roller: spårningarna följer en förfrågan genom hela dess väg i ett distribuerat system, loggarna registrerar tidsstämplade händelser kopplade eller inte till en specifik förfrågan, och mätvärdena aggregerar siffermått över tid.

Observerbarhet för agenter tillämpar samma princip på det specifika fallet med en autonom AI-agent. Det finns ännu ingen enda, brett etablerad standard som exakt definierar vad agentisk observerbarhet bör täcka, till skillnad från klassisk mjukvaruobserverbarhet som gynnas av en mogen standard som OpenTelemetry. I praktiken närmar sig dock de plattformar som driftsätter agenter samma gemensamma behov: att veta vilken åtgärd en agent har utfört, på vilket verktyg, vid vilken tidpunkt, med vilket resultat, och på initiativ av vilken utlösare (en konversation, ett mejl, en planerad uppgift).

Det här är ingen teknisk lyx förbehållen stora team. Så snart en agent kan agera utan systematisk validering vid varje steg blir observerbarhet det konkreta sättet att i efterhand svara på frågan "varför gjorde den så?", eller att upptäcka ett onormalt beteende innan det orsakar ett verkligt problem.

Så fungerar det

Konkret vilar en agents observerbarhet på tre staplade lager. Det första är händelsefångst: varje beslut, varje verktygsanrop, varje betydande resonemangssteg registreras i det ögonblick det inträffar, med en tidsstämpel, en status (pågående, lyckad, felaktig) och utlösningens ursprung. Det andra är strukturering: dessa råa händelser kategoriseras (en åtgärd på en fil loggas inte på samma sätt som ett anrop till ett externt verktyg eller ett resonemangssteg hos modellen), så att man kan filtrera och söka effektivt. Det tredje är återgivning: ett gränssnitt eller en export som gör det möjligt för en människa att gå igenom den här aktiviteten, oavsett om det gäller en specifik agent eller en hel organisation.

Ett bra system för agentisk observerbarhet skiljer också ut det delegerade arbetet: när en agent lämnar över en deluppgift till en tillfällig underagent, måste den delegeringen förbli synlig i förälderns tidslinje, annars blir en del av det verkliga arbetet osynligt.

Konkret exempel med Atako

Hos Atako bygger observerbarheten per agent på en aktivitetstidslinje i realtid: varje händelse kategoriseras där (webb, filer, minne, kod, integration, planering, delegering, modellens resonemang, övrigt), med en status (pågående, lyckad, felaktig), en varaktighet och ett exakt ursprung (chatt, mejl, webhook, planerad uppgift, meddelande mellan agenter, underagent, eller system). En dedikerad panel, "Tool logs", listar separat varje integrationsanrop agenten har gjort, med sitt resultat (lyckat, nekat, fel).

Den här observerbarheten per agent kompletteras av en företagsövergripande vy, förbehållen administratörer: en sida med "Integration logs" som går att filtrera på team, agent, leverantör och datum, med en CSV-export på upp till 50 000 rader, samt en aggregerad användningsvy per integrationsleverantör. Varje loggat anrop behåller den berörda agenten, kopplingen som använts, leverantören, den exakta åtgärden, dess argument (med känsliga fält som en mejltext eller en sökfråga systematiskt maskerade), statusen, HTTP-koden som leverantören returnerat, latensen och tidsstämpeln. Skyddsmekanismerna för behörighet (grants) och observerbarheten arbetar hand i hand: den ena avgör om en åtgärd är tillåten, den andra håller reda på vad som faktiskt hände.

Vanliga misstag

Ett vanligt misstag är att blanda ihop observerbarhet med en enkel felllogg. Ett observerbart system nöjer sig inte med att flagga när något går sönder, det ger också insyn i det normala fungerandet, vilket gör det möjligt att förstå ett oväntat beteende även när inget tekniskt har misslyckats.

Andra misstaget: att tro att observerbarhet hindrar en agent från att agera fel. Det är ingen blockeringsmekanism, det är en synlighetsmekanism. Den kombineras med behörigheter och, för känsliga åtgärder, med en punkt för mänsklig validering, men den ersätter varken det ena eller det andra.

Tredje misstaget: att förbehålla observerbarheten åt administratörer utan att göra den tillgänglig för de team som faktiskt använder agenten dagligen. En användbar observerbarhet måste göra det möjligt för den person som har skapat eller använder en agent att förstå dess beteende, inte bara en isolerad teknisk roll.

Slutligen är det ett klassiskt misstag att underskatta betydelsen av delegeringar till underagenter i aktivitetstidslinjen. En agent som delegerar en deluppgift förblir ansvarig för resultatet i användarens ögon: om den delegeringen inte syns tydligt i tidslinjen blir en del av det verkliga arbetet osynligt och obegripligt i efterhand.