Afegir «revisat per una persona» al final d'un procés pot transmetre tranquil·litat, però no garanteix una supervisió efectiva. Si la persona no sap quina font ha utilitzat l'agent, quins errors són probables o quina autoritat té per aturar l'acció, la revisió es converteix en un tràmit. També pot aparèixer el biaix d'automatització: la tendència a confiar en un resultat perquè el sistema l'ha presentat amb seguretat i aparença de precisió.
La supervisió humana no ha de funcionar com una xarxa situada al final. S'ha de dissenyar al mateix temps que la missió, els permisos i el flux de l'agent.
No totes les accions necessiten el mateix control
Preparar un resum intern, suggerir un titular, enviar una resposta pública o modificar un pressupost tenen conseqüències diferents. Una bona arquitectura classifica les accions segons l'impacte, la reversibilitat, les dades implicades i la possibilitat de detectar l'error.
Les tasques de risc baix poden executar-se amb mostres periòdiques o controls posteriors. Les accions que afecten clients, diners, reputació, drets o dades personals poden necessitar aprovació prèvia. Determinades decisions no s'haurien d'automatitzar, encara que fos tècnicament possible.
Aquest criteri evita dos extrems: revisar manualment cada pas fins que l'automatització deixa d'aportar valor, o concedir autonomia simplement perquè l'eina la permet.
Què necessita la persona que supervisa
La persona responsable ha de conèixer la finalitat de l'agent, les seves capacitats i els seus límits. També necessita veure quines fonts han sustentat el resultat, detectar quan falta informació i entendre les conseqüències d'aprovar una acció.
La interfície o el document de revisió ha de facilitar aquesta feina. No és suficient mostrar una resposta i dos botons. Pot ser necessari destacar les fonts, els canvis, les dades sensibles, el nivell de confiança, les excepcions i el motiu pel qual el cas ha arribat a revisió.
La persona també ha de poder ignorar, corregir, revertir o aturar el resultat. Si només pot confirmar, no està supervisant; està validant formalment una decisió que ja ha pres el sistema.
Human Gates dins del procés
A Karmina AI Studio anomenem Human Gates els punts on una acció canvia de nivell de responsabilitat. Poden aparèixer abans de publicar, enviar, modificar, eliminar, compartir dades o assumir un compromís amb una persona externa.
Un Ads Monitor pot detectar una despesa anòmala i preparar una recomanació, mentre que una responsable aprova qualsevol canvi de pressupost. Un Support Desk pot respondre preguntes freqüents autoritzades, però escala una reclamació o una excepció comercial. Un Blog Publisher pot preparar el text, l'estructura SEO i les metadades, però la publicació queda bloquejada fins a la revisió editorial.
Els punts de control s'han de documentar amb responsables alternatius, terminis i un procediment per als casos sense resposta. Una aprovació que ningú no atén pot paralitzar el procés o portar l'equip a saltar-se el control.
Supervisió, registre i aprenentatge
Els errors revisats són una font per millorar el sistema, sempre que quedin registrats. Convé diferenciar entre una preferència editorial, una font obsoleta, una instrucció ambigua, un problema tècnic i una acció que mai no s'hauria d'haver proposat. Cada causa necessita una correcció diferent.
El registre també permet detectar si l'agent està degradant-se, si una nova versió ha canviat el comportament o si una persona aprova sistemàticament sense revisar. La governança és un procés continu: definir, observar, mesurar i corregir.
El marc voluntari de gestió de riscos del NIST organitza aquesta feina al voltant de governar, mapar, mesurar i gestionar, i inclou la definició i documentació dels processos de supervisió humana. És una referència útil per estructurar controls, encara que no substitueix les obligacions legals aplicables a cada cas. AI Risk Management Framework del NIST ↗.
El context legal importa
El Reglament europeu d'intel·ligència artificial inclou requisits específics de supervisió humana per als sistemes classificats com d'alt risc. L'article 14 assenyala, entre altres capacitats, comprendre limitacions, detectar anomalies, evitar una confiança excessiva i poder ignorar o revertir resultats. No tots els agents de màrqueting són sistemes d'alt risc, però aquestes preguntes ofereixen una referència de disseny útil quan augmenta l'impacte. Article 14 del Reglament europeu d'IA ↗.
Quan el procés tracta dades personals, la supervisió tampoc no elimina les obligacions de finalitat, minimització, seguretat o responsabilitat. L'organització continua sent responsable de complir els principis aplicables i de poder demostrar-ho. Principis del RGPD explicats per la Comissió Europea ↗.
La classificació jurídica i les mesures necessàries s'han de revisar segons l'ús, el sector i les persones afectades; una pàgina comercial no pot certificar aquest compliment.
La responsabilitat ha de tenir nom
Dir que «sempre hi haurà una persona» és insuficient. Cada agent necessita un propietari, persones usuàries autoritzades, responsables d'aprovació i un circuit d'incidències. També necessita una política d'actualització i una decisió sobre qui pot ampliar els permisos o canviar les fonts.
La supervisió humana funciona quan la persona té informació, temps, autoritat i formació. Si una d'aquestes condicions falta, el control pot existir al diagrama i desaparèixer en l'operativa real.
Les persones no han de revisar perquè desconfiem de tota automatització. Han d'intervenir en els punts on el criteri, els drets i la responsabilitat no es poden convertir en una simple instrucció.