ORVIXLABSSistemas privados de IA
// PAPER TÉCNICO

La firma humana es parte de la arquitectura

Human-in-the-loop no debería ser un botón agregado al final. En decisiones sensibles, la autoridad humana tiene que estar definida como una compuerta estructural.

IDEA EVIDENCIA CRÍTICA PUBLICACIONESORVIXLABS

// RESUMEN / ABSTRACT

La aprobación humana suele tratarse como una pantalla final agregada por cumplimiento. Este paper sostiene que, en sistemas de alta consecuencia, la autoridad humana debe modelarse como un componente explícito: con información mínima necesaria, estados bloqueantes, responsabilidades y evidencia suficiente para decidir.

human in the loopautoridad humanadecisiones críticasaprobación

1. Un botón no crea autoridad

Agregar “Aprobar” a una interfaz no garantiza control humano. Si la persona recibe una conclusión opaca, no conoce alternativas, no puede ver evidencia y no entiende qué ocurrirá después, su intervención es ceremonial.

La arquitectura debe diseñar qué información necesita el decisor, qué acciones puede tomar y qué consecuencias produce cada opción.

2. Estados que obligan a detenerse

Un buen sistema distingue decisiones reversibles de irreversibles. También reconoce cuando falta evidencia, cuando existe contradicción no resuelta o cuando una acción excede permisos. Esos estados no deberían resolverse con una recomendación más enfática del modelo: deberían elevarse a decisión explícita.

La autoridad humana aparece donde la incertidumbre y el impacto justifican el costo de detener la automatización.

3. Explicabilidad operacional

La persona no necesita una explicación completa de cada token generado. Necesita comprender qué hechos sostienen la propuesta, qué alternativas relevantes se descartaron, qué dato falta, qué riesgo residual existe y qué cambiará si aprueba.

Esa explicación es operacional: está diseñada para decidir, no para decorar un reporte.

4. Registrar aprobación y rechazo

Un rechazo humano también es información. Permite detectar reglas demasiado agresivas, tipos de alerta que nunca aportan valor o contextos donde la automatización debería reducirse. Guardar sólo aprobaciones produce una memoria sesgada del sistema.

La evolución posterior necesita conocer ambos resultados.

5. No trasladar responsabilidad sin control

Es incorrecto afirmar que “el humano decide” si en la práctica la interfaz presiona para aceptar, esconde incertidumbre o no ofrece alternativa real. La autoridad requiere capacidad efectiva de detener, posponer, pedir evidencia y rechazar.

6. Diseño de la firma

En OrvixLabs tratamos la firma humana como una frontera arquitectónica. La automatización puede llegar muy lejos antes de ella, pero no puede convertir evidencia en autoridad por sí sola.

Participación humana y autoridad humana no son lo mismo

Una persona puede aparecer en diez pantallas y seguir sin tener autoridad real. Si el flujo ya eligió una opción, ocultó las alternativas y sólo permite confirmar, la interacción humana es decorativa. La autoridad existe cuando la arquitectura reserva decisiones concretas que el sistema no puede consumar por sí solo y cuando la persona puede rechazar, pedir más evidencia o cambiar el curso.

La consecuencia de una decisión importa más que su etiqueta. Una corrección de formato y una transferencia de fondos no deberían compartir el mismo gate aunque ambas se llamen “aprobar”. El diseño debe clasificar qué acciones son reversibles, cuáles crean obligaciones y cuáles cruzan una frontera regulatoria, contractual o física.

El decisor necesita un paquete de evidencia

Pedir una firma sin contexto traslada la carga cognitiva al humano. Un gate útil presenta la propuesta, su justificación, evidencia a favor y en contra, incertidumbres, cambios respecto del estado anterior y efecto esperado de aprobar o rechazar. No necesita mostrar todo el historial interno, pero sí lo suficiente para que la decisión sea defendible después.

La interfaz también debe distinguir información observada de inferencias del modelo. Si todo se muestra con la misma apariencia, una suposición puede adquirir el peso visual de un hecho.

Rechazar debe ser una salida segura

Muchos flujos diseñan cuidadosamente el camino de aprobación y tratan el rechazo como una excepción. Eso crea presión operativa para aprobar. Una arquitectura con primacía humana debe definir qué ocurre después de un “no”: volver a investigación, solicitar evidencia, construir otra candidata, posponer o cerrar el caso. El sistema no debería insistir indefinidamente ni reinterpretar el rechazo como falta de respuesta.

El silencio tampoco equivale a consentimiento. Cuando la decisión requiere autoridad humana, la ausencia de firma debe mantener el estado bloqueado.

Quién firma también es parte del modelo

“Un humano” es una categoría demasiado amplia. La persona autorizada depende del dominio y de la consecuencia: responsable técnico, propietario del proceso, profesional regulado, administrador de seguridad o cliente. La arquitectura necesita representar roles y alcance de autoridad sin asumir que cualquier usuario autenticado puede aprobar cualquier acción.

En organizaciones pequeñas, una misma persona puede ocupar varios roles. Aun así, conservar la distinción ayuda a entender qué responsabilidad estaba ejerciendo en cada decisión.

La firma debe sobrevivir a la auditoría

Una decisión importante debería poder reconstruirse: qué versión del artefacto se aprobó, qué evidencia estaba disponible, quién autorizó, cuándo, y si el objeto cambió después. Si el contenido cambia materialmente, la aprobación previa no debería viajar automáticamente con él.

Esto convierte la firma humana en parte del estado del sistema, no en una captura de pantalla ni en un comentario perdido.

El objetivo no es poner humanos en todas partes

La primacía humana no exige frenar cada operación trivial. De hecho, saturar a una persona con confirmaciones reduce la calidad del control porque las aprobaciones se vuelven mecánicas. La arquitectura debería automatizar lo reversible y bien acotado, escalar lo ambiguo y reservar intervención obligatoria para cambios de autoridad, alto impacto o evidencia insuficiente.

Una buena frontera humana hace menos preguntas, pero hace las preguntas que el sistema no tiene derecho a contestar por sí mismo.

Criterios para evaluar una implementación

Una tesis técnica sólo gana valor cuando puede transformarse en preguntas de diseño observables. Antes de considerar madura una implementación, conviene poder responder con evidencia —no únicamente con intención— preguntas como las siguientes:

  • Qué decisiones están reservadas a autoridad humana y por qué?
  • El decisor ve evidencia, incertidumbre y consecuencias antes de firmar?
  • Rechazar tiene un flujo seguro y útil?
  • El silencio puede transformarse accidentalmente en aprobación?
  • La aprobación queda vinculada a una versión inmutable del objeto?
  • Las notificaciones evitan fatiga de aprobación en tareas de bajo riesgo?

Estas preguntas no forman una certificación universal. Funcionan como una disciplina para descubrir dónde una promesa depende todavía de comportamiento implícito, conocimiento tribal o confianza no medida. Las respuestas pueden variar por dominio, pero deberían quedar representadas en contratos, estados, pruebas, documentación o evidencia operacional suficiente para que una revisión posterior no dependa del recuerdo del equipo.

Implicación organizacional

Diseñar autoridad humana obliga a hablar de responsabilidad antes de hablar de interfaz. Quién puede autorizar un cambio, en representación de qué rol y con qué evidencia son preguntas organizacionales que el software debe reflejar. Cuando esas respuestas no existen, ningún botón puede inventarlas. La buena arquitectura hace visible la estructura de responsabilidad y reduce situaciones en las que una persona descubre demasiado tarde que “aprobó” algo cuyo alcance no comprendía.

Esto también exige aceptar que algunas propiedades no se resuelven con una compra tecnológica. Responsabilidad, ownership, criterios de escalación y autoridad son decisiones de organización. El software puede hacerlas visibles, registrar su ejercicio y bloquear caminos no autorizados, pero no inventar una estructura de gobierno que nadie definió. Por eso la arquitectura técnica y la arquitectura de responsabilidad deben evolucionar juntas.

Límites y preguntas abiertas

Ninguno de estos principios elimina incertidumbre, errores humanos o fallos de proveedores. Tampoco define por sí solo qué nivel de evidencia es suficiente para todos los dominios. Una investigación exploratoria, una operación industrial y una decisión regulada tienen consecuencias diferentes y necesitan umbrales distintos.

El valor de una arquitectura explícita es hacer discutibles esas diferencias. En vez de esconderlas dentro de un prompt o de una respuesta convincente, permite preguntar qué se sabe, qué no, quién puede decidir, qué se puede revertir y qué evidencia quedará después. Esa capacidad de formular y conservar límites es parte del sistema tanto como la capacidad de producir una respuesta.

Autoridad no significa intervención constante

Un sistema puede automatizar miles de decisiones reversibles y aun conservar autoridad humana donde importa. La pregunta correcta no es “hay un humano en el loop?” sino “qué capacidad requiere qué nivel de autoridad?”. Algunas acciones pueden estar preautorizadas; otras requieren confirmación contextual; otras sólo pueden llegar a una recomendación. La arquitectura debe representar esa topología en vez de agregar un botón de aprobar al final.

El paquete mínimo para decidir

Una aprobación humana de calidad necesita más que una salida del modelo. Debe presentar qué se propone, por qué, qué evidencia lo respalda, qué alternativas fueron descartadas, qué incertidumbre permanece, qué efecto tendría la acción y cómo se revierte. Si la persona necesita reconstruir todo desde cero, la automatización fracasó. Si sólo ve una recomendación sin contexto, la firma se vuelve ceremonial.

El peligro del rubber stamping

La presencia nominal de un aprobador puede reducir seguridad si la interfaz empuja a aceptar por inercia. Volumen excesivo, alertas repetitivas, textos demasiado largos o confianza visual injustificada crean fatiga de aprobación. Diseñar autoridad humana también significa limitar cuándo se pide intervención y hacer que cada pedido tenga información suficiente para una decisión real.

Latencia y escalamiento

No toda decisión puede esperar. La arquitectura debe prever tiempos de respuesta, responsables alternativos, expiración y modo seguro ante silencio. En algunos casos, no recibir una aprobación implica bloquear. En otros, implica continuar dentro de una política conservadora ya autorizada. Lo importante es que la ausencia de una persona no se convierta accidentalmente en permiso.

Auditar autoridad humana

  • La persona sabe exactamente qué está autorizando?
  • Puede ver la evidencia sin depender del resumen del mismo agente que propone?
  • La decisión puede rechazarse sin romper la operación?
  • Existe registro de quién aprobó, cuándo y sobre qué versión?
  • El sistema distingue aprobación, consulta y mera notificación?
  • Hay un modo seguro cuando la autoridad requerida no está disponible?

Autoridad como matriz de capacidades

En lugar de clasificar todo el sistema como “autónomo” o “supervisado”, conviene construir una matriz por capacidad. Leer datos puede ser automático; modificar una preferencia reversible puede estar preautorizado; emitir una comunicación externa sensible puede requerir aprobación; una acción con consecuencias legales o físicas puede necesitar doble validación. Esa granularidad permite aumentar autonomía sin entregar de golpe autoridad general.

La firma también necesita versionado

Una persona no aprueba una idea abstracta: aprueba una versión concreta de un objeto, con cierta evidencia y ciertos límites. Si cambia el objeto material, la aprobación anterior no debería heredarse por inercia. Este principio es especialmente importante cuando un sistema puede generar nuevas candidatas o cuando múltiples agentes modifican un plan durante la revisión.

Cuando la persona no puede verificar todo

En sistemas complejos, ningún responsable puede reejecutar mentalmente cada paso. La arquitectura debe comprimir evidencia sin ocultar incertidumbre. Eso exige una interfaz que muestre los puntos de decisión, los bloques críticos y las diferencias respecto de la versión anterior. Una firma humana útil depende de un buen resumen verificable, no de exigir que la persona se convierta en debugger de toda la cadena.

La autoridad humana también puede fallar

Diseñar primacía humana no significa asumir que el humano siempre decide bien. Personas se cansan, se apuran, tienen sesgos y pueden aprobar por rutina. Por eso la arquitectura debe registrar decisiones, limitar atajos, permitir segunda revisión cuando la consecuencia lo justifica y conservar evidencia para aprender de errores. La autoridad final es humana; la arquitectura debe ayudar a ejercerla mejor.

Diseñar el derecho a detener

La autoridad humana no sólo sirve para aprobar. También necesita una capacidad clara de detener, pausar o revertir. Si una persona detecta que el contexto cambió o que la evidencia es insuficiente, el sistema debe poder entrar en un estado seguro sin exigir completar una secuencia automática. El derecho a decir “no continúe” es una propiedad arquitectónica tan importante como el permiso para avanzar.

Pruebas de la interfaz de decisión

La calidad de una firma humana puede probarse con escenarios: presentar una recomendación con evidencia contradictoria, retirar una fuente crítica, cambiar la versión del artefacto o simular ausencia del responsable principal. La interfaz debería mostrar el cambio material y bloquear cuando corresponde. Si todas las pruebas terminan en el mismo botón verde, la arquitectura está simulando control humano en vez de implementarlo.

Resultado esperado

Una arquitectura con autoridad humana explícita permite explicar, a posteriori, quién tenía permiso, qué información vio, qué aceptó, qué quedó fuera de su alcance y qué ocurrió después. Esa trazabilidad protege tanto a la organización como a la persona responsable, porque evita atribuirle decisiones que el sistema tomó sin una frontera clara.

// ORVIXLABS

La investigación pública explica los principios. Los sistemas reales se diseñan alrededor del contexto operativo privado.

Plantear un sistema