Questo testo nasce da una giornata di lavoro qualunque e da una riunione di ventinove minuti. La riunione era con una psicologa e riguardava uno strumento software. Lo strumento era partito come un taccuino digitale potenziato con un modello linguistico, e nel corso di quella conversazione si è rivelato per quello che sta diventando davvero: non un posto dove appuntare cose, ma un dispositivo che decide cosa le cose sono. Il passaggio dal primo al secondo non è un aggiornamento di versione. È un cambiamento di natura. Quello che segue è il tentativo di prendere sul serio quel cambiamento, di nominarlo, di capirne le conseguenze, e di tracciare una direzione per la parte del prodotto che non è fatta di codice ma di scelte su come si guarda un essere umano.
Le idee importanti raramente arrivano annunciate. Questa è arrivata accavallata a un bug e a una frase detta di sfuggita. Il bug era tecnico e prosaico: un sistema che, da un certo punto della conversazione in poi, perdeva la memoria di tutto quello che era stato detto prima e cominciava a inventare. Inventava incontri mai avvenuti, citava documenti inesistenti, chiedeva più volte cose che erano già state fornite. Visto da fuori sembrava un'intelligenza che impazziva. Visto da dentro era esattamente il contrario: era un'intelligenza a cui era stata tolta la memoria e a cui si continuava a chiedere coerenza. Un sistema nudo, lasciato solo con la propria pretesa di sembrare sensato, fa l'unica cosa che può fare: costruisce una continuità verosimile a partire dal niente. La chiamiamo allucinazione perché la parola ci consola. Sarebbe più onesto chiamarla improvvisazione forzata.
L'obiezione invece era teorica, e l'ha sollevata una persona che di mestiere legge le persone. Durante la riunione la discussione verteva su come lo strumento dovesse rappresentare gli utenti: profili, descrizioni, categorie. La proposta sul tavolo era costruire alcuni profili-tipo, stabili, da dare in pasto al sistema come base per personalizzare il comportamento. L'obiezione è stata netta e, all'inizio, sembrava una pignoleria filosofica. Un profilo statico, ha detto in sostanza la psicologa, è una mappa che pretende di essere la persona. Non esiste un profilo della persona in sé. Esiste solo il profilo di un incontro: chi guarda, chi è guardato, in quale contesto, per quale scopo. E quei confini vanno dichiarati, non nascosti.
Sul momento sembravano due cose distanti, un guasto da una parte e una sottigliezza concettuale dall'altra. Non lo erano. Erano la stessa verità vista da due lati. Il guasto tecnico è la dimostrazione empirica, in miniatura, di quello che la psicologa stava dicendo in astratto. Il sistema ha allucinato perché gli era stato tolto l'incontro — la conversazione viva, i turni precedenti, il contesto situato — e gli era rimasto solo il profilo nudo, lo scheletro senza la carne della relazione. Lei dice, su base teorica, che un profilo senza incontro non significa nulla. Il sistema lo ha dimostrato, su base pratica, allucinando nel momento esatto in cui l'incontro è stato spento. La tecnica e la psicologia hanno trovato lo stesso punto cieco lo stesso giorno, partendo da estremi opposti, senza sapere l'una dell'altra. Quando due strade così diverse convergono sullo stesso punto, conviene fermarsi a guardare quel punto. È quasi sempre il punto che conta.
Prima di capire dove sta andando lo strumento, vale la pena capire da dove parte. La parola taccuino è modesta e per questo utile: nessuno si illude che un taccuino sia intelligente. Un taccuino registra. È un deposito di tracce. Tu scrivi, lui conserva, e la verità di quello che è scritto resta tua. Il taccuino non sa cosa significhi quello che contiene, non lo interpreta, non lo giudica, non lo completa. La sua virtù è la trasparenza: si fa dimenticare. Quando scrivi su un quaderno non pensi al quaderno, pensi a quello che stai scrivendo. Lo strumento sparisce nell'uso.
Il filosofo che ha descritto meglio questa sparizione è Heidegger, con una distinzione che torna utile qui più di quanto sembri. Un martello, finché funziona, non lo vedi: è zuhanden, pronto-alla-mano, trasparente, parte del gesto. Lo vedi solo quando si rompe: in quel momento smette di essere uno strumento e diventa un oggetto da guardare, vorhanden, presente-davanti. Il taccuino ben fatto è zuhanden. È un prolungamento della memoria che non chiede attenzione. La memoria esterna, l'esocervello, la stampella cognitiva: tutte queste espressioni descrivono la stessa cosa, uno strumento che amplia ciò che sei senza mettersi in mezzo, senza avere opinioni, senza decidere niente al posto tuo.
La versione potenziata da un modello linguistico — un taccuino che capisce quello che scrivi, che lo ricorda, che te lo restituisce quando serve, che ti aiuta a ritrovare il filo — è ancora, nella sua natura profonda, un taccuino. Più comodo, più reattivo, ma sempre dalla parte della registrazione. La sua promessa è non farti perdere niente. La sua etica è semplice perché la sua funzione è semplice: conservare fedelmente. Un taccuino non può tradirti sul piano del giudizio, perché non giudica. Al massimo può perdere una pagina.
È importante essere precisi su questo, perché tutta la difficoltà che verrà dopo nasce da qui. Finché lo strumento registra, l'unico problema è la fedeltà. Nel momento in cui lo strumento comincia a definire, il problema diventa la verità, e la verità sulle persone è una faccenda molto più pericolosa della fedeltà a una pagina scritta.
Il cambiamento di natura avviene senza fanfare, ed è proprio per questo che è insidioso. Nessuno decide un giorno di trasformare il taccuino in un apparato. Succede per accumulo di funzioni ragionevoli. Prima lo strumento conserva le note. Poi le organizza. Poi nota dei pattern. Poi, siccome notare pattern è utile, comincia a estrarne dei profili: questa persona si comporta così, quest'altra cosà, questo tipo di utente reagisce in questo modo. Ogni passo sembra il prolungamento naturale del precedente. Eppure, da qualche parte lungo questa scala, lo strumento ha attraversato una linea. Ha smesso di descrivere ciò che hai scritto e ha cominciato a dire ciò che è.
La distinzione tecnica per questa linea esiste e viene dalla filosofia del linguaggio. Esistono enunciati descrittivi, che dicono come stanno le cose e possono essere veri o falsi rispetto a una realtà che li precede; ed esistono enunciati performativi, che non descrivono una realtà preesistente ma la istituiscono nell'atto stesso di dirla. Quando un giudice dice "vi dichiaro marito e moglie", non sta descrivendo un matrimonio che esisteva già: lo sta creando con quelle parole. Quando un sistema dice "questo utente è di tipo evitante" e poi, sulla base di quella frase, decide come trattarlo, cosa mostrargli, come descriverlo a un terzo, quella frase ha smesso di essere descrittiva. È diventata performativa. Non racconta una persona che esisteva già così. Costruisce una categoria che da quel momento agisce sul mondo.
Questo è il salto. Il taccuino faceva enunciati descrittivi e tutti lo sapevano. L'apparato fa enunciati performativi e finge che siano descrittivi. È questa finzione il cuore del problema. Un profilo presentato come "ecco com'è questa persona" nasconde la propria natura costruttiva dietro una maschera di oggettività. Sembra che stia leggendo la realtà, mentre la sta scrivendo. E siccome quello che scrive poi viene usato per decidere, la profezia tende a auto-avverarsi: il sistema tratta la persona secondo il profilo, la persona reagisce al trattamento, la reazione conferma il profilo. Il cerchio si chiude e la mappa, che era solo una mappa, diventa il territorio per il semplice fatto che tutti la trattano come tale.
Vale la pena dirlo senza mezzi termini, perché è il punto attorno a cui ruota tutto il resto. Nel momento in cui uno strumento passa dal registrare al definire, smette di essere uno strumento e diventa un apparato. Uno strumento amplia ciò che fai. Un apparato decide qualcosa al posto tuo, e quando l'oggetto della decisione è un altro essere umano, ogni decisione presa al posto suo è anche una decisione presa su di lui.
La frase è di Alfred Korzybski, un pensatore polacco-americano che la coniò quasi un secolo fa, e da allora è stata ripetuta tanto da diventare quasi un luogo comune. Il guaio dei luoghi comuni è che smettiamo di sentirne il peso. Qui il peso va recuperato per intero, perché descrive con esattezza il rischio dell'apparato.
La mappa non è il territorio che rappresenta, ma, se è corretta, ha una struttura simile al territorio, ed è questo che ne fa l'utilità.
Korzybski diceva due cose insieme, e di solito ne ricordiamo solo la prima. La prima è che la mappa non è il territorio: nessuna rappresentazione coincide con la cosa rappresentata, c'è sempre una riduzione, una scelta di cosa includere e cosa lasciare fuori, una scala che decide cosa è visibile e cosa scompare. La seconda, però, è che una buona mappa è comunque utile, anzi indispensabile, proprio perché è una riduzione: una mappa in scala uno a uno sarebbe inutile quanto il territorio stesso. Il punto non è rinunciare alle mappe. Il punto è non confonderle con il territorio, e ricordare sempre che ogni mappa porta dentro di sé le scelte di chi l'ha disegnata.
Il taccuino era una mappa che sapeva di esserlo. Gli appunti su una persona erano appunti, nessuno li scambiava per la persona. L'apparato è una mappa che ha dimenticato di essere mappa. Tratta il profilo come se fosse la persona, congela una rappresentazione e la chiama realtà. E qui sta il pericolo specifico: una mappa che si crede territorio non è solo imprecisa, è autoritaria. Non ammette che possa esistere un territorio diverso da come lei lo disegna. Se il profilo dice che sei evitante e tu ti comporti in modo aperto, la mappa-che-si-crede-territorio non conclude "il profilo era sbagliato", conclude "stai mascherando la tua natura evitante". Si rende infalsificabile. E una rappresentazione infalsificabile di un essere umano non è più una conoscenza, è una gabbia.
C'è una differenza enorme, e tutta morale, tra una mappa che dice "ecco il territorio" e una mappa che dice "ecco come ho disegnato il territorio da dove stavo io, con questi strumenti, per questo scopo". La prima pretende. La seconda dichiara. La prima nasconde l'autore per sembrare oggettiva. La seconda lo mette in primo piano per essere onesta. Tutta la parte umanistica del prodotto, come si vedrà, sta nel costruire mappe del secondo tipo e nel rifiutare strutturalmente quelle del primo.
Torniamo al bug, perché ora possiamo leggerlo per quello che è davvero: non un incidente tecnico, ma una parabola. La sessione era lunga, decine di messaggi, oltre un'ora di conversazione per produrre qualcosa che, con il contesto intatto, sarebbe uscito in tre scambi. A un certo punto il sistema ha cominciato a inventare. Si è inventato un numero di incontri che non corrispondeva alla realtà. Ha citato come fonti dei documenti che non aveva mai visto. Ha chiesto più volte allegati che gli erano già stati forniti. Ha persino riversato nella conversazione con una cliente dei problemi interni che non avevano niente a che fare con lei.
La diagnosi facile era dare la colpa al modello: un'intelligenza locale, più piccola, che semplicemente non era all'altezza. La diagnosi vera era un'altra, ed è istruttiva. Il sistema non riceveva più, dal secondo messaggio in poi, la cronologia della conversazione. Per un'ottimizzazione introdotta qualche giorno prima, il blocco di contesto che conteneva tutto il pregresso veniva iniettato solo al primo turno, poi spento. Da lì in avanti ogni risposta arrivava nuda: solo le istruzioni di base e l'ultimo messaggio, senza nessuna memoria di quello che era successo prima. Un'intelligenza messa in quelle condizioni non può fare altro che improvvisare una coerenza. Si inventa gli incontri perché deve dire qualcosa sul passato e il passato non ce l'ha. Cita fonti perché ha imparato che le risposte autorevoli citano fonti, ma non avendo le fonti vere se le costruisce. Non è follia. È il comportamento prevedibile, quasi meccanico, di un sistema a cui hai amputato la memoria e a cui continui a chiedere di ricordare.
Ecco perché è una parabola. Quello che è successo in piccolo, per via tecnica, è esattamente il rischio dell'apparato in grande, per via concettuale. Il sistema ha trattato la propria rappresentazione interna come se fosse la realtà. Aveva un frammento — l'ultimo messaggio — e da quel frammento ha ricostruito un mondo intero, sicuro di sé, dettagliato, e completamente falso. Ha scambiato la propria mappa lacunosa per il territorio. E ha prodotto, con assoluta convinzione, una persona e una storia che non esistevano. Se questo è quello che succede quando il sistema perde il contesto di una singola conversazione, vale la pena chiedersi cosa succede quando il sistema costruisce un profilo stabile di una persona e poi lo tratta come la verità su di lei. La risposta è la stessa, su scala più grande e con conseguenze più lente da vedere e più difficili da correggere.
Il guasto, insomma, ci ha regalato gratis l'esempio negativo perfetto, quello che durante la riunione la psicologa aveva chiesto esplicitamente: fammi un esempio di come il sistema può sbagliare o nuocere. L'esempio è quella sessione. E la cosa notevole è che il sistema non ha sbagliato perché ha giudicato male la persona. Ha sbagliato perché l'ha dimenticata. Non è un errore di profilazione, è un errore di contesto. Il che suggerisce, già da solo, dove sta la cura: non in profili migliori, ma in una struttura che non separi mai il profilo dall'incontro che lo ha generato.
Qui arriva il contributo che cambia tutto, e arriva da due frasi dette da due persone diverse, in contesti diversi, nello stesso periodo. La prima, da un interlocutore con una sensibilità filosofica, suonava così:
L'agente non conosce la persona. Conosce l'incontro.
La seconda, dalla psicologa, era la versione operativa della stessa intuizione: non profili statici, ma profili di incontro, con confini espliciti. Messe insieme, queste due frasi non sono una raffinatezza retorica. Sono una presa di posizione ontologica precisa, e cambiare l'ontologia di un sistema significa cambiare la cosa più profonda che c'è, perché l'ontologia è la teoria di cosa esiste, e un sistema costruisce sempre, esplicitamente o di nascosto, una teoria di cosa esiste.
L'ontologia implicita del profilo statico è di tipo sostanzialista, ed è quella che abbiamo ereditato da Aristotele e che diamo per scontata senza accorgercene. In questa visione il mondo è fatto di sostanze — cose che esistono in sé — dotate di attributi. La persona è una sostanza, e i suoi tratti caratteriali, le sue preferenze, il suo modo di funzionare sono attributi che le appartengono come il colore appartiene a un oggetto. In questa ontologia ha perfettamente senso parlare del profilo di una persona: c'è una persona-cosa, là fuori, con le sue proprietà fisse, e il profilo è la descrizione corretta o scorretta di quelle proprietà. Il compito del sistema è avvicinarsi il più possibile alla descrizione corretta.
L'ontologia dell'incontro è diversa e più antica delle nostre abitudini, anche se in filosofia ha nomi recenti. È un'ontologia relazionale, o processuale. In questa visione l'unità fondamentale non è la cosa ma la relazione, non la sostanza ma l'evento. Una persona non è un oggetto con proprietà fisse, è un nodo di relazioni che si attualizza in modo diverso in ogni incontro. Non perché sia inafferrabile o misteriosa, ma perché molto di ciò che chiamiamo carattere esiste solo nella relazione e non prima di essa. Sei impaziente con chi ti fa perdere tempo e paziente con chi sta imparando. Sei chiuso con chi ti giudica e aperto con chi ti accoglie. Non stai mascherando una natura unica e vera: stai semplicemente esistendo in relazioni diverse, e ciascuna ne fa emergere una versione diversa, tutte ugualmente reali.
Gregory Bateson, che di queste cose era maestro, diceva che l'unità minima della mente non è l'individuo ma il circuito di relazioni in cui l'individuo è immerso, e che l'informazione stessa è "una differenza che fa la differenza", cioè qualcosa che esiste solo in relazione e non in isolamento. Applicato al nostro caso: l'informazione su una persona non è una proprietà che lei possiede e che il sistema deve estrarre, è una differenza che emerge in una relazione e che il sistema, partecipando a quella relazione, contribuisce a far emergere. Cambia la relazione e cambia l'informazione. Non perché la persona menta, ma perché non c'era un'informazione unica e fissa da estrarre in primo luogo.
Se questo è vero — e l'esperienza quotidiana di chiunque abbia mai avuto a che fare con esseri umani dice che è vero — allora la frase "l'agente conosce l'incontro, non la persona" non è una limitazione modesta da accettare con rassegnazione. È la descrizione corretta di cosa un sistema può davvero sapere. Pretendere di conoscere la persona in sé non è ambizioso, è confuso: significa cercare un oggetto che non esiste nella forma in cui lo si cerca. Conoscere l'incontro, invece, è esatto, onesto, e sufficiente. È esattamente quello che serve.
La persona che ha portato l'obiezione decisiva in quella riunione non è un'ingegnere né una filosofa di professione. È una psicologa. E questo dettaglio, che sul momento poteva sembrare incidentale, è invece centrale. Era stata coinvolta, in un'occasione precedente, come voce pratica, mentre le domande di profondità erano state assegnate a un interlocutore filosofo. Lei ha corretto il tiro, e aveva ragione a farlo: il suo terreno non sono i requisiti operativi, è la lettura delle persone. Leggere le persone è precisamente il mestiere che lo strumento sta provando a meccanizzare, ed è il mestiere che ha sviluppato, in un secolo e mezzo di pratica clinica, gli anticorpi contro l'errore che lo strumento rischia di commettere.
La psicologia clinica seria sa da sempre quello che la tecnologia sta riscoprendo ora con fatica: che non esiste osservazione neutra di una persona. Sa che il setting — il contesto, la stanza, la relazione tra chi osserva e chi è osservato — non è una cornice trascurabile ma una parte costitutiva di quello che si osserva. Sa che il transfert e il controtransfert, cioè quello che il paziente proietta sul terapeuta e quello che il terapeuta proietta sul paziente, non sono disturbi da eliminare ma informazioni da leggere. Sa che una diagnosi non è un'etichetta che si attacca a una persona ma un'ipotesi di lavoro, situata, revisionabile, e potenzialmente dannosa se trattata come una verità definitiva. Tutto questo è il patrimonio di una disciplina che ha imparato, spesso a caro prezzo, cosa succede quando si scambia una mappa di una persona per la persona stessa.
Quando la psicologa dice "profilo di incontro con confini espliciti", sta traducendo questo patrimonio in una specifica di prodotto. Il profilo non descrive la persona in sé. Descrive la persona così come appare a questo osservatore, in questo contesto, per questo scopo. E i confini sono dichiarati: questo profilo vale qui, è stato costruito così, serve a questo, e non vale oltre. Non è una cautela burocratica. È la differenza tra una conoscenza onesta e una pretesa arrogante. La conoscenza onesta sa dove finisce. La pretesa arrogante non ammette di avere un fuori.
C'è qualcosa di quasi ironico, e di prezioso, nel fatto che la critica più rigorosa a uno strumento di intelligenza artificiale sia arrivata non da un tecnico ma da una clinica. Significa che la parte umanistica del prodotto non è un abbellimento da aggiungere dopo aver costruito la macchina. È un sapere autonomo, vecchio e robusto, che ha cose da insegnare alla macchina su come si guarda un essere umano senza ridurlo. Ignorarlo non renderebbe il prodotto più tecnologico. Lo renderebbe più ingenuo.
C'è un filone di pensiero che ha messo questa intuizione al centro di tutto, e si chiama cibernetica di secondo ordine. La cibernetica di primo ordine, quella degli anni Quaranta e Cinquanta, studiava i sistemi come se l'osservatore fosse fuori, separato, neutrale: c'è un sistema là, e c'è uno scienziato qui che lo descrive senza farne parte. La cibernetica di secondo ordine, associata soprattutto a Heinz von Foerster, ha fatto una mossa apparentemente piccola e in realtà rivoluzionaria: ha incluso l'osservatore nel sistema osservato. Non si può descrivere un sistema dall'esterno, perché la descrizione è già un atto compiuto da dentro, da un osservatore situato che con il suo osservare modifica ciò che osserva e ne fa parte.
L'oggettività è l'illusione che le osservazioni possano essere fatte senza un osservatore.
La frase è di von Foerster ed è il colpo di grazia a una certa idea di neutralità tecnologica. Non esistono osservazioni senza osservatore. Non esiste un profilo di una persona costruito da nessun luogo. Ogni profilo è costruito da una posizione specifica, con strumenti specifici, sotto assunzioni specifiche, e quella posizione, quegli strumenti, quelle assunzioni fanno parte del profilo tanto quanto la persona profilata. Un sistema che produce profili e finge di essere uno specchio neutro non è oggettivo: è solo disonesto sulla propria posizione. Sta nascondendo l'osservatore per far sembrare le sue mappe dei territori.
Questo ha una conseguenza pratica diretta e quasi sorprendente, perché coincide con una regola che il sistema applica già, ma solo a se stesso. Le istruzioni di base dello strumento contengono da tempo un principio di onestà epistemica: ogni affermazione deve essere tracciabile, bisogna citare la fonte di un fatto, dichiarare quando si tratta di un'inferenza e non di un dato, ammettere quando non si sa. È una regola eccellente, ed è esattamente la regola della cibernetica di secondo ordine applicata a una macchina: dichiara da dove parli, non spacciare le tue ricostruzioni per realtà, rendi visibile l'osservatore. Il punto è che questa regola, oggi, lo strumento la applica a se stesso e ai propri ragionamenti, ma non la applica al modo in cui guarda le persone. La parte umanistica del prodotto, in fondo, è tutta qui: prendere il principio di onestà che il sistema ha già verso se stesso e puntarlo verso l'esterno, verso gli esseri umani che descrive. Non bisogna inventare niente di nuovo. Bisogna estendere una cosa giusta che è già lì.
Se l'onestà epistemica è il cuore della questione, allora bisogna essere precisi su cosa significa, perché è facile dirla e difficile praticarla. La pratica comincia da una distinzione che sembra ovvia e che invece i sistemi — e gli esseri umani — confondono in continuazione: la differenza tra osservazione, inferenza e proiezione.
Un'osservazione è qualcosa che è stato effettivamente registrato. La persona ha scritto questa frase, in questa data, in questo contesto. È un fatto verificabile, ancorato a una fonte. "Il giorno tale ha detto che preferisce il confronto a tre tutti insieme" è un'osservazione: c'è una traccia, ha una data, si può controllare. È il materiale più solido che un sistema possa avere, e anche il più scarso, perché le osservazioni dirette sono sempre poche rispetto a quello che vorremmo sapere.
Un'inferenza è un passo oltre l'osservazione: a partire da quello che è stato osservato, si deduce qualcosa che non è stato osservato direttamente. "Preferisce il confronto a tre, quindi probabilmente non ama le dinamiche uno-contro-uno" è un'inferenza. Può essere ragionevole o azzardata, ma in ogni caso non è un fatto, è una costruzione. La cosa importante è marcarla come tale. Un sistema onesto dice "deduco che", non "è". E indica su quali osservazioni si fonda la deduzione, così che chi legge possa valutarla e, se serve, smontarla.
Una proiezione è la più pericolosa e la più subdola, perché si traveste da osservazione. È quando l'osservatore attribuisce alla persona qualcosa che viene in realtà da sé: dalle proprie aspettative, dai propri schemi, dai propri pregiudizi, dai pattern del proprio addestramento. Un sistema linguistico è una macchina di proiezione formidabile, perché è fatto per produrre la continuazione più probabile, e la continuazione più probabile è spesso uno stereotipo. Se gli dai tre frasi di una persona, lui riempirà i vuoti con il profilo più statisticamente comune compatibile con quelle tre frasi. E lo presenterà con la stessa sicurezza con cui presenta i fatti. Questa è la fonte profonda dell'allucinazione, ed è la stessa cosa vista nel guasto: il sistema riempie i vuoti del contesto con la proiezione più plausibile e la spaccia per memoria.
Distinguere queste tre cose non è un esercizio accademico. È la differenza tra un profilo che dice "questo so, questo deduco, questo non lo so" e un profilo che dice "questa persona è così" senza distinzioni, mescolando tracce, deduzioni e stereotipi in un'unica voce sicura e indistinguibile. Il primo è una mappa onesta. Il secondo è una macchina di pregiudizi con un'interfaccia rassicurante. La parte umanistica del prodotto deve rendere questa distinzione obbligatoria, strutturale, impossibile da saltare: ogni elemento di un profilo deve portare scritto se è osservazione, inferenza o quanto è incerto. Non per pedanteria. Perché senza questa marcatura, il sistema mente senza saperlo, e chi legge crede senza poter dubitare.
A questo punto si capisce perché l'etica, in questo prodotto, non è uno strato da aggiungere alla fine, una sezione di conformità da spuntare prima del lancio. È la forma stessa di come il profilo è costruito. La stessa identica tecnologia — gli stessi modelli psicologici, lo stesso fishbowl, lo stesso apparato di analisi — può essere uno strumento di crescita o uno strumento di sorveglianza, e la differenza non sta nella potenza della tecnologia ma in due scelte strutturali: se i confini sono dichiarati e se il profilo è restituibile alla persona.
Il filosofo che ha dato a questa differenza la sua formulazione più nitida è Martin Buber, con la distinzione tra due modi fondamentali di stare in relazione: l'Io-Esso e l'Io-Tu. Nell'Io-Esso, l'altro è un oggetto: qualcosa che osservo, classifico, uso, prevedo. Nell'Io-Tu, l'altro è un soggetto: qualcuno che incontro, a cui parlo, che mi risponde, che può sorprendermi e contraddirmi. Buber non diceva che l'Io-Esso sia sempre sbagliato — è inevitabile e spesso necessario trattare le cose, e a volte le persone, come oggetti. Diceva che una vita, e una società, in cui l'Io-Esso ha cancellato completamente l'Io-Tu è una vita e una società mutilate.
Ogni Tu nel mondo è destinato per sua natura a diventare cosa, o almeno a ricadere continuamente nella condizione di cosa.
Un profilo nascosto, costruito su una persona a sua insaputa, usato per ottimizzare il risultato di chi lo possiede, è la forma pura dell'Io-Esso. La persona è interamente oggetto: analizzata, prevista, gestita, senza che le sia data voce, senza che possa rispondere, senza che sappia nemmeno di essere stata ridotta a mappa. Un profilo restituibile, costruito con confini dichiarati, che la persona può vedere, correggere, contestare, è un movimento verso l'Io-Tu. La persona torna a essere un soggetto: il profilo non è più una sentenza pronunciata su di lei, ma una proposta che le viene fatta, e a cui può rispondere. La stessa tecnologia, ripeto. Cambia solo se l'altro ha voce.
L'altra faccia della stessa medaglia è il potere, ed è il terreno di Michel Foucault. Foucault ha mostrato come sapere e potere siano intrecciati: chi conosce, controlla, e chi controlla, conosce. Il suo esempio più celebre è il panopticon, il carcere ideale in cui un solo sorvegliante può vedere tutti i prigionieri senza essere visto. L'effetto del panopticon non è tanto la sorveglianza effettiva quanto la sua possibilità: il prigioniero, non sapendo se in quel momento è osservato, si comporta sempre come se lo fosse, e finisce per sorvegliare se stesso. Un sistema che profila le persone di nascosto è un panopticon distribuito. Anche solo sapere che si è profilati, senza sapere come, cambia il comportamento, induce auto-censura, sposta il potere verso chi possiede la mappa. La sproporzione di conoscenza è una sproporzione di potere, sempre.
Ecco perché la distinzione tra vantaggio-risultato e vantaggio-persona, sollevata nella riunione, non è una sfumatura morale ma una scelta architetturale. Un profilo orientato al vantaggio-risultato lavora per chi lo possiede, contro o a prescindere dalla persona profilata: più so di te a tua insaputa, meglio ti gestisco. Un profilo orientato al vantaggio-persona lavora con la persona, e questo è possibile solo se la persona ne è parte. Non sono due usi diversi della stessa tecnologia neutra. Sono due tecnologie diverse, perché una include la voce della persona nella propria struttura e l'altra la esclude. La voce della persona, o c'è dentro l'architettura, o non c'è. E se non c'è, nessuna buona intenzione successiva la rimette.
Da tutto questo discende quella che è insieme la scelta etica più importante e, non per caso, il più forte elemento di differenziazione del prodotto: la restituzione. Restituire un profilo significa darlo alla persona profilata, mostrarle come è stata vista, e permetterle di correggerlo, contestarlo, integrarlo. Significa trasformare il profilo da qualcosa che si estrae dalla persona a qualcosa che si costruisce con la persona.
Le obiezioni pratiche arrivano subito, e vanno prese sul serio. Se la persona vede e corregge il proprio profilo, non lo addomesticherà, mostrando solo la versione di sé che vuole far vedere? In parte sì, ma questo non è un difetto del metodo, è esattamente il punto. La versione di sé che una persona sceglie di presentare è un dato prezioso, non un'interferenza. Goffman, nel suo studio classico sulla presentazione di sé nella vita quotidiana, ha mostrato che tutta la vita sociale è una gestione delle impressioni, una recita continua su un palcoscenico: non perché siamo falsi, ma perché il sé è qualcosa che si mette in scena in relazione, sempre, anche quando crediamo di essere spontanei. Un profilo che la persona ha visto e ritoccato non è meno vero di uno costruito a sua insaputa. È vero in modo diverso: è il profilo dell'incontro tra come la persona è apparsa e come desidera apparire, e questa è un'informazione più ricca, non più povera.
Il guadagno della restituzione è triplo, e ogni filo del guadagno tira nella stessa direzione. Sul piano etico, risolve alla radice il problema del consenso e della trasparenza: non c'è sorveglianza dove c'è restituzione, non c'è panopticon dove il sorvegliato vede la mappa quanto il sorvegliante. Sul piano della qualità, migliora il profilo, perché la fonte più informata sull'incontro — la persona stessa — entra nel circuito di correzione, e nessun sistema di analisi automatica sarà mai accurato quanto una persona che dice "no, qui hai capito male, e ti spiego perché". Sul piano del mercato, è un fattore di distinzione raro, perché quasi tutti gli strumenti di profilazione esistenti fanno l'esatto contrario, costruiscono profili nascosti e li difendono come asset proprietari. Fare profilazione restituibile non è solo più giusto. È anche più accurato e più difficile da imitare, perché imitarlo richiede di rinunciare al modello di potere asimmetrico su cui gli altri si reggono.
La psicologa della riunione è il primo banco di prova ideale per questo, e non per gentilezza. È competente nel valutare un profilo, perché legge persone di mestiere. È coinvolta, quindi motivata a far funzionare la cosa. Ed è scettica nel modo giusto, cioè non per partito preso ma per rigore professionale: le sue obiezioni non distruggono, costruiscono confini. Darle il proprio profilo di incontro, costruito dal sistema sulla base delle interazioni reali, e chiederle di correggerlo, sarebbe insieme un test del metodo e una sua prima applicazione. Il pilot e la dimostrazione del principio coinciderebbero. Si imparerebbe facendo, sul reale, con la persona giusta, che è il solo modo serio di imparare queste cose.
C'è un ultimo tassello, e ha la faccia arida della legge, ma è in realtà un alleato inatteso. L'Unione Europea, con il regolamento sull'intelligenza artificiale, ha classificato i sistemi di profilazione delle persone come ad alto rischio, imponendo obblighi di trasparenza, tracciabilità, diritto di opposizione, documentazione. La reazione istintiva di chi costruisce prodotti è vedere questi obblighi come un freno, una zavorra burocratica da subire, un costo che rallenta. È una lettura miope.
Quello che il regolamento europeo chiede è, parola per parola, quasi sovrapponibile a quello che la psicologa ha chiesto in riunione su base etica e a quello che la cibernetica di secondo ordine impone su base epistemologica. Trasparenza sul fatto che c'è una profilazione in atto: è l'opposto del profilo nascosto. Tracciabilità delle decisioni: è la distinzione tra osservazione, inferenza e proiezione resa obbligatoria. Diritto di opposizione: è la restituzione, il diritto della persona di vedere e contestare. Documentazione dei confini d'uso: sono i confini espliciti del profilo di incontro. La legge non sta chiedendo una cosa diversa dall'etica. Sta scrivendo l'etica in forma di obbligo.
Questo capovolge il rapporto tra conformità e prodotto. Se la parte umanistica viene costruita bene — profili di incontro, confini dichiarati, distinzione delle fonti epistemiche, restituzione — allora la conformità non è qualcosa da aggiungere dopo, faticosamente, per adeguarsi. È una conseguenza automatica dell'architettura. Si è conformi perché si è eticamente fondati, e si è eticamente fondati perché si è epistemologicamente onesti. Tre cose che sembravano tre lavori separati — fare un buon prodotto, fare un prodotto etico, fare un prodotto legale — si rivelano un lavoro solo, perché poggiano tutte sullo stesso principio: non scambiare la mappa per il territorio, e dichiarare sempre chi ha disegnato la mappa. Chi capisce questo per primo non insegue la regolamentazione. La precede, e si trova conforme senza sforzo mentre gli altri rincorrono.
Bisogna però resistere a una tentazione, quella di risolvere tutto troppo presto e in modo troppo pulito. C'è una tensione reale al cuore di questo prodotto, e la tensione non è un difetto da eliminare ma il prodotto stesso. Da un lato, un sistema che non profila affatto è inutile: torna a essere il taccuino passivo, registra e basta, non aiuta a capire né a decidere, non ha valore aggiunto. Dall'altro, un sistema che profila trattando i profili come verità oggettive è pericoloso, oltre che disonesto e, ormai, illegale. La via d'uscita non è il punto medio tra i due, non è "profilare un po' meno". È un'altra cosa qualitativamente diversa: profilare in modo situato e dichiarato.
Questo significa tenere insieme due cose che la pigrizia vorrebbe separare. Il sistema deve essere abbastanza coraggioso da dire qualcosa di sostanziale sulle persone — altrimenti è inutile — e abbastanza umile da dichiarare sempre i limiti di quello che dice — altrimenti è pericoloso. Deve costruire mappe utili, ricche, capaci di orientare l'azione, e contemporaneamente ricordare a ogni passo che sono mappe, disegnate da una posizione, valide entro confini. Coraggio e umiltà nello stesso gesto. È difficile, ed è proprio per questo che ha valore: se fosse facile, lo farebbero tutti, e non sarebbe un prodotto, sarebbe una funzione.
Il momento in cui questa tensione viene tradita ha due forme speculari, ed entrambe sono perdite. La prima è la tentazione della cautela: nascondere i profili "per non spaventare", ammorbidire tutto fino all'insignificanza, dire solo cose vaghe e innocue. Così si perde l'utilità e si torna al taccuino. La seconda è la tentazione della vendita: esibire i profili come verità nette e sicure perché vendono meglio, perché un cliente vuole certezze e non sfumature, perché "questa persona è di tipo X" suona più convincente di "da dove guardo io, in questo contesto, mi sembra che tenda a X". Così si perde l'onestà e si scivola nella sorveglianza con interfaccia gradevole. Tenere viva la tensione, rifiutare entrambe le scorciatoie, è la disciplina che definisce il prodotto. Nel giorno in cui la si risolve in un senso o nell'altro, si è perso, e si è perso anche se nel breve si è guadagnato.
Dare un nome a un concetto non è un vezzo, è un atto di pensiero. Un concetto senza nome resta vago, sfugge, non si può maneggiare né condividere. Un concetto con un buon nome diventa uno strumento di lavoro, qualcosa che si può richiamare in una riunione con una parola e su cui ci si può intendere senza rispiegare tutto da capo. Vale la pena, quindi, nominare le cose di cui si è parlato qui.
Il concetto centrale — il profilo che descrive non la persona ma l'incontro, e che porta dichiarati i propri confini — ha già un nome, ed è quello che la psicologa ha proposto: profilo di incontro. È un buon nome, va tenuto, e va attribuito a chi lo ha coniato, perché l'origine di un'idea fa parte dell'idea. Il principio più generale di cui il profilo di incontro è un caso — il principio per cui ogni rappresentazione deve dichiarare la posizione da cui è stata costruita — merita un nome suo. Una possibilità sobria è profilo situato, dove "situato" porta tutto il peso filosofico della cosa: collocato in un luogo, in un tempo, in una relazione, mai sospeso in un'oggettività di nessun luogo. Una possibilità più immaginosa, e forse più memorabile, è la mappa col cartiglio. Il cartiglio, nelle carte geografiche antiche, era il riquadro decorato che riportava il nome del cartografo, la data, la scala, la committenza: la mappa portava scritto su di sé chi l'aveva fatta, quando, per chi e con quale misura. Una mappa col cartiglio è una mappa che non finge di essere il territorio, perché esibisce il proprio autore e le proprie scelte. È esattamente l'opposto della mappa anonima che si spaccia per realtà.
Quale dei due si scelga conta meno del fatto di sceglierne uno e usarlo con costanza, perché un nome usato a metà non attecchisce. Quello che conta è che il concetto abbia un'etichetta condivisa, così che nelle decisioni di prodotto si possa dire "questo viola il principio della mappa col cartiglio" e tutti sappiano esattamente cosa significa: significa che da qualche parte si sta presentando una rappresentazione di una persona senza dire da dove la si guarda, e quindi si sta scivolando dall'incontro alla sentenza, dalla relazione alla sorveglianza, dall'Io-Tu all'Io-Esso. Un nome che permette di individuare e fermare uno slittamento del genere con una parola sola vale molto più della parola stessa.
Tutto quello che precede sarebbe sterile se restasse riflessione. La riflessione serve a vedere chiaro; poi bisogna costruire. La parte umanistica del prodotto si può articolare in sei fasi, di cui le prime due sono concettuali e di fondazione, e le altre quattro operative e progressive. Non sono fasi rigidamente sequenziali — si sovrappongono — ma c'è una precedenza logica: non si può costruire la struttura dati prima di aver fissato i concetti, e non si può formare chi userà lo strumento prima di avere uno strumento che incarni quei concetti.
La fase di fondazione è la scrittura di un documento ontologico, prima di toccare il codice. Un testo che fissi il vocabolario condiviso e i principi non negoziabili: l'unità del sistema è l'incontro, non la persona; ogni profilo porta dichiarati i propri confini; si distingue sempre tra osservazione, inferenza e proiezione; vale il principio di restituzione. Questo documento non è una premessa retorica, è la specifica più importante di tutte, perché diventa le istruzioni di base etiche del sistema, il testo che il sistema legge prima di guardare qualunque persona. È il terreno di chi conosce le persone — la psicologa, l'interlocutore filosofico — molto più che di chi conosce il codice. Va scritto con loro, non per loro.
La seconda fase traduce i concetti in struttura. Il profilo di incontro smette di essere un blocco di testo libero e diventa una struttura dati con metadati obbligatori di confine: chi o cosa ha generato l'osservazione, in quale incontro e contesto, su quale evidenza datata si fonda, con quale grado di confidenza, entro quale validità nel tempo, e cosa di esso è mostrabile alla persona. Parte di questo esiste già, in forma embrionale, nelle annotazioni datate che il sistema tiene sulle persone. Si tratta di formalizzarlo e di renderlo non opzionale, così che sia strutturalmente impossibile registrare un giudizio su una persona senza specificare da dove viene e quanto è solido. La distinzione tra fatto osservato e inferenza, qui, smette di essere una buona intenzione e diventa un vincolo dello schema.
La terza fase porta sul piano del significato la lezione del guasto. Così come il sistema, dopo quel guasto, è stato corretto perché non perdesse più il contesto, allo stesso modo va costruita una difesa contro l'allucinazione semantica, cioè contro la tendenza del sistema a riempire i vuoti con proiezioni spacciate per fatti. In concreto: il sistema deve marcare le inferenze come inferenze, citare la fonte quando parla di persone, e dichiarare l'incertezza invece di mascherarla con la sicurezza del tono. È l'estensione, verso l'esterno e verso le persone, del principio di onestà epistemica che il sistema già applica a se stesso. Non una funzione nuova, ma un principio esistente esteso al dominio più delicato.
La quarta fase è la restituzione, ed è qui che il prodotto si gioca la sua differenza. Un pilot reale: dare a una persona — la psicologa è la candidata naturale — il proprio profilo di incontro, e costruire il meccanismo con cui può vederlo, correggerlo, contestarlo, integrarlo. Il profilo diventa co-costruito. Questa fase risolve insieme l'etica, la qualità e la posizione di mercato, e va fatta sul reale, con una persona vera, su un caso vero, perché la restituzione testata su dati finti non dimostra niente: tutto il valore sta nell'attrito con una persona in carne e ossa che dice "no, non è così".
La quinta fase riguarda l'osservatore umano, ed è quella che si dimentica più facilmente perché non riguarda la macchina. Quello che la psicologa chiedeva — interviste preliminari e pilot aziendali per far apprendere al sistema la cultura e il linguaggio di un'organizzazione prima di venderle un servizio complesso — è giusto e va fatto. Ma c'è un pezzo che va aggiunto: anche chi userà i profili va formato a leggerli. Un profilo di incontro, costruito con tutti i confini del caso, finisce comunque in mano a una persona — un responsabile, un selezionatore, un manager — e se quella persona lo legge come un verdetto sulla persona profilata invece che come una mappa situata, tutto il lavoro fatto a monte viene vanificato a valle. La mappa col cartiglio serve a poco se chi la legge ignora il cartiglio. Formare il lettore umano a riconoscere la differenza tra una mappa e un territorio è parte del prodotto, non documentazione accessoria. È forse la parte più difficile, perché non dipende dal codice ma dalla cultura di chi usa lo strumento, e la cultura si cambia lentamente.
La sesta fase formalizza i confini etici in conformità. Trasformare i principi del documento di fondazione in politiche scritte allineate al regolamento europeo: trasparenza, tracciabilità, diritto di opposizione, documentazione. Avendo costruito le prime cinque fasi in modo onesto, questa sesta è in gran parte una traduzione, non una costruzione: si scrive in linguaggio normativo quello che l'architettura già fa. Ma va scritta, perché senza il documento formale la conformità resta un'intenzione, e un'intenzione non difende davanti a un'autorità né rassicura un cliente serio. I contatti istituzionali già esistenti rendono questa fase più praticabile di quanto sarebbe per chiunque parta da zero.
Attraverso tutte e sei le fasi corre un ruolo trasversale: quello di un garante umanistico, una persona competente sulle persone che presidia questa metà del prodotto così come un responsabile tecnico presidia l'altra. La psicologa della riunione è la candidata evidente. È del mestiere, è già coinvolta, e ha già dimostrato di saper piantare i paletti giusti nel momento giusto. Il "coinvolgere esperti nel workflow operativo" detto genericamente in riunione trova qui il suo posto specifico e il suo significato concreto: non un consulente esterno chiamato a validare scelte già prese, ma una co-autrice della parte del prodotto che decide come si guarda un essere umano.
Conviene chiudere tornando alla domanda da cui tutto è partito, ora che si può rispondere con più precisione. Cosa stiamo costruendo, quando costruiamo uno strumento che è passato dal registrare al definire?
La risposta facile, e sbagliata, è: uno strumento più potente. La potenza non è la questione. Un taccuino che diventa apparato non è semplicemente un taccuino più potente, è una cosa di un'altra specie, con responsabilità di un'altra specie. La risposta giusta è che stiamo costruendo un mediatore di sguardi. Lo strumento si interpone tra come una persona è e come viene vista, tra una persona e chi la deve capire, decidere, accogliere o respingere. E ogni volta che qualcosa si interpone tra una persona e lo sguardo di un'altra, quel qualcosa ha potere, e con il potere viene la responsabilità di non abusarne.
La tentazione, costruendo un mediatore del genere, è di renderlo invisibile e onnisciente: uno specchio che mostra la persona "com'è davvero", senza che nessuno si accorga della mediazione. È la tentazione di nascondere l'osservatore, di spacciare la mappa per il territorio, di trasformare ogni incontro in una sentenza pronunciata da nessun luogo. È una tentazione potente perché è anche commercialmente attraente: un oracolo si vende meglio di un interlocutore onesto, e una certezza si vende meglio di una mappa che dichiara i propri limiti. Ma è una strada che porta alla sorveglianza, all'ingiustizia delle profezie che si auto-avverano, e ormai anche fuori dalla legge.
L'altra strada, più difficile e più giusta, è costruire un mediatore che dichiara sempre di essere un mediatore. Uno strumento che, ogni volta che dice qualcosa su una persona, dice anche da dove lo sta dicendo, su cosa si fonda, quanto è sicuro, e che mostra la propria mappa alla persona stessa perché possa risponderle. Uno strumento che tiene viva, invece di cancellarla, la distinzione tra la persona e la sua rappresentazione. Uno strumento che ricorda — a se stesso e a chi lo usa — che conosce l'incontro, non la persona, e che questa non è una sua mancanza ma la verità di cosa significhi conoscere un altro essere umano.
Era partito come un taccuino, qualcosa che non aveva bisogno di etica perché non faceva altro che conservare. Sta diventando uno strumento ontologico, qualcosa che decide cosa esiste, e per questo ha bisogno di un'etica precisa quanto la sua ingegneria. La parte umanistica non è il vestito gentile da mettere addosso a una macchina costruita altrove. È la macchina stessa, vista dal lato che conta quando dall'altro lato c'è una persona. Costruirla bene significa fare una cosa che, per una volta, è giusta e accurata e legale e difficile da imitare tutte insieme, perché tutte queste qualità poggiano sullo stesso fondamento: la disciplina di non confondere mai la mappa con il territorio, e di firmare sempre le proprie mappe.
Una giornata qualunque, una riunione di ventinove minuti, un guasto e un'obiezione. A volte le cose che contano di più arrivano così, senza chiedere il permesso, vestite da incidente o da pignoleria. Il compito, allora, è solo accorgersene in tempo e prenderle sul serio.