Il CIO esperto: Episodio 1 – “Il tuo LLM è in grado di superare un audit?”


In questa puntata inaugurale di “The Savvy CIO”, il conduttore Bradd Busick dialoga con la dott.ssa Radha Plumb, vicepresidente di IBM per la trasformazione “AI-first” ed ex responsabile digitale e dell’intelligenza artificiale del Pentagono, su come rendere le implementazioni di IA nel mondo reale pronte per gli audit. La dottoressa analizza domande complesse, quali: in che modo il vostro modello di linguaggio di grandi dimensioni (LLM) si differenzia dai sistemi tradizionali a cui il vostro revisore è abituato? Quali rischi indefiniti dovete tenere d’occhio se volete stare al passo con il progresso? Garantire che i vostri sistemi funzionino come previsto può effettivamente accelerare la governance dell’IA?

Si discutono inoltre gli ostacoli alla conformità end-to-end: il controllo degli accessi basato sui ruoli e le decisioni relative all’accesso ai dati; la necessità di un livello di orchestrazione per instradare i dati tra i modelli di linguaggio di grandi dimensioni (LLM) e i metodi deterministici; e il motivo per cui molti errori si verificano proprio in questo punto di intersezione tra tecnologia e processo.

Ispirandosi al modello IBM, in cui si “assaggiano i propri piatti”, il dottor Plumb sottolinea la trasparenza del modello, l’importanza di dati ben definiti per decisioni regolamentate, il motivo per cui il coinvolgimento tempestivo del CISO è fondamentale nella progettazione della sicurezza e perché la documentazione dei flussi di lavoro aziendali consente non solo un’implementazione più rapida dell’IA, ma anche una che possa effettivamente superare un audit.

Ascolta su Apple Podcasts          Ascolta su Spotify        Ascolta su Amazon Music

Trascrizione dell'episodio "Il tuo LLM è in grado di superare un audit?"

00:00:01

Dott.ssa Radha Plumb: È necessario disporre di un’orchestrazione e di una conoscenza delle preferenze dell’organizzazione, ed è qualcosa che dovrete capire e costruire per la vostra organizzazione. Penso che il livello di coordinamento sia la prima vera grande questione nuova su cui i CIO devono iniziare a riflettere. Qual è il vostro sistema operativo di IA? Dove collocate quel piano di controllo e come lo adatterete alle vostre esigenze specifiche?

00:00:24

Bradd Busick: State ascoltando “The Savvy CIO: Modernize Wisely”, un programma offerto da Park Place Technologies, che aiuta le aziende a promuovere l’innovazione riducendo il tempo e i costi dedicati alla gestione dell’infrastruttura IT, il tutto migliorando al contempo le prestazioni e la disponibilità. Sono il vostro conduttore, Bradd Busick.

Ti sei mai chiesto: “Come faccio a modernizzarmi se il budget non me lo permette?” “Posso portare avanti questa innovazione senza mettere a rischio l’intera attività?” C’è qualcuno là fuori che sta davvero facendo di tutto quando sembra che non ci sia abbastanza di nulla? Se hai risposto di sì a una qualsiasi di queste domande, allora questo programma fa al caso tuo perché non sei solo, e per dimostrarlo parlerò di pressioni di bilancio, IA, audit, sicurezza e l’arte di tenere le luci accese senza mandare tutto all’aria, insieme alle persone che affrontano davvero questi problemi ogni singolo giorno.

Ogni CIO, in questo momento, sta subendo la stessa pressione: agire in fretta sull’IA o rimanere indietro. Ma la spinta verso una maggiore rapidità è accompagnata da un’ombra incombente: la sfida dell’audit. La dottoressa Radha Plumb conosce entrambi i lati di questa equazione meglio di chiunque altro. Ha trascorso anni ai vertici del Dipartimento della Difesa degli Stati Uniti. Ha ricoperto il ruolo di responsabile digitale e dell’intelligenza artificiale del Pentagono, dove ha guidato gli sforzi del dipartimento per l’adozione dell’IA, dei dati e dell’analisi analitica, creando nuovi percorsi per acquisire e scalare la tecnologia digitale all’interno di una delle organizzazioni più grandi e più strettamente regolamentate del mondo. In sostanza, ha analizzato i dati, i rischi e la responsabilità praticamente da ogni angolazione immaginabile.

Ora, in qualità di vicepresidente di IBM per la trasformazione “AI-first”, sta portando avanti un’iniziativa che lei stessa definisce “client zero”, ovvero l’implementazione interna delle tecnologie e dei concetti di intelligenza artificiale per testarli prima di distribuirli ai clienti. In sostanza, IBM sta assaggiando la propria cucina, il tutto sotto il suo sguardo attento e il suo palato raffinato. Oggi parlo con lei di ciò che serve per rendere effettivamente pronta per l’audit l’implementazione dell’IA, non in teoria, ma nella pratica. Cosa chiederanno i revisori, a cosa la maggior parte delle organizzazioni non è preparata e perché il compromesso tra velocità e sicurezza potrebbe essere il più grande malinteso che sta frenando i CIO in questo momento.

Dott.ssa Radha Plumb, benvenuta a “The Savvy CIO”.

00:02:39

Dott.ssa Radha Plumb: Grazie mille per avermi invitata.

00:02:40

Bradd Busick: È un piacere essere qui con voi. Non vedevo davvero l’ora di passare un po’ di tempo insieme oggi. Per iniziare, potresti raccontarci qualcosa di te, del tuo ruolo in IBM e del motivo per cui sei proprio la persona giusta a cui posso rivolgere tutte queste domande su come far superare un LLM durante un vero e proprio audit?

00:02:54

Dott.ssa Radha Plumb: Beh, credo di iniziare dicendo che in realtà sono un’economista di formazione, e molte persone mi chiedono: «Ma come hai fatto, da economista, a finire qui?» E mi piace scherzare dicendo che non sono quel tipo di economista. Sono cresciuta occupandomi di econometria applicata, che era già «big data» prima ancora che esistesse il termine «big data». Ho quindi riflettuto a fondo su cosa significhi disporre e utilizzare i dati in una serie di applicazioni diverse affinché siano significativi. E penso che gran parte del dibattito attuale sull’IA sia in realtà un dibattito sui dati. E quindi, sono entusiasta di avere l’occasione di parlarne qui e di spiegare come si presenta nella vita reale, perché, onestamente, non è affatto affascinante e non esiste una soluzione miracolosa, ma ci sono alcune cose che possiamo fare come comunità per fare progressi in questo campo.

00:03:37

Bradd Busick: Mi piace molto il tuo approccio incentrato sui dati, che trovo davvero interessante, perché sei passato dal mondo accademico a Google, poi a Facebook, al Pentagono e infine a IBM. Voglio dire, osservando questo percorso, sembra che tu abbia affrontato lo stesso problema fondamentale da tutte le possibili angolazioni. Come riesci a far sì che organizzazioni grandi e complesse prendano decisioni corrette basate sui dati, gestendo al tempo il rischio in modo responsabile?

00:03:59

Dott.ssa Radha Plumb: Molte volte, tutto si riduce ad avere le idee davvero, davvero chiare su quale sia il rischio, a chi interessi e chi possa assumersene la responsabilità per agire di conseguenza. Quindi, molto spesso, le persone si bloccano, si fermano o sentono di non poter fare qualcosa perché pensano: «È rischioso. C’è un rischio per la sicurezza, c’è un rischio di conformità, c’è un rischio di verificabilità». E man mano che si approfondisce la questione, man mano che si svela quella cipolla fino al nucleo più cruado, qual è il rischio effettivo? E ora, definisciamolo. Cosa si può fare per mitigarlo o meno? E chi si assumerà la responsabilità di quel rischio, in definitiva? Sarà il responsabile legale? Sarà il responsabile della sicurezza? Sarà il responsabile del conto economico? E chiedete loro: “Vale la pena accettare quel rischio?” Spesso, con le misure di mitigazione, ne vale la pena; altre volte, invece, non ne vale la pena e si arriva a una decisione per poi passare alla fase successiva. Ma penso che quella zona grigia di rischio indefinito sia davvero il nemico del progresso.

00:04:57

Bradd Busick: E non può esserci rischio senza governance. Insomma, per me è un po’ come un ritorno al passato, all’evoluzione del DevOps, in cui, come settore, abbiamo trascorso anni a considerare velocità e stabilità come forze opposte prima di renderci conto che in realtà si trattava di una questione di progettazione del sistema, non di una caratteristica intrinseca dello sviluppo del software. È un parallelo calzante con la situazione attuale della governance dell’IA?

00:05:18

Dott.ssa Radha Plumb: Sì. Mi piace dire, immagino, che la migliore analogia che mi viene in mente è che freni migliori rendono i treni più veloci, e questo deriva dall’evoluzione dei treni, dove, ovviamente, contrariamente a quanto si potrebbe pensare, si è riusciti a far viaggiare i treni più velocemente tra una fermata e l’altra proprio grazie a freni migliori e più affidabili. E penso alla governance dell’IA in quel contesto, dove, in realtà, la governance dell’IA è l’elemento fondamentale che ti permette di sapere che le tue soluzioni di IA stanno facendo le cose che vuoi che facciano e non stanno facendo cose che non vuoi che facciano. Ecco in sintesi di cosa si tratta. E, in realtà, è proprio quello che serve perché sia efficace. Quindi, per agire rapidamente, è necessario integrare tali fasi di governance nel processo, incorporarle, e quando lo si fa, si ottiene prima una soluzione molto più solida, per continuare con l’analogia.

00:06:17

Bradd Busick: Quando pensiamo alle aziende, queste sono costituite da persone, processi e tecnologia. Quindi, partendo forse da questo quadro di riferimento, e considerando che tutte le aziende hanno bisogno dell’IA, prepariamo il terreno per il nostro pubblico. Una delle cose che rende i modelli di linguaggio di grandi dimensioni (LLM) così unici è che persino gli stessi sviluppatori dei modelli non hanno ancora una comprensione completa di ciò che accade all’interno della, virgolette, «piccola scatola nera», per così dire. Quindi, tu ed io potremmo avere entrambi un prompt identico e generare risposte significativamente diverse, e non c’è nessuno che odi quell’imprevedibilità più di un revisore, perché il suo intero lavoro consiste nel verificare perché il sistema abbia agito in un certo modo, e il suo lavoro diventa incredibilmente più impegnativo con un LLM. Quindi addentriamoci in questo ginepraio. Voglio dire, spiega a me e al pubblico in che modo un LLM sia fondamentalmente diverso dal tipo di sistemi che il tuo revisore sarebbe normalmente abituato a valutare, e perché è necessario comprendere tale divario.

00:07:14

Dott.ssa Radha Plumb: Credo sia utile suddividere la “scatola nera” in parti che ne definiscano la struttura. Quindi ci sono gli input di quella scatola, che sono fondamentalmente i dati e il contesto. Per dati, intendo letteralmente i dati, che possono essere dati strutturati, come le informazioni finanziarie e i numeri, dati semi-strutturati, come gli elementi dei contratti, o dati davvero non strutturati, come documenti lunghi o persino immagini. E tutto questo viene inserito nei vostri algoritmi insieme al contesto, ovvero in che modo questi dati sono correlati al business e agli usi?

Siamo abituati a combinare queste cose e a ottenere risultati deterministici. Quindi, prendo un po’ di contesto, userò l’analogia più semplice: prendo una serie di dati in un file piatto, come un foglio di calcolo, e applico una formula statistica nota, come una media, la inserisco, ne esce la media, e posso ripetere l’operazione tante volte quanto voglio per ottenere una distribuzione, oppure posso osservarla nel tempo e ottenere una serie temporale. Questi sono tutti risultati deterministici.

Ciò che i modelli di linguaggio di grandi dimensioni (LLM) offrono è la possibilità di attingere a quella vastità di dati e connessioni che conosciamo e che non conosciamo, e aggiungervi un livello inferenziale per ottenere combinazioni di informazioni che non conosciamo e che non avremmo potuto prevedere, in modo da ottenere un risultato inferenziale anziché deterministico. Questa è la scatola nera. È una specie di ingrediente segreto. Il vantaggio è che crea molte cose che prima non saresti stato in grado di avere o a cui non avresti nemmeno pensato. Lo svantaggio è che non si conoscono del tutto gli elementi esatti che hanno portato a quel risultato, né si sa sempre come ricrearlo.

Quindi, credo che tu debba davvero riflettere, nel tuo processo, su dove desideri qualcosa di creativo, nuovo e diverso. Ed è qui che entrano in gioco i modelli di linguaggio di grandi dimensioni (LLM). Dove invece desideri risultati deterministici? È in questi casi che puoi utilizzare le tue analisi tradizionali o gli MLOps, come i metodi tradizionali di IA. Non devono essere tutti LLM. E poi, come faccio a combinare, qual è il piano di controllo che li integra per produrre l’output che desidero, che sia quindi un risultato prevedibile per i revisori, con il vantaggio della generatività dove serve e la prevedibilità del deterministico dove è necessario?

00:09:25

Bradd Busick: Adoro questa prospettiva. E se ci pensi dal punto di vista di un CIO, che, in alcuni casi, non ha ancora intrapreso questo percorso, o in altri casi lo ha già intrapreso, quale prevedi che sarà il primo ostacolo di conformità di cui un CIO dovrebbe preoccuparsi se si trova ancora nelle fasi iniziali di questo percorso e sta per passare a un sistema basato sull’intelligenza artificiale? A cosa dovrebbe pensare?

00:09:47

Dott.ssa Radha Plumb: Vorrei affrontare la questione dal punto di vista di IBM, semplicemente perché, a mio avviso, è un’illustrazione utile. C’è il livello dei dati, e servono governance e controlli sui dati. Spesso, per i CIO, questo rientra nelle competenze di un Chief Data Officer, e ci saranno governance e controlli sui dati, come sapete. Quindi la primissima domanda che vi verrà posta è: come decidete chi ha accesso a quali dati che possono essere importati? Qual è il vostro controllo degli accessi basato sui ruoli? Qual è la vostra gestione delle identità e delle credenziali?

Quindi, il primo passo, ad esempio, in IBM è che disponiamo di un sistema che collega l’ID utente, come nella maggior parte delle grandi aziende, al ruolo e all’accesso corrispondente. Ora, devi importare quei dati nel tuo sistema algoritmico e, una volta fatto ciò, ti serve qualcosa che li orchestri: quei dati vanno in una conversazione LLM? Quei dati vanno in un sondaggio deterministico? Vanno semplicemente in una dashboard? Vanno in un report? Quel piano di controllo è un ambito in cui sono necessarie l’orchestrazione e la conoscenza delle preferenze dell’organizzazione, ed è qualcosa che dovrete definire e realizzare per la vostra organizzazione. Le aziende non saranno tutte uguali su questo aspetto e non sarà uguale per le diverse applicazioni.

Noi, ad esempio, trattiamo l’organizzazione dei dati finanziari in modo molto diverso rispetto a come tratteremmo l’organizzazione delle regole relative ai colori e alla grafica del marchio che devono essere inseriti nei contenuti. Entrambe sono regolamentate. Non possiamo avere 87 tipi diversi di blu per IBM. Ma tratteremo la questione in modo diverso rispetto a come tratteremo la contabilizzazione degli utili e dei ricavi nei nostri sistemi finanziari, e ci sono molti aspetti che si collocano a metà strada tra questi due. Quindi penso che il livello di orchestrazione sia la prima grande nuova questione su cui i CIO devono iniziare a riflettere. Qual è il vostro sistema operativo di IA? Dove collocate quel piano di controllo e come lo adatterete alle vostre esigenze specifiche?

00:11:37

Bradd Busick: Sì. Penso che sia davvero ben detto. E quando pensiamo a come si presenta effettivamente la verificabilità dal punto di vista di un revisore, per essere in grado di articolare chiaramente, come hai sottolineato, il controllo degli accessi basato sui ruoli, cioè a cosa questa persona ha accesso e a cosa no, questo era l’input e questo era l’output in quel piano di controllo orchestrato con un ritmo, un ordine e una disciplina: più facile a dirsi che a farsi, come sappiamo entrambi molto, molto bene. Dato che hai visto così tanti tipi diversi di queste implementazioni in così tanti settori diversi, dove pensi che risieda il problema maggiore per la maggior parte delle aziende? Sono i dati? È il modello? È da qualche parte nel mezzo? Mi dia qualche dettaglio in più al riguardo.

00:12:17

Dott.ssa Radha Plumb: Direi che probabilmente si tratta dell’intersezione tra tecnologia e processi. È un po’ sia una questione di dati che di modelli, ma in realtà è… C’è la sensazione, in questo momento, credo, che si possa prendere un po’ di magia dell’IA e cospargerla su un processo che è forse troppo complesso o forse non sufficientemente specificato, e che questo porterà a risultati aziendali davvero misurabili, ma non è così. Nessun CIO sarà in grado di risolvere il problema da solo. Quindi penso che la vera soluzione sia cercare di avviare una conversazione difficile su come dovrebbe essere il processo, dove la tecnologia deve integrarsi, cosa deve fare la tecnologia, ma anche dove il processo deve cambiare per funzionare bene.

Ti faccio un esempio concreto. Stiamo lavorando a questo flusso di lavoro “agente” nel settore finanziario per confrontare le previsioni di bilancio con i dati effettivi, un problema molto comune. E sì, possiamo farlo, ma bisogna pensare all’agente e alle preferenze riguardo all’entità dello scostamento che si intende prendere in considerazione. Ma inoltre, bisogna in un certo senso standardizzare i report perché non è possibile automatizzare il rilevamento delle variazioni per un’infinità di casi. Non è un problema tecnologico. Possiamo scegliere qualsiasi soglia si desideri. È una questione di processi e controlli. E questo deve partire dal business per poi essere collegato alla tecnologia: è necessario che avvenga questa traslazione. E poi, ciò deve essere integrato in modo prevedibile e verificabile, così che quando il nostro direttore finanziario dice: «Ehi, perché stiamo esaminando questo scostamento e non quell’altro?» Ci sia una risposta aziendale chiara e poi una soluzione tecnologica che la sostenga, che possa essere dimostrata concretamente a sostegno di essa. E questa combinazione, credo, rappresenta una grande complessità che deve essere risolta.

00:14:07

Bradd Busick: Sembra proprio che qui ci sia un po’ di arte e un po’ di scienza, e sembra che le persone confondano la gestione dei dati con la gestione del modello stesso.

00:14:16

Dott.ssa Radha Plumb: Oh, sì.

00:14:17

Bradd Busick: Come stai considerando questa differenza nel lavoro che stai svolgendo e coordinando in questo momento?

00:14:20

Dott.ssa Radha Plumb: Cerco di ragionare su questo argomento a livelli, in un certo senso, perché ritengo che la governance dei dati sia, in un certo senso, una questione fondamentale da risolvere prima di poter arrivare a qualsiasi tipo di soluzione di intelligenza artificiale o digitale. È come il carburante che alimenterà il vostro modello di IA, quindi dovete assicurarvi che quello strato di governance sia corretto. Penso che il problema sia spesso che ci si fermi lì. Quindi hai la tua governance dei dati, hai i tuoi metadati, hai il tuo controllo degli accessi basato sui ruoli, hai i tuoi sistemi di riferimento, e pensi: “Ottimo. Ora vado a applicarci l’IA.” E a questo punto devi riflettere: ok, una volta che avrò fornito i miei dati a questo sistema, cosa succederà? Di quale governance del modello ho bisogno? Di cosa ho bisogno per poter vedere cosa sta facendo il modello, a quali dati sta accedendo, l’aggiornamento dei suoi dati, come si comporta il modello nel tempo, se sto rilevando qualche particolare distorsione? Tutte le normali verifiche che si effettuerebbero nelle soluzioni analitiche, diciamo nelle soluzioni deterministiche, devono essere reintrodotte.

Ma il problema che abbiamo è che non esistono test consolidati di questo tipo per questi modelli. Quindi stiamo cercando di concentrarci molto di più sull’aspetto della trasparenza, cercando di capire cosa sta facendo il modello, a quali dati accede, quando effettua l’inferenza, cercando di rendere più trasparenti le fasi del processo di inferenza e di utilizzare tali informazioni per individuare da dove potrebbero derivare potenziali deviazioni e risultati anomali. Si spera che, col tempo, avremo anche strumenti di valutazione migliori, e il settore continua a svilupparli. Ma penso che la verità sia che la complessità attuale risieda proprio nel fatto che non esista un metodo integrato e consolidato per verificare l’accuratezza o la precisione nei modi a cui siamo abituati.

00:16:02

Bradd Busick: Penso che la tua osservazione sia perfettamente azzeccata. Insomma, sembra proprio che stiamo pilotando l’aereo mentre stiamo ancora cercando di costruirlo, in un contesto normativo che è ancora in fase di definizione. Considerando tutte le organizzazioni con cui hai avuto modo di interagire, se un revisore si sedesse accanto alla maggior parte dei CIO con cui hai collaborato oggi, pensate che le organizzazioni abbiano effettivamente una risposta pronta quando un revisore dice loro: “Allora, mi dica cosa entra ed esce dal vostro LLM. Come viene gestito?”

00:16:33

Dott.ssa Radha Plumb: È curioso, perché proprio poco fa stavo parlando con il direttore degli investimenti di una grande banca, il quale mi diceva, in sostanza, che non stanno utilizzando l’intelligenza artificiale in molte delle loro decisioni di investimento proprio per questo motivo. Non possiamo prendere decisioni senza poter verificare quali dati entrano ed escono.

Ci sono cose che possiamo fare e cose che non possiamo fare, e penso che questo sia un buon esempio di un ambito in cui dovremo collaborare con i revisori e con le autorità di regolamentazione per trovare un compromesso ragionevole. Ciò che si può fare e che tutti dovrebbero fare è specificare, per le decisioni soggette a una forte regolamentazione, quale sia l’insieme circoscritto di dati che il modello può utilizzare per prendere tale decisione. E questo, credo, sarà un ottimo punto di partenza per le autorità di regolamentazione. Penso che la seconda cosa da fare sia utilizzare degli strumenti; anche in questo caso, noi di IBM ne abbiamo uno chiamato Watsonx Governance, ma esiste una vasta gamma di strumenti di governance che forniscono informazioni concrete su ciò che sta facendo il modello. Quindi, dove sta effettuando le inferenze il vostro modello? Come si sta comportando? Questa trasparenza sarà davvero importante per le autorità di regolamentazione.

E poi, l’ultimo passo è quando si integrano soluzioni basate sugli agenti… Se si pensa a cosa sia un agente, si tratta di un’RPA collegata a una serie di segnali provenienti da un ampio insieme di dati che si elaborano fondamentalmente tramite l’elaborazione del linguaggio naturale. Quindi quella serie di azioni deve essere collegata ai dati. Dovresti essere in grado di affermare in modo trasparente: «Ecco la serie di azioni che vengono eseguite. Ecco le soglie in base alle quali tali azioni vengono attivate». E questo ora fornisce al revisore tutto tranne il modo estremamente dettagliato in cui i dati vengono trasformati dal modello per raggiungere quelle soglie, e penso che per la maggior parte, ma non per tutti, settori regolamentati questo basterà per superare un colloquio con il revisore.

Vale semplicemente la pena di precisare che al momento ci sono alcuni aspetti che non riusciamo ancora a integrare in modo ottimale in questi sistemi LLM, e in parte si tratta di accettare ciò che non si può cambiare. Quindi ci saranno casi in cui sarà possibile farlo e in cui si potrà contribuire a utilizzarlo per ottimizzare i processi, ma sarà necessario che la questione passi a un essere umano, edovrà esaminare il materiale e prendere la decisione in base ai requisiti legali, e anche questo è un insieme di aspetti che al momento non dovremmo semplicemente cercare di risolvere esclusivamente con la tecnologia.

00:18:41

Bradd Busick: A questo punto, è ormai ampiamente riconosciuto che la sicurezza e la velocità sono considerate dalla maggior parte delle organizzazioni come i due estremi opposti di un'altalena. Se la velocità aumenta, la sicurezza diminuisce; se la sicurezza aumenta, il processo rallenta. Pensi che questa concezione relativa a velocità e sicurezza si applichi effettivamente all’IA o che sia davvero possibile avere entrambe le cose?

00:19:04

Dott.ssa Radha Plumb: Penso che occorra avere entrambe le cose, e quindi bisogna ribaltare la prospettiva su come la sicurezza viene inserita nella discussione. Quindi gran parte della nostra attenzione all’interno di IBM, e lo stesso valeva al Pentagono, è rivolta al fatto che la sicurezza deve essere integrata fin dalla progettazione. Le prime conversazioni che ho riguardo a qualsiasi nuovo strumento di IA sono con il nostro CISO. Parlo con lui molte, molte volte al giorno e conosco praticamente tutti i membri del suo team per nome. Non è un caso. È perché se non riesco a definire correttamente le regole di sicurezza e le informazioni di cui hanno bisogno, allora non posso procedere all’implementazione.

E avviare queste conversazioni fin dall’inizio, così da capire se si tratta di una decisione di sviluppo o di acquisto, le domande che devono porre, le integrazioni che vogliono testare, lo so fin dall’inizio e riesco a ottenere risposte rapide e a farmi subito un’idea se il progetto avrà successo o fallirà. Ciò significa che, alla fine, il risultato che otteniamo è un prodotto che sappiamo essere conforme e scalabile. E quella sicurezza integrata fin dall’inizio, credo, è ciò che ci permette di bilanciare velocità e sicurezza. E non direi nemmeno di trovare un equilibrio. Direi che si crea questo effetto volano: la sicurezza integrata garantisce risultati conformi, consente un’implementazione rapida e permette di migliorare ulteriormente la sicurezza integrata. Questo effetto volano ti permette di procedere molto più velocemente.

00:20:20

Bradd Busick: Mi piace molto il modo in cui descrivi il fatto di conoscere per nome l’intero team di sicurezza. Direi che, per i nostri ascoltatori, questo è un concetto davvero estraneo. In alcuni casi, il CISO agisce contro di loro anziché con loro. E tuttavia, quello che mi sembra di capire dalle tue parole è proprio l’importanza fondamentale e forse il vantaggio competitivo di coinvolgere i team di sicurezza e di gestione del rischio fin dall’inizio di un’iniziativa o di un progetto, anziché solo alla fine. Perché pensi che questo sia così raro oggi, considerato il nuovo mondo in cui viviamo?

00:20:51

Dott.ssa Radha Plumb: Penso che, molto spesso, le persone vogliano implementare soluzioni in fretta e credano che, se riescono a dimostrare un valore aziendale sufficiente derivante dall’utilizzo, riusciranno a convincere il team di sicurezza. E spesso questo costringe ad affrontare quella discussione sui rischi di cui parlavamo all’inizio, in cui si dice: «C’è questo grande rischio che ci costerà molto mitigare e c’è questo grande valore aziendale: chi dei due, il responsabile del conto economico o il CISO, vuole assumersi il rischio?» E si può fare così, ed è un modo per risolvere la questione, ma è lento e crea rischi o resistenze.

Abbiamo scoperto che è di gran lunga meglio limitare fin dall’inizio la discussione a domande molto più specifiche, ovvero: “Dove possiamo utilizzarlo? Come vogliamo utilizzarlo? Quali dati useremo? Quali rischi stiamo creando?” E, insieme al CISO, tutta una serie di misure di mitigazione e adeguamenti incrementali che avvengono mentre si realizza l’MVP o si effettuano i test iniziali e di integrazione, a dipendere dal fatto che si tratti di sviluppo interno o acquisto, è possibile occuparsi di tutte queste cose nel corso del processo, il che significa in realtà che la decisione finale da prendere è: «Ehi, qui abbiamo un paio di rischi che non riusciamo a mitigare. Non pensiamo che siano così grandi, visto il valore aziendale. Andiamo avanti.” Tutti sono davvero soddisfatti di quella decisione. Ma ciò richiede molto più lavoro iniziale con il team, e le persone semplicemente non hanno ancora deciso mentalmente di spostare l’intero processo più a sinistra. È una caratteristica di progettazione. Non è un controllo di conformità.

00:22:14

Bradd Busick: Sì. Mi piace molto. L’idea che si tratti di una caratteristica del design è perfetta. Penso che sia una novità e credo che per alcuni sia un concetto estraneo, soprattutto perché non hanno mai dedicato del tempo a riflettere su come vogliamo effettivamente pianificare. In alcuni casi, sono stati spinti a chiedersi: a proposito, hai una piattaforma di IA, cosa ne farai? Quindi, se pensate ai CIO di tutto il mondo che oggi dispongono di piattaforme che 10 anni fa non avevano l’IA, ma disponevano di big data, e ora si trovano effettivamente a gestirne una dotata di capacità agenti che vengono attivate ogni notte, qual è l’unica cosa che diresti loro di iniziare a fare in modo diverso già da domani?

00:22:54

Dott.ssa Radha Plumb: È curioso perché sembra che dovrebbe trattarsi di una questione tecnologica e invece parlerò esclusivamente di un processo, che è proprio ciò che consiglierei ai vostri CIO di fare: andare a comprendere i flussi di lavoro e come si inseriscono nella vostra azienda. Ancora una volta userò l’esempio di IBM, ma abbiamo fatto esattamente la stessa cosa al Pentagono: abbiamo suddiviso l’attività in 10 grandiend-to-end, e all’interno di questi ci sono insiemi di attività: è così che concepiamo l’implementazione degli agenti. Ma se disponete di quel catalogo, non appena vedrete nuove funzionalità o nuove capacità, è possibile mapparle molto rapidamente all’insieme delle opportunità, indicando dove e come si applicano, riunire quei team e creare un team interfunzionale che attivi e implementi la nuova tecnologia.

Ma se non hai quel lavoro iniziale, un po’ noioso, legato alla tua tecnologia, che ti permette di capire: “Ok, queste sono le diverse fasi del nostro processo di vendita ed ecco come sono collegate al nostro Sales Cloud”. Ora, ho le nuove funzionalità che sono state appena lanciate sul mio Sales Cloud, o una nuova app con cui abbiamo appena avviato una collaborazione e che stiamo acquistando, dovrei sapere esattamente dove vanno inserite e dovrei sapere chi posso chiamare per dire: “Ehi, mettiamo insieme un team per esaminare la questione, facciamo un rapido test di 30 giorni e vediamo se migliora effettivamente la produttività, poi ripetiamo il processo.” Ed è più o meno l’approccio che abbiamo adottato: quell’investimento iniziale è noioso, ma permette davvero di accelerare l’implementazione.

00:24:14

Bradd Busick: Beh, spero che i nostri ascoltatori abbiano avuto le mani libere oggi, perché ci hai regalato davvero tante informazioni preziose. È stato un piacere chiacchierare con te, Radha. Grazie mille per aver partecipato a “The Savvy CIO”.

00:24:24

Dott.ssa Radha Plumb: Grazie per avermi invitata.

00:24:31

Bradd Busick: Mi è piaciuta molto la conversazione di oggi con il dottor Plumb. Credo che ci siano state un paio di cose che mi hanno colpito in particolare. In primo luogo, coinvolgere il reparto di sicurezza fin dall’inizio e con frequenza tende a fare la differenza tra il successo e il fallimento di un’implementazione. E mi è piaciuta molto la sua affermazione: «Conosco tutti gli addetti alla sicurezza per nome». Immaginatelo su larga scala in un posto come il Pentagono, dove, voglio dire, onestamente, bisogna quasi per forza avere quel tipo di rapporto per far andare avanti le cose. Tantissimi CIO che ci stanno ascoltando oggi si affidano ai loro CISO e al loro team di sicurezza per tutte quelle cose di cui nessuno si preoccupa finché non si verificano dei problemi.

Penso che l’enfasi posta dal dottor Plumb sulla comprensione dei flussi di lavoro sia fondamentale. In assenza di flussi di lavoro, ci si limiterà a applicare l’IA a qualcosa sperando che accada qualcosa di straordinario e, come tutti sappiamo, le aziende non funzionano a base di speranze. Quindi penso che dedicare tempo ad applicare la disciplina, a documentare i propri flussi di lavoro e a comprimerli in modo tale da poterli allineare con la tecnologia durante un audit sia la ricetta migliore per il successo.

Per oggi è tutto. Grazie mille per averci ascoltato. Seguiteci per non perdere nessuna puntata. Questo è stato “The Savvy CIO”, un programma offerto da Park Place Technologies. Se volete saperne di più su Park Place, visitate il sito www.parkplacetechnologies.com. E ora, un’ultima parola dalla nostra ospite. Radha, dato che il programma si chiama “The Savvy CIO”, qual è stata la scelta più oculata che hai fatto nella tua carriera fino ad oggi?

00:25:56

Dott.ssa Radha Plumb: Penso che sia stata la decisione di puntare tutto sulla comprensione dell’IA aziendale. Penso che sarà proprio questo il campo in cui le persone trascorreranno i prossimi cinque o dieci anni, trasformando davvero ogni aspetto della società, ed è davvero emozionante poter far parte di questa storia.

00:26:11

Bradd Busick: Mi piace tantissimo questa visione e non potrei essere più d’accordo con te. Sono il tuo conduttore, Bradd Busick. E, come sempre, l’IT non dovrebbe limitarsi a stare al tavolo. L’IT è il tavolo stesso. Ti auguro ogni bene.

Radha Plumb

Biografia dell'ospite

L'onorevole Radha Iyengar Plumb, PhD, vanta una vasta esperienza dirigenziale ai massimi livelli del governo, del mondo imprenditoriale e del mondo accademico. È illustre ricercatrice ospite presso la Perry World House e ricercatrice senior presso il Wharton Accountable Artificial Intelligence Lab dell'Università della Pennsylvania.

In precedenza, ha ricoperto il ruolo di Responsabile per il digitale e l’intelligenza artificiale presso il Dipartimento della Difesa. In tale veste ha guidato le iniziative del Pentagono volte all’adozione dell’intelligenza artificiale, dei dati e dell’analisi dei dati, creando percorsi innovativi per l’acquisizione e la diffusione della tecnologia digitale in tutto il Dipartimento della Difesa. Tra gli altri incarichi ricoperti in ambito governativo figurano ruoli di alto livello presso il Pentagono, il Dipartimento dell’Energia e il Consiglio di Sicurezza Nazionale.

Nel settore privato, ha ricoperto il ruolo di direttrice della ricerca e dell’analisi per la fiducia e la sicurezza presso Google e di responsabile globale dell’analisi delle politiche presso Facebook, guidando attività basate sui dati in materia di sicurezza, affidabilità e trasparenza volte a migliorare i prodotti e le operazioni aziendali. All’inizio della sua carriera è stata economista senior presso la RAND Corporation e assistente presso la London School of Economics. Ha conseguito un dottorato di ricerca in economia presso l’Università di Princeton e una laurea in scienze presso il MIT.