De slimme CIO: Aflevering 1 – „Kan jouw LLM een audit doorstaan?“

Dr. Radha Plumb: Je hebt de coördinatie en de kennis van de voorkeuren van de organisatie nodig, en dat is iets wat je voor jouw organisatie zult moeten uitzoeken en opbouwen. Ik denk dat die coördinatielaag de eerste echt grote nieuwe vraag is waar CIO’s over moeten gaan nadenken. Wat is jouw AI-besturingssysteem? Waar plaats je dat besturingsvlak, en hoe ga je het afstemmen op jouw specifieke behoeften?

Bradd Busick: U luistert naar „The Savvy CIO: Modernize Wisely”, u aangeboden door Park Place Technologies, dat bedrijven helpt innovatie te stimuleren door de tijd en kosten die worden besteed aan het beheer van de IT-infrastructuur te verminderen, en tegelijkertijd de prestaties en de uptime te verbeteren. Ik ben uw presentator, Bradd Busick.

Heb je jezelf ooit afgevraagd: hoe moet ik nu moderniseren als het budget dat niet toelaat? Kan ik deze innovatie doorvoeren zonder de hele bedrijfsvoering in gevaar te brengen? Is er iemand die daadwerkelijk alles doet terwijl het voelt alsof er nergens genoeg van is? Als je op een van deze vragen ja hebt geantwoord, dan is deze aflevering voor jou, want je bent niet de enige, en om dat te bewijzen, ga ik het hebben over budgettaire druk, AI, audits, beveiliging en de kunst om de boel draaiende te houden zonder alles in de soep te laten lopen – samen met de mensen die deze problemen daadwerkelijk elke dag aanpakken.

Elke CIO staat momenteel onder dezelfde druk: snel handelen op het gebied van AI, of achterop raken. Maar boven die drang naar meer snelheid hangt een schaduw: de uitdaging van de audit. Dr. Radha Plumb kent beide kanten van die medaille beter dan bijna wie dan ook. Ze heeft jarenlang op het hoogste niveau bij het Amerikaanse Ministerie van Defensie gewerkt. Ze was hoofd digitale transformatie en kunstmatige intelligentie bij het Pentagon, waar ze leiding gaf aan de inspanningen van het ministerie op het gebied van AI, data en analytics, en nieuwe wegen baande om digitale technologie aan te schaffen en op schaal te brengen binnen een van de grootste en meest streng gereguleerde organisaties ter wereld. Kortom, ze heeft vanuit vrijwel elke denkbare invalshoek nagedacht over data, risico’s en verantwoordingsplicht.

Nu, als vicepresident van IBM voor AI-first-transformatie, houdt ze zich bezig met wat ze ‘client zero’ noemt: het intern in de praktijk brengen van AI-technologieën en -concepten om deze te testen voordat ze bij klanten worden geïmplementeerd. In wezen proeft IBM zijn eigen gerechten, allemaal onder haar kritische blik en verfijnde smaak. Ik spreek vandaag met haar over wat er nodig is om je AI-implementatie daadwerkelijk klaar te maken voor een audit, niet in theorie, maar in de praktijk. Wat auditors zullen vragen, waarop de meeste organisaties niet zijn voorbereid, en waarom de afweging tussen snelheid en beveiliging misschien wel de grootste misvatting is die CIO’s op dit moment tegenhoudt.

Dr. Radha Plumb, welkom bij The Savvy CIO.

Dr. Radha Plumb: Heel hartelijk bedankt voor de uitnodiging.

Bradd Busick: Het is fijn om hier bij jullie te zijn. Ik keek echt uit naar onze ontmoeting vandaag. Om te beginnen, zou je iets over jezelf kunnen vertellen, over je functie bij IBM, en waarom jij precies de juiste persoon bent om al deze vragen aan te stellen over hoe je een LLM door een daadwerkelijke audit kunt loodsen?

Dr. Radha Plumb: Nou, ik denk dat ik zal beginnen met te zeggen dat ik eigenlijk een econoom van opleiding ben, en veel mensen zeggen dan: „Hoe ben je als econoom hier terechtgekomen?” En ik maak graag een grapje door te zeggen dat ik niet zo’n soort econoom ben. Ik ben dus opgegroeid met het toepassen van toegepaste econometrie, wat in feite al big data was voordat er spraak was van big data. Ik heb me dus fundamenteel verdiept in wat het betekent om gegevens te hebben en te gebruiken in een reeks verschillende toepassingen, zodat ze zinvol zijn. En ik denk dat een groot deel van de huidige discussie over AI eigenlijk een discussie over data is. Daarom vind ik het geweldig om hier de kans te krijgen om er over te praten en te vertellen hoe het er in de praktijk uitziet, want eerlijk gezegd, is het niet glamoureus en is er geen wondermiddel, maar er zijn wel een aantal dingen die we als gemeenschap kunnen doen om hier vooruitgang in te boeken.

Bradd Busick: Ik vind je focus op data geweldig; dat is echt interessant, want je bent van de academische wereld naar Google, naar Facebook, naar het Pentagon en naar IBM gegaan. Ik bedoel, als ik naar dat traject kijk, lijkt het alsof je het zelfde fundamentele probleem vanuit allerlei verschillende invalshoeken hebt bekeken. Hoe zorg je ervoor dat grote, complexe organisaties op basis van data goede beslissingen nemen en tegelijkertijd verantwoord omgaan met risico’s?

Dr. Radha Plumb: Vaak komt het erop neer dat je heel, heel duidelijk moet zijn over wat het risico is, wie zich daar zorgen over maakt en wie de verantwoordelijkheid kan nemen om er iets aan te doen. Vaak raken mensen daardoor geblokkeerd of worden ze tegengehouden, of hebben ze het gevoel dat ze iets niet kunnen doen omdat ze denken: „Dit is risicovol. Er is een beveiligingsrisico, er is een compliance-risico, er is een controleerbaarheidsrisico.” En als je je daarin verdiept, als je die ui helemaal tot op de kern afpelt, wat is dan het risico dat er daadwerkelijk is? Laten we dat nu eens definiëren. Wat kan er gedaan worden om het te beperken, of juist niet? En wie gaat er uiteindelijk de verantwoordelijkheid voor dat risico dragen? Wordt het de juridisch directeur? Wordt het de hoofdbeveiligingsfunctionaris? Wordt het de verantwoordelijke voor de winst- en verliesrekening? En vraag hen: „Is dat risico de afweging waard?” Vaak is dat bij beperkende maatregelen het geval, of vaak is het de moeite niet waard en kom je tot een beslissing waarna je verder kunt gaan met het volgende. Maar ik denk dat die grijze zone van vaag risico echt de vijand van vooruitgang is.

Bradd Busick: En risico’s gaan nu eenmaal hand in hand met beheer. Ik bedoel, het doet me een beetje denken aan de ontwikkeling van DevOps, waarbij we als sector jarenlang snelheid en stabiliteit als tegengestelde krachten beschouwden, voordat we ons realiseerden dat het eigenlijk een kwestie van systeemontwerp was, en geen inherent kenmerk van het bouwen van software. Is dat een terechte vergelijking met waar we op dit moment staan met AI-governance?

Dr. Radha Plumb: Ja. Ik zeg wel eens voor de grap, denk ik, dat de beste vergelijking die ik kan bedenken is dat betere remmen voor snellere treinen zorgen, en dit komt voort uit de ontwikkeling van treinen, waarbij, uiteraard, ze – tegen de intuïtie in – de treinen tussen de haltes door sneller konden laten rijden toen ze over betere en betrouwbaardere remmen beschikten. En ik denk aan AI-governance in die wereld, waar AI-governance eigenlijk het fundamentele element is dat je de zekerheid geeft dat je AI-oplossingen doen wat je wilt dat ze doen en niet doen wat je niet wilt dat ze doen. Dat is in een notendop. En eigenlijk is dat ook wat je nodig hebt om het effectief te laten zijn. Dus om snel iets te doen, moet je die governance-stappen in het proces inbouwen, ze erin verwerken, en als je dat doet, krijg je uiteindelijk sneller een veel robuustere taart, om de analogie voort te zetten.

Bradd Busick: Als we aan bedrijven denken, bestaan die uit mensen, processen en technologie. Laten we dat dus als uitgangspunt nemen – en aangezien alle bedrijven AI nodig hebben – en zo de toon zetten voor ons publiek. Een van de dingen die LLM’s zo uniek maken, is dat zelfs de modelontwikkelaars zelf nog geen volledig inzicht hebben in wat er zich afspeelt in de, tussen aanhalingstekens, „kleine zwarte doos“, om het zo maar te zeggen. Dus jij en ik zouden allebei een identieke prompt kunnen hebben en toch wezenlijk verschillende antwoorden kunnen genereren, en er is niemand die die onvoorspelbaarheid meer haat dan een auditor, omdat het hun hele taak is om te verifiëren waarom het systeem deed wat het deed, en hun taak wordt ongelooflijk veel uitdagender met een LLM. Laten we dus ons in deze wespennest storten. Leg eens voor mij en voor het publiek uit hoe een LLM fundamenteel verschilt van het soort systemen dat je auditor normaal gesproken gewend is te beoordelen, en waarom je dat verschil moet begrijpen.

Dr. Radha Plumb: Ik denk dat het nuttig is om de ‘black box’ op te splitsen in de verschillende onderdelen waaruit de box bestaat. Er zijn dus de inputs voor die box, die in feite bestaan uit de gegevens en de context. Met gegevens bedoel ik letterlijk de gegevens, en dat kunnen gestructureerde gegevens zijn, zoals je financiële informatie en cijfers, semi-gestructureerde gegevens, zoals elementen uit je contracten, of echt ongestructureerde gegevens, zoals lange documenten of zelfs afbeeldingen. En dat alles gaat samen met de context in je algoritmen, namelijk hoe deze gegevens zich verhouden tot het bedrijf en de toepassingen?

We zijn gewend om die dingen te combineren en deterministische resultaten te verkrijgen. Dus ik neem wat context, ik gebruik de eenvoudigste analogie: ik neem een hoop gegevens in een plat bestand, zoals een spreadsheet, en ik pas een bekende statistische formule toe, zoals een gemiddelde, en ik voer die in, er komt het gemiddelde uit, en ik kan dat zo vaak herhalen en een verdeling krijgen, of ik kan daar in de loop van de tijd naar kijken en een tijdreeks krijgen. Dat zijn allemaal deterministische resultaten.

Wat LLM’s bieden, is dat ze die enorme hoeveelheid gegevens en verbanden – die we zowel kennen als niet kennen – en daar een inferentiële laag overheen te leggen om combinaties van informatie te bedenken die we niet kennen en niet hadden kunnen voorspellen, zodat we een inferentieel resultaat krijgen in plaats van een deterministisch resultaat. Dat is de black box. Dat is eigenlijk het geheime ingrediënt. Het voordeel daarvan is dat het veel dingen creëert die je voorheen misschien niet had kunnen hebben of waar je zelfs nog niet aan had gedacht. Het nadeel ervan is dat je niet helemaal weet welke exacte onderdelen daartoe hebben geleid, of hoe je dat altijd opnieuw kunt creëren.

Dus ik denk dat je in je proces echt even moet nadenken: waar wil ik iets creatiefs, nieuws en anders? En daar komen de LLM’s om de hoek kijken. Waar wil ik deterministische resultaten? Dat is waar je je traditionele analytische methoden of MLOps kunt gebruiken, zoals traditionele AI-methoden. Het hoeven niet allemaal LLM’s te zijn. En vervolgens: hoe combineer ik, wat is het besturingsvlak dat deze met elkaar combineert om de gewenste output te produceren, die vervolgens een voorspelbaar resultaat oplevert voor auditors, met het voordeel van generatieve AI waar je het nodig hebt, en de voorspelbaarheid van deterministische AI waar dat vereist is?

Bradd Busick: Ik vind die invalshoek geweldig. En als je hierover nadenkt vanuit het perspectief van een CIO, die in sommige gevallen dit traject nog niet heeft doorlopen, of in andere gevallen dat traject wel heeft doorlopen, wat denk je dan dat de eerste belemmering op het gebied van compliance zal zijn waarover een CIO zich zorgen moet maken als hij zich nog in een vroeg stadium van dat traject bevindt en op het punt staat over te stappen op een AI-gestuurd systeem? Waar moet hij aan denken?

Dr. Radha Plumb: Laat me het even vanuit het perspectief van IBM bekijken, gewoon omdat het, denk ik, een nuttige illustratie is. Je hebt je gegevenslaag, en je hebt gegevensbeheer en controles nodig. Voor CIO’s valt dat vaak onder de verantwoordelijkheid van een Chief Data Officer, en er zullen gegevensbeheer en controles zijn zoals je weet. De allereerste vraag die je dus gesteld gaat worden is: hoe bepaal je wie toegang krijgt tot welke gegevens die kunnen worden opgehaald? Hoe ziet je op rollen gebaseerde toegangscontrole eruit? Hoe zit het met je identiteits- en inloggegevensbeheer?

De eerste stap bij IBM is bijvoorbeeld dat we, net als de meeste grote ondernemingen, een systeem hebben dat je gebruikers-ID koppelt aan je rol en aan die toegang. Nu moet je die gegevens in je algoritmische systeem opnemen, en zodra je dat hebt gedaan, heb je iets nodig dat dit coördineert: gaan die gegevens naar een LLM-gesprek? Gaan die gegevens naar een deterministische peiling? Gaan ze gewoon naar een dashboard? Gaan ze naar een rapport? Dat besturingsvlak is iets waarvoor je de coördinatie en kennis van de voorkeuren van de organisatie nodig hebt, en dat is iets wat je voor je organisatie moet uitzoeken en opbouwen. Bedrijven zullen hierin niet identiek zijn en het zal ook niet identiek zijn voor verschillende toepassingen.

Wij gaan bijvoorbeeld heel anders om met het coördineren van financiële gegevens dan met het coördineren van regels met betrekking tot merkkleuren en merkafbeeldingen die in de content moeten worden verwerkt. Beide zijn aan regels gebonden. We kunnen bij IBM geen 87 verschillende soorten blauw hebben. Maar we gaan dat anders behandelen dan de winst- en omzetverantwoording in onze financiële systemen, en er zit heel wat tussen die twee in. Dus ik denk dat die orkestratielaag de eerste echt grote nieuwe vraag is waar CIO’s over moeten gaan nadenken. Wat is jouw AI-besturingssysteem? Waar plaats je dat besturingsvlak, en hoe ga je het afstemmen op je specifieke behoeften?

Bradd Busick: Ja. Ik vind dat heel goed verwoord. En als we nadenken over hoe controleerbaarheid er eigenlijk uitziet vanuit het perspectief van een auditor, om, zoals je al aangaf, rolgebaseerde toegangscontrole duidelijk te kunnen beschrijven: dit is waar deze persoon toegang toe heeft of niet, dit was de input en dit was de output in dat georkestreerde controlevlak met een ritme, een orde en discipline – makkelijker gezegd dan gedaan, zoals we allebei heel, heel goed weten. Omdat je zoveel verschillende soorten van dit soort implementaties in zoveel verschillende sectoren hebt gezien, waar ligt volgens jou het grootste probleem voor de meeste bedrijven? Zijn het de gegevens? Is het het model? Ligt het ergens daar tussenin? Kunt u daar wat meer over vertellen?

Dr. Radha Plumb: Ik zou zeggen dat het waarschijnlijk het raakvlak tussen technologie en processen is. Het gaat een beetje zowel om de data als om het model, maar het is eigenlijk… Er heerst op dit moment, denk ik, het gevoel dat je wat AI-magie kunt toevoegen aan een proces dat misschien te complex of onvoldoende gespecificeerd is, en dat dat echt meetbare bedrijfsresultaten zal opleveren, maar dat is gewoon niet zo. Geen enkele CIO zal dat in zijn eentje kunnen oplossen. Dus ik denk dat de echte oplossing is om het moeilijke gesprek te forceren over hoe het proces eruit moet zien, waar de technologie moet worden geïntegreerd, wat de technologie moet doen, maar ook waar het proces moet worden aangepast om het goed te laten werken.

Ik zal je een concreet voorbeeld geven. We hebben gewerkt aan deze agentgebaseerde workflow in de financiële sector om begrotingsprognoses te vergelijken met de werkelijke cijfers, een veelvoorkomend probleem. En ja, dat kunnen we doen, maar je moet wel nadenken over de agent en over de voorkeuren met betrekking tot hoe groot een afwijking mag zijn voordat je er aandacht aan besteedt. Maar je moet de rapporten ook enigszins standaardiseren, omdat je het opsporen van afwijkingen niet voor oneindig veel gevallen kunt automatiseren. Dat is geen technologisch probleem. We kunnen elke drempelwaarde kiezen die je wilt. Dat is een kwestie van processen en controles. En dat moet vanuit de onderneming komen en vervolgens worden gekoppeld aan de technologie; die vertaling moet plaatsvinden. En vervolgens moet dat op een voorspelbare en controleerbare manier worden ingebouwd, zodat wanneer onze CFO zegt: „Hé, waarom kijken we naar deze afwijking en niet naar die?” Er is een duidelijk zakelijk antwoord en vervolgens een technologische oplossing die dat onderbouwt en die concreet kan worden gedemonstreerd om het te staven. En die combinatie is, denk ik, een grote complexiteit die moet worden opgelost.

Bradd Busick: Het voelt inderdaad alsof er hier een beetje kunst en wetenschap bij komt kijken, en het lijkt erop dat mensen het beheren van gegevens verwarren met het beheren van het model zelf.

Dr. Radha Plumb: O, ja.

Bradd Busick: Hoe kijk je naar dit verschil en naar het werk dat je op dit moment doet en aanstuurt?

Dr. Radha Plumb: Ik probeer hier in zekere zin in lagen over na te denken, omdat ik denk dat datagovernance in zekere zin een cruciale voorwaarde is voordat je überhaupt aan enige vorm van AI of digitale oplossing kunt beginnen. Het is als het were de brandstof die je AI-model van energie voorziet, dus moet je die governance-laag goed op orde hebben. Ik denk dat het probleem vaak is dat je daar stopt. Dus je hebt je datagovernance, je hebt je metadata, je hebt je op rollen gebaseerde toegangscontrole, je hebt je autoritatieve systemen, en dan zeg je: „Geweldig. Nu ga ik dit met AI aanpakken.” En dan moet je je afvragen: oké, als ik dit ding eenmaal mijn gegevens heb gegeven, wat gebeurt er dan? Welk modelbeheer heb ik nodig? Wat moet ik kunnen zien over wat het model doet, tot welke gegevens het toegang heeft, hoe actueel de gegevens zijn, hoe het model in de loop van de tijd presteert en of ik bepaalde vertekeningen waarnemen? Alle standaardzaken die je zou testen in analytische oplossingen, laten we zeggen deterministische oplossingen, moet je weer in de beoordeling meenemen.

Maar het probleem is dat er voor dit soort modellen geen vergelijkbare tests bestaan. Daarom richten we ons veel meer op de transparantiekant: begrijpen wat het model doet, tot welke gegevens het toegang heeft, wanneer het inferenties maakt, en proberen we de stappen in het inferentieproces transparanter te maken, om op basis daarvan te achterhalen waar mogelijke afwijkingen en uitkomsten vandaan zouden kunnen komen. Hopelijk krijgen we na verloop van tijd ook betere beoordelingsinstrumenten, en de sector blijft die ontwikkelen. Maar ik denk dat dat nu juist de complexiteit is: er is geen ingebouwde, bekende manier om de nauwkeurigheid of precisie te testen op dezelfde manier als we gewend zijn.

Bradd Busick: Ik denk dat je opmerking helemaal klopt. Ik bedoel, het voelt inderdaad alsof we het vliegtuig besturen terwijl we het nog aan het bouwen zijn, tegen de achtergrond van een regelgevingskader dat nog in ontwikkeling is. Als je kijkt naar alle organisaties waarmee je contact hebt gehad: als er een auditor zou komen en naast de meeste CIO’s zou gaan zitten met wie je vandaag hebt gesproken, denkt u dan dat organisaties daadwerkelijk een antwoord paraat hebben wanneer een auditor tegen hen zegt: „Vertel me eens wat er in en uit uw LLM gaat. Hoe wordt dit beheerd?”

Dr. Radha Plumb: Het is grappig, want ik had net een gesprek met de Chief Investment Officer van een grote bank, die in feite zei: om deze reden passen we bij veel van onze beleggingsbeslissingen geen AI toe. We kunnen geen beslissingen nemen als we niet kunnen aantonen welke gegevens er binnenkomen en uitgaan.

Er zijn dingen die we wel kunnen doen en dingen die we niet kunnen doen, en ik denk dat dit een goed voorbeeld is van een situatie waarin we zullen moeten samenwerken met de accountants en de toezichthouders om een redelijk compromis te vinden. Wat je wel kunt doen – en wat iedereen zou moeten doen – is aangeven dat, voor beslissingen die aan strenge regelgeving onderworpen zijn, dit de afgebakende dataset is die door het model mag worden gebruikt om deze beslissing te nemen. En dat zal, denk ik, een uitstekend uitgangspunt zijn voor de regelgevers. Ik denk dat het tweede wat je dan wilt doen, is het gebruiken van tools; ook hier hebben we er bij IBM een, namelijk Watsonx Governance, maar er is een breed scala aan dergelijke governance-tools die je daadwerkelijk vertellen wat je model doet. Dus waar voert je model inferenties uit? Hoe gedraagt het zich? Die transparantie zal voor toezichthouders heel belangrijk zijn.

En dan, het laatste stukje is wanneer je agentic-oplossingen hebt toegevoegd… Als je nadenkt over wat een agent is, dan is dat RPA die is gekoppeld aan een reeks signalen die afkomstig zijn uit een grote dataset waarop je in feite natuurlijke taalverwerking toepast. Die reeks acties moet dus aan de gegevens worden gekoppeld. Je zou op transparante wijze moeten kunnen zeggen: „Dit is de reeks acties die het uitvoert. Dit zijn de drempels waarbij die acties worden geactiveerd.” En dat geeft de auditor nu alles, behalve de zeer gedetailleerde manier waarop de gegevens door het model worden getransformeerd om die drempels te halen, en ik denk dat voor de meeste, maar niet alle, gereguleerde sectoren voldoet dit om een gesprek met een auditor te doorstaan.

Het is wel de moeite waard om erop te wijzen dat er op dit moment een aantal zaken zijn waarvoor we nog geen goede manier hebben om ze in deze LLM-systemen te verwerken, en een deel daarvan is het accepteren van de dingen die je niet kunt veranderen. Er zullen dus zaken zijn waarbij je het wel kunt doen en waarbij je het kunt gebruiken om processen te stroomlijnen, maar het zal uiteindelijk door een mens moeten worden beoordeeld en een mensmoet dit door een mens worden beoordeeld en moet de beslissing worden genomen op basis van de wettelijke vereisten, en dat is ook iets wat we op dit moment gewoon niet met technologie moeten proberen op te lossen.

Bradd Busick: Op dit moment wordt het min of meer algemeen aanvaard dat beveiliging en snelheid door de meeste organisaties worden gezien als tegenovergestelde uiteinden van een wip. Als de snelheid omhoog gaat, gaat de beveiliging omlaag. Als de beveiliging omhoog gaat, vertraag je mijn proces. Denk je dat deze opvatting over snelheid en beveiliging ook daadwerkelijk van toepassing is op AI, of kun je beide daadwerkelijk combineren?

Dr. Radha Plumb: Ik denk dat je beide nodig hebt, en daarom moet je het perspectief omdraaien als het gaat om de rol van beveiliging in het gesprek. Een groot deel van onze aandacht binnen IBM – en dat was bij het Pentagon niet anders – gaat uit naar ‘security by design’. De allereerste gesprekken die ik voer over een nieuwe AI-tool zijn met onze CISO. Ik spreek hem vele, vele keren per dag en ik ken vrijwel iedereen in zijn team bij naam. Dat is geen toeval. Want als ik de beveiligingsregels en inzichten die zij nodig hebben niet goed voor elkaar krijg, dan kan ik de tool niet implementeren.

En door die gesprekken al in een vroeg stadium aan te gaan, zodat ik weet of het een ‘zelf bouwen’ of een ‘kopen’ beslissing is, welke vragen ze moeten stellen en welke integraties ze willen testen, weet ik dat al in een vroeg stadium, en kan ik snel antwoorden krijgen en snel een idee krijgen of dit gaat slagen of mislukken. Dat betekent dat we uiteindelijk eindigen met een resultaat waarvan we weten dat het aan de voorschriften voldoet en schaalbaar is. En die ‘security by design’, denk ik, is wat ons in staat stelt om een evenwicht te vinden tussen snelheid en beveiliging. En ik zou niet eens zeggen dat we daar een balans in vinden. Ik zou zeggen dat dit een vliegwiel creëert: ‘security by design’ leidt tot resultaten die aan de voorschriften voldoen, wat weer snelle implementatie betekent, waardoor je op zijn beurt weer meer ‘security by design’ kunt toepassen. Dat vliegwiel brengt je een stuk sneller op gang.

Bradd Busick: Ik vind het geweldig hoe je beschrijft dat je het hele beveiligingsteam bij naam kent. Ik zou tegen onze luisteraars willen zeggen dat dit een heel vreemd concept is. In sommige gevallen werkt de CISO tegen hen in plaats van met hen samen. En toch hoor ik je zeggen dat het van cruciaal belang is – en misschien zelfs een concurrentievoordeel oplevert – om beveiligings- en risicoteams al vanaf het begin bij een initiatief of capaciteit te betrekken, in plaats van pas aan het einde. Waarom denkt u dat dat tegenwoordig zo zeldzaam is, gezien de nieuwe wereld waarin we ons bevinden?

Dr. Radha Plumb: Ik denk dat mensen vaak oplossingen snel willen implementeren, en dat ze denken dat als ze maar voldoende zakelijke waarde uit de toepassingen kunnen aantonen, ze het beveiligingsteam mee kunnen krijgen. En vaak leidt dat tot dat risicogesprek waar we het in het begin over hadden, waarin je zegt: „Er is dit grote risico waarvan het beperken ons veel gaat kosten, en er is deze grote bedrijfswaarde. Welk risico wil de P&L-verantwoordelijke en de CISO liever nemen?” En dat kan wel, en dat is een manier om dit op te lossen, maar het gaat traag en het leidt tot ofwel risico ofwel afwijzing.

We hebben gemerkt dat het veel beter is om in het begin eigenlijk een veel kleiner gesprek af te dwingen, namelijk: „Waar kunnen we dit gebruiken? Hoe willen we het gebruiken? Welke gegevens gaan we gebruiken? Welke risico’s creëren we?” En samen met de CISO vindt er een hele reeks stapsgewijze risicobeperkende maatregelen en aanpassingen plaats terwijl je je MVP bouwt of je eerste tests en integratietests uitvoert; afhankelijk van of het om zelf bouwen of kopen gaat, kun je al deze dingen daarbij doen, wat eigenlijk betekent dat de uiteindelijke beslissing die je neemt is: „Hé, we hebben hier een paar risico’s die we niet kunnen beperken. We vinden ze niet zo groot, gezien de bedrijfswaarde. Laten we het doen.” Iedereen voelt zich heel goed bij die beslissing. Maar dat vergt veel meer voorbereidend werk met het team, en mensen hebben mentaal nog niet besloten om dat hele proces naar links te verplaatsen. Het is een ontwerpkenmerk. Het is geen nalevingscontrole.

Bradd Busick: Ja. Dat vind ik geweldig. Het idee dat het een ontwerpkenmerk is, klopt helemaal. Ik denk dat het nieuw is, en ik denk dat het voor sommigen vreemd is, vooral omdat ze nog niet hebben nagedacht over hoe we eigenlijk willen plannen. In sommige gevallen zijn ze er met een vlot in geduwd: je hebt trouwens een AI-platform, wat ga je daarmee doen? Dus als je denkt aan CIO’s over de hele wereld die tegenwoordig over platforms beschikken, die tien jaar geleden nog geen AI hadden, maar wel big data hadden, en nu beschikken over een platform met agentische mogelijkheden die ’s nachts worden ingeschakeld, wat is dan het enige dat je ze zou vertellen dat ze morgen anders zouden moeten gaan doen?

Dr. Radha Plumb: Het is grappig, want het voelt alsof het om technologie zou moeten gaan, terwijl ik het juist helemaal over een proces ga hebben, en dat is precies wat ik jullie CIO’s zou raden: ga de workflows begrijpen en hoe die in jullie bedrijf zijn opgezet. Ik zal weer het voorbeeld van IBM gebruiken, maar we hebben precies hetzelfde gedaan bij het Pentagon: we hebben de bedrijfsactiviteiten opgesplitst in 10 grote-to-end-bedrijfsworkflows, en daarbinnen bevinden zich activiteitensets; zo benaderen wij de inzet van agents. Maar als je over die catalogus beschikt, kun je, zodra je nieuwe functies of mogelijkheden ziet, kun je die heel snel toewijzen aan de relevante opportuniteitenset – waar ze van toepassing zijn en hoe ze worden toegepast – en die teams bij elkaar brengen om zo een multifunctioneel team te vormen dat nieuwe technologie activeert en implementeert.

Maar als je niet eerst dat saaie proceswerk hebt dat aan je technologie is gekoppeld, zodat je weet: oké, dit zijn de verschillende onderdelen van ons verkooptraject en zo zijn ze gekoppeld aan onze Sales Cloud. Nu heb ik mijn nieuwe functies die net in mijn Sales Cloud zijn gelanceerd, of een nieuwe app waarmee we net een samenwerking zijn aangegaan en die we aanschaffen, dan moet ik precies weten waar die terechtkomen en moet ik weten wie ik kan bellen om te zeggen: „Hé, laten we een team samenstellen om hiernaar te kijken, een snelle test van 30 dagen doen en zien of het de productiviteit daadwerkelijk verhoogt, en dat dan herhalen.” En dat is min of meer de aanpak die we hebben gekozen: die initiële investering is moeizaam, maar zorgt er echt voor dat de implementatie snel kan plaatsvinden.

Bradd Busick: Nou, ik hoop dat onze luisteraars vandaag hun handen vrij hebben gehad, want je hebt ons heel wat wijsheid bijgebracht. Het was een genoegen om met je te praten, Radha. Heel erg bedankt voor je deelname aan The Savvy CIO.

Dr. Radha Plumb: Bedankt voor de uitnodiging.

Bradd Busick: Ik heb enorm genoten van het gesprek van vandaag met dr. Plumb. Er waren een paar dingen die me vooral opvielen. Ten eerste: het vroeg en vaak betrekken van beveiligingsmedewerkers maakt vaak het verschil tussen succes en mislukking bij een implementatie. En ik vond het geweldig dat ze zei: „Ik ken alle beveiligingsmedewerkers bij hun voornaam.” Stel je dat eens voor op grote schaal op een plek als het Pentagon, waar je – eerlijk gezegd – die relatie eigenlijk bijna wel moet hebben om dingen vooruit te krijgen. Zoveel CIO’s die vandaag luisteren, vertrouwen op hun CISO’s en hun beveiligingsteam voor alle zaken waar niemand om geeft, totdat er iets misgaat.

Ik denk dat de opmerking van dr. Plumb over het begrijpen van workflows cruciaal is. Zonder workflows ga je AI er gewoon op loslaten en hopen dat er iets geweldigs gebeurt, en zoals we allemaal weten, draaien bedrijven niet op hoop. Daarom denk ik dat het een beter recept voor succes is om tijd te besteden aan het toepassen van de discipline, het documenteren van je workflows en het begrijpen daarvan, zodat je tijdens een audit de workflow kunt afstemmen op de technologie.

Dat was het voor vandaag. Hartelijk dank voor het luisteren. Volg ons zodat je geen aflevering mist. Dit was The Savvy CIO, aangeboden door Park Place Technologies. Als je meer wilt weten over Park Place, ga dan naar www.parkplacetechnologies.com. En nu nog een laatste woord van onze gast. Radha, aangezien de show ‘The Savvy CIO’ heet, wat is de slimste keuze die je tot nu toe in je carrière hebt gemaakt?

Dr. Radha Plumb: Ik denk dat het de beslissing was om me volledig te storten op het doorgronden van AI voor bedrijven. Ik denk dat dit het gebied zal zijn waar mensen de komende vijf tot tien jaar zullen besteden aan het werkelijk transformeren van alles in de samenleving, en het is echt spannend om daar deel van uit te mogen maken.

Bradd Busick: Ik vind die visie geweldig en ik ben het helemaal met je eens. Ik ben jullie presentator, Bradd Busick. En zoals altijd: IT hoort niet alleen aan tafel te zitten. IT is de tafel. Het ga jullie goed.