O CIO Experiente: Episódio 1 – “Seu LLM é capaz de passar por uma auditoria?”


Neste episódio inaugural do The Savvy CIO, o apresentador Bradd Busick conversa com a Dra. Radha Plumb, vice-presidente de transformação com foco em IA da IBM e ex-diretora digital e de IA do Pentágono, sobre como preparar as implantações de IA no mundo real para auditorias. Ela analisa questões complexas, como: Em que seu LLM difere dos sistemas legados com os quais seu auditor está acostumado a lidar? Quais riscos difusos você precisa estar atento se quiser manter o ritmo do progresso? Garantir que seus sistemas estejam fazendo o que você deseja realmente permite agilizar sua governança de IA?

Eles também discutem os desafios de conformidade de ponta a ponta: o controle de acesso baseado em funções e as decisões de acesso aos dados; a necessidade de uma camada de orquestração para encaminhar dados entre o LLM e os métodos determinísticos; e por que muitas falhas ocorrem nessa interseção entre tecnologia e processo.

Com base no modelo da IBM, no qual a empresa “testa o próprio produto”, o Dr. Plumb destaca a transparência do modelo, a importância de dados delimitados para decisões regulamentadas, por que o envolvimento precoce do CISO é fundamental na concepção da segurança e por que a documentação dos fluxos de trabalho corporativos permite não apenas uma implantação mais rápida da IA, mas também uma que possa realmente resistir a uma auditoria.

Ouça em Apple Podcasts          Ouça em Spotify        Ouça na Amazon Music

Transcrição do episódio “Seu LLM consegue passar por uma auditoria?”

00:00:01

Dra. Radha Plumb: É preciso ter a coordenação e o conhecimento das preferências da organização, e isso é algo que você vai ter que descobrir e desenvolver para a sua organização. Acho que essa camada de orquestração é a primeira grande questão nova sobre a qual os CIOs precisam começar a pensar. Qual é o seu sistema operacional de IA? Onde você coloca esse plano de controle e como vai adaptá-lo às suas necessidades específicas?

00:00:24

Bradd Busick: Você está ouvindo o programa “The Savvy CIO: Modernize Wisely”, apresentado pela Park Place Technologies, que ajuda as empresas a impulsionar a inovação reduzindo o tempo e o dinheiro gastos com o gerenciamento da infraestrutura de TI, ao mesmo tempo em que aumenta o desempenho e o tempo de atividade. Sou o seu apresentador, Bradd Busick.

Você já se perguntou: “Como vou modernizar se o orçamento não permite?” Será que consigo implementar essa inovação sem colocar toda a operação em risco? Existe alguém por aí que realmente esteja fazendo tudo quando parece que não há nada em quantidade suficiente? Se você respondeu “sim” a qualquer uma dessas perguntas, então este programa é para você, porque você não está sozinho; e, para provar isso, vou falar sobre pressões orçamentárias, IA, auditorias, segurança e a arte de manter as luzes acesas sem dar tudo errado com as pessoas que estão realmente lidando com esses problemas todos os dias.

Todos os CIOs, neste momento, estão sentindo a mesma pressão: agir rapidamente em relação à IA ou ficar para trás. Mas essa exigência por mais agilidade tem uma sombra pairando sobre ela: o desafio da auditoria. A Dra. Radha Plumb conhece os dois lados dessa equação melhor do que quase qualquer outra pessoa. Ela passou anos nos mais altos escalões do Departamento de Defesa dos EUA. Atuou como diretora de tecnologia digital e inteligência artificial do Pentágono, onde liderou os esforços de adoção de IA, dados e análises do departamento e criou novos caminhos para adquirir e ampliar a tecnologia digital em uma das maiores e mais rigidamente regulamentadas organizações do mundo. Basicamente, ela já refletiu sobre dados, riscos e prestação de contas sob praticamente todos os ângulos imagináveis.

Atualmente, como vice-presidente de transformação com foco em IA da IBM, ela está realizando o que chama de “cliente zero”: implementando internamente tecnologias e conceitos de IA para testá-los antes de implantá-los para os clientes. Essencialmente, a IBM está provando seu próprio prato, tudo sob seus olhos exigentes e seu paladar refinado. Estou conversando com ela hoje sobre o que é necessário para realmente deixar sua implantação de IA pronta para auditoria, não na teoria, mas na prática. O que os auditores vão perguntar, para o que a maioria das organizações não está preparada e por que o equilíbrio entre velocidade e segurança pode ser o maior equívoco que está impedindo os CIOs de avançar neste momento.

Dra. Radha Plumb, seja bem-vinda ao The Savvy CIO.

00:02:39

Dra. Radha Plumb: Muito obrigada pelo convite.

00:02:40

Bradd Busick: É um prazer estar com você. Eu estava muito ansioso por esse momento que vamos passar juntos hoje. Para começar, você poderia conentar um pouco sobre você, sua função na IBM e por que você é exatamente a pessoa certa para eu fazer todas essas perguntas sobre como obter um LLM por meio de uma auditoria real?

00:02:54

Dra. Radha Plumb: Bem, acho que vou começar dizendo que, na verdade, sou economista de formação, e muitas pessoas perguntam: “Como, sendo economista, você acabou chegando aqui?” E eu gosto de brincar dizendo que não sou esse tipo de economista. Então, na verdade, cresci trabalhando com econometria aplicada, que era o que hoje chamamos de big data antes mesmo de o termo existir. Por isso, refleti profundamente sobre o que significa ter e usar dados em uma variedade de aplicações diferentes para que isso seja significativo. E acho que grande parte do debate atual sobre IA é, na verdade, um debate sobre dados. Por isso, estou animado por ter a chance de falar sobre isso aqui e explicar como isso se aplica na vida real, porque, sinceramente, não é nada glamoroso e não existe uma solução milagrosa, mas há algumas coisas que podemos fazer como comunidade para avançar nessa questão.

00:03:37

Bradd Busick: Eu adoro a sua aposta dupla nos dados, o que é realmente interessante, porque você passou do meio acadêmico para o Google, para o Facebook, para o Pentágono e para a IBM. Quero dizer, olhando para essa trajetória, parece que você tem abordado o mesmo problema fundamental sob todos os tipos de ângulos diferentes. Como você faz com que organizações grandes e complexas tomem boas decisões com base em dados e, ao mesmo tempo, gerenciem os riscos de forma responsável?

00:03:59

Dra. Radha Plumb: Muitas vezes, tudo se resume a ter muita, muita clareza sobre qual é o risco, quem se preocupa com ele e quem pode assumir a responsabilidade de tomar uma atitude. Então, muitas vezes, as pessoas ficam paralisadas, são impedidas ou sentem que não podem fazer algo porque pensam: “Isso é arriscado. Há um risco de segurança, há um risco de conformidade, há um risco de auditabilidade.” E, à medida que você se aprofunda nisso, à medida que descasca essa cebola até chegar ao âmago, qual é o risco que existe? E agora, vamos definir isso. O que pode ser feito para mitigá-lo ou não? E quem vai assumir a responsabilidade por esse risco, no fim das contas? Será o diretor jurídico? Será o diretor de segurança? Será o responsável pelo resultado financeiro? E pergunte a eles: “Esse risco vale a pena?” Muitas vezes, com medidas de mitigação, vale a pena; outras vezes, o jogo não compensa e você chega a uma decisão e pode seguir em frente para a próxima tarefa. Mas acho que essa área cinzenta de risco amorfo é realmente o inimigo do progresso.

00:04:57

Bradd Busick: E não podemos ter risco sem governança. Quer dizer, para mim, isso é uma espécie de retorno à evolução do DevOps, em que, como setor, passamos anos encarando velocidade e estabilidade como forças opostas antes de perceber que, na verdade, era uma questão de projeto de sistema, e não uma característica inerente ao desenvolvimento de software. Será que essa é uma comparação justa com a situação atual da governança da IA?

00:05:18

Dra. Radha Plumb: Sim. Eu gosto de brincar, acho, dizendo que a melhor analogia que tenho é que freios melhores tornam os trens mais rápidos, e isso vem da evolução dos trens, onde, é claro, de forma contraintuitiva, conseguiram fazer com que os trens andassem mais rápido entre as paradas quando passaram a ter freios melhores e mais confiáveis. E eu penso na governança da IA nesse contexto, onde, na verdade, a governança da IA é o elemento fundamental que permite que você saiba que suas soluções de IA estão fazendo o que você quer que elas façam e não estão fazendo o que você não quer que elas façam. É isso, resumido. E, na verdade, é também o que você precisa para que seja eficaz. Portanto, para fazer algo com rapidez, você precisa incorporar essas etapas de governança ao processo, integrá-las, e, quando fizer isso, você terá um resultado muito mais robusto mais rapidamente — para continuar com a analogia.

00:06:17

Bradd Busick: Quando pensamos em empresas, elas são compostas por pessoas, processos e tecnologia. Então, tendo isso como ponto de partida — e considerando que todas as empresas precisam de IA —, vamos preparar o terreno para o nosso público. Uma das coisas que torna os LLMs tão únicos é que nem mesmo os próprios criadores dos modelos têm uma compreensão completa do que está acontecendo na, entre aspas, “pequena caixa preta”, por assim dizer. Portanto, você e eu poderíamos receber um prompt idêntico e gerar respostas significativamente diferentes, e não há ninguém que deteste essa imprevisibilidade mais do que um auditor, porque todo o trabalho dele consiste em verificar por que o sistema fez o que fez, e seu trabalho se torna incrivelmente mais desafiador com um LLM. Então, vamos mergulhar nesse emaranhado de problemas. Quero dizer, explique para mim e para o público como um LLM é fundamentalmente diferente do tipo de sistemas que seu auditor normalmente estaria acostumado a avaliar, e por que é preciso entender essa diferença.

00:07:14

Dra. Radha Plumb: Acho que é útil dividir a “caixa preta” em partes que definam onde ela se encontra. Portanto, há as entradas dessa caixa, que são basicamente os dados e o contexto. Então, por “dados”, refiro-me literalmente aos dados, e isso pode ser dados estruturados, como suas informações financeiras e números, dados semiestruturados, como elementos extraídos de seus contratos, ou dados realmente não estruturados, como documentos longos ou até mesmo imagens. E tudo isso é incorporado aos seus algoritmos junto com o contexto, ou seja, como esses dados se relacionam aos negócios e aos usos?

Estamos acostumados a combinar essas coisas e produzir resultados determinísticos. Então, pego algum contexto — vou usar a analogia mais simples: pego um conjunto de dados em um arquivo plano, como uma planilha, e aplico uma fórmula estatística conhecida, como uma média, e insiro os dados; o resultado é a média; posso fazer isso várias vezes e obter uma distribuição, ou posso analisar isso ao longo do tempo e obter uma série temporal. Todos esses são resultados determinísticos.

O que os LLMs trazem é aproveitar essa imensidão de dados e conexões que conhecemos e também daquelas que desconhecemos, e aplicar uma camada inferencial a elas para chegar a combinações de informações que não conhecemos e que não poderíamos ter previsto, obtendo assim um resultado inferencial em vez de um determinístico. Essa é a caixa preta. É, de certa forma, o ingrediente secreto. A vantagem disso é que cria muitas coisas que você talvez não tivesse conseguido ter antes ou nem mesmo tivesse pensado antes. A desvantagem disso é que você não sabe exatamente quais foram os elementos que levaram a esse resultado, nem sempre sabe como recriá-lo.

Então, acho que você realmente deve refletir, no seu processo: “Em que pontos eu quero algo criativo, novo e diferente?” E é aí que os LLMs entram. Em que pontos eu quero resultados determinísticos? É aí que você pode usar suas análises tradicionais ou MLOps, como os métodos tradicionais de IA. Nem tudo precisa ser LLMs. E então, como eu combino, qual é o plano de controle que combina tudo isso para produzir o resultado que eu quero, que seja um resultado previsível para os auditores, com o benefício da geração onde for necessário e a previsibilidade do determinístico onde for imprescindível?

00:09:25

Bradd Busick: Eu adoro essa perspectiva. E se a gente pensar nisso da perspectiva de um CIO, que, em alguns casos, ainda não passou por essa jornada, ou, em outros casos, já passou por ela, qual você acha que será o primeiro obstáculo de conformidade com o qual um CIO deve se preocupar se ainda estiver no início dessa jornada e prestes a migrar para um sistema baseado em IA? O que ele deve levar em consideração?

00:09:47

Dra. Radha Plumb: Deixe-me abordar isso da perspectiva da IBM, simplesmente porque acho que é um exemplo útil. Você tem sua camada de dados e precisa de governança e controles de dados. Muitas vezes, para os CIOs, isso fica sob a alçada de um diretor de dados, e haverá governança e controles de dados, como você sabe. Portanto, a primeira pergunta que lhe farão é: como você decide quem tem acesso a quais dados que podem ser importados? Qual é o seu controle de acesso baseado em funções? Como funciona o gerenciamento de identidades e credenciais?

Então, o primeiro passo, por exemplo, na IBM, é que temos um sistema que vincula seu ID de usuário — como na maioria das grandes empresas — à sua função e a esse acesso. Agora, você precisa importar esses dados para o seu sistema algorítmico e, depois de fazer isso, precisa de algo que os orquestre: esses dados serão direcionados para uma conversa com um LLM? Esses dados estão indo para uma consulta determinística? Estão indo apenas para um painel? Estão indo para um relatório? Esse plano de controle é algo em que você precisa da orquestração e do conhecimento das preferências da organização, e isso é algo que você terá que descobrir e construir para a sua organização. As empresas não serão idênticas nesse aspecto, e isso também não será idêntico em diferentes aplicativos.

Nós, por exemplo, tratamos a coordenação de dados financeiros de maneira muito diferente daquela com que trataríamos a coordenação de regras relacionadas às cores e aos elementos gráficos da marca que precisam ser incorporados ao conteúdo. Ambas são regulamentadas. Não podemos ter 87 tipos diferentes de azul para a IBM. Mas vamos tratar isso de maneira diferente do que tratamos o reconhecimento de lucros e receitas em nossos sistemas financeiros, e há muitas coisas entre esses dois extremos. Portanto, acho que essa camada de orquestração é a primeira grande questão nova sobre a qual os CIOs precisam começar a pensar. Qual é o seu sistema operacional de IA? Onde você coloca esse plano de controle e como vai adaptá-lo às suas necessidades específicas?

00:11:37

Bradd Busick: É. Acho que isso foi muito bem dito. E, quando pensamos em como a auditabilidade realmente se apresenta do ponto de vista de um auditor, ser capaz de articular claramente, como você mencionou, o controle de acesso baseado em funções — isto é, o que essa pessoa tem ou não acesso, essa foi a entrada e essa foi a saída naquele plano de controle orquestrado com ritmo, ordem e disciplina — mais fácil dizer do que fazer, como nós dois sabemos muito, muito bem. Como você já viu tantos tipos diferentes dessas implantações em tantos setores diferentes, onde você acha que está o maior problema para a maioria das empresas? São os dados? É o modelo? É algo entre os dois? Explique melhor isso para mim.

00:12:17

Dra. Radha Plumb: Eu diria que provavelmente é a interseção entre tecnologia e processos. É um pouco tanto os dados quanto o modelo, mas na verdade… Acho que existe, neste momento, uma sensação de que é possível pegar e espalhar um pouco da “mágica” da IA em um processo que talvez seja complexo demais ou mal definido, e que isso vai gerar resultados comerciais realmente mensuráveis — mas simplesmente não é assim. Nenhum CIO vai conseguir resolver isso sozinho. Então, acho que a verdadeira solução é tentar forçar uma conversa difícil sobre como o processo deveria ser, onde a tecnologia precisa se integrar, o que a tecnologia precisa fazer, mas também onde o processo precisa ser alterado de forma adequada.

Vou dar um exemplo concreto. Temos trabalhado nesse fluxo de trabalho baseado em agentes na área financeira para comparar as previsões orçamentárias com os resultados reais, um problema muito comum. E, sim, podemos fazer isso, e você precisa pensar no agente e definir preferências sobre qual o tamanho do desvio que será considerado relevante. Mas, além disso, você precisa padronizar os relatórios, porque não dá para automatizar a detecção de variações para uma infinidade de casos. Isso não é um problema de tecnologia. Podemos definir qualquer limite que você quiser. Isso é uma questão de processo e controles. E isso precisa vir da área de negócios e, em seguida, ser conectado à tecnologia; essa tradução precisa acontecer. E, então, isso precisa ser incorporado de uma forma que seja previsível e passível de revisão, para que, quando nosso diretor financeiro perguntar: “Ei, por que estamos analisando esse desvio e não aquele?”, Haja uma resposta comercial clara e, em seguida, uma solução tecnológica que sustente isso e que possa ser demonstrada concretamente para respaldá-la. E essa combinação, acredito, é uma grande complexidade que precisa ser resolvida.

00:14:07

Bradd Busick: Realmente parece que há um pouco de arte e ciência nisso, e parece que as pessoas confundem o gerenciamento dos dados com o gerenciamento do próprio modelo.

00:14:16

Dra. Radha Plumb: Ah, sim.

00:14:17

Bradd Busick: Como você está encarando essa diferença no trabalho que está realizando e liderando neste momento?

00:14:20

Dra. Radha Plumb: Eu tento pensar nisso em camadas, de certa forma, porque acredito que a governança de dados é, de certa forma, uma questão fundamental antes de se chegar a qualquer tipo de IA ou solução digital. É como o combustível que vai alimentar seu modelo de IA, por isso é preciso acertar essa camada de governança. Acho que o problema, muitas vezes, é que você para por aí. Então, você tem sua governança de dados, seus metadados, seu controle de acesso baseado em funções, seus sistemas de referência, e pensa: “Ótimo. Agora, vou aplicar IA nisso.” E aí você precisa refletir: ok, depois que eu fornecer meus dados a essa coisa, o que vai acontecer? Que tipo de governança de modelo eu preciso? O que preciso para poder ver o que o modelo está fazendo, quais dados ele está acessando, a atualidade desses dados, como o modelo está se comportando ao longo do tempo e se estou observando algum viés específico? Todos os aspectos que você normalmente testaria em soluções analíticas — digamos, soluções determinísticas — precisam ser reconsiderados.

Mas o problema que temos é que não existem testes conhecidos da mesma forma para esses tipos de modelos. Portanto, o que estamos tentando enfocar é muito mais o aspecto da transparência: entender o que o modelo está fazendo, a quais dados ele está acessando, quando está realizando a inferência, tentando adicionar transparência às etapas do processo de inferência e usar isso para tentar rastrear de onde podem vir possíveis desvios e resultados. Espero que, com o tempo, também tenhamos ferramentas de avaliação melhores, e o setor continua desenvolvendo essas ferramentas. Mas acho que essa é realmente a complexidade atual: não existe uma maneira estabelecida e conhecida de testar a exatidão ou a precisão da mesma forma que estamos acostumados.

00:16:02

Bradd Busick: Acho que sua observação está certíssima. Quero dizer, realmente parece que estamos pilotando o avião enquanto ainda tentamos montá-lo, diante de um ambiente regulatório que ainda está sendo definido. Ao analisar todas as organizações com as quais você teve a oportunidade de interagir, se um auditor viesse e se sentasse ao lado da maioria dos CIOs com quem você trabalhou hoje, você acha que as organizações realmente têm uma resposta pronta quando um auditor lhes perguntar: “Então, me diga o que entra e sai do seu LLM. Como ele está sendo governado?”

00:16:33

Dra. Radha Plumb: É engraçado, porque eu estava justamente conversando com o diretor de investimentos de um grande banco, que dizia, basicamente, que não estamos utilizando IA em muitas de nossas decisões de investimento por esse motivo. Não podemos tomar decisões sem poder comprovar quais dados estão entrando e saindo.

Há coisas que podemos fazer e coisas que não podemos fazer, e acho que esse é um bom exemplo de uma situação em que teremos que trabalhar com os auditores e com as autoridades regulatórias para chegar a um meio-termo razoável. O que você pode fazer — e o que todos deveriam estar fazendo — é definir, para decisões altamente regulamentadas, qual é o conjunto delimitado de dados que pode ser utilizado pelo modelo para tomar essa decisão. E isso vai ser, eu acho, um excelente ponto de partida para os reguladores. Acho que, então, a segunda coisa que você deve fazer é usar ferramentas; mais uma vez, temos uma na IBM chamada Watsonx Governance, mas há uma variedade dessas ferramentas de governança que realmente informam o que seu modelo está fazendo. Então, onde seu modelo está realizando inferências? Como ele está se comportando? Essa transparência será realmente importante para os órgãos reguladores.

E, então, a parte final é quando você já incorporou soluções baseadas em agentes… Se você pensar no que é um agente, trata-se de RPA conectada a um conjunto de sinais provenientes de um grande conjunto de dados que você basicamente processa por meio do processamento de linguagem natural. Portanto, esse conjunto de ações precisa estar conectado aos dados. Você deve ser capaz de dizer de forma transparente: “Aqui está o conjunto de ações que ele executa. Aqui estão os limites a partir dos quais essas ações são acionadas.” E isso agora fornece ao auditor tudo, exceto a maneira extremamente detalhada pela qual os dados são transformados pelo modelo para atingir esses limites, e acho que, para a maioria — mas não para todas — setores regulamentados, isso será suficiente para você passar por uma conversa com o auditor.

Vale a pena ressaltar que, no momento, há algumas coisas que ainda não temos uma boa maneira de incorporar nesses sistemas LLM, e parte disso envolve aceitar o que não se pode mudar. Portanto, haverá casos em que você poderá fazer isso e ajudar a usar a tecnologia para otimizar processos, mas será necessário que um ser humanoterá que analisar e tomar a decisão com base nos requisitos legais, e isso também é um conjunto de questões que simplesmente não devemos tentar resolver apenas com tecnologia no momento.

00:18:41

Bradd Busick: Neste momento, é amplamente aceito que a segurança e a velocidade são tratadas pela maioria das organizações como extremos opostos de uma gangorra. Quando a velocidade aumenta, a segurança diminui. Quando a segurança aumenta, você está deixando meu processo mais lento. Você acha que essa concepção em torno de velocidade e segurança realmente se aplica à IA ou é possível, de fato, ter as duas coisas?

00:19:04

Dra. Radha Plumb: Eu acho que é preciso ter os dois, e, por isso, é preciso mudar a perspectiva sobre o momento em que a segurança entra na conversa. Portanto, grande parte do nosso foco na IBM — e isso também era assim no Pentágono — é que a segurança precisa ser incorporada desde o início do projeto. As primeiras conversas que tenho sobre qualquer nova ferramenta de IA são com nosso CISO. Converso com ele muitas, muitas vezes por dia e conheço basicamente todos os membros da equipe dele pelo nome. Isso não é por acaso. É porque, se eu não conseguir definir corretamente as regras de segurança e os insights de que eles precisam, não poderei fazer a implantação.

E iniciar essas conversas desde o início para que eu saiba se é uma decisão de desenvolver ou adquirir, as perguntas que eles precisam fazer, as integrações que querem testar, eu já sei isso desde o início e posso obter respostas rápidas e uma noção imediata se isso vai dar certo ou não. Isso significa que, no final das contas, o resultado que obtemos é um produto que sabemos que estará em conformidade e poderá ser escalonado. E essa segurança por design, creio eu, é o que nos permite equilibrar velocidade e segurança. E eu nem diria “equilibrar”. Eu diria que cria esse efeito de alavanca: segurança desde a concepção significa resultados em conformidade, significa implantação rápida, significa que você pode implementar mais segurança desde a concepção. Esse efeito de alavanca faz com que você avance muito mais rápido.

00:20:20

Bradd Busick: Adorei a maneira como você explicou o fato de conhecer toda a equipe de segurança pelo nome. Eu diria aos nossos ouvintes que esse é um conceito realmente estranho. Em alguns casos, o CISO age contra eles, em vez de trabalhar junto com eles. E, no entanto, o que percebo no que você diz é justamente a importância fundamental — e talvez a vantagem competitiva — de envolver as equipes de segurança e de risco desde o início de uma iniciativa ou capacidade, em vez de apenas no final. Por que você acha que isso é tão raro hoje em dia, considerando o novo mundo em que vivemos?

00:20:51

Dra. Radha Plumb: Acho que, muitas vezes, as pessoas querem implementar soluções rapidamente e acham que, se conseguirem demonstrar valor comercial suficiente a partir dos casos de uso, conseguirão convencer a equipe de segurança a aderir ao projeto. E, muitas vezes, isso força aquela conversa sobre riscos de que estávamos falando no início, em que você diz: “Existe esse grande risco cuja mitigação nos custará muito, e existe esse grande valor comercial; quem, entre o responsável pelo P&L e o CISO, quer assumir esse risco?” E você pode fazer isso, e essa é uma maneira de resolver a questão, mas é um processo lento e gera risco ou rejeição.

Descobrimos que é muito melhor, na verdade, forçar uma conversa bem mais restrita logo no início, que seja: “Onde podemos usar isso? Como queremos usá-lo? Quais dados vamos utilizar? Que riscos estamos criando?” E, junto com o CISO, toda uma série de medidas de mitigação e ajustes incrementais que ocorrem à medida que você desenvolve seu MVP ou realiza seus testes iniciais e de integração, dependendo se trata de uma solução desenvolvida internamente ou adquirida, você pode fazer todas essas coisas ao longo desse processo, o que realmente significa que a decisão final que você toma é: “Ei, temos alguns riscos aqui que não podemos mitigar. Não achamos que sejam tão grandes, considerando o valor comercial. Vamos em frente.” Todo mundo fica muito satisfeito com essa decisão. Mas isso exige muito mais trabalho inicial com a equipe, e as pessoas simplesmente ainda não decidiram mentalmente antecipar todo esse processo. É uma característica do projeto. Não é uma verificação de conformidade.

00:22:14

Bradd Busick: É. Eu adoro isso. A noção de que isso é um recurso de design é perfeita. Acho que é algo novo, e acho que, para alguns, é algo desconhecido, principalmente porque eles não dedicaram tempo para refletir sobre como nós realmente queremos planejar. Em alguns casos, eles foram levados direto para a situação: aliás, você tem uma plataforma de IA, o que você vai fazer com ela? Então, se você pensar nos CIOs de todo o mundo hoje que estão utilizando plataformas que não tinham IA há 10 anos, mas contavam com big data, e agora estão de fato utilizando uma que possui capacidades agentes que são ativadas todas as noites, qual seria a única coisa que você diria a eles que devem começar a fazer de maneira diferente já amanhã?

00:22:54

Dra. Radha Plumb: É engraçado, porque parece que deveria ser uma questão de tecnologia, mas vou falar exclusivamente sobre uma questão de processos, que é exatamente o que eu diria aos seus diretores de TI para fazerem: ir atrás para entender os fluxos de trabalho e como eles se encaixam na sua empresa. Mais uma vez, vou usar a IBM como exemplo, mas fizemos exatamente a mesma coisa no Pentágono: dividimos os negócios em 10 grandesa-a, e, dentro deles, há conjuntos de atividades, e é assim que pensamos na implantação de agentes. Mas, se vocês tiverem esse catálogo, assim que virem novos recursos, assim que virem novas capacidades, você pode mapeá-las muito rapidamente para o conjunto de oportunidades, indicando onde e como elas se aplicam, reunir essas equipes e formar uma equipe multifuncional para ativar e implantar novas tecnologias.

Mas, se você não tiver aquele trabalho inicial um tanto enfadonho relacionado à sua tecnologia, para que você saiba, tipo, “ok, essas são as diferentes etapas do nosso processo de vendas e é assim que elas se relacionam com o nosso Sales Cloud”. Agora, tenho meus novos recursos que acabaram de ser lançados no meu Sales Cloud, ou um novo aplicativo com o qual acabamos de firmar parceria e estamos adquirindo, eu devo saber exatamente para onde elas vão e devo saber para quem posso ligar para dizer: “Ei, vamos montar uma equipe para analisar isso, fazer um teste rápido de 30 dias e ver se realmente aumenta a produtividade, e repetir o processo.” E essa é mais ou menos a abordagem que adotamos: esse investimento inicial é tedioso, mas realmente permite que a implantação ocorra rapidamente.

00:24:14

Bradd Busick: Bem, espero que nossos ouvintes tenham tido as mãos livres hoje, porque você tem compartilhado muitos conhecimentos. Foi um prazer conversar com você, Radha. Muito obrigado por participar do The Savvy CIO.

00:24:24

Dra. Radha Plumb: Obrigada por me receberem.

00:24:31

Bradd Busick: Adorei a conversa de hoje com o Dr. Plumb. Acho que houve alguns pontos que me chamaram a atenção. Primeiro, envolver a equipe de segurança desde o início e com frequência costuma ser o que faz a diferença entre o sucesso e o fracasso em uma implantação. E adorei quando ela destacou: “Conheço todos os profissionais de segurança pelo primeiro nome”. Imagine isso em grande escala em um lugar como o Pentágono, onde, quer dizer, sinceramente, você praticamente precisa ter esse relacionamento para fazer as coisas avançarem. Muitos CIOs que estão ouvindo hoje dependem de seus CISOs e de sua equipe de segurança para todas aquelas coisas com as quais ninguém se importa até que algo dê errado.

Acho que a ênfase do Dr. Plumb na compreensão dos fluxos de trabalho é fundamental. Na ausência de fluxos de trabalho, você vai simplesmente aplicar IA a algo e torcer para que algo incrível aconteça; e, como todos sabemos, as empresas não funcionam à base de esperança. Portanto, acho que dedicar tempo para aplicar essa disciplina, documentar seus fluxos de trabalho e compreendê-los — de modo que, durante uma auditoria, você possa alinhar o fluxo de trabalho com a tecnologia — é a melhor receita para o sucesso.

Por hoje é só. Muito obrigado por nos acompanharem. Sigam-nos para não perderem nenhum episódio. Este foi o The Savvy CIO, apresentado pela Park Place Technologies. Se você quiser saber mais sobre a Park Place, acesse www.parkplacetechnologies.com. E agora, uma última palavra da nossa convidada. Radha, já que o programa se chama “The Savvy CIO”, qual foi a escolha mais inteligente que você já fez na sua carreira até hoje?

00:25:56

Dra. Radha Plumb: Acho que foi a decisão de me dedicar totalmente a entender a IA corporativa. Acho que essa será a área em que as pessoas passarão os próximos cinco a dez anos transformando de fato todos os aspectos da sociedade, e é realmente empolgante poder fazer parte dessa história.

00:26:11

Bradd Busick: Eu adoro essa perspectiva e não poderia concordar mais com você. Sou o seu apresentador, Bradd Busick. E, como sempre, a TI não deve estar apenas à mesa. A TI é a mesa. Fiquem bem.

Radha Plumb

Biografia do convidado

A ilustre Radha Iyengar Plumb, PhD, possui ampla experiência em cargos de liderança nos mais altos escalões do governo, do setor privado e do meio acadêmico. Ela é pesquisadora visitante de destaque na Perry World House e pesquisadora sênior no Laboratório de Inteligência Artificial Responsável da Wharton, na Universidade da Pensilvânia.

Anteriormente, ela atuou como Diretora de Tecnologia Digital e Inteligência Artificial do Departamento de Defesa. Nessa função, liderou os esforços de adoção de IA, dados e análises do Pentágono e criou caminhos inovadores para adquirir e ampliar a tecnologia digital em todo o Departamento de Defesa. Outros cargos que ocupou no governo incluíram funções de alto escalão no Pentágono, no Departamento de Energia e no Conselho de Segurança Nacional.

No setor privado, ela atuou como diretora de pesquisa e análises para confiança e segurança no Google e como diretora global de análise de políticas no Facebook, liderando trabalhos baseados em dados relacionados à segurança, confiabilidade e transparência com o objetivo de aprimorar produtos e operações comerciais. No início de sua carreira, foi economista sênior na RAND Corporation e professora assistente na London School of Economics. Ela possui doutorado em economia pela Universidade de Princeton e bacharelado em ciências pelo MIT.