: :
os agilistas

#232 Como driblar as métricas enviesadas, com Richard Mena da Jussi

#232 Como driblar as métricas enviesadas, com Richard Mena da Jussi

os agilistas
: :

Richard Mena: Como eu sei que aquele fluxo, aquela entrega ou aquele processo precisa minha intervenção? As métricas. As métricas servem para guiar a pessoa: “onde eu vou ajudar? O que custa sair do padrão?”, essa é a melhor forma de as pessoas se comunicarem dentro da organização, de baixo para cima, de cima para baixo, métricas.

Pedro Rangel: Bom dia, boa tarde, boa noite, bem-vindos a mais um episódio dos Agilistas. Hoje a gente vai abrir uma discussão sobre métricas ágeis tendenciosas e compartilhar aí dicas de como identificar e organizar métricas que estão alinhadas com o objetivo das organizações. Como quase sempre, estou aqui com a Diulia. E aí, Diulia, tudo bem?

Diulia Almada: Tudo joia?

Pedro Rangel: Beleza, bem-vinda mais uma vez. Então como a gente tava começando a dizer, uma cultura ágil está diretamente ligada a métricas, a gente adora falar disso aqui na dti e a gente precisa estar sempre atento aí à questão de geração de valor. Hoje a gente vai conversar sobre o desafio de acompanhar indicadores, discutindo aí de forma prática as maneiras para contornar desafios como priorização, comunicação, como eliminar o viés, como fazer o acompanhamento e a nossa grande pergunta é: como planejar médicas efetivas e não cair na cilada das métricas tendenciosas? Então para ajudar a gente nesse desafio e conversar sobre métricas mais uma vez, a gente está aqui hoje com o Richard Mena, que é a agile lead na Jussi, que é uma das empresas que também faz parte aí do grupo da APP, então irmã da dti hoje. Então seja muito bem-vindo, Richard, tudo bem?

Richard Mena: Tudo bem. Bom dia, boa tarde, boa noite para todo mundo.

Pedro Rangel: Richard, conta para a gente um pouquinho aí, para quem não conhece também um pouco da Jussi, mas também sobre você, sua trajetória.

Richard Mena: Eu sou Richard, pelo sotaque vocês percebem que sou peruano, estrangeiro. Eu estou no Brasil desde 2010, o meu relacionamento com métricas nos anos 2002, com o livro A Quinta Disciplina de Peter Senge, me apaixonei. Depois trabalhei e não parei de investigar sobre métricas, estudei estatística, estudei tendências, a ciclologia, números, matemática viva etc. etc. Até hoje, que quase tudo o que eu faço na agilidade e na gestão, na liderança, sempre vão de mãos com métricas indicadores, sempre termino construindo algum dashboard, faz parte do meu script quando eu vou trabalhar hoje.

Pedro Rangel: Então tudo em torno de dados, Richard?

Richard Mena: Tudo em torno de dados, mas algo que eu acredito e que às vezes vai muito na contramão do dado, é que quando falamos de dados, também temos que pensar nas pessoas que estamos não avaliando, acompanhando. Muitos falam que os dados são muito frios, não levam em conta fator humano, não levam em conta a particularidade das pessoas, mas quando você sabe construir com indicadores, as métrica, você pode acompanhar o fluxo, acompanhar os trabalhos de maneira objetiva, levando em conta as pessoas mesmo.

Pedro Rangel: E Richard, você comentou aí que seu companheiro número 1 aí são os dados, então como que você cria um storytelling para mostrar os dados na organização, para os stakeholders?

Richard Mena: Conhecendo os processos, conhecendo as pessoas, conhecendo as necessidades. Não posso chegar em um lugar e dizer: “pronto, vamos fazer lead times, cycle times, vamos fazer produtividade” e tipo, não me importar com o processo, não me importar com o fluxo ou com as pessoas. Eu passo um tempinho, um tempão, conversando com as pessoas, com cada um dos que trabalham dentro daquele fluxo, tentando entender o fluxo, caso exista um fluxo. Mas normalmente, em quase todas empresas, existe um fluxo de trabalho, só que muitas vezes não é documentado, não está escrito na parede “esse é o fluxo”, mas na cabecinha das pessoas esse fluxo existe. Por isso é importante conversar com as pessoas, é importante conversar com cada pessoa dentro da organização e você vai perceber que existe um fluxo e através dele você conseguir construir indicadores, métricas.

Diulia Almada: Maravilhoso. Isso é muito importante de ser dito e é muito legal que ele comentou logo no começo, porque a gente tende a cair naquela lógica de assim “quais são as métricas que as pessoas estão acompanhando? O que está aparecendo aí no mercado? Que as pessoas estão tentando levantar?” e aí vai muito mais por uma engenharia reversa assim, de focar na métrica sem focar no que realmente importa, do que de realmente sentar, tentar entender o que faz sentido, qual que é realmente o ponto chave que vai ajudar a orientar o produto.

Pedro Rangel: A gente até falou disso em um outro episódio, que métricas são um quantificador da estratégia. Então antes de você quantificar a estratégia, conhece ela, domine o processo, domine o negócio, tenha conexão com as pessoas que estão conduzindo aquele fluxo, como o Richard comentou. Acho que isso é importante mesmo.

Diulia: E aí Richard, acho que o os geral você já comentou super bem, do ouvir, de estar ali tentando entender, você teria outras dicas, outros conselhos com relação ao processo de definição e até do início de acompanhamento das métricas?

Richard Mena: Vou te responder complementando o teu comentário. Um dos maiores problemas e dilemas que hoje tenho é porque a empresa que eu vou dar consultoria é isso, mas no mercado está muito diferente, o lead time daqui para aqui, mas no mercado ou mais, aquele livro diz que tenho que fazer tipo de A a Z e eu fico pensando mas o que tem a ver? Eu sempre dou o exemplo médico, todo mundo toma Paracetamol, então você vai tomar Paracetamol? Todo mundo hoje toma determinado remédio, mas significa que esse remédio vai te fazer bem a ti, na tua circunstância? Não. O mesmo acontece com os indicadores, temos que saber qual o remédio e tratamento que vamos seguir e, para saber o tratamento, temos que fazer um diagnóstico.

Pedro Rangel: Dipirona de 6 em 6 horas só se tiver dor, é isso?

Richard Mena: Exatamente.

Diulia: E como que a gente pode a gente trabalha a eficácia das métricas escolhidas? Porque a gente vê muitos times que têm esse dilema da definição, de conseguir chegar no que realmente importa, mas depois de definir, como é que segue, para poder entender a eficácia, se esse realmente essa métrica continua relevante, se tem alguma outra coisa que a gente poderia estar acompanhando também?

Richard Mena: Perfeito. Aí vamos pensar aonde queremos chegar. Eu quero chegar a entregar mais? Melhorar minha qualidade, diminuir desperdício? Levando em conta isso, vamos construir métricas que acompanhem isso. Agora, vamos ver cuidado com aquelas métricas de vaidade, vamos ter cuidado com aquela métrica para somente alimentar o ego ou somente falar para nosso chefe que estamos trabalhando muito. Temos que pensar aonde queremos chegar. Isso é o que mais é destrói times, é o que mais destrói organizações em si, porque levando conta que muitos gerentes e gestores não podem administrar ou saber o que acontecem em 500 squads? Eles querem seguir pelo relatório melhor relatório, pelos dados que chegam a eles e os dados que chegam a eles são construídos pelos construídos líderes que estão embaixo deles. E se esses dados estão simplesmente focados em métricas de vaidade, basicamente dizer, ta tudo maravilhoso, lindo, depois você descobre que a empresa está perto da falência, que tua receita está lá embaixo etc. Já vi empresa falir só por se guiar por métricas de vaidade.

Pedro Rangel: Você tem algum exemplo de cabeça de métrica de vaidade?

Richard Mena: Vendas. Eu estou vendendo 90% de estoque, beleza. Mas esse 90% de estoque custa 10% daquele tu estás vendendo um monte de produto de 1 real, porém aquele produto de 10 mil reais, que de verdade levantaria tuas vendas, não estás vendendo nenhum. Então você não estás produzindo. O outro exemplo, falando em desenvolvendo, você entregando mil história, 100 histórias por mês, mas quantos incidentes gerou? Quantos bugs gerou? Quantas reclamações os clientes geraram? Porque atrás e um incidente vem reclamação, vem desconforto do cliente, então vamos trabalhar quais são nossos problemas, construir uma métrica que nos permita diminuir os nossos problemas ou alcançar um ponto de melhoria. Eu posso dar muitos exemplos de como dar errado com métricas, podemos ficar o dia todo.

Diulia: E é interessante essa segunda que você comentou, é o que aparece com muita frequência aqui para a gente. Os clientes querendo medir algo e aí por medir algo começam: quantos features foram entregues? Quantas histórias foram entregues? E a gente sempre tenta puxar para o lado do “a gente pode até fazer essa medição, mas o que importa para a gente é entender se a gente está resolvendo o seu problema”.

Pedro Rangel: É, vai estar fazendo muito e não necessariamente fazendo certo.

Diulia: É porque a gente pode entregar assim 20 features, mas se só duas delas forem impactar no resultado que a gente realmente espera alcançar, em resolver o problema, a gente na verdade tem uma métrica que indica que o time gastou tempo demais fazendo coisas que não vão gerar retorno. Então é ter essa atenção no que realmente importa.

Pedro Rangel: Como o Richard falou, exemplos de métricas que estão vaidosas ou tendenciosas, acho que é o que mais existe. E aí, Richard, como que a gente pode convencer os stakeholders na organização que uma médica parou de fazer sentido ou que ela ficou vaidosa ou ficou tendenciosa, que está espetacular na superfície, mas que não está trazendo resultado?

Richard Mena: Essa é a parte mais difícil, porque normalmente quando você muda a métrica que você normalmente entrega a um gestor, e do nada você muda para outra, ele vai dizer: “ué, por que você está entregando outra coisa, o que aconteceu?” e ali simplesmente, através dos mesmos dados você vai dizer: “eu já alcancei as metas que eu precisava te mostrar com essa métrica, então já não são necessárias, nossos novos problemas, nossa nova visão, nós hoje estamos olhando para esse outro lugar, então vamos acompanhar essa nova métrica com essa nova meta, com esses indicadores”, pronto. Cada médica, cada indicador tem que ir acompanhado com um objetivo, o objetivo pode ser solucionar um problema, procurar uma melhoria ou tentar chegar a algum lugar e sozinha, organicamente, você vai perceber: “pronto, eu cheguei” e ficando o mais perto possível. Vamos agora procurar outro objetivo. Podemos continuar usando essa métrica? Claro, podemos. Mas em algum momento vai ficar muito poluído de números e os números principais que você precisa saber para ficar meio que camuflado entre esse universo, entre os números, por isso é interessante meio que ir depurando aqueles que por enquanto não são uma prioridade. Mas você pode continuar entregando, mas deixando claro: “vamos dar maior visibilidade a essas aqui, essas aqui se você quiser pode continuar acompanhando”, mas entender que já não são tão prioritários quanto era no passado.

Diulia: Está muito legal isso, porque às vezes eu vejo times, aí falando mais do pilar de produto, de design, das pessoas falando “nossa, a gente tem que ter métrica. Então vamos colocar o Hotjar, o Clarity, o Analytics, vamos levantar um monte de dados”, aí dois meses depois volta: “e aí gente, como é que está o acompanhamento de métricas, a gente está com as ferramentas, mas a gente ainda não definiu o que a gente vai acompanhar de fato”, aí você fica assim: “gente, vocês podiam estar fazendo a requisição no banco, de uma única métrica que fosse relevante e isso ia estar sendo um norte muito mais relevante do que necessariamente só colocar as ferramentas ali”, mas às vezes é tanto dado que fica disponível que a gente não sabe nem para onde ir. E aí pode cair muito nas métricas que são tendenciosos porque você fala: “essa daqui está bonita, essa daqui cresceu”.

Pedro Rangel: Semana passada eu participei de uma reunião de um time de produto, é uma reunião que eles têm com cadência, que eles chamam de product analytics e que eles convidam alguns stakeholders mais pessoas chave do tipo de produto, eles analisam lá a ferramenta, aquela página gigantesca com vários gráficos e vários dados e  eles vão discutindo alguns dados que estão ali na tela. No final da reunião, eu perguntei para galera assim, eu falei: “pessoal, mas vocês chegam na reunião com algum objetivo, vocês analisam as métricas já com algum norte?” e tal. Aí eles responderam o seguinte: “não, antes da reunião a gente lança para todo mundo qual é a hipótese que a gente tem aí e a gente parte”, só que eu não conhecia qual era a hipótese, eu cheguei de gaiato na reunião. Aí eu falei assim: “agora eu gostei”, acho que linka muito com isso que o Richard falou, primeiro você tem que ter qual a pergunta você quer responder, antes de olhar para as métricas;

Richard Mena: Perfeito, perfeito, eu estou encantado com isso. Eu vou tentar um exemplo que eu tive em uma consultoria, em uma empresa aqui em Salvador. Eu cheguei e tinha aproximadamente 84 métricas, tinha um dashboard de 12 páginas, aproximadamente e eu ficava olhando tipo: “Dios mio, me tira daqui”. Porém, aqui chegamos a outro ponto, é interessante também, sobre ter muitas métricas, nem todas as métricas vaõ servir as mesmas pessoas, por que eles tinham tantas métricas? Porque em algum momento chegou um ou outro consultor e recomendou ter métrica A, B, C, D e chegou todo o abecedário e inventou um novo abecedário para preencher as métricas, porém ele não percebeu que as métricas A, B e C por exemplo, somente servem para os coordenadores, métrica X somente servem para POs, outras para PMs, outro para assistentes, o outo para operacional, o outro para devs, outro para vendedores etc. Então se você quebrava isso, essas métricas, esse dashboard, somente para as pessoas que precisavam vê-los, sinceramente, cada papel só observava 4 ou 5 métricas, que juntaram em um universo, em um megazord de métricas que quando eu chegava ali, ficava perdido totalmente, então eu simplesmente reorganizei aquele dashboard, no lugar de criar mais pastas, criei mais páginas, porém com um índice, você que é secretário, você é coordenador, você é vendedor etc. e levava a página onde estão na métricas, que verdadeiramente agregavam valor a essa pessoa, a esse papel, então também vamos lembrar isso. Pode ser muitas médica? Sim, até que pode, mas vamos lembrar a quem serve essas métricas, a que pessoa vamos apresentar essas métricas?

Pedro Rangel: E a gente tem falado muito de eficiência nos nossos episódios mais recentes aqui, Richard, e isso que você me falou, assim, eu posso estar vivendo em um mundo meio tópico, mas eu acredito muito que com um storytelling bem contado, poucas métricas vão servir para você avançar, certo? E aí você fica dashboard gigantescos, que você pode até ter um processo bem automatizado para obter as métricas, mas você vai parar um time, ou a organização toda às vezes, para olhar vamos supor, 84 métricas, é muito contraprodutivo, porque analisar as métricas é importante, mas 84 você está parando muita gente para fazer um processo que de fato não agrega valor ainda, na produção final, vamos dizer. Então assim, me parece muito contra eficiente.

Diulia: É quase como se a gente tivesse um mapa, só que tivessem várias camadas de informação nesse mapa e aí cada pessoa precisaria se orientar por uma dessas camadas. Só que você coloca todas meio que encavaladas e na verdade as coisas começam a se sobrepor e fica difícil de realmente o mapa orientar alguém, porque você não consegue encontrar a informação que você precisa, então é um cuidado muito importante mesmo.

Richard Mena: Aqui também, antes de eu deixar esquecer, espero não estar mudando muito o assunto que é o seguinte, no momento de apresentar métricas temos muitos problemas, até hoje eu percebo muito isso, por exemplo, chega uma pessoa falando “esta é a média de entregas” e na verdade ele está entregando um percentil, está é a mediana desses dados, está entregando uma moda. Às vezes a própria pessoa que constrói a métrica, o faz de uma forma tão robótica, tão by the book, que eles constroem um número, mas falam, por costume ou por ficar chique, pelo que for, falam outra coisa e terminam confundindo a pessoa. Temos uma grande diferença quando construímos uma média, quando construímos um percentil ou até quando construímos como um percentil de uma média, cada um tem um objetivo diferente, cada um nós vai fornecer informação da mesma camada e dados diferentes, com um objetivo diferente e até hoje tem muitos erros, exemplos básicos de produto básico, mas tem erros de apresentação de dados mais complexos, onde ele fala uma unidade e na verdade está utilizando outra, isso acontece para caramba. Não sei se já aconteceu com vocês.

Pedro Rangel: Sim, e é terrível também, às vezes a pesquisa super complexa, super inteligente, mas mata na apresentação porque comete esses erros, faz confusão com o dado, com o indicador.

Diulia: E aí, Richard, o que você tem também de dica a respeito de a gente conseguir promover uma cultura de análise crítica e de discussão aberta em torno das métricas, para que inclusive a gente possa olhar para uma métrica e falar: “essa métrica é ela mesmo?” e a gente não cair no que você acabou de comentar, de só ver na apresentação ali e aí não conseguir olhar e falar assim: “nossa, isso daqui está com uma média, mas isso é uma moda, isso é uma mediana”, como é que a gente ajuda a organização a ter esse senso crítico?

Richard Mena: Primeiro utilizar livros, ou exemplos, artigos, como referência e não como copia e cola, número 1. Número 2, que todos os stakeholders e pessoas que participam do processo participem da construção dos números, vamos evitar poluir a quantidade de número que estamos utilizando. Eu acredito que para um objetivo, no máximo é duas métricas, 3 métricas, 4 já estamos exagerado, tem objetivos que tem 4, mas difícil. Você pode ter mais nenhum objetivo? Pode, mas vamos construir um dashboard limpo, o mais limpo possível, vamos reduzir nosso problema na origem dos dados, por exemplo, usando um jira de vida, vamos procurar saber que as pessoas estão preenchendo os dados no momento certo, que esse também é um dos graves problemas que geram dados tendenciosos, quanto eu confio na origem de meus dados? É uma pergunta que eu tenho que me fazer, quanto eu confio nessa origem dos dados? Porque eu posso seguir toda a regrinha, construir um bom gráfico, construir uma boa fórmula, apresentar muito bem, mas a origem de meus dados tem um baixíssimo valor de confiança, por quê? Porque atualizam no último dia, porque não movimentam os cálculos certos, porque pulam, porque burlam, porque no fim nenhuma das regrinhas ou políticas são feitas naquele board, tudo isso quebram os números, eu ia me subestimar muito o fato de voltar um card. “Ah, mas tem que voltar, mas tem que voltar”, qual é a política do board? Dentro da política do board diz voltar? Sim, não, pronto. Se for Kanban, Scrum, XP, tanto faz, o que importa é qual a política que você decidir, por quê? Porque tuas métricas vão ser construídas seguindo essa política, seguindo essa lógica, então às vezes nós podemos fazer tudo direitinho na camada de gestão, na camada de construção do dado, mas a origem tem que ser o valor da confiança, então se você perceber, isto é uma pirâmide cultural, que vamos ter que educar gestor, a pessoa que construiu o número, a pessoa que alimenta os números, não é algo que você faz um dia para outro, construir o número as vezes é até fácil, implantar a cultura do número, das métricas é um trabalho mediano a longo prazo.

Pedro Rangel: Gostei muito do que você falou sobre as referências também, Richard. Porque dependendo de qual que é o segmento do seu negócio, determinado conjunto de métricas vai ser mais aderente e alguém já fez antes, então por que não fazer o benchmarking, pelo menos? Claro que você faz ali a adaptação para o seu contexto, tem que fazer a sua própria pesquisa, olhar para a estratégia do seu negócio, mas já existe ali um conjunto, a biblioteca de métricas já é super gigantesca, então fazer um benchmarking também é bom.

Richard Mena: Sim, para que reinventar a roda, se existem muitos modelos? Bem diferente, eu repito, é fazer um copia e cola a usar algo de referência, são duas coisas diferentes. Você pode usar referências e multas, porque tem muito boas, mas sempre levando em conta a particularidade da sua empresa, a particularidade dessa organização, de seu time, de seu cliente, de seu produto, de seus processos, todas tem particularidades.

Pedro Rangel: E ao buscar referência, tomar cuidado de ver se a sua referência também não está tendenciosa, ou de vaidade.

Richard Mena: Não vou chegar nesse ponto para não ser o polêmico do dia, mas sim. Já vi blogs, artigos de LinkedIn falando de métricas e você vai ler com calma, depois diz: “oh my God, o que ele escreveu, por que ele escreveu isso?”.

Pedro Rangel: O LinkedIn é muito fértil para isso, com certeza.

Diulia: E inclusive queria saber o que você tem de dica para o pessoal com relação a conseguir identificar que aquela métrica tem algum viés ou conseguir sabatinar uma métrica para poder, antes de levar para os stakeholders, antes de levar para uma apresentação, conseguiu olhar e falar assim “não, estou seguro de que essa métrica aqui” ou o time está seguro, “de que essa métrica faz sentido e ela está sendo calculada da maneira que também faz sentido”?

Richard Mena: Perfeito. Vamos fazer-nos a seguinte pergunta: eu confio nos dados da origem? Sim, beleza, ponto 1. A linguagem que estou comunicando meus números e meus dados está certa? Ok, feito, check. Essa estrutura da apresentação é ótima para o tipo de pessoa que eu vou apresentar? Sim, não, pronto. Lembrando, as vezes o problema não é a métrica, mas como você apresentou a métrica, tem gestores que gostam de números bem grande, tem que pensar nisso, senão vai para Marte, vai para Júpiter e ele nem vai saber que você falou. Seguinte: qual é meu objetivo? Que problema quero solucionar e apresentar como esse problema? Eu estou atendendo isso? A último pergunta. Pega teu primo, teu sobrinho, sei lá, quem for ele, olha para essa métrica, o que você entende? Se ele conseguir te responder o mínimo, beleza, está ótima a tua métrica, apresenta na fé, vai na fé. Aí estou exemplificando bastante coisa, porque, tudo que conversamos como um checklist de que coisa deveria ter minha métrica, para eu saber que eu posso apresentar sem medo? A técnica de mostrar para alguém sem explicar nada é maravilhoso, tipo nunca erra.

Pedro Rangel: Isso é muito legal que você falou, Richard, porque nós temos grandes clientes aqui na dti, então a gente faz muitas reviews executivas, onde a gente leva resultados, métricas etc. Então é quase que pegar a métrica da métrica, que você tem que observar o feedback e a reação das pessoas àquilo que você está apresentando e ir adaptando, isso é ser ágil na concepção da métrica também, para que no próximo ciclo você possa fazer uma apresentação da métrica cada vez melhor.

Richard Mena: Perfeito.

Diulia: Uma coisa que a gente costuma comentar aqui com relação à questão das apresentações, do formato, como vai ser levado para os stakeholders essas métricas, é muito no sentido de às vezes fica muito monótono, a pessoa entra, aí começa aquele relatoriozão, que parece que está sendo feito com a voz do Google e aí a pessoa não consegue ter uma noção do que é prioridade, está bom, está ruim, a partir disso o que a gente faz, não consegue ter os gatilhos para poder falar “caramba, aqui a gente precisa agir, aqui vocês estão precisando da minha ajuda, aqui o time chegou em um resultado legal” e conseguir ter uma visão geral mais efetiva. Não necessariamente mostrar métricas é comunicar essas métricas, porque tentando ser empático com o stakeholder, as vezes a pessoa já fez diversas reuniões, já conversou de diversas coisas ao longo do dia, que não necessariamente aquele produto que a gente está falando e aí de repente entra em uma reunião e aí tem que fazer o download de tudo, de uma vez, todas as informações e tudo que diz respeito, para poder ter um senso crítico ali. O time consegue ajudar isso, dependendo da forma como vai fazer o storytelling da apresentação, voltando lá na pergunta lá de trás.

Richard Mena: Perfeito, você comentou algo interessantíssimo e que é o objetivo de toda métrica: onde eu preciso atuar, onde eu preciso ajudar? É o gerente, é o manager, é o PO, é PM, é o agilista, coach lead? Onde eu preciso ajudar? Como eu sei que se eu atuo nas entregas dos QA, dos devs, dos writers, dos UX, eu vou estar agregado valor? Porque o meu tempo é curto, mas eu preciso fazer algo, como eu sei que aquele fluxo ou aquele entrega, ou aquele processo precisa da minha intervenção? As métricas servem para guiar a pessoa a dizer onde eu vou ajudar, que coisa saiu do padrão, essa é a melhor forma de as pessoas se comunicarem dentro da organização, de baixo para cima, de cima para baixo.

Pedro Rangel: Legal, eu acho que eu tenho uma última aqui. Eu sei que a gente pode falar eternamente de métrica.

Diulia: A gente pode ir falando até…

Pedro Rangel: A gente falou um pouco, a pergunta anterior que eu fiz, Richard, foi como a gente convencer quando a gente tem que mudar as métricas porque a gente identificou que elas estão tendenciosa ou vaidosas, mas em uma situação de imprevisto no meio do caminho, como que a gente lida com a mudança de estratégia? Aí a gente tem que mudar as métricas por conta de mudança de estratégia?

Richard Mena: Ou quando não tem estratégia. Tem isso ainda. Então, mesma coisa, eu preciso ter uma conversa direita com os gestores. Sim, se minha estratégia muda, é óbvio  que vai mudar para onde eu estou mirando e para onde eu vou mirar, tenho que construir métricas que me ajudem a comunicar melhor ou a saber o que está acontecendo. Então novamente, eu posso continuar apresentando os antigos, mas sempre falando “meu foco agora é aqui, por quê? Essa estratégia foi despriorizada, esse tipo de problema foi despriorizado, mas aqui temos que fazer outra análise”, muitas vezes nossa estratégia é uma, porém os problemas do time, da squad, da tribo são bem diferentes do que a estratégia precisa. Então o que vou solucionar? O problema da minha tribo ou o caminho para cumprir a estratégia? O que solucionamos primeiro? Vamos pensar, no meu caso eu vou pela tribo, porque se tenho uma tribo problemática, com problemas onde for, não vai ter estratégia do mundo que eles conseguiam seguir, então é ali onde nós vamos precisar, dependendo do cenário. A minha me encantaria falar: “essa aqui é a receita do bolo”, se a estratégia muda, você muda a métrica, se a estratégia fica, a métrica fica, me encantaria falar isso, ensinar a receita do bolo, na fórmula de A mais A, B, mas não. Tudo depende do cenário, então se a estratégia mudou, beleza, como está a métrica? Precisamos essas métricas para acompanhar essa tribo, essas métricas vão orientar a que? Que tipo de comunicação? Então por isso que eu falei no início que com métricas a gente fica filosofando o ser e não ser.

Pedro Rangel: E inclusive, Richard, idealmente quem te sinalizou que a estratégia precisava mudar teria sido a métrica, não é? Então se o storytelling tiver bem encaixado, na verdade isso você tem que se reorganizar com aquela estratégia, mas você vai continuar usando métricas.

Richard Mena: Mas lembrando que no mundo ideal seria lindo se acontecesse isso, mas nem sempre a mudança de estratégia, nem sempre acontece isso. Nos encantaria que o planeamento seja feito com as métricas que todo mundo siga, aquela utopia maravilhosa, mas não, a estratégia muda porque o mercado mudou ou porque explodiu uma guerra, porque teve a pandemia, então temos que se adaptar do jeito que for. E você aqui pode ter toda a razão do mundo em seguir essas métricas, mas poxa, o mundo mudou, temos que fazer alguma coisa, por exemplo, pandemia, mudar de trabalhar em escritório para trabalhar em home office, agora eu agilista, como vou fazer? Como tenho que mudar meu pensamento, minha estratégia? Lembra mudou tudo, não quer dizer que seus dados estejam errados, estão certíssimos naquele momento, um dia antes estava certíssimo. Porque isso te fez forçar a mudar, ou não.

Pedro Rangel: Vamos tentar promover um insight final aqui, Richard, um conselho alguma coisa, Por exemplo, eu peguei muito do que você falou aí de que as métricas elas são um meio não o fim, então você continua tendo que ter aquela pergunta, aquele objetivo, mas o que você diria que é o principal aí dos conselhos que você deixou para o pessoal?

Richard Mena: Pensando hoje na atualidade, deixaria 2: cuida da tua origem dos dados, e segundo: pensa bem, muito bem, a quem você está entregando porque isso vai te permitir construir uma melhor linguagem para essa pessoa, porque às vezes nós, ou muitas vezes, ou sempre, utilizamos as métricas para vender algo, para vender uma ideia, queremos vender o que? Que o time tem problemas, você tem que saber vender números, porque às vezes muito gestores só entendem métrica e se você quer dizer que aquele time, aquela tribo está com problemas, aquele produto vai dar bomba, você vai fazer métrica, você tem que saber comunicar isso. Então esses seriam meus conselhos, origem dos dados e a quem você está vendendo.

Pedro Rangel: Legal, Richard, obrigado. Eu vou fazer uma, uma indicação de leitura aqui, que normalmente a gente gosta de deixar algumas referências para o pessoal, que eu acho que tem muito a ver com o nosso papo aqui hoje. Aí Richard, você fica à vontade também se quiser fazer alguma outra indicação, mas é um livro que chama Planning and Designing Effective Metrics, eu não tenho certeza se existe ele em português, então por isso que eu estou falando dele aqui em inglês. É de um autor especialista em métricas, ele chama Martin Klubeck e ele oferece uma teoria atrás da métrica, então acho que tem muito a ver com isso que a gente falou aqui, do nosso papo de ter um objetivo orientando o caminho para as métricas, ele traz quase que um passo a passo para criar uma imagem da saúde organizacional das empresas. Aí aqui a única reflexão que eu deixo é: vejam esse passo a passo de forma crítica, como a gente está falando aqui, não aceitem qualquer exemplo ou referência como verdade, tem que fazer aquela crítica do que vale para o seu contexto, mas falando do benchmarking é que a gente trouxe ali, ele traz umas referências muito boas, uns exemplos muito legais. Então fica uma indicação de leitura aí para a galera.

Richard Mena: Adorei. Eu te indicaria, como sempre indico, métricas ágeis, porque é o básico do básico que é você entender, se você entendeu, a bíblia das métricas. Algo que eu sempre indico, ainda que alguns considerem um livro velho, fora de atualidade, é a Quinta Disciplina, eu até hoje eu continuo lendo essa livro, porque sai várias edições. Sai edição nova, eu vou comprar lá.

Pedro Rangel: Certos livros são atemporais também, Richard, não está velho não.

Richard Mena: A Quinta Disciplina para mim nunca morre, até hoje eu continuo lendo, até hoje continuo revisando ele, está certo? E são os livros que eu recomendaria hoje para vocês.

Diulia: Richard, foi um prazer gigantesco te ter aqui com a gente, o papo foi muito legal, muito enriquecedor, com certeza novos convites vêm por aí, a gente vai encontrando outros temas também para poder conversar sobre. Muito obrigado pela disponibilidade e para quem está nos ouvindo, continue mandando comentários para @osagilistas no Instagram ou pelo e-mail osagilistas@dtidigital.com.br, que estamos sempre trazendo conteúdos complementares e divulgando os novos, através desses canais, inclusive quando sai cada episódio, quando sai newsletter, enfim, todas as novidades que a gente tem para vocês. Inclusive, falando da newsletter, para quem quiser estender o aprendizado, não deixe de assinar, é um material rico que a gente faz, com os temas mais relevantes do ágil na atualidade e a gente sempre traz conteúdos exclusivos que vão te ajudar no seu dia a dia, sempre com um teor muito prático.

Pedro Rangel: É isso aí, sigam o Richard Mena lá no LinkedIn também, sigam também Os Agilistas e é isso, obrigado, Richard, prazer em ter você aqui com a gente.

Richard Mena: Obrigado a vocês, excelente papo, adorei.

Pedro Rangel: Também adorei, até a próxima.

Giulia: Até.

Richard Mena: Como eu sei que aquele fluxo, aquela entrega ou aquele processo precisa minha intervenção? As métricas. As métricas servem para guiar a pessoa: “onde eu vou ajudar? O que custa sair do padrão?”, essa é a melhor forma de as pessoas se comunicarem dentro da organização, de baixo para cima, de cima para baixo, métricas. Pedro Rangel: Bom dia, boa tarde, boa noite, bem-vindos a mais um episódio dos Agilistas. Hoje a gente vai abrir uma discussão sobre métricas ágeis tendenciosas e compartilhar aí dicas de como identificar e organizar métricas que estão alinhadas com o objetivo das organizações. Como quase sempre, estou aqui com a Diulia. E aí, Diulia, tudo bem? Diulia Almada: Tudo joia? Pedro Rangel: Beleza, bem-vinda mais uma vez. Então como a gente tava começando a dizer, uma cultura ágil está diretamente ligada a métricas, a gente adora falar disso aqui na dti e a gente precisa estar sempre atento aí à questão de geração de valor. Hoje a gente vai conversar sobre o desafio de acompanhar indicadores, discutindo aí de forma prática as maneiras para contornar desafios como priorização, comunicação, como eliminar o viés, como fazer o acompanhamento e a nossa grande pergunta é: como planejar médicas efetivas e não cair na cilada das métricas tendenciosas? Então para ajudar a gente nesse desafio e conversar sobre métricas mais uma vez, a gente está aqui hoje com o Richard Mena, que é a agile lead na Jussi, que é uma das empresas que também faz parte aí do grupo da APP, então irmã da dti hoje. Então seja muito bem-vindo, Richard, tudo bem? Richard Mena: Tudo bem. Bom dia, boa tarde, boa noite para todo mundo. Pedro Rangel: Richard, conta para a gente um pouquinho aí, para quem não conhece também um pouco da Jussi, mas também sobre você, sua trajetória. Richard Mena: Eu sou Richard, pelo sotaque vocês percebem que sou peruano, estrangeiro. Eu estou no Brasil desde 2010, o meu relacionamento com métricas nos anos 2002, com o livro A Quinta Disciplina de Peter Senge, me apaixonei. Depois trabalhei e não parei de investigar sobre métricas, estudei estatística, estudei tendências, a ciclologia, números, matemática viva etc. etc. Até hoje, que quase tudo o que eu faço na agilidade e na gestão, na liderança, sempre vão de mãos com métricas indicadores, sempre termino construindo algum dashboard, faz parte do meu script quando eu vou trabalhar hoje. Pedro Rangel: Então tudo em torno de dados, Richard? Richard Mena: Tudo em torno de dados, mas algo que eu acredito e que às vezes vai muito na contramão do dado, é que quando falamos de dados, também temos que pensar nas pessoas que estamos não avaliando, acompanhando. Muitos falam que os dados são muito frios, não levam em conta fator humano, não levam em conta a particularidade das pessoas, mas quando você sabe construir com indicadores, as métrica, você pode acompanhar o fluxo, acompanhar os trabalhos de maneira objetiva, levando em conta as pessoas mesmo. Pedro Rangel: E Richard, você comentou aí que seu companheiro número 1 aí são os dados, então como que você cria um storytelling para mostrar os dados na organização, para os stakeholders? Richard Mena: Conhecendo os processos, conhecendo as pessoas, conhecendo as necessidades. Não posso chegar em um lugar e dizer: “pronto, vamos fazer lead times, cycle times, vamos fazer produtividade” e tipo, não me importar com o processo, não me importar com o fluxo ou com as pessoas. Eu passo um tempinho, um tempão, conversando com as pessoas, com cada um dos que trabalham dentro daquele fluxo, tentando entender o fluxo, caso exista um fluxo. Mas normalmente, em quase todas empresas, existe um fluxo de trabalho, só que muitas vezes não é documentado, não está escrito na parede “esse é o fluxo”, mas na cabecinha das pessoas esse fluxo existe. Por isso é importante conversar com as pessoas, é importante conversar com cada pessoa dentro da organização e você vai perceber que existe um fluxo e através dele você conseguir construir indicadores, métricas. Diulia Almada: Maravilhoso. Isso é muito importante de ser dito e é muito legal que ele comentou logo no começo, porque a gente tende a cair naquela lógica de assim “quais são as métricas que as pessoas estão acompanhando? O que está aparecendo aí no mercado? Que as pessoas estão tentando levantar?” e aí vai muito mais por uma engenharia reversa assim, de focar na métrica sem focar no que realmente importa, do que de realmente sentar, tentar entender o que faz sentido, qual que é realmente o ponto chave que vai ajudar a orientar o produto. Pedro Rangel: A gente até falou disso em um outro episódio, que métricas são um quantificador da estratégia. Então antes de você quantificar a estratégia, conhece ela, domine o processo, domine o negócio, tenha conexão com as pessoas que estão conduzindo aquele fluxo, como o Richard comentou. Acho que isso é importante mesmo. Diulia: E aí Richard, acho que o os geral você já comentou super bem, do ouvir, de estar ali tentando entender, você teria outras dicas, outros conselhos com relação ao processo de definição e até do início de acompanhamento das métricas? Richard Mena: Vou te responder complementando o teu comentário. Um dos maiores problemas e dilemas que hoje tenho é porque a empresa que eu vou dar consultoria é isso, mas no mercado está muito diferente, o lead time daqui para aqui, mas no mercado ou mais, aquele livro diz que tenho que fazer tipo de A a Z e eu fico pensando mas o que tem a ver? Eu sempre dou o exemplo médico, todo mundo toma Paracetamol, então você vai tomar Paracetamol? Todo mundo hoje toma determinado remédio, mas significa que esse remédio vai te fazer bem a ti, na tua circunstância? Não. O mesmo acontece com os indicadores, temos que saber qual o remédio e tratamento que vamos seguir e, para saber o tratamento, temos que fazer um diagnóstico. Pedro Rangel: Dipirona de 6 em 6 horas só se tiver dor, é isso? Richard Mena: Exatamente. Diulia: E como que a gente pode a gente trabalha a eficácia das métricas escolhidas? Porque a gente vê muitos times que têm esse dilema da definição, de conseguir chegar no que realmente importa, mas depois de definir, como é que segue, para poder entender a eficácia, se esse realmente essa métrica continua relevante, se tem alguma outra coisa que a gente poderia estar acompanhando também? Richard Mena: Perfeito. Aí vamos pensar aonde queremos chegar. Eu quero chegar a entregar mais? Melhorar minha qualidade, diminuir desperdício? Levando em conta isso, vamos construir métricas que acompanhem isso. Agora, vamos ver cuidado com aquelas métricas de vaidade, vamos ter cuidado com aquela métrica para somente alimentar o ego ou somente falar para nosso chefe que estamos trabalhando muito. Temos que pensar aonde queremos chegar. Isso é o que mais é destrói times, é o que mais destrói organizações em si, porque levando conta que muitos gerentes e gestores não podem administrar ou saber o que acontecem em 500 squads? Eles querem seguir pelo relatório melhor relatório, pelos dados que chegam a eles e os dados que chegam a eles são construídos pelos construídos líderes que estão embaixo deles. E se esses dados estão simplesmente focados em métricas de vaidade, basicamente dizer, ta tudo maravilhoso, lindo, depois você descobre que a empresa está perto da falência, que tua receita está lá embaixo etc. Já vi empresa falir só por se guiar por métricas de vaidade. Pedro Rangel: Você tem algum exemplo de cabeça de métrica de vaidade? Richard Mena: Vendas. Eu estou vendendo 90% de estoque, beleza. Mas esse 90% de estoque custa 10% daquele tu estás vendendo um monte de produto de 1 real, porém aquele produto de 10 mil reais, que de verdade levantaria tuas vendas, não estás vendendo nenhum. Então você não estás produzindo. O outro exemplo, falando em desenvolvendo, você entregando mil história, 100 histórias por mês, mas quantos incidentes gerou? Quantos bugs gerou? Quantas reclamações os clientes geraram? Porque atrás e um incidente vem reclamação, vem desconforto do cliente, então vamos trabalhar quais são nossos problemas, construir uma métrica que nos permita diminuir os nossos problemas ou alcançar um ponto de melhoria. Eu posso dar muitos exemplos de como dar errado com métricas, podemos ficar o dia todo. Diulia: E é interessante essa segunda que você comentou, é o que aparece com muita frequência aqui para a gente. Os clientes querendo medir algo e aí por medir algo começam: quantos features foram entregues? Quantas histórias foram entregues? E a gente sempre tenta puxar para o lado do “a gente pode até fazer essa medição, mas o que importa para a gente é entender se a gente está resolvendo o seu problema”. Pedro Rangel: É, vai estar fazendo muito e não necessariamente fazendo certo. Diulia: É porque a gente pode entregar assim 20 features, mas se só duas delas forem impactar no resultado que a gente realmente espera alcançar, em resolver o problema, a gente na verdade tem uma métrica que indica que o time gastou tempo demais fazendo coisas que não vão gerar retorno. Então é ter essa atenção no que realmente importa. Pedro Rangel: Como o Richard falou, exemplos de métricas que estão vaidosas ou tendenciosas, acho que é o que mais existe. E aí, Richard, como que a gente pode convencer os stakeholders na organização que uma médica parou de fazer sentido ou que ela ficou vaidosa ou ficou tendenciosa, que está espetacular na superfície, mas que não está trazendo resultado? Richard Mena: Essa é a parte mais difícil, porque normalmente quando você muda a métrica que você normalmente entrega a um gestor, e do nada você muda para outra, ele vai dizer: “ué, por que você está entregando outra coisa, o que aconteceu?” e ali simplesmente, através dos mesmos dados você vai dizer: “eu já alcancei as metas que eu precisava te mostrar com essa métrica, então já não são necessárias, nossos novos problemas, nossa nova visão, nós hoje estamos olhando para esse outro lugar, então vamos acompanhar essa nova métrica com essa nova meta, com esses indicadores”, pronto. Cada médica, cada indicador tem que ir acompanhado com um objetivo, o objetivo pode ser solucionar um problema, procurar uma melhoria ou tentar chegar a algum lugar e sozinha, organicamente, você vai perceber: “pronto, eu cheguei” e ficando o mais perto possível. Vamos agora procurar outro objetivo. Podemos continuar usando essa métrica? Claro, podemos. Mas em algum momento vai ficar muito poluído de números e os números principais que você precisa saber para ficar meio que camuflado entre esse universo, entre os números, por isso é interessante meio que ir depurando aqueles que por enquanto não são uma prioridade. Mas você pode continuar entregando, mas deixando claro: “vamos dar maior visibilidade a essas aqui, essas aqui se você quiser pode continuar acompanhando”, mas entender que já não são tão prioritários quanto era no passado. Diulia: Está muito legal isso, porque às vezes eu vejo times, aí falando mais do pilar de produto, de design, das pessoas falando “nossa, a gente tem que ter métrica. Então vamos colocar o Hotjar, o Clarity, o Analytics, vamos levantar um monte de dados”, aí dois meses depois volta: “e aí gente, como é que está o acompanhamento de métricas, a gente está com as ferramentas, mas a gente ainda não definiu o que a gente vai acompanhar de fato”, aí você fica assim: “gente, vocês podiam estar fazendo a requisição no banco, de uma única métrica que fosse relevante e isso ia estar sendo um norte muito mais relevante do que necessariamente só colocar as ferramentas ali”, mas às vezes é tanto dado que fica disponível que a gente não sabe nem para onde ir. E aí pode cair muito nas métricas que são tendenciosos porque você fala: “essa daqui está bonita, essa daqui cresceu”. Pedro Rangel: Semana passada eu participei de uma reunião de um time de produto, é uma reunião que eles têm com cadência, que eles chamam de product analytics e que eles convidam alguns stakeholders mais pessoas chave do tipo de produto, eles analisam lá a ferramenta, aquela página gigantesca com vários gráficos e vários dados e  eles vão discutindo alguns dados que estão ali na tela. No final da reunião, eu perguntei para galera assim, eu falei: “pessoal, mas vocês chegam na reunião com algum objetivo, vocês analisam as métricas já com algum norte?” e tal. Aí eles responderam o seguinte: “não, antes da reunião a gente lança para todo mundo qual é a hipótese que a gente tem aí e a gente parte”, só que eu não conhecia qual era a hipótese, eu cheguei de gaiato na reunião. Aí eu falei assim: “agora eu gostei”, acho que linka muito com isso que o Richard falou, primeiro você tem que ter qual a pergunta você quer responder, antes de olhar para as métricas; Richard Mena: Perfeito, perfeito, eu estou encantado com isso. Eu vou tentar um exemplo que eu tive em uma consultoria, em uma empresa aqui em Salvador. Eu cheguei e tinha aproximadamente 84 métricas, tinha um dashboard de 12 páginas, aproximadamente e eu ficava olhando tipo: “Dios mio, me tira daqui”. Porém, aqui chegamos a outro ponto, é interessante também, sobre ter muitas métricas, nem todas as métricas vaõ servir as mesmas pessoas, por que eles tinham tantas métricas? Porque em algum momento chegou um ou outro consultor e recomendou ter métrica A, B, C, D e chegou todo o abecedário e inventou um novo abecedário para preencher as métricas, porém ele não percebeu que as métricas A, B e C por exemplo, somente servem para os coordenadores, métrica X somente servem para POs, outras para PMs, outro para assistentes, o outo para operacional, o outro para devs, outro para vendedores etc. Então se você quebrava isso, essas métricas, esse dashboard, somente para as pessoas que precisavam vê-los, sinceramente, cada papel só observava 4 ou 5 métricas, que juntaram em um universo, em um megazord de métricas que quando eu chegava ali, ficava perdido totalmente, então eu simplesmente reorganizei aquele dashboard, no lugar de criar mais pastas, criei mais páginas, porém com um índice, você que é secretário, você é coordenador, você é vendedor etc. e levava a página onde estão na métricas, que verdadeiramente agregavam valor a essa pessoa, a esse papel, então também vamos lembrar isso. Pode ser muitas médica? Sim, até que pode, mas vamos lembrar a quem serve essas métricas, a que pessoa vamos apresentar essas métricas? Pedro Rangel: E a gente tem falado muito de eficiência nos nossos episódios mais recentes aqui, Richard, e isso que você me falou, assim, eu posso estar vivendo em um mundo meio tópico, mas eu acredito muito que com um storytelling bem contado, poucas métricas vão servir para você avançar, certo? E aí você fica dashboard gigantescos, que você pode até ter um processo bem automatizado para obter as métricas, mas você vai parar um time, ou a organização toda às vezes, para olhar vamos supor, 84 métricas, é muito contraprodutivo, porque analisar as métricas é importante, mas 84 você está parando muita gente para fazer um processo que de fato não agrega valor ainda, na produção final, vamos dizer. Então assim, me parece muito contra eficiente. Diulia: É quase como se a gente tivesse um mapa, só que tivessem várias camadas de informação nesse mapa e aí cada pessoa precisaria se orientar por uma dessas camadas. Só que você coloca todas meio que encavaladas e na verdade as coisas começam a se sobrepor e fica difícil de realmente o mapa orientar alguém, porque você não consegue encontrar a informação que você precisa, então é um cuidado muito importante mesmo. Richard Mena: Aqui também, antes de eu deixar esquecer, espero não estar mudando muito o assunto que é o seguinte, no momento de apresentar métricas temos muitos problemas, até hoje eu percebo muito isso, por exemplo, chega uma pessoa falando “esta é a média de entregas” e na verdade ele está entregando um percentil, está é a mediana desses dados, está entregando uma moda. Às vezes a própria pessoa que constrói a métrica, o faz de uma forma tão robótica, tão by the book, que eles constroem um número, mas falam, por costume ou por ficar chique, pelo que for, falam outra coisa e terminam confundindo a pessoa. Temos uma grande diferença quando construímos uma média, quando construímos um percentil ou até quando construímos como um percentil de uma média, cada um tem um objetivo diferente, cada um nós vai fornecer informação da mesma camada e dados diferentes, com um objetivo diferente e até hoje tem muitos erros, exemplos básicos de produto básico, mas tem erros de apresentação de dados mais complexos, onde ele fala uma unidade e na verdade está utilizando outra, isso acontece para caramba. Não sei se já aconteceu com vocês. Pedro Rangel: Sim, e é terrível também, às vezes a pesquisa super complexa, super inteligente, mas mata na apresentação porque comete esses erros, faz confusão com o dado, com o indicador. Diulia: E aí, Richard, o que você tem também de dica a respeito de a gente conseguir promover uma cultura de análise crítica e de discussão aberta em torno das métricas, para que inclusive a gente possa olhar para uma métrica e falar: “essa métrica é ela mesmo?” e a gente não cair no que você acabou de comentar, de só ver na apresentação ali e aí não conseguir olhar e falar assim: “nossa, isso daqui está com uma média, mas isso é uma moda, isso é uma mediana”, como é que a gente ajuda a organização a ter esse senso crítico? Richard Mena: Primeiro utilizar livros, ou exemplos, artigos, como referência e não como copia e cola, número 1. Número 2, que todos os stakeholders e pessoas que participam do processo participem da construção dos números, vamos evitar poluir a quantidade de número que estamos utilizando. Eu acredito que para um objetivo, no máximo é duas métricas, 3 métricas, 4 já estamos exagerado, tem objetivos que tem 4, mas difícil. Você pode ter mais nenhum objetivo? Pode, mas vamos construir um dashboard limpo, o mais limpo possível, vamos reduzir nosso problema na origem dos dados, por exemplo, usando um jira de vida, vamos procurar saber que as pessoas estão preenchendo os dados no momento certo, que esse também é um dos graves problemas que geram dados tendenciosos, quanto eu confio na origem de meus dados? É uma pergunta que eu tenho que me fazer, quanto eu confio nessa origem dos dados? Porque eu posso seguir toda a regrinha, construir um bom gráfico, construir uma boa fórmula, apresentar muito bem, mas a origem de meus dados tem um baixíssimo valor de confiança, por quê? Porque atualizam no último dia, porque não movimentam os cálculos certos, porque pulam, porque burlam, porque no fim nenhuma das regrinhas ou políticas são feitas naquele board, tudo isso quebram os números, eu ia me subestimar muito o fato de voltar um card. “Ah, mas tem que voltar, mas tem que voltar”, qual é a política do board? Dentro da política do board diz voltar? Sim, não, pronto. Se for Kanban, Scrum, XP, tanto faz, o que importa é qual a política que você decidir, por quê? Porque tuas métricas vão ser construídas seguindo essa política, seguindo essa lógica, então às vezes nós podemos fazer tudo direitinho na camada de gestão, na camada de construção do dado, mas a origem tem que ser o valor da confiança, então se você perceber, isto é uma pirâmide cultural, que vamos ter que educar gestor, a pessoa que construiu o número, a pessoa que alimenta os números, não é algo que você faz um dia para outro, construir o número as vezes é até fácil, implantar a cultura do número, das métricas é um trabalho mediano a longo prazo. Pedro Rangel: Gostei muito do que você falou sobre as referências também, Richard. Porque dependendo de qual que é o segmento do seu negócio, determinado conjunto de métricas vai ser mais aderente e alguém já fez antes, então por que não fazer o benchmarking, pelo menos? Claro que você faz ali a adaptação para o seu contexto, tem que fazer a sua própria pesquisa, olhar para a estratégia do seu negócio, mas já existe ali um conjunto, a biblioteca de métricas já é super gigantesca, então fazer um benchmarking também é bom. Richard Mena: Sim, para que reinventar a roda, se existem muitos modelos? Bem diferente, eu repito, é fazer um copia e cola a usar algo de referência, são duas coisas diferentes. Você pode usar referências e multas, porque tem muito boas, mas sempre levando em conta a particularidade da sua empresa, a particularidade dessa organização, de seu time, de seu cliente, de seu produto, de seus processos, todas tem particularidades. Pedro Rangel: E ao buscar referência, tomar cuidado de ver se a sua referência também não está tendenciosa, ou de vaidade. Richard Mena: Não vou chegar nesse ponto para não ser o polêmico do dia, mas sim. Já vi blogs, artigos de LinkedIn falando de métricas e você vai ler com calma, depois diz: “oh my God, o que ele escreveu, por que ele escreveu isso?”. Pedro Rangel: O LinkedIn é muito fértil para isso, com certeza. Diulia: E inclusive queria saber o que você tem de dica para o pessoal com relação a conseguir identificar que aquela métrica tem algum viés ou conseguir sabatinar uma métrica para poder, antes de levar para os stakeholders, antes de levar para uma apresentação, conseguiu olhar e falar assim “não, estou seguro de que essa métrica aqui” ou o time está seguro, “de que essa métrica faz sentido e ela está sendo calculada da maneira que também faz sentido”? Richard Mena: Perfeito. Vamos fazer-nos a seguinte pergunta: eu confio nos dados da origem? Sim, beleza, ponto 1. A linguagem que estou comunicando meus números e meus dados está certa? Ok, feito, check. Essa estrutura da apresentação é ótima para o tipo de pessoa que eu vou apresentar? Sim, não, pronto. Lembrando, as vezes o problema não é a métrica, mas como você apresentou a métrica, tem gestores que gostam de números bem grande, tem que pensar nisso, senão vai para Marte, vai para Júpiter e ele nem vai saber que você falou. Seguinte: qual é meu objetivo? Que problema quero solucionar e apresentar como esse problema? Eu estou atendendo isso? A último pergunta. Pega teu primo, teu sobrinho, sei lá, quem for ele, olha para essa métrica, o que você entende? Se ele conseguir te responder o mínimo, beleza, está ótima a tua métrica, apresenta na fé, vai na fé. Aí estou exemplificando bastante coisa, porque, tudo que conversamos como um checklist de que coisa deveria ter minha métrica, para eu saber que eu posso apresentar sem medo? A técnica de mostrar para alguém sem explicar nada é maravilhoso, tipo nunca erra. Pedro Rangel: Isso é muito legal que você falou, Richard, porque nós temos grandes clientes aqui na dti, então a gente faz muitas reviews executivas, onde a gente leva resultados, métricas etc. Então é quase que pegar a métrica da métrica, que você tem que observar o feedback e a reação das pessoas àquilo que você está apresentando e ir adaptando, isso é ser ágil na concepção da métrica também, para que no próximo ciclo você possa fazer uma apresentação da métrica cada vez melhor. Richard Mena: Perfeito. Diulia: Uma coisa que a gente costuma comentar aqui com relação à questão das apresentações, do formato, como vai ser levado para os stakeholders essas métricas, é muito no sentido de às vezes fica muito monótono, a pessoa entra, aí começa aquele relatoriozão, que parece que está sendo feito com a voz do Google e aí a pessoa não consegue ter uma noção do que é prioridade, está bom, está ruim, a partir disso o que a gente faz, não consegue ter os gatilhos para poder falar “caramba, aqui a gente precisa agir, aqui vocês estão precisando da minha ajuda, aqui o time chegou em um resultado legal” e conseguir ter uma visão geral mais efetiva. Não necessariamente mostrar métricas é comunicar essas métricas, porque tentando ser empático com o stakeholder, as vezes a pessoa já fez diversas reuniões, já conversou de diversas coisas ao longo do dia, que não necessariamente aquele produto que a gente está falando e aí de repente entra em uma reunião e aí tem que fazer o download de tudo, de uma vez, todas as informações e tudo que diz respeito, para poder ter um senso crítico ali. O time consegue ajudar isso, dependendo da forma como vai fazer o storytelling da apresentação, voltando lá na pergunta lá de trás. Richard Mena: Perfeito, você comentou algo interessantíssimo e que é o objetivo de toda métrica: onde eu preciso atuar, onde eu preciso ajudar? É o gerente, é o manager, é o PO, é PM, é o agilista, coach lead? Onde eu preciso ajudar? Como eu sei que se eu atuo nas entregas dos QA, dos devs, dos writers, dos UX, eu vou estar agregado valor? Porque o meu tempo é curto, mas eu preciso fazer algo, como eu sei que aquele fluxo ou aquele entrega, ou aquele processo precisa da minha intervenção? As métricas servem para guiar a pessoa a dizer onde eu vou ajudar, que coisa saiu do padrão, essa é a melhor forma de as pessoas se comunicarem dentro da organização, de baixo para cima, de cima para baixo. Pedro Rangel: Legal, eu acho que eu tenho uma última aqui. Eu sei que a gente pode falar eternamente de métrica. Diulia: A gente pode ir falando até… Pedro Rangel: A gente falou um pouco, a pergunta anterior que eu fiz, Richard, foi como a gente convencer quando a gente tem que mudar as métricas porque a gente identificou que elas estão tendenciosa ou vaidosas, mas em uma situação de imprevisto no meio do caminho, como que a gente lida com a mudança de estratégia? Aí a gente tem que mudar as métricas por conta de mudança de estratégia? Richard Mena: Ou quando não tem estratégia. Tem isso ainda. Então, mesma coisa, eu preciso ter uma conversa direita com os gestores. Sim, se minha estratégia muda, é óbvio  que vai mudar para onde eu estou mirando e para onde eu vou mirar, tenho que construir métricas que me ajudem a comunicar melhor ou a saber o que está acontecendo. Então novamente, eu posso continuar apresentando os antigos, mas sempre falando “meu foco agora é aqui, por quê? Essa estratégia foi despriorizada, esse tipo de problema foi despriorizado, mas aqui temos que fazer outra análise”, muitas vezes nossa estratégia é uma, porém os problemas do time, da squad, da tribo são bem diferentes do que a estratégia precisa. Então o que vou solucionar? O problema da minha tribo ou o caminho para cumprir a estratégia? O que solucionamos primeiro? Vamos pensar, no meu caso eu vou pela tribo, porque se tenho uma tribo problemática, com problemas onde for, não vai ter estratégia do mundo que eles conseguiam seguir, então é ali onde nós vamos precisar, dependendo do cenário. A minha me encantaria falar: “essa aqui é a receita do bolo”, se a estratégia muda, você muda a métrica, se a estratégia fica, a métrica fica, me encantaria falar isso, ensinar a receita do bolo, na fórmula de A mais A, B, mas não. Tudo depende do cenário, então se a estratégia mudou, beleza, como está a métrica? Precisamos essas métricas para acompanhar essa tribo, essas métricas vão orientar a que? Que tipo de comunicação? Então por isso que eu falei no início que com métricas a gente fica filosofando o ser e não ser. Pedro Rangel: E inclusive, Richard, idealmente quem te sinalizou que a estratégia precisava mudar teria sido a métrica, não é? Então se o storytelling tiver bem encaixado, na verdade isso você tem que se reorganizar com aquela estratégia, mas você vai continuar usando métricas. Richard Mena: Mas lembrando que no mundo ideal seria lindo se acontecesse isso, mas nem sempre a mudança de estratégia, nem sempre acontece isso. Nos encantaria que o planeamento seja feito com as métricas que todo mundo siga, aquela utopia maravilhosa, mas não, a estratégia muda porque o mercado mudou ou porque explodiu uma guerra, porque teve a pandemia, então temos que se adaptar do jeito que for. E você aqui pode ter toda a razão do mundo em seguir essas métricas, mas poxa, o mundo mudou, temos que fazer alguma coisa, por exemplo, pandemia, mudar de trabalhar em escritório para trabalhar em home office, agora eu agilista, como vou fazer? Como tenho que mudar meu pensamento, minha estratégia? Lembra mudou tudo, não quer dizer que seus dados estejam errados, estão certíssimos naquele momento, um dia antes estava certíssimo. Porque isso te fez forçar a mudar, ou não. Pedro Rangel: Vamos tentar promover um insight final aqui, Richard, um conselho alguma coisa, Por exemplo, eu peguei muito do que você falou aí de que as métricas elas são um meio não o fim, então você continua tendo que ter aquela pergunta, aquele objetivo, mas o que você diria que é o principal aí dos conselhos que você deixou para o pessoal? Richard Mena: Pensando hoje na atualidade, deixaria 2: cuida da tua origem dos dados, e segundo: pensa bem, muito bem, a quem você está entregando porque isso vai te permitir construir uma melhor linguagem para essa pessoa, porque às vezes nós, ou muitas vezes, ou sempre, utilizamos as métricas para vender algo, para vender uma ideia, queremos vender o que? Que o time tem problemas, você tem que saber vender números, porque às vezes muito gestores só entendem métrica e se você quer dizer que aquele time, aquela tribo está com problemas, aquele produto vai dar bomba, você vai fazer métrica, você tem que saber comunicar isso. Então esses seriam meus conselhos, origem dos dados e a quem você está vendendo. Pedro Rangel: Legal, Richard, obrigado. Eu vou fazer uma, uma indicação de leitura aqui, que normalmente a gente gosta de deixar algumas referências para o pessoal, que eu acho que tem muito a ver com o nosso papo aqui hoje. Aí Richard, você fica à vontade também se quiser fazer alguma outra indicação, mas é um livro que chama Planning and Designing Effective Metrics, eu não tenho certeza se existe ele em português, então por isso que eu estou falando dele aqui em inglês. É de um autor especialista em métricas, ele chama Martin Klubeck e ele oferece uma teoria atrás da métrica, então acho que tem muito a ver com isso que a gente falou aqui, do nosso papo de ter um objetivo orientando o caminho para as métricas, ele traz quase que um passo a passo para criar uma imagem da saúde organizacional das empresas. Aí aqui a única reflexão que eu deixo é: vejam esse passo a passo de forma crítica, como a gente está falando aqui, não aceitem qualquer exemplo ou referência como verdade, tem que fazer aquela crítica do que vale para o seu contexto, mas falando do benchmarking é que a gente trouxe ali, ele traz umas referências muito boas, uns exemplos muito legais. Então fica uma indicação de leitura aí para a galera. Richard Mena: Adorei. Eu te indicaria, como sempre indico, métricas ágeis, porque é o básico do básico que é você entender, se você entendeu, a bíblia das métricas. Algo que eu sempre indico, ainda que alguns considerem um livro velho, fora de atualidade, é a Quinta Disciplina, eu até hoje eu continuo lendo essa livro, porque sai várias edições. Sai edição nova, eu vou comprar lá. Pedro Rangel: Certos livros são atemporais também, Richard, não está velho não. Richard Mena: A Quinta Disciplina para mim nunca morre, até hoje eu continuo lendo, até hoje continuo revisando ele, está certo? E são os livros que eu recomendaria hoje para vocês. Diulia: Richard, foi um prazer gigantesco te ter aqui com a gente, o papo foi muito legal, muito enriquecedor, com certeza novos convites vêm por aí, a gente vai encontrando outros temas também para poder conversar sobre. Muito obrigado pela disponibilidade e para quem está nos ouvindo, continue mandando comentários para @osagilistas no Instagram ou pelo e-mail osagilistas@dtidigital.com.br, que estamos sempre trazendo conteúdos complementares e divulgando os novos, através desses canais, inclusive quando sai cada episódio, quando sai newsletter, enfim, todas as novidades que a gente tem para vocês. Inclusive, falando da newsletter, para quem quiser estender o aprendizado, não deixe de assinar, é um material rico que a gente faz, com os temas mais relevantes do ágil na atualidade e a gente sempre traz conteúdos exclusivos que vão te ajudar no seu dia a dia, sempre com um teor muito prático. Pedro Rangel: É isso aí, sigam o Richard Mena lá no LinkedIn também, sigam também Os Agilistas e é isso, obrigado, Richard, prazer em ter você aqui com a gente. Richard Mena: Obrigado a vocês, excelente papo, adorei. Pedro Rangel: Também adorei, até a próxima. Giulia: Até.

Descrição

Você já assistiu a uma apresentação com métricas desorganizadas, tendenciosas ou desalinhadas com o objetivo em foco? Nesse episódio, Richard Mena, Agile Lead na Jussi, explica o que deve ser levado em conta no momento de apresentar resultados através das métricas. Bateu a curiosidade? Então dá o play!

 Quer conversar com Os Agilistas? É só mandar sua dúvida/sugestão para @osagilistas no Instagram ou pelo e-mail osagilistas@dtidigital.com.br que nós responderemos em um de nossos conteúdos!

Nos acompanhe também pelo @osagilistas no Instagram e assine a nossa newsletter que chega todo mês com os assuntos quentes do agilismo através do site https://osagilistas.com/

See omnystudio.com/listener for privacy information.