Como detectar onde estão as falhas e acertos de uma startup? Como saber em que ponto mudar a estratégia para seu produto? A análise das métricas pode responder essas pergunta e muitas outras. Entrevistamos Rafael Dahis, Gerente de produtos mobile no Peixe Urbano, focado em métricas de aquisição, retenção e experiência do usuário e com uma vasta experiência em criação e lançamento de produtos, para falar sobre o poder das métricas na gerência das startups. Confira a seguir:

Start-UP Brasil: O que são métricas para startups?

Rafael Dahis – Todo negócio é compreendido e otimizado através de métricas. E para startups digitais não pode ser diferente. No caso, o cenário é ainda mais favorável para as startups: quando oferecem produtos virtuais e utilizam este meio para alcançar e manter o relacionamento com seus clientes, a extração de métricas é muito mais simples. As alterações também são percebidas em tempo-real e, por este motivo, a flexibilidade é um fator que difere cada vez mais os negócios digitais dos físicos. Mas, como negócios primordialmente diferentes, as métricas que as startups web/mobile devem monitorar são distintas também: dizem respeito ao alcance, retenção e atividade dos seus usuários.

Start-UP Brasil: Por que são importantes para startups?

Rafael Dahis – Ao passar a trabalhar de forma orientada às métricas, a startup deixa de perseguir “a grande ideia”, um mito popular que costumam chamar de “the next big thing”, e passam a entender por que um produto vinga enquanto outros não. São capazes de inovar muito mais rápido, pois sabem experimentar e medir a efetividade de cada teste.

Em vídeo para a Fast Company, Mark Zuckerberg, criador do que seria o “big thing” mais recente da web, na verdade definiu inovação não como algo que se origina no insight, mas sim como “agir rápido e testar inúmeras possibilidades”. As métricas são importantes exatamente para entender o que dá certo e o que não dá, em um mundo onde criar é muito mais fácil e rápido. Quem sabe aproveitar isto, está inovando muito mais do que quem espera ter uma super ideia.

Start-UP Brasil: Qual a diferença entre métricas de vaidade e métricas acionáveis?

Rafael Dahis – Ao falar de métricas, é imprescindível diferenciar estes dois tipos de indicadores. As métricas de vaidade são aquelas que soam legal, mas não dizem nada sobre o desempenho da sua startup. Costumo identificá-las de forma muito simples: é a métrica que você usaria para cantar uma menina na balada. Meu app teve 100 mil downloads; já temos 30 funcionários; 80 mil pessoas seguem a nossa fanpage no Facebook. Tudo pura vaidade.

As métricas acionáveis são aquelas que lhe apontam oportunidades de otimização no seu produto ou processo. Normalmente não são absolutas e representam de alguma forma o comportamento do usuário. Por exemplo: das pessoas que entram no nosso website, apenas 3% se cadastram; 35% dos que recebem nosso email clicam para ver mais.

Start-UP Brasil: Existe um padrão para boas métricas?

Rafael Dahis – Não existe um padrão, mas é possível questionar a qualidade de uma métrica com algumas indagações: a principal delas é o “e daí?”. Se você não conseguir tirar nenhuma ideia ou oportunidade de melhoria a partir da observação da métrica, ela não serve para muita coisa.

Outras perguntas que costumo fazer são: a métrica é mais interessante para alguém de fora da startup ou para a própria startup? Ela carrega inércia, ou é uma boa representação do desempenho das últimas semanas? Ela é uma métrica absoluta ou poderíamos analisá-la independente da escala da startup? Eu consigo detalhar os fatores que compõem ou influenciam esta medida?

E, reparem, nem sempre se aplica a ideia de que “quanto mais métricas, melhor”. É preciso escolher os indicadores certos: medir tudo provavelmente significa não ter tempo para analisar nada. No Peixe Urbano, ao priorizarmos melhor as métricas monitoradas, pudemos entendê-las e otimizá-las com muito mais eficiência.

Start-UP Brasil: “Construir, medir e aprender”, como relacionar esses conceitos com a métrica das startups?

Rafael Dahis – O movimento de Lean Startups surgiu tentando dar fim à perda de tempo na “construção de um produto que ninguém quer”. Para exemplificar o método, Eric Ries propôs que o objetivo da startup fosse girar o mais rápido possível neste ciclo “construir, medir e aprender”. Devemos, então: (1) construir mais rápido e em fatias menores, (2) medir o resultado de cada experimento, (3) focar no aprendizado obtido a cada etapa, para então voltar ao ciclo novamente. Vejo que as startups no Brasil evoluíram muito na capacidade de cadenciar sua produção em fatias menores e concentrarem-se na descoberta de modelos de negócios sustentáveis, mas ainda precisam de mais crítica nas medidas de sucesso de seus experimentos.

Start-UP Brasil: Que tipo de testes são mais eficientes?

Rafael Dahis – Seguindo o lema das lean startups, os testes mais eficientes são aqueles que conseguem extrair aprendizado relevante na construção de um produto. Sendo assim, é bom garantir que os testes sejam justos, contenham amostras significativas, e não sejam manipulados para justificar os interesses dos empreendedores. Afinal, testar é assumir que não sabemos a resposta certa. Tenho visto mais sucesso em testes que envolvem poucas variáveis, de preferência somente uma. Desta forma, dado um resultado, é imediata a identificação do fator que contribui para aquele comportamento. Em produtos virtuais, chamamos estes experimentos de testes A/B, quando um grupo de usuários visualiza a versão atual do produto enquanto outro grupo interage com uma versão modificada. Ao mesmo tempo, uma medida de sucesso é escolhida para avaliar a campeã entre as duas versões: cliques em um botão,  abertura de um email, compras realizadas, etc.

Start-UP Brasil: Como utilizar o mercado na fase de testes?

Rafael Dahis – O teste tem que sempre ser feito no mercado, não adianta “isolar-se no laboratório”. Caso a startup já esteja em operação, pode preferir fazer experimentos apenas com parte de seus clientes, para arriscar menos.

Os testes com clientes podem ser tanto quantitativos quanto qualitativos. Para quantitativos, pode-se usar o tráfego já existente no seu site para exibir diferentes versões de uma página, por exemplo, ou também realizar pesquisar de mercado de alto alcance.

Os testes qualitativos também são muito importantes, principalmente na fase de descoberta do negócio, em que se procura o encaixe perfeito entre um problema do cliente e a solução que sua startup vai oferecer. Eles também podem ser utilizados na melhoria do produto, na observação do uso, tentando identificar melhorias de usabilidade e comunicação. Mas vale a pena se atentar para diferenciar sinal de ruído, entendendo se a opinião de um grupo pequeno de clientes é realmente representativa do todo.

Start-UP Brasil: O que as métricas têm a ver com design?

Rafael Dahis – As métricas são grandes aliadas dos designers hoje em dia. Fazem parte do kit que todo designer deve manusear com facilidade.  Apesar de aproximarmos o trabalho do designer com o de um artista, o seu objetivo é melhorar a experiência da interação entre usuário e produto. Esta qualidade da interação pode ser medida facilmente através de softwares e, posteriormente, indicar a influência de diferentes fatores na construção de uma experiência fluida e funcional para o usuário. Recentemente, no Peixe Urbano, foi notável o aumento de performance no processo criativo envolvendo decisões de usabilidade após a adoção dos testes A/B. Ao invés de discussões prolongadas sobre um detalhe no design de um produto, um experimento é configurado e rapidamente os resultados emergem. E quem “decidiu” sobre a versão campeã não foi o designer, nem o CEO, nem o desenvolvedor: foi o próprio usuário, aquele para o qual construímos o nosso produto diariamente.How can you detect failures and successes in a startup? How do you know when you should
change your product’s strategy? Metrics analysis can answer these questions and many others. We
interviewed Rafael Dahis, Mobile Product Manager at Peixe Urbano, who focuses on Acquisition Metrics, user retention and experience and who has large experience in product creation and in bringing them to the market, to talk about the power of metrics in startup management.

Start-UP Brasil: What are startup metrics?

Rafael Dahis: Every business is understood and optmized through metrics. It couldn’t be different
when talking about startups. For example, this scenario favours startups even more: when they offer virtual products and use this medium to reach and relate to their customers, the metrics’ extraction is much simpler. Modifications can also be perceived in real time and, because of this, flexibility became a factor which greatly contrasts digital and physical products each passing day. But, as primarily different businesses, the metrics which should be monitored by web/mobile startups are also distinct: they are about the users’ reach, retention, and activity.

Start-UP Brasil: Why are they so important to the startups?

Rafael Dahis: When they start working in a metric-oriented manner, the startups stop pursuing ‘the greatest idea’, a popular myth commonly known as ‘the next big thing’, and they start understanding the reason why a product achieves success, while so many others fail around it. They’re capable of much faster innovation, since they know how to properly experiment and measure each test’s effectiveness. In a video by Fast Company, Mark Zuckerberg, the creator of the most recent web’s ‘big thing’, didn’t define innovation as something arosen from insight, but rather as something based on ‘moving fast and trying many possibilities’. Metrics are important to understand what will work out and what won’t, in w world where creation is much faster and easier. Whoever is able to take advantage of that, will be innovating much more than someone who is waiting to have a super idea.

Start-UP Brasil: What is the difference between ‘vanity metrics’ and actionable metrics?

Rafael Dahis: When talking about metrics, it’s indispensable to differ these two indicator types. Vanity metrics are those that sound cool, but don’t say anything about your startup’s performance. It’s quite simples to identify them: it’s the metric you use to hit on someone when you go out at night. ‘My app was downloaded 100,000 times, I have 30 employees, our Facebook fanpage has more than 80,000 followers.’ Pure vanity, all of them. Actionable metrics are those that point out optimization or process opportunities. Normally, they aren’t absolute or represent, in any way, the user’s behaviour. For example: from everyone who visits our website, only 3% register themselves, and only 35% of those who receive an e-mail from us, click to explore us further.

Start-UP Brasil: Is there a pattern for good metrics?

Rafael Dahis: There is no pattern, but it’s possible to question a metric’s quality: the main question
for this is ‘so what?’. If you can’t come up with any good ideas or improvement opportunities from
metric observation, it’s not worth much. Other questions I constantly do are: is the metric more interesting to someone outside the startup or for the startup itself? Is it inertial, or is it a good display of last weeks’ performance? Is it absolute, or could we analyze it independently of the startup’s scale? Can I analyze the factors that form or influence this measurement in detail? Notice that the idea of ‘the more metrics, the merrier’ is not always applicable. It’s necessary to choose the right indicators: measuring everything means not having time to analyse anything. At Peixe Urbano, by better prioritizing the monitored metrics, we could understand and optimize them much more efficiently.

Start-UP Brasil: ‘Build, measure, and learn’, how can these concepts be related to startup
metrics?

Rafael Dahis: The Lean Startups tendency was created as an attempt to finish time waste off during
the ‘building a product nobody wants’. To exemplify the method, Eric Ries suggested that the
startup’s objective was to rotate as fast as possible in this ‘build, measure, and learn’ cycle. Then,
we must: (1) build faster, in smaller pieces; (2) measure each experiment’s result; (3) focus on what’s
been learnt on each stage, so you could go back into the cycle again. I see that Brazilian startups have evolved tremendously in their capacity to time their production in smaller pieces and concentrating on discovering sustainable business models, but they still need better criticism about their experiment success measurement.

Start-UP Brasil: Which types of tests are more efficient?

Rafael Dahis: Following lean startups’ motto, the most efficient tests are those which are able to
extract relevant learning during a product’s conception. Therefore, it would be better to ensure
the tests are fair, that there are significant samples, and that they aren’t manipulated because of
venturers’ interests. After all, testing is exactly when we assume that we still don’t have a definite
answer. I’ve seen more successful tests among those with fewer variables, preferably an only one.
Thus, considering a result, identification of the factor that contributes to that behaviour is immediate.
In virtual products, we call these test experiments A/B, when a user group visualizes the product’s
current version while another group interacts with a modified version. At the same time, a success
measurement is chosen to analyze the winner among them: clicking a button, opening an e-mail,
purchases done, etc.

Start-UP Brasil: How can the market be used during the test phase?

Rafael Dahis: The test must always be done with the market in sight. Keeping it theoretical only is of no use. If the startup is already operational, you can try testing with only a part of your customers, with less risks. Testing with customers can both be quantitative and qualitative. When quantitative, you can use your website’s current traffic to display different versions of a webpage, for example, or you can also carry out far reaching market surveys. Qualitative tests are also really important, mainly during business’ discovery phase, when perfect fitting between the customer’s problems and the solution given by your startup is researched. They can also be used in the product’s improvement, and on usage observation, trying to identify improvements in usability and communication. But it’s worth noticing that you should clarify the signal-to-noise ratio, understanding if the opinion of a small group of clients really represents the whole situation.

Start-UP Brasil: What’s the relation between metrics and design?

Rafael Dahis: Nowadays, designers and metrics are great allies. Metrics are a resource designers
should be able to use with ease. Although we try to bring the designer’s work closer to the artist’s, its
objective is improving the user-product interaction experience. This interaction’s quality can be easily measured through softwares and, subsequently, can indicate the influence of different factors in the construction of a functional and fluid experience for the users. Recently, at Peixe Urbano, there was a notable performance increase in the creative process involving usability decisions after the adoption of A/B tests. Instead of extended arguments about one specific detail in a product’s design, an experiment is configured and results quickly come out. And who decided to use the winning version wasn’t the designer, the CEO, nor the developer: it was the user himself, the one to whom we build our product every day.