Artigos Reamp

Reamper Lab #25 – Evolução na cultura das startups em soluções de Big Data

Manu Santana falou sobre a evolução das tecnologias utilizadas e a cultura e características das equipes em startups

O Reamper Lab de hoje foi com o nosso CTO Manu Santana, em um bate-papo sobre a evolução das tecnologias utilizadas em processos e as mudanças que elas causaram também na cultura e nas características das equipes em startups. Ao longo dos anos, a tecnologia evoluiu muito, e a mentalidade das empresas teve que se adaptar à essas transformações.

O especialista utilizou a Reamp como caso de estudo, que desde 2010 – quando foi fundada – até hoje, vem acompanhando essas mudanças e incorporando diferentes tecnologias e processos na empresa. A infraestrutura do nosso Adserver chega a receber até mais de 40 mil requisições por segundo, e cada uma delas pode carregar mais de 150 dimensões de dados que podem conter desde simples identificadores à URLs e textos inteiros.

Hoje em dia, inúmeras análises e relatórios são gerados sobre esses dados a todo tempo, e alguns precisam usar até mesmo meses de dados. Algumas análises alimentam a nossa tecnologia de Data Visualization que também agrega dados de outras fontes. Para que todo esse trabalho seja realizado, precisamos de ferramentas de tecnologias de ponta como AWS, IBM e Google para que sejam evitadas falhas na infraestrutura. “Há pouco tempo atrás, era necessário um número absurdo de gente para fazer esse processo. Hoje, tecnologias que nem as nossas só são possíveis porque não precisamos mais de tantas pessoas administrando”, ressaltou Manu.

Essa mudança, graças à tecnologia, trouxe inúmeras facilidades não só para a Reamp como para todas as empresas que trabalham na área. Uma cultura foi criada em torno dessa nova dinâmica de trabalho com o objetivo de facilitar processos, otimizar o tempo das equipes e fazer com que elas consigam focar mais em atividades que demandem tempo das pessoas e não de máquinas.

 

Entendendo o histórico dessas evoluções tecnológicas

Para entender como chegamos em todas essas mudanças, precisamos entender também o histórico das empresas que trabalham com tecnologia. Quando a Reamp foi fundada, em 2010, o mercado era muito diferente do que vemos hoje. Existiam muitas startups e começávamos a falar de Big Data. No entanto, as únicas empresas que conseguiam investir no processo eram as empresas que não tinham budget limitado – ou seja, pouquíssimas.

O especialista ressaltou a importância de sabermos o conceito de Big Data. Não faz sentido falarmos, por exemplo, que “precisamos de Big Data em uma empresa”, pois trata-se de um problema que precisa ser resolvido. O Big Data é quando temos um número muito grande de informações, provenientes de uma grande variedade de fontes, e que precisam ser analisados em uma grande velocidade em tempo curto. Para isso, é preciso que sejam utilizadas ferramentas que permitam a empresa realizar análises, relatórios e estudos desses dados. “Precisamos sempre estar de olho no que temos de novo em tecnologia, porque as vezes é isso que vai permitir que sua ferramenta exista”, destacou.

Diante desse cenário, então, onde começávamos a entender esse conceito, as empresas ainda gastavam muito tempo fazendo atividades que não impactavam diretamente no negócio porque não existiam ferramentas que realizassem esses processos. Muita coisa era realizada manualmente, e as mudanças começaram a surgir a partir de 2013.

A partir deste ano o Big Data realmente começou a ser utilizado pelo mercado, e ferramentas essenciais surgiram como o AWS EMR e os provedores de infraestrutura em cloud, uma rede de servidores que vão trabalhar em conjunto.

Foi então que uma nova cultura começou a ser formada. “Não temos que pensar em fazer uma ferramenta. Você não precisa fazer, você pode achar a melhor entre as que já existem e vai aprender a usar ela. Isso permitiu que as empresas começassem a concorrer de igual pra igual”, disse o especialista.

2014 também foi um ano onde surgiram novas ferramentas como a Impala, que permitia uma performance 300 vezes mais rápida que as outras ferramentas e poucas pessoas conheciam ela. Nessa época ainda não existiam empresas com pouco dinheiro trabalhando com Big Data de maneira intensa, então era preciso que as startups corressem atrás de ferramentas pouco utilizadas, mas que permitiam escalar processos e uma concorrência maior.

Em 2015, na Reamp, foi possível começarmos a utilizar mais ferramentas prontas, focando completamente no Adserver. Não era mais possível realizar determinados processos manualmente, e foi necessário que as pessoas que trabalhavam com tecnologia começassem a se adaptar, pesquisando as melhores ferramentas do mercado que poderiam trazer soluções.

De 2017 até hoje, diversas tecnologias chave surgiram e pavimentaram bastante o caminho para que determinados processos fossem realizados, como por exemplo a AWS Athena, o Google BigQuery, o Deep Cognition e o Watson, da IBM. O que permite que uma empresa componha produtos interessantes utilizando essas ferramentas é pensar em soluções que sejam inteligentes e combinem tecnologias.

 

Como funciona a nova cultura nas startups?

No passado tínhamos startups no mercado com muitos cargos e muitas funções. Eram precisos times enormes para realizarem tarefas simples, e um relatório, por exemplo, custava na ordem de centenas de milhares de dólares. Além disso, existia um grande número de peças separadas, fazendo com que os negócios corressem riscos por não conseguiram administrar esse volume e fragmentação.

Cada vez mais podemos ver uma tendência de empresas Serverless surgindo – ou seja, não é mais necessário ver a infraestrutura e saber como ela funciona, apenas a solução. Não precisamos mais ter conhecimentos tão específicos nos servidores, e a tendência está crescendo para que as empresas consigam focar apenas no negócio.

Além disso temos um maior conflito entre solução por composição x solução por implementação. Agora, na Reamp evitamos implementar coisas que já existem no mercado, e sim compor essas ferramentas no negócio. “Já existe muita ferramenta por aí, inclusive serviço de cloud que pode ajudar no seu negócio. Então porque não focar em outras atividades, ter um time mais enxuto, bem treinado e que trabalhe com dados e inteligência em vez de ficarmos mexendo em pequenos detalhes que só vão deixar o negócio mais arriscado?” questiona o especialista.

Cada vez mais também a cultura de complexidade está acabando e dando lugar à cultura de produtividade. É essencial que um profissional de tecnologia consiga focar em entregar resultados, e não em desenvolver processos complexos e que não vão agregar diretamente à empresa.

Podemos notar, também, uma maior dependência de serviços de cloud – o que não é algo ruim, mas atualmente não conseguimos realizar quase nenhum processo sem ele e essa independência é algo inevitável – e menor dependência de soluções próprias e times grandes. Podemos focar em soluções de alto nível, permitindo negócios mais complexos.

Apesar de todas essas transformações, ainda existe na cultura de startups a ideia de que precisamos de hackers, gastar zero ou o menos possível em infraestrutura e termos pessoas dispostas a virar noites para criar um novo protocolo de rede. O grande problema dessas expectativas, no entanto, é que investir nisso não agrega valor para o core business e acabamos traçando uma estimativa equivocada do custo real de operação, criando rotinas insustentáveis e um alto turn-over.

Por isso, focar em soluções REALMENTE necessárias é importante. Como destacado pelo especialista, algumas delas são:

  • Pessoas na equipe que saibam delegar trabalho para otimizar tempo;
  • Pessoas que saibam limitar a complexidade dos problemas;
  • Pessoas que valorizem a economia de tempo;
  • Pessoas que mantenham uma cultura de produtividade e prefiram compor soluções, em vez de criarem tecnologias do zero.

 

Obrigada pela participação, Manu!

 

 

 

 

 

 

Clique para comentar

Deixe seu comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Início