7 desafios que as organizações enfrentam para extrair valor do Big Data

A explosão exponencial de dados digitais forçou pesquisadores a encontrarem novas formas de ver e analisar o mundo. Trata-se de descobrir novas ordens de grandeza para capturar, pesquisar, compartilhar, armazenar, analisar e apresentar dados. É assim que o “big data” nasceu, um conceito para armazenar uma quantidade enorme de informações em uma base digital.

Big data refere-se a um conjunto muito grande de dados que nenhuma ferramenta convencional de gerenciamento de banco de dados ou gerenciamento de informações pode realmente trabalhar. De fato, produzimos cerca de 2,5 trilhões de bytes de dados todos os dias. Essa quantidade de dados vem de diferentes plataformas: mensagens que enviamos, vídeos que publicamos, informações sobre o tempo, sinais de GPS, registros transacionais de compras on-line e muito mais. Os gigantes da web, em primeiro lugar o Yahoo (também o Facebook e o Google), foram os primeiros a implantar esse tipo de tecnologia.

A chegada do big data é agora apresentada por muitos artigos como uma nova revolução industrial semelhante à descoberta do motor a vapor, da eletricidade e da informática. Outros descrevem esse fenômeno como o último estágio da terceira revolução industrial, que é, de fato, a “era da informação”. Em todo caso, o big data é considerado uma fonte de profunda ruptura na sociedade.

O Big Data está se tornando mais popular entre as empresas em todos os setores, mas a realização de um projeto de big data não é fácil. De acordo com um estudo conduzido pela NewVantage Partners, 95% dos empreendedores da Fortune 1000 pesquisados realizaram um projeto de big data nos últimos cinco anos, mas apenas 48,4% conseguiram se beneficiar desses projetos.

Abaixo estão alguns dos grandes desafios que as empresas enfrentam:

Gerenciar o crescimento de dados

Claramente, um dos maiores desafios de big data a serem superados é armazenar e analisar todas as informações. De acordo com o relatório “Digital Universe”, a IDC estima que a quantidade de informações armazenadas em sistemas de computação em todo o mundo dobre a cada dois anos. A maioria desses dados não é estruturado, o que significa que não é armazenado em um banco de dados. Fotos, documentos, vídeos e arquivos de áudio são difíceis de analisar.

Para superar esse desafio, as empresas podem usar diferentes tecnologias para gerenciar o aumento constante de dados. Em termos de armazenamento, as infraestruturas convergentes e hiperconvergentes, bem como o armazenamento definido por software, estão provando facilitar as coisas para escalar o hardware. Tecnologias como compactação, desduplicação e hierarquização também reduzem o espaço necessário e os custos de armazenamento de dados grandes. Com relação ao gerenciamento e à análise, as empresas podem usar ferramentas como NoSQL, Hadoop, Spark e outros softwares analíticos de big data, bem como software de business intelligence, AI e aprendizado de máquina para obter as informações de que precisam.

Gerar insights rapidamente

As empresas não querem apenas armazenar os dados que geram. Elas estão mais interessados em usar big data para atingir seus objetivos. De acordo com o estudo realizado pela NewVantage Partners, os principais objetivos associados aos projetos de Big Data são a redução de despesas, a implementação de uma cultura baseada em dados, inovação, a aceleração da implantação de novas capacidades e serviços, e o lançamento de novos produtos e serviços. Essas diferentes metas podem tornar as empresas mais competitivas, mas precisam obter insights e explorá-las rapidamente.

Para ajudá-los a atingir essa velocidade, as empresas podem usar uma nova geração de ferramentas analíticas que reduzem significativamente o tempo necessário para gerar relatórios. Eles podem investir pesadamente em ferramentas analíticas que os ajudarão a obter resultados em tempo real. Com isso, eles podem responder aos desenvolvimentos no mercado o mais rápido possível.

Recrutar talentos de big data

Para lidar com a falta de talentos em big data disponíveis, as empresas podem usar uma das várias opções possíveis. Eles podem aumentar seus orçamentos e esforços em recrutamento e retenção. Outras opções a serem consideradas são treinar seus funcionários atuais para aprender e dominar o Big Data – desenvolvendo talentos de Big Data internamente. Finalmente, muitas empresas estão se voltando para a tecnologia. Eles compram soluções analíticas de autoatendimento ou software de aprendizado de máquina projetado para uso por profissionais sem um diploma em ciência de dados. Essas ferramentas podem ajudar as empresas a superar seus desafios em big data e alcançar seus objetivos sem sequer contratar especialistas qualificados.

Integrar fontes diversificadas de big data

A grande variedade de dados faz da integração um dos maiores desafios do big data. De fato, os dados vêm de diferentes fontes: aplicativos de negócios, redes sociais, e-mails, documentos de funcionários… combinando todos esses dados harmoniosamente e usando-os para criar relatórios, e para esses usuários avançados, insights orientados por dados e soluções de suporte à decisão empresarial podem ser muito difíceis. Para resolver esse problema, vários fornecedores oferecem ferramentas de integração projetadas para facilitar o processo. No entanto, muitas empresas admitem que ainda estão para superar esse desafio.

Validação de dados

A validação de dados também é um dos principais desafios do big data. Muitas empresas recebem dados semelhantes de sistemas diferentes, e esses dados às vezes são contraditórios. Por exemplo, um sistema de e-commerce pode ter um certo nível de vendas diárias, enquanto um sistema Enterprise Resource Planning (ERP) pode ter um nível ligeiramente diferente.

Para harmonizar esses dados, as empresas devem usar a governança de dados. Mas a governança de dados também apresenta vários desafios e é, de fato, a área de maior preocupação que mais cresce citada pelos entrevistados, de acordo com a “Big Data Maturity Survey” de 2016, da AtScale.

Resolver problemas de governança de dados geralmente não é fácil. Requer uma combinação de tecnologia e mudança de política. No entanto, algumas tentativas incluem a alocação de um grupo de pessoas para monitorar dados e definir regras e procedimentos. Outra opção é investir em soluções de gerenciamento de dados projetadas para simplificar a governança de dados voltada para a precisão e o armazenamento de big data.

Proteger o Big Data

A segurança também é uma preocupação importante no campo de big data. Dados de negócios podem ser atraentes para hackers. No entanto, de acordo com um estudo do IDG (International Data Group), apenas 39% das empresas usam medidas de segurança adicionais para seus repositórios de dados. Algumas das medidas adicionais mais populares incluem controle de acesso e identidade, criptografia e segregação de dados.

Resistência Organizacional

Além dos aspectos tecnológicos dos desafios de big data, os funcionários também podem representar um desafio de big data. Entre os principais desafios encontrados pelas empresas que tentam lançar um projeto de big data, os três principais problemas são o alinhamento organizacional insuficiente, a falta de entendimento por parte dos gerentes, a falta de entendimento ou a resistência dos negócios.

Para resolver esse desafio, é necessário, portanto, convencer os líderes de negócios da utilidade do Big Data e nomear um Diretor de Dados.

Também é importante que os executivos, diretores e gerentes entendam as oportunidades que o big data apresenta, para que possam superar os vários desafios e permanecer competitivos na crescente economia centrada em dados.

Fonte: Portal CIO – clique aqui e acesse.