Big Data, Machine Learning, Data Science – a revolução da análise de dados está evoluindo rapidamente. Mantenha seus profissionais de Business Intelligence (BI) e Business Analytics (BA) e cientistas de dados à frente com as mais recentes tecnologias e estratégias.
Data Analytics está rapidamente se tornando a força vital da TI com uma variedade de tecnologias e técnicas a fim de analisar grandes volumes de dados e está se expandindo em um ritmo acelerado. Para obter insights profundos sobre o comportamento do cliente, o desempenho dos sistemas e as novas oportunidades de receita, sua estratégia deve se beneficiar de estar no topo das tendências mais recentes.
Aqui você pode dar uma olhada nas tecnologias de análise de dados, técnicas e estratégias que estão esquentando. De analistas de negócios a cientistas de dados, todo mundo que trabalha nessa área está sendo impactado por esta revolução. Caso a sua organização procura aproveitá-la para inteligência acionável, o índice de calor das tendências a seguir deve ser o seu guia.
SELF SERVICE BI
Quem: Profissionais e Gerentes de BI e BA
Com ferramentas de BI de autoatendimento, como o Tableau, o Qlik Sense, o Power BI e o Domo, os gerentes podem obter informações comerciais atuais em formato gráfico sob demanda. Embora uma determinada configuração de TI possa ser necessária desde o início e ao adicionar uma fonte de dados, a maior parte do trabalho na limpeza de dados e na criação de análises pode ser feita por analistas de negócios. Assim sendo, as verificações podem ser atualizadas automaticamente a partir dos dados mais recentes a qualquer hora que eles são abertos.
Dessa forma, os gerentes interagem com as análises graficamente com o propósito de identificar problemas que precisam ser abordados e/ou solucionados. Por exemplo: em um dashboard gerado por BI ou em uma “história” sobre números de vendas, isso pode significar fazer drill down para encontrar lojas, vendedores e produtos com desempenho insatisfatório, ou descobrir tendências nas comparações anuais das mesmas lojas. Essas descobertas podem, por sua vez, guiar decisões sobre níveis futuros de estoque, vendas, promoções e até mesmo a construção de lojas adicionais em áreas insuficientemente atendidas.
MOBILE DASHBOARDS
Quem: Profissionais, Gerentes e Desenvolvedores de BI e BA
Em um mundo onde os gerentes raramente estão em suas mesas, as ferramentas de gerenciamento precisam apresentar painéis de controle compatíveis com dispositivos móveis com a finalidade de serem úteis e oportunas. A maioria das ferramentas de Business Intelligence de autoatendimento já possui esse recurso, porém nem todas as principais métricas de negócios passam necessariamente por ela.
Por exemplo: é provável que uma fábrica tenha um sistema de controle de qualidade dedicado que monitore todas as linhas de produção. A vista disso os gerentes precisam saber se alguma das linhas se afastou da tolerância em poucos minutos do evento. Isso é feito facilmente com um aplicativo que consulta o banco de dados de controle de qualidade a cada minuto, atualiza e exibe um gráfico de controle do Shewhart que, opcionalmente, aciona um alarme quando uma linha sai da especificação.
LINGUAGEM R
Quem: cientistas de dados com forte conhecimento em estatística
A análise de dados apresenta muitas opções para analisar dados usando métodos estatísticos. Um dos métodos mais poderosos é usar a linguagem de programação R que é uma das melhores formas para criação de análise reproduzível de alta qualidade. Ao contrário de uma planilha, os scripts R podem ser auditados e reexecutados facilmente. A linguagem R e seu pacote de repositórios oferecem ampla gama de técnicas estatísticas, manipulação de dados e plotagem, a ponto que, se uma técnica existe, é provavelmente implementada em um pacote R. A linguagem R está disponível como uma fonte de código aberto, e está integrado em dezenas de produtos comerciais, incluindo o Microsoft Azure Machine Learning Studio e o SQL Server 2016.
DEEP NEURAL NETWORKS (DNN)
Quem: Cientistas de Dados
Alguns dos mais poderosos algoritmos de aprendizagem profunda são as Deep Neural Networks ou Redes Neurais Profundas (DNNs). Elas são construídas a partir de várias camadas (alternando o termo “profundo”) de unidades de processamentos linear e não linear, e são treinadas usando cálculos de grande escala e quantidades de dados de treinamento. Desta maneira, pode ter de 10 a 20 camadas ocultas, enquanto uma rede neural típica possui apenas algumas.
Quanto mais camadas na rede, mais características ela pode reconhecer. Assim sendo, mais tempo levará para calcular e mais difícil o treinamento. Os pacotes para a criação de redes neurais profundas incluem o Caffe, o Microsoft Cognitive Toolkit, o MXNet, o Neon, o TensorFlow, o Theano e o Torch.
TENSOR FLOW
Quem: Cientistas de Dados
O TensorFlow é o aprendizado de máquina de código aberto e biblioteca de redes neurais do Google, e serve de base para a maioria, se não para todos os serviços de aprendizado da plataforma. Nos nossos smartphones as ferramentas do Google Tradutor e Maps usam redes neurais baseadas nesse serviço. Seus modelos estão por trás das APIs de Machine Learning aplicadas para o Google Cloud Natural Language, o Speech, o Translate e o Vision.
Os Cientistas de Dados utilizam-no ainda para superar barreiras consideráveis para o aprendizado do framework. O TensorFlow possui flexibilidade profunda; verdadeira portabilidade; capacidade de conectar pesquisa e produção; autodiferenciação de variáveis e a capacidade de maximizar o desempenho priorizando GPUs sobre CPUs.
MXNet
Quem: Cientistas de Dados
O MXNet (pronuncia-se “mix-net”) é uma estrutura de aprendizagem profunda semelhante ao TensorFlow. Ele não possui a depuração visual disponível para o software anterior, ainda que oferece uma linguagem imperativa para cálculos de tensores que o ele não possui. A plataforma paraleliza automaticamente operações simbólicas e imperativas, e uma camada de otimização gráfica acima de seu agendador torna a execução simbólica rápida e eficiente em memória.
Atualmente, o MXNet suporta modelos de construção e treinamento em Python, R, Scala, Julia e C ++. Os Modelos treinados também são utilizados ainda para previsão em Matlab e JavaScript. Não importa qual idioma você usa para construir seu modelo, esta estrutura chama um mecanismo de back-end C ++ otimizado.
MICROSOFT COGNITIVE TOOLKIT 2.0
Quem: Cientistas de Dados
O Microsoft Cognitive Toolkit ou CNTK 2.0, é um kit de ferramentas de aprendizado profundo unificado que descreve as redes neurais como uma série de etapas computacionais por meio de um gráfico direcionado. Possui muitas semelhanças com o as ferramentas anteriores, ainda que a Microsoft afirme que ele é mais rápido que o TensorFlow especialmente para redes recorrentes, tem suporte de inferência mais fácil de integrar em aplicativos e possui leitores de dados integrados eficientes que suportam aprendizado distribuído.
O Cognitive Toolkit é a tecnologia subjacente para Microsoft Cortana, tradução ao vivo do Skype, Bing e alguns recursos do Xbox.
SCIKIT-LEARN
Quem: Cientistas de Dados
Scikits são caixas de ferramentas científicas baseadas em Python e construídas em torno do SciPy, a biblioteca Python para computação científica. O Scikit-learn é um projeto de código aberto focado em Machine Learning, cuidadoso ao evitar o aumento de escopo e a utilização de algoritmos não comprovados. No entanto, ele possui uma ótima seleção de algoritmos sólidos, e usa o Cython – o compilador Python para C – para funções que precisam ser rápidas, como loops internos.
Entre os territórios não abrangentes, estão os aprendizados profundo e por reforço; os modelos gráficos e a predição de sequências. Ele é definido como sendo para Python, de modo que não tem APIs para outras linguagens. O Scikit-learn não é compatível com o PyPy (a rápida implementação em tempo real de compilação do Python), não suporta a aceleração de GPUs, com poucas necessidades para além das redes neurais.
O Scikit-learn obtém as notas mais altas para facilitar o desenvolvimento em todas as estruturas de aprendizado de máquina testadas. Os algoritmos funcionam como anunciados e documentados; as APIs são consistentes e bem projetadas e há poucas “incompatibilidades de impedância” entre as estruturas de dados. Assim sendo é mais fácil trabalhar com uma biblioteca na qual os recursos foram completamente desenvolvidos e os bugs totalmente eliminados.
NOTEBOOKS JUPYTER
Quem: Cientistas de Dados
O Notebook Jupyter, originalmente chamado de IPython Notebook, é um aplicativo da Web de código aberto que permite aos cientistas de dados criar e compartilhar documentos que contenham código ativo, equações, visualizações e texto explicativo. Seu uso inclui ainda limpeza e transformação de dados, simulação numérica, modelagem estatística, aprendizado de máquina entre outros.
Os notebooks da Jupyter se estabeleceram como o ambiente de desenvolvimento preferido por muitos cientistas de dados e pesquisadores em Machine Learning. Eles são componentes padrão no Azure, Databricks e em outros serviços online que incluem aprendizado de máquina e big data. Um acrônimo solto que significa Julia, Python e R, “Jupyter” baseia-se nas três linguagens populares para análise de dados e os primeiros alvos para os kernels do Notebook, ainda que atualmente existam kernels Jupyter para cerca de 80 idiomas.
ARMAZENAMENTO E ANÁLISE EM NUVEM
Quem: Profissionais de BI e BA, Cientistas de Dados
Um dos mantras da análise eficiente é “fazer a computação onde os dados residem”. Uma vez que você não siga ou não pode seguir essa regra, provavelmente terá grandes atrasos se os dados se moverem pela rede local e demoras ainda maiores caso ele passe pela Internet. É por isso que, por exemplo, a Microsoft recentemente adicionou o suporte R ao SQL Server.
À medida que a quantidade de dados gerados por uma empresa cresce exponencialmente, a capacidade dos data centers pode não ser suficiente. Assim, é necessário adicionar armazenamento em nuvem. Depois que os dados estiverem lá, a análise também deve ser. Eventualmente, a maioria dos novos projetos deverá ser implementada na nuvem, e os planejamentos existentes serão migrados, transferindo sua empresa do CapEx para o mundo OpEx.