Início Big Data no InfoQ Brasil
REPORT: Articles - Full Coverage
Feed RSS-
/articles/privacy-shield-hyperscale-clouds/pt/smallimage/privacy-shield-hyperscale-clouds-s-1602019588203.jpeg)
O fim do Privacy Shield pode levar a um desastre para os provedores de nuvem em hiperescala
O recente término do acordo Privacy Shield pelo Tribunal de Justiça da União Européia (European Court of Justice (ECJ)) pode impactar a adoção da nuvem. Este artigo analisa o fim deste acordo e possíveis soluções
-
/articles/covid-social-media-machine-learning/pt/smallimage/covid-social-media-machine-learning-s-1601562448288.jpeg)
COVID-19 e Mineração de Redes Sociais - Habilitando Cargas de Trabalho de Aprendizado de Máquina com Big Data
Neste artigo, a autora, Adi Pollock, discute como habilitar cargas de trabalho de aprendizado de máquina com big data para consultar e analisar tweets relacionados ao COVID-19 para entender o sentimento social em relação ao COVID-19.
-
/articles/cloud-to-cloudlets-data-processing/pt/smallimage/cloud-to-cloudlets-data-processing-s-1601399656392.jpeg)
Da Cloud ao Cloudlets: Seria uma nova abordagem para processamento de dados?
A popularidade crescente das pequenas e distribuídas nuvens, ou também chamadas de “cloudlets”, é um reconhecimento implícito das limitações do modelo atual e pode sinalizar uma grande mudança na forma como os dados são coletados, armazenados e processados.
-
/articles/apache-arrow-java/pt/smallimage/arrow-s-1590010308987.jpg)
Apache Arrow e Java: Transferência de Big Data na velocidade da luz
O Apache Arrow apresenta multi-linguagem, multi-plataforma e uma formatação colunar de dados in-memory. Ele foi projetado para eliminar a necessidade de serialização de dados e reduzir a demanda de recursos de cópia.
-
/articles/data-leadership-book-review-interview/pt/smallimage/Data-leadership-s-1595453339836.jpg)
Entrevista e crítica sobre o livro Data Leadership
O livro Data Leadership, de Anthony Algmin, cobre o tema liderança de dados e como os líderes de dados devem gerenciar e governar os programas de gerenciamento de dados das empresas. Liderança de dados é a forma como as empresas investem a energia para criar recursos de dados que influenciem os negócios.
-
/articles/apache-spark-graphx/pt/smallimage/big-data-spark-1530723071452.jpg)
Big Data com Apache Spark - Parte 6: Análise de grafos com Spark GraphX
Este artigo apresenta o GraphX do Apache Spark usado para o processamento e análise de grafos, com exemplos de algoritmos de grafo como: PageRank, Componentes Conectados e Contagem de triângulos.
-
/articles/apache-sparkml-data-pipelines/pt/smallimage/Spark-ML.jpg)
Big Data com Apache Spark - Parte 5: Spark ML
Nessa quinta parte da série sobre Apache Spark, o autor Srini Penchikala explica o pacote Spark ML e como usá-lo para criar e administrar pipelines de dados de machine learning.
-
/articles/apache-spark-machine-learning/pt/smallimage/Spark-MLib.jpg)
Big Data com Apache Spark - Parte 4: Spark Machine Learning
Neste quarto artigo da série Apache Spark, o autor Srini Penchikala explica os conceitos de machine learning e a biblioteca Spark MLlib para criar uma aplicação de análise preditiva.
-
/articles/data-analytics-agility/pt/smallimage/data-analytics-agility-logo-1567491976359.jpg)
Análise de dados no mundo ágil
É tudo uma questão de negócios centrados no cliente, ou ainda existem dados para serem minerados? Podemos integrar a análise de dados e a empatia pelo cliente? Este artigo explora como tornar os negócios mais direcionados ao cliente, e quais informações precisamos para entender o bem mais precioso da empresa: os clientes.
-
/articles/automatizando-spark-notebooks/pt/smallimage/image3-1568238822795.jpg)
Automatizando a execução de Spark Notebooks
O uso de notebooks para explorar um dataset facilita muito o trabalho do desenvolvedor, mas possui desafios para serem publicados em produção ou para os usuários finais visualizarem seus resultados, veja nesse artigo como a Tail fez para automatizar o uso dos Spark Notebooks.
-
/articles/estendendo-outputstream-apache-spark/pt/smallimage/image100-1568843910964.jpg)
Estendendo o OutputStream do Apache Spark Structured Streaming
Nem sempre o suporte padrão de saída do processamento de streams do Apache Spark Structured Streaming pode atender suas necessidades, por isso esse artigo mostra como estender a saída do stream e implementar sua própria integração externa. Apresento como estender o OutputStream com um exemplo completo de integração, persistindo o resultado do processamento em banco de dados relacional.
-
/articles/processamento-de-dados-apache-spark-3/pt/smallimage/capa-artigo3-1563224300987.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark na Wavy: Parte 3
Grandes volumes de dados para processar? Necessidade de informação em "tempo real"? Essas são as necessidades que temos de processamento de dados na Wavy, mais de 100 milhões de transações por dia. Esse artigo mostra como utilizamos o Apache Spark para processar grandes influxos de dados de forma contínua, ao final vamos compartilhar dicas e lições aprendidas no uso dessa ferramenta.