Infográficos, visualização e jornalismo de dados.
Tutoriais e ferramentas grátis/opensource pra raspar, extrair, limpar e visualizar dados.
Como transformar informação suja e escondida em dados abertos e elegantes pra visualizar, compreender e fazer sentido.
Clique em "Salvar como novo vídeo" para não alterar o original, ou em "Salvar" para ajustar o mesmo vídeo
Obs.: O processamento do vídeo após a edição pode demorar um pouco. Ainda assim, é possível embedar o vídeo e deixar o leitor vendo a versão antiga enquanto as alterações são processadas.
Resultados das eleições em Excel, pra quem não gosta dos CSVs do TSE.
Dados do TSE em formato Excel
A rigor, os dados sobre resultados das eleições são bem abertos e disponíveis no site do TSE.
Mas não é difícil encontrar alguém que tenha dificuldades em encontrar uma pesquisa específica ou trabalhar com os dados brutos que tem lá. Problemas com .csv (vírgulas, pontos, codificação), tabelas sem cabeçalho ou arquivos muito grandes (agrupados por estado) às vezes inviabilizam o trabalho, ou dão preguiça só de começar.
Se você se identificou com a descrição, pode gostar das tabelas abaixo, que estão formatadas de forma mais simples e preparadas para consultas mais rápidas usando o Excel ou o Google Sheets. Há também tabelas com coordenadas para gerar mapas de municípios, zonas eleitorais ou locais de votação no Tableau, Google Maps ou outro software de mapas.
Todos os dados são do TSE. A maioria das planilhas foram baixadas no dia do 1º turno das eleições (2/10/2016), no site do TSE, ou através do programa Divulga.
Seções eleitorais: As planilhas detalhadas por seção eleitoral foram disponibilizadas no Repositório de Dados Eleitorais 5 dias após o 1º turno, na sexta-feira dia 7/10/2016.
Locais de votação: No Paraná, os locais de votação foram disponibilizados pelo TRE-PR. Em Curitiba, os endereços do TRE-PR foram mapeados pelo Ippuc e disponibilizados em shapefile. A votação por local de votação é uma soma dos resultados em todas as seções eleitorais naquele local. Cruzando a tabela de votos por local com a de endereços, temos a localização de cada seção eleitoral.
Bairros: A votação por bairro é uma soma das votações de todos os locais de votação naquele bairro. Os locais de votação, por sua vez, são somas das votações nas seções eleitorais.
Cruzamento dos dados
Os cruzamentos mais complexos (aqueles que resultaram em tabelas maiores), como a situação dos candidatos por sexo em todos os municípios do Brasil, foram feitos através de consultas SQL, com as bases baixadas em .csv do Repositório.
Todos os outros cruzamentos foram feitos no Excel, com o uso da fórmula VLOOKUP (procv).
Resultados das eleições em Excel, pra quem não gosta dos CSVs do TSE.
Dados do TSE em formato Excel
A rigor, os dados sobre resultados das eleições são bem abertos e disponíveis no site do TSE.
Mas não é difícil encontrar alguém que tenha dificuldades em encontrar uma pesquisa específica ou trabalhar com os dados brutos que tem lá. Problemas com .csv (vírgulas, pontos, codificação), tabelas sem cabeçalho ou arquivos muito grandes (agrupados por estado) às vezes inviabilizam o trabalho, ou dão preguiça só de começar.
Se você se identificou com a descrição, pode gostar das tabelas abaixo, que estão formatadas de forma mais simples e preparadas para consultas mais rápidas usando o Excel ou o Google Sheets. Há também tabelas com coordenadas para gerar mapas de municípios, zonas eleitorais ou locais de votação no Tableau, Google Maps ou outro software de mapas.
Todos os dados são do TSE. A maioria das planilhas foram baixadas no dia do 1º turno das eleições (2/10/2016), no site do TSE, ou através do programa Divulga.
Seções eleitorais: As planilhas detalhadas por seção eleitoral foram disponibilizadas no Repositório de Dados Eleitorais 5 dias após o 1º turno, na sexta-feira dia 7/10/2016.
Locais de votação: No Paraná, os locais de votação foram disponibilizados pelo TRE-PR. Em Curitiba, os endereços do TRE-PR foram mapeados pelo Ippuc e disponibilizados em shapefile. A votação por local de votação é uma soma dos resultados em todas as seções eleitorais naquele local. Cruzando a tabela de votos por local com a de endereços, temos a localização de cada seção eleitoral.
Bairros: A votação por bairro é uma soma das votações de todos os locais de votação naquele bairro. Os locais de votação, por sua vez, são somas das votações nas seções eleitorais.
Cruzamento dos dados
Os cruzamentos mais complexos (aqueles que resultaram em tabelas maiores), como a situação dos candidatos por sexo em todos os municípios do Brasil, foram feitos através de consultas SQL, com as bases baixadas em .csv do Repositório.
Todos os outros cruzamentos foram feitos no Excel, com o uso da fórmula VLOOKUP (procv).
Como usar o filtro do Excel para preencher uma lista de valores em uma coluna nova.
Para facilitar a apuração para uma matéria, uma tabela de doações de campanha precisava ter uma coluna identificando os registros como CNPJ ou CPF.
Normalmente tabelas de prestação de contas vêm apenas com o número, e não especificam se a doação veio de uma pessoa física ou pessoa jurídica. O mesmo acontece em tabelas de gastos. Na verdade, se o documento veio identificado com nome ou razão social, você já pode ficar feliz. A Assembleia Legislativa do Paraná, por exemplo, publica a prestação de contas dos deputados estaduais sem identificação, apenas com o número.
Com um truque simples no excel é possível acrescentar uma coluna com a diferenciação:
Passo a passo detalhado abaixo:
Padrão de formatação de CPNJ/CPF
Geralmente, os registros de pessoa física e jurídica vem no seguinte formato:
Padrão de CNPJ
XX.XXX.XXX/0001-XX
14 dígitos
Padrão de CPF
XXX.XXX.XXX-XX
11 dígitos
O CNPJ tem barra e normalmente aquele "mil ao contrário", mas não é regra. O número de dígitos também difere entre os dois, mas talvez existam cnpjs ou cpfs fora do padrão. Desconfie sempre das tabelas.
Como formatar CPF no Excel
Depois de colocar uma lista de CPFs ou CNPJs no excel, eles podem ter perdido a formatação com pontos, traços e barras. Veja abaixo como formatar um número no excel como CPF:
Clique com o botão direito na célula que contém o CPF e vá na opção "Formatar células"
Para isso você também pode usar o atalho Ctrl + 1 (ou Cmd + 1 no Excel for Mac) ou usar a formatação de número na barra de ferramentas
Selecione a opção "Personalizado" ou "Custom"
Digite ou copie e cole esse código para formatar o CPF: 000"."###"."###-##
Pronto. Qualquer número com 11 dígitos inserido nessa célula será formatado corretamente como um CPF
Como formatar CNPJ no Excel
Clique com o botão direito na célula que contém o CNPJ e vá na opção "Formatar células"
Selecione a opção "Personalizado"
Digite ou cole esse código para formatar o CPF: 00\.000\.000\/0000-00
Pronto. Qualquer número com 14 dígitos inserido nessa célula será formatado corretamente como um CNPJ
Fórmula para separar CPF E CNPJ no Excel
Use essa máscara para formatar números que possam ser tanto CPFs como CNPJs inseridos na mesma célula. O código contém uma condicional que aplica uma ou outra formatação com base na diferença no número de dígitos
Clique com o botão direito na célula com o número do CPF ou CNPJ e vá na opção "Formatar células"
Selecione a opção "Personalizado"
Digite ou cole esse código para formatar o CPF: [<=99999999999]000\.000\.000-00;00\.000\.000\/0000-00
A documentação a seguir se aplica mais a limpeza e identificação de listas já prontas de CPF e CNPJ. Foi um processo realizado com dados públicos, como tabelas de doação de campanha ou de prestadores de serviço para deputados.
Como diferenciar CNPJ de CPF
Verifique a qualidade dos dados
Passe o olho na tabela para verificar se informações parecidas estão formatadas do mesmo jeito.
Neste caso a tabela estava bem organizada, os números estão formatados com um padrão correto (pontos, traços, barras, ...) e mesma quantidade de dígitos.
Identifique um padrão para poder separar os dados
Se a tabela não vem com uma coluna "Pessoa Física/Jurídica", é preciso criá-la. É possível fazer isso encontrando a diferença entre os dois tipos de número. Uma diferença fácil é a quantidade de dígitos, mas isso não é tão simples de "selecionar" no excel. Já a presença da barra (/) nas células de CPNJ é um padrão fácil de ser selecionado.
Como separar CNPJ e CPF no Excel
Ative o filtro no Excel
Selecione a tabela toda (Ctrl + A / Cmd + A)
Certifique-se de que sua tabela não tem "buracos" (linhas ou colunas totalmente vazias). Se tiver, a seleção da tabela ou o filtro podem não funcionar. Se tiver dúvida, faça a seleção com o mouse.
Dados > Filtro (Ctrl + Shift + F / Cmd + Shift + F)
Filtre os CNPJs
Clique no filtro da coluna CPF/CNPJ (botão com a seta pra baixo no cabeçalho)
Digite a barra "/". Acho que no Windows a janela do filtro precisa de um OK a mais.
Quando o filtro funcionar, a tabela irá exibir apenas linhas nas quais as células da coluna selecionada contenham o caractere barra. Ou seja, neste caso, linhas referentes a CNPJs.
Quando o filtro está ativado, o número das linhas na esquerda muda de cor, para indicar que existem linhas que estão ocultas. O ícone do filtro também muda na coluna onde ele foi ativado.
Crie uma coluna nova
Dê um nome à coluna nova "CNPJ ou CPF", "PF ou PJ", ou algo assim.
Ao lado do primeiro CNPJ encontrado, digite "CNPJ" ou "Pessoa Jurídica".
Preencha todas as células abaixo ("Fill down") com a mesma informação. Clique no quadradinho no canto da célula e arraste para baixo até o final da tabela.
Dica para um Fill Down mais rápido: se sua tabela está "sem buracos" (células vazias), dê dois cliques no quadradinho que ele irá se preencher até o final da tabela (ou até encontrar uma célula vazia à esquerda). Sempre vá até o final pra ver e garantir que deu certo.
Limpe o filtro
abra o filtro novamente e "Limpar filtro" ou "selecionar tudo"
Use o filtro na coluna nova
Agora que você já preencheu CNPJ na coluna nova, é só preencher "CPF" nas células que ficaram vazias.
Clique no filtro da coluna nova
Desmarque "CNPJ" e deixe marcadas a células vazias.
Digite CPF na primeira célula e faça o Fill Down novamente.
Desative o filtro e pronto!
Avançado: Limpar listas grandes de CNPJs e CPFs
Essa parte é um epílogo um pouco mais avançado para quem usa Mac. O script limpa a formatação dos números (pontos, barras, traços) deixando só os dígitos e acrescentando uma coluna de texto identificando se é CNPJ ou CPF.
Veja como fazer um arquivo do Tableau Public funcionar bem em telas pequenas e dispositivos touch screen, como em um smartphone (how to make a mobile responsive tableau dataviz).
Para quem tem pressa (TLDR)
Se você não tem tempo, leia os dois itens extremamente necessários:
Com isso, seu tableau já fica “flexível” para vários tamanhos. Agora tire um tempo para ver como fazer isso ficar bom:
Como fazer um tableau “mobile friendly”
Por padrão, um arquivo do Tableau não se adapta sozinho a uma tela de smartphone, mesmo que você deixe o tamanho “automático”. É preciso fazer alguns ajustes, e principalmente, pensar em simplificar a vida de quem vai visualizar e interagir com as informações numa tela limitada.
É provável que, com o Tableau, você não consiga um resultado 100% satisfatório e irrite algum usuário que vai tentar interagir com o que você produzir, principalmente à medida que a complexidade dos dados e funcionalidades aumenta.
Mas com as dicas a seguir é possível fazer algo bem aceitável. Detalhei bem o texto para explicar as razões de cada decisão, mas na correria, só os títulos e as imagens já devem ajudar:
Requisitos básicos
Não sei se precisa comentar, mas:
Publique sempre seu conteúdo em um dashboard (painel).
Usando sheets (planilhas) soltas não tem como controlar e planejar com exatidão o que vai aparecer ou não no resultado publicado. Jogue as sheets num dashboard, ou em vários dashboards (vários dashboards podem ser publicados em abas, ou em uma “história”)
Use sempre o tipo de layout “tiled” (Lado a lado), e não “floating” (Flutuante)
Porque sim. Não sei como objetos flutuantes irão se comportar com tamanhos diferentes de tela; parece que são mais imprevisíveis.
Uma alternativa para atender a todos os tipos de usuário é criar duas versões, uma larga e uma estreita, e criar uma condicional (em css, js, …) para que o seu site exiba uma ou outra de acordo com o dispositivo que vai acessar. Parece uma solução ruim e trabalhosa.
Para facilitar o trabalho de quem vai projetar a visualização, prefiro pensar que o ideal é criar uma versão só que se adapte a vários tamanhos de tela.
Pra isso é preciso pensar primeiro na situação mais limitada – a tela pequena do celular na posição retrato–, e depois o restante fica mais simples de resolver.
E acredite, a limitação é boa para reduzir a quantidade de coisas desnecessárias que colocamos nas visualizações só porque “tem espaço”.
Exemplos
Veja alguns exemplos de dashboards preparados para funcionar em telas grandes e pequenas:
Abra no celular ou diminua a janela do navegador para ver como se comportam.
Todos esses exemplos foram pensados para funcionar em qualquer largura na faixa de 320px a 1000px de largura. Ou seja, a mesma informação consegue ser aberta em um pequeno Android Moto G, em um Iphone 6 plus, ou um computador desktop com tela widescreen.
2. Defina o tamanho do dashboard
Escolha tamanho “Intervalo” (range)
Defina a largura menor: 320px (celular)
Defina a largura máxima: 1000px (desktop)
Use a mesma altura mínima e máxima. 800px e 800px, por exemplo. O tamanho vai depender da quantidade de coisa que você tiver ali dentro. Se as alturas não forem iguais, você corre o risco de criar mais uma rolagem interna desnecessária, quando estiver em uma tela menor.
Teste o tamanho
Definido o tamanho do dashboard, você pode testar como fica a visualização em diferentes tamanhos, ajustando a largura da janela do aplicativo do Tableau.
Bug
Depois de ajustar a janela ou clicar em algum lugar que não sei bem onde, o Tableau tem algum bug que faz com que o tamanho volte a ser “Automático”, ao invés do “Intervalo” já definido.
Defina de novo e bola pra frente.
Novo tamanho, novo código
Se mudar o tamanho do dashboard (ou o nome), copie um novo código de embed para não ter problemas.
3. Evite rolagens
Use o mínimo de rolagens possível.
O seu conteúdo já vai ser rolado na vertical, na maioria das vezes. Se tiver um pouco de altura, já fica maior do que o que cabe no celular e o leitor vai ter que rolar pra ver o conteúdo todo. Normal, é como funcionam os textos.
Além dessa rolagem vertical, que é quase inevitável, evite quaisquer outras rolagens desnecessárias, como rolagens horizontais, ou muitas listas de coisas dentro do dashboard.
O ideal é que todos os elementos caibam inteiros dentro do dashboard (mesmo que ele fique alto), e o leitor só precise usar a rolagem natural da página.
4. Pense horizontalmente
Para eliminar rolagens, você precisa aproveitar ao máximo espaço horizontal. Tente usar a largura completa para todos os elementos.
Evite a rolagem horizontal
Se você fizer coisas mais largas que a tela do celular, o leitor além de ter que rolar na vertical, vai ter que rolar também na horizontal e vai ficar “sambando” dentro do gráfico, como se estivesse em um mapa.
Não coloque coisas lado a lado
Esqueça a enorme quantidade de filtros que você podia colocar na lateral de um gráfico e ficava tão legal numa largura desktop. Simplifique, escolha um ou outro, e coloque o filtro antes ou depois do gráfico (acima ou abaixo)
Pense em elementos que ocupem a largura inteira
5. Ajuste os elementos
Faça os elementos se ajustarem sozinhos.
Por padrão, as sheets (planilhas) que você arrasta no dashboard (painel) tem o tamanho natural que o gráfico mesmo gerou ou o tamanho que você redimensionou lá na edição da planilha.
Quando você arrasta as sheets no dashboard, elas caem dentro de uma moldura (container). Conforme você redimensiona o container e o conteúdo dentro fica maior que o container, ele é cortado, ou gera rolagem.
Clique nas opções do objeto (aquela seta minúscula, perto do X no canto superior direito)
Ajustar > Exibição inteira
Há quatro opções de ajuste ali. Explico:
Normal: opção padrão. Tamanho original. Sujeito a corte ou rolagem não planejada.
Ajustar largura: ideal para listas. A altura fica original e a largura fica em “100%” do tamanho da janela. Ou seja, o tableau vai comprimir tudo o que você jogar ali na largura que o leitor tiver disponível para ver é bom para quando você quer manter uma rolagem vertical. Exemplo: Uma lista muito grande. Você garante que a largura toda fica visível (e o leitor vê todos os números sem precisar rolar para o lado), mas você já sabe que vai haver uma rolagem dentro do seu tableau.
Ajustar altura: evite. A altura fica comprimida ao espaço disponível. Vai gerar rolagem horizontal. Não costumo usar. Mas posso imaginar uma lista de fotos de políticos, como uma galeria, por exemplo. Ou um gráfico de barras muito horizontal.
Exibição inteira: o mais indicado. O conteúdo vai ser comprimido na altura e largura. nada vai ser cortado e não vai gerar rolagem. Preocupe-se apenas em deixar o container de um tamanho que o conteúdo seja legível. Ou o conteúdo simples o suficiente para o tamanho.
Conteúdo exibido por completo após o ajuste com “Exibição inteira”:
6. Simplifique
Diminua o tamanho dos elementos
Use filtros condensados
Não exagere no tamanho de cada gráfico.
Tente fazer coisas que caibam em uma rolagem de celular (para que o leitor não fique tendo que ir e voltar pra ler o mesmo gráfico)
Use menos elementos
Prefira menos elementos no layout
Personalize o tooltip (“dica de ferramenta”)
Edite o texto padrão e deixe apenas as informações importants. Crie hierarquia entre elas. É um campo de layout livre.
Desabilite as opções de tooltip
No canto da janela de edição do tooltip há um botão “Incluir botões de comando” (Include command buttons). A única função disso é habilitar mais botões para o usuário apertar sem querer e estragar tudo. Desmarque.
Reduza o número de labels (rótulos)
Prefira gráficos sem labels, ou com labels sucintas e simplificadas. Para alguns tipos de gráficos há a opção de mostrar rótulos apenas para alguns valores, como máx./mín. ou valores finais.
7. Deixe espaço para a rolagem
O tableau é um software muito bom. Tem funcionalidades poderosas. Mas a interação com um gráfico publicado é muito complicada e cheia de locais “onde não dá pra clicar”, coisas que você clica e some tudo, etc. No celular ou dispositivos touch screen, os problemas aumentam. A rolagem é especialmente triste.
O problema da rolagem
Veja meu sucesso tentando rolar a página em um dos exemplos que dei acima:
A experiência é trágica. O que era pra ser um simples scroll vira clique ou seleção de coisas.
Se fosse um mapa, o resultado seria ainda pior. Mesmo a rolagem no desktop ainda é um problema quando encontra um conteúdo como um Google Maps no meio do caminho.
Solução
A única solução que encontrei é deixar uma lateral livre e torcer para que o usuário adivinhe que pode clicar ali para rolar sem estragar tudo.
No dashboard, arraste um novo objeto “Em branco” (blank) na lateral direita de tudo
Redimensione a largura para ficar bem estreita, o suficiente para alguém conseguir usar o dedo para “arrastar” a tela no celular.
Diminua a janela do aplicativo para ver como fica
8. Ajuste o código de embed
O código padrão do Tableau não funciona para vários tamanhos mesmo que você defina um tamanho flexível no seu dashboard. É preciso fazer dois ajustes:
Esteja no dashboard a ser publicado antes de salvar
Salve o Tableau Public.
Na página que abrir no navegador, copie o código de compartilhar (Código inserido):
Encontre os dois lugares onde a largura é especificada no código e troque a medida por 100%.
Oculte as abas. Ultimamente, na Gazeta do Povo temos trabalhado com dashboards únicos. Quando é preciso mais de um, é uma opção legar criar uma nova “História”, que é um conjunto de dashboards. Para isso é bom garantir que as abas (dashboards, sheets e stories) fiquem escondidas na versão publicada. O Tableau até tem uma opção “show sheets as tabs”, mas ela já me decepcionou e não confio mais. Por isso é melhor garantir no código que elas não vão aparecer quando você inserir o código na sua página:
Não esqueça de copiar novo código se alterar o nome ou o tamanho do dashboard, e fazer esse ajuste novamente.
Pronto.
Ajuste o código automaticamente
Essa parte é um epílogo um pouco mais avançado para quem usa Mac. É uma mão na roda se você tem que fazer esse processo de ajustar o código para publicar Tableaus frequentemente (nós fazemos isso em TODAS as publicações).
Use o mágico TextWrangler (editor de texto para Mac)
