16 de novembro de 2020

Tabelas de resultado das Eleições 2020 em excel e CSV



Onde posso baixar uma tabela em excel com o resultado das Eleições compilado bonitinho? Essa é a pergunta que eu tenho que correr atrás a cada dois anos e nunca é uma tarefa muito simples.

Esse ano, com os atrasos do TSE e tudo mais, foi difícil até para quem configurou os acessos aos dados em tempo real via API e tudo mais.




Enfim, hoje consegui alguma coisa, dá uma olhada nessa tabela do google docs:


No arquivo tem o resultado da apuração até 16/11, 13:14, com 5.502 cidades. A apuração ainda não fechou em 100% dos municípios.

Uma outra opção é o github que o Marco Faganello liberou com scripts para gerar os arquivos de prefeito e vereador. Os CSVs já gerado que estavam lá até o momento, prontos para consulta, eram do dia 15/11, quando a apuração ainda estava na metada: https://github.com/marcofaga/eleicoes2020

No repositório de dados eleitorais a previsão é de liberação no dia 20/11, que é normalmente quando eles liberam os resultados também por seção eleitoral, mais detalhados.

26 de maio de 2020

Gráficos online que atualizam automaticamente

Como fazer gráficos que atualizam dinamicamente quando seus dados mudam? Ou seja, criar um gráfico que se modifique sozinho quando os dados atualizarem. Quem trabalha com dados no jornalismo precisa em algum momento criar um monitor para acompanhar determinado assunto, mantendo as informações atualizadas com certa frequência, puxando direto da fonte oficial ou de uma planilha intermediária. Aí surge a necessidade de criar uma visualização que se alimente desses dados e se atualize sozinha sem que você tenha que toda vez abrir para atualizar os gráficos.

Com os dados sobre o Coronavírus, muita gente precisou criar mais gráficos para acompanhar a evolução da epidemia, e manter os gráficos atualizados se tornou uma dificuldade à parte. Testei muitas fontes e programas para criar um monte de gráficos automatizados neste período até chegar em soluções sustentáveis, e posso indicar 3 ferramentas online gratuitas para criar gráficos que se alimentam de dados dinâmicos: Google Sheets, Datawrapper e Tableau Public. Em todas elas você pode usar o Google Docs como fonte dos dados ou um CSV externo.

1. Google Docs (sheets)

https://docs.google.com/spreadsheets/u/0/

Mapas e gráficos do Google Docs com atualização automática, usando os dados inseridos na mesma planilha


Prós:

  • Atualização rápida (em torno de 5 min, se não for imediata)
  • Gráficos no mesmo lugar onde estão os dados (pode ser uma vantagem para manuntenção)
  • Leves (carregamento rápido quando embedado)

Contras:

  • Gráficos são mais simples
  • Gráficos não são responsivos (se você quiser atender diferentes tamanhos de tela, tem que duplicar e ajustar o tamanho do gráfico)
  • Mapas muito básicos (não dá pra usar só o Brasil, por exemplo, só a América do Sul inteira) e um pouco lentos para carregar
  • A fonte tem que ser o próprio google Sheets (você pode até usar uma fonte externa, mas importando para o Google Docs, com funções como IMPORTXML, IMPORTCSV ou mesmo IMPORTHTML, para elementos table)

Frequência de Atualização:

Imediata (ou geralmente em até 5 minutos)

Como fazer um gráfico dinâmico no Google Sheets

  1. Insira seus dados em uma tabela do Sheets
  2. Selecione os dados
  3. Vá no menu "Inserir gráfico"
  4. O gráfico já aparece na tela, com sugestão de formato de acordo com seus dados. Faça todos os ajustes no editor de gráfico, na barra lateral.
  5. Publique. No botão de opções (três pontinhos) no canto do gráfico, há uma opção Publicar. No popup, escolha Incorporar, e copie o código de embed

2. Datawrapper

https://www.datawrapper.de/

Método de conexão de dados do Datawrapper com o Google Sheets ou um CSV externo, para manter os dados atualizados no gráfico publicado


Prós:

  • Aceita tabelas do Google Docs (existe o modo importação, que deixa os dados estáticos, e o modo "Link external dataset", o mesmo caminho para CSVs externos, que é a opção que mantém seus dados atualizados)
  • Aceita CSVs externos, salvos em algum servidor web
  • Gráficos muito versáteis, de diversos tipos
  • Bonito, visual interessante
  • Responsivo (adapta muito bem em tamanhos diferentes, tem até ajustes específicos mobile/desktop)

Contras:

  • Não é totalmente personalizável.
  • A interatividade é simples (tooltips). Mas não dá para fazer filtros ou seleções
  • O crédito precisa aparecer na versão grátis

Frequência de Atualização:

A cada minuto no primeiro dia após a publicação. Depois de 24h, é atualizado de hora em hora (para resetar a contagem, basta abrir o gráfico para republicar).
Para forçar a atualização, precisa abrir o gráfico, e ir na aba "Check & Describe" para puxar os dados novos (não precisa republicar o gráfico)

Como fazer um gráfico dinâmico no Datawrapper

  1. Crie um novo gráfico (New Chart, New Map ou New table)
  2. Na tela de Upload Data, escolha "Link external dataset" (a opção "Import Google Spreadsheet" não vai manter seu gráfico atualizado, ela só importa os dados uma vez)
  3. Cole o link de um CSV externo. No caso de uma tabela do Google, ative o compartilhamento da planilha antes (Compartilhar > Copiar link > Mudar para qualquer pessoa com link. Depois disso, pode copiar até o link pela barra de endereços)
  4. Siga as etapas para criar o gráfico
  5. Finalize em "Publish & Embed" para copiar o código

Exemplo de gráfico automático com Datawrapper:

3. Tableau

https://public.tableau.com/

Método de conexão de dados do Tableau Public com o Google Sheets, para manter os dados atualizados no gráfico publicado


Prós:

  • Gráficos mais complexos e dashboards
  • Possível criar filtros e permitir maior interatividade com os gráficos
  • Possível criar cálculos, agrupamentos e transformações com os dados

Contras:

  • Pesado (carregamento mais lento)
  • Curva de aprendizado maior
  • Não é online (tem para windows e mac)

Frequência de Atualização:

1 vez por dia. Para forçar a atualização, precisa estar logado na conta do Tableau Public e clicar em "Solicitar atualização", no rodapé do gráfico, que fica no seu perfil.

Como fazer um gráfico dinâmico no Tableau Public

  1. Connect to Data > Google Sheets
  2. Dê as permissões no navegador
  3. Escolha a planilha da sua conta
  4. Crie a visualização
  5. Save to Tableau Public...
  6. Deixe marcada a opção "Manter meus dados sincronizados..." ("Keep my data in sync with Google Sheets and embed my Google credentials")

Exemplo de gráfico automático com Tableau

Mapa e evolução do coronavírus por cidades no Brasil

4. Flourish (menção honrosa)


Método de upload de dados para criar visualizações de dados com o Flourish (CSV, TSV, Json, GeoJson)


O Flourish é uma ferramenta sensacional. Possui interatividades e animações (o modelo da famosa bar chart race), vários tipos de gráficos interessantes, e é versátil nas aplicações, como a possibilidade de criar "histórias", com uma sequência de gráficos, ou até mesmo embedar um gráfico dentro do outro.

Mas o Flourish não tem, até o momento, um método simples de conexão com uma fonte de dados dinâmica. Há apenas a opção de inserir dados via Copiar e Colar, ou upload de arquivos Excel, CSV, TSV, Json e Geojson. Quando lançaram o modelo de Growth Comparison, para comparação do crescimento da Covid-19 entre países, vi que eles possuem API. Para quem vai construir o gráfico via API, é possível usar dados dinâmicos via Json, por exemplo, mas aí depende de saber programar, diferente das outras soluções.




18 de maio de 2020

Como copiar só as células visíveis no Excel

Uma dúvida comum para quem usa bastante o Filtro do Excel é: depois de filtrar, como copiar apenas as células que estou vendo? Ou: se eu copiar essa seleção, as células ocultas vão ser copiadas junto?

Além de a resposta não ser óbvia do ponto de vista lógico ou de usabilidade, o próprio Excel não é muito previsível ou consistente, principalmente no Windows. O ideal, para usuários frequentes do filtro, é testar bastante até se acostumar com a ferramenta e ter certeza do que você vai estar fazendo. Estar seguro sobre isso pode garantir a qualidade dos dados com que você está trabalhando.

Vamos lá. Veja como selecionar apenas as células visíveis no Microsoft Excel:

Excel para windows

Como copiar somente células visíveis no Excel para Windows - Menu Find & Select
  1. Na barra de ferramentas do Excel, vá até a "Página inicial" (Home), e encontre o "Localizar e selecionar" (Find & Select)
  2. Ir para > Especial... (Go To > Special)
  3. Apenas células visíveis (Visible cells only) e selecione OK
  4. Agora é só copiar e colar onde você deseja

Excel para Mac

A princípio, o Excel no Mac já copia só as células visíveis e as ocultas não vão ser coladas junto com o restante, quando você usa o filtro.
Mas, se quiser garantir, no Mac OS o caminho é parecido. Quando você usa outras funções, como os Subtotais, também é necessário fazer isso para copiar:
No Excel mais novo, deve ser possível seguir o mesmo caminho do Windows. Na versão Excel for Mac 2011, faça o seguinte:
  1. Vá até o Menu superior "Edit > Go To..." Como copiar somente células visíveis no Excel para Mac - Menu Edit > Go To
  2. Botão "Special..." Como copiar somente células visíveis no Excel para Mac - Botõa Special
  3. Selecione "Visible Cells Only" e dê OK Como copiar somente células visíveis no Excel para Mac - Botão Visible Cells Only

Google Sheets

No programa de planilhas do Google Docs, as células visíveis são copiadas por padrão, tanto na função Filtro como nos Subtotais. Por isso não há um caminho para isso.

Subtotal

Além do filtro, uma outra função que também oculta linhas e é comum para quem trabalha com dados é o uso dos Subtotais. Quando você "recolhe" as linhas para mostrar apenas só os subtotais e não os itens, a seleção também pode copiar as linhas e células ocultas.

Veja no vídeo abaixo como fazer a seleção. O exemplo é no Excel for Mac, usando a função subtotal.


Veja também

Como agrupar dados com subtotais
Outros tutoriais de excel