Visualização de informações complexas Aula 03: Sistemas complexos, big data, visualização da complexidade e redes
Prof. Rui Alão
Visualização de informações complexas Aula 03 Visualização de redes e data visualization 02/04/2014 segunda-feira / sala de aula Data visualization e complexidade. Sistemas complexos, conceito, características. Emergência e robustez. Big data. Teoria das redes. Visualização para dados de redes. Topologias e propriedades de rede. Modelagem de redes sociais. Conceitos de nós, links e hubs.
3.1 Sistemas complexos Complexidade crescente Vivemos uma dinâmica de complexidade crescente de vários aspectos da vida contemporânea. Há cem anos o ambiente para o qual se trabalhava era estável. As relações entre trabalho e resultado eram lineares e previsíveis. As relações pessoais e comerciais se davam no contexto local, não havia, praticamente, elos de ligação entre a produção agrícola em um certo estado e seu preço em outra parte do mundo. Não havia grande troca de informação entre partes distantes do globo. Praticamente todos os aspectos da vida se davam no contexto local.
3.1 Sistemas complexos Complexidade crescente Hoje eventos no Iraque (ou na Criméia...) afetam o preço do petróleo na Argentina. Todo o mundo está interligado, é interdependente. Neste cenário, entender estas relações de caráter complexo, é importante para a tomada de decisões estratégicas.
3.1 Sistemas complexos O que são sistemas complexos? Segundo Wolfram (2002), existem 4 tipos de sistemas: -
estáveis: bola que retorna ao fundo da bacia cíclicos: órbitas dos planetas caóticos: sistemas meteorológicos complexos: bolsa de valores, trânsito em São Paulo
WOLFRAM, Stephen. A new kind of science. Champaign: Wolfram Media. 2002.
3.1 Sistemas complexos Os sistemas não são estanques, podem mudar de um estado para outro. Assim, pode-se ter um sistema caótico no início e acabar com um sistema estável dali a pouco... Exemplo da festa, com pessoas se vestindo de forma diferente: se houver suficiente diversidade e se forem interdependentes, pode surgir um sistema complexo. Características dos sistemas: - diversidade - conectividade - interdependência - adaptação
3.1 Sistemas complexos O exemplo da língua falada como sistema complexo. Uma imagem que vem à mente quando se pensa nesta dinâmica da língua é uma enorme construção que, se de um lado se desgasta e desmorona, se reconstrói de outro com formas novas e originais. Uma língua em função tem as características de algo dinâmico, que se define enquanto é usada. Enquanto muda se mantém inteligível, pois mantém grande parte de sua estrutura relativamente intacta por longos períodos, mas aceita mudanças tanto em seus agentes — palavras — quanto em suas regras — sintaxe — sem perder sua organicidade, isto é, sem deixar de ser inteligível e, ao mesmo tempo, coerente. A língua é, assim, uma solução para um problema que muda: representar um mundo que também muda.
3.1 Sistemas complexos Emergência São fenômenos típicos de sistemas complexos, nos quais surgem (emergem) padrões de organização de forma espontânea, a partir das interações dos agentes.
uma revoada de pássaros é um fenômeno emergente
3.1 Sistemas complexos Grandes eventos S茫o fen么menos que ocorrem e que afetam todo o sistema ou uma parte dele de forma catastr贸fica. Parte da ordem do sistema 茅 perdida.
3.1 Sistemas complexos Robustez É uma característica do sistema que expressa a resistência à mudanças radicais. O sistema tende a se reconstruir e à voltar ao seu estado inicial.
3.1 Sistemas complexos Expressar a complexidade e extrair sentido de um emaranhado de relações é um grande desafio da área de visualização de dados. Problemas mapeados em sistemas, conforme sua complexidade: - simples - enrugados - dançantes
3.1 Sistemas complexos Simples
3.1 Sistemas complexos Enrugados
3.1 Sistemas complexos Dançantes
Só os problemas dançantes tem características dos sistemas complexos, pois exibem adaptação
3.1 Sistemas complexos Este video foi obtido usando um algoritmo chamado Code Swarm, criado por Michael Ogawa.
O desafio aqui é extrair sentido de um volume brutal de dados através de uma visualização feita usando Processing.
Python Open Sorce Project visto através de Code Swarm
3.2 Big data Temos a impressão que big data se refere, necessariamente, a grandes quantidades de dados... nem sempre é assim. Big data pode se referir a quantidades não tão grandes... sensores de um carro ou avião, por exemplo. É a falta de estruturação, intertepenência e complexidade entre os dados que os torna “big data”. Big data se refere à grande complexidade ao invés de grande volume. Lógico que conjuntos de dados (datasets) complexos tendem a crescer rapidamente, então naturalmente o que chamamos de big data tende a ser massivo.1 1 http://www.openmethodology.org
3.2 Big data Os problemas ligados à big data se referem não só aos dados em si mas principalmente àquilo que se quer extrair deles. Problemas logísticos de alguma complexidade podem se enquadrar no cenário de big data. Por exemplo, oferecer a compra de um imóvel na Vila Mariana para aquele usuário do Facebook que está mesmo interessado em morar na Vila Mariana é um problema que envolve a coleta de dados não estruturados, filtragem e seleção de ofertas que trabalha com um cenário de big data. Pode ter havido a coleta de conteúdos de posts relacionados ao assunto, a seleção de palavras-chave que se referem a lugares, e a conclusão de que o usuário está num momento de mudança de moradia... este tipo de relacionamento é bastante complexo e parte de dados soltos, não intencionais e não formatados para este fim.
3.2 Big data Problemas de abastecimento dinâmico em tempo real podem se enquadrar nos cenårios de big data.
Exemplo da Intel: http://goo.gl/O6AnEl
3.2 Big data
Ver o artigo: Big data: enxurrada de dados emerge como novo term么metro na economia. http://goo.gl/sCCuuQ
data visualization
3.3 Data visualization
http://twitter.github.io/interactive/andes/
3.3 Visualização da complexidade Comparemos a visualização anterior com esta...
3.3 Visualização da complexidade Aqui temos exatamente a correspondência da localização com os dados.
Hans Rosling e data visualization
Projeto Gapminder
3.3 Visualização da complexidade A Nike contratou a YesYesNo para gerar a visualização de anos de corridas ao longo do Central Park, gerando um painel de corredores incansáveis como elemento de sua imagem e campanha.
http://www.yesyesno.com/nikecollab-city-runs/
3.3 Visualização da complexidade Quais atletas olímpicos (Sochi 2014) usam o Twitter e quais se conectam com quais outros?
http://zoom.it/NtOl
O mapa da internet: vocĂŞ estĂĄ aqui
3.2 Redes Parte da complexidade surgida recentemente na área de visualização de informação advém da necessidade da representação de relações em rede. Com o sucesso da web este tipo de representação adquiriu grande relevância. A teoria do grafos é uma área da matemática que estuda a relação de objetos num conjunto. Usa-se a noção de nó e de aresta (ou ligação).
3.2 Redes Vários problemas podem ser mapeados com o auxílio da Teoria dos Grafos. Por exemplo, se você quer saber quais cidades fazem divisa com quais outras. Estas relações podem ser representadas facilmente através de grafos.
3.1 Redes Posso querer saber quais sites fazem links com quais outros sites. Repare que neste mapa é muito importante saber a direção do link. A mesma coisa ocorre, em geral, nas redes sociais: você pode ser amigo de alguém que, no entanto, não é seu amigo.
Alguns links são bidirecionais, outros unidirecionais.
3.2 Redes Este gráfico mostra como um grupo de moças gostaria de compartilhar seus lugares em um jantar. Foi pedido a cada uma que mencionasse duas amigas com as quais gostaria de se sentar, gerando um grafo direcionado. Qual tipo de ligação mostra qual a moça mais popular, o grau interno ou externo? Qual a mais popular?
3.2 Redes Nos problemas de rota, como estabelecer a rota de um pacote de dados pela internet, ou achar um caminho no GPS, a direcionalidade é fundamental. Afinal, nem toda rua é de duas mãos.
Temos, portanto, redes com características direcionais, e outras onde a direção é irrelevante ou não faz sentido.
3.2 Redes O algoritmo usado para encontrar a melhor rota deve levar em conta a direção de cada ligação.
Digamos agora que quero também saber a distância do percurso...
3.2 Redes Cada ligação deve ter um valor associado para que se possa calcular a distância percorrida.
No final, teríamos 1070m de percurso. Caso houvesse outras rotas alternativas, poderíamos usar este valor para comparar e encontrar a mais curta.
3.2 Redes O grau de um nó corresponde ao número de ligações a ele. No grafo ao lado, Bertioga tem o grau de 1, enquanto Santos tem o grau de 4. Geralmente a relevância de um nó em uma rede é proporcional ao seu grau.
3.2 Redes Em redes direcionadas, falamos em grau interno e grau externo de um nó. O grau interno é o número de ligações que chega ao nó, e o externo é o que parte do nó. Quais os graus interno e externo de Globo.com? E da Somar Meteorologia?
3.2 Redes A topologia de uma rede é o padrão formal que ela tem. Este padrão não é dado apenas pela número de nós presentes mas também pela quantidade e configuração de ligações entre eles.
Um site pode ser expresso em termos de sua topologia, assim como uma rede social.
O Grafo do Facebook
Mas, afinal, o que se pode extrair de uma bagunรงa como esta? Existe alguma ordem?
Leitura JOHNSON, Steven. Sistemas complexos se organizam sem hierarquia.