Tópicos¶

Ferramentas¶

Back
Produto GT 2 - Modelo de Maturidade de publicação de dados

Modified on 19/07/2019 15:31 por augusto.herrmann Categoria GT2, Produto
{TOC}

Um modelo de maturidade da publicação de dados abertos deve considerar vários aspectos, tais como aqueles relacionados ao processo de publicação, os relacionados aos dados em si e, ainda, os impactos da publicação dos dados na sociedade e na economia, entre outros. A seguir apresentam-se alguns dos principais modelos, classificados pelo tipo de abordagem que utilizam.

== <i class="fas fa-award"></i> Modelos de qualidade de dados ==

A qualidade dos dados diz respeito a diversos aspectos dos dados, tais como o seu nível de estruturação, unicidade de chaves, consistência, conformidade com esquemas, completude, existência de referências a outros conjuntos de dados, etc. Avaliar a qualidade dos dados é uma tarefa complexa e apenas um modelo de avaliação dificilmente conseguiria capturar todos esses aspectos.

Listam-se aqui alguns modelos que são relevantes no contexto de dados abertos.

=== <i class="far fa-star"></i> 5 Estrelas dos Dados Ligados ===

[^https://www.w3.org/DesignIssues/LinkedData.html|Modelo proposto por Tim Berners Lee] para avaliar o grau de estruturação dos dados em direção aos dados abertos ligados.

{|
|-
| style="color: gold; text-align: right;" | ★     
|| Disponível na internet e com uma licença aberta (caso contrário não podem ser considerados dados abertos)
|-
| style="color: gold; text-align: right;" | ★★    
|| Disponível como dados estruturados e legíveis por máquina
|-
| | style="color: gold; text-align: right;" | ★★★   
|| Como o anterior, mas disponível em formato aberto
|-
| | style="color: gold; text-align: right;" | ★★★★  
|| Como todos os anteriores, e ainda usando os padrões aberto do W3C para identificar as coisas
|-
| | style="color: gold; text-align: right;" | ★★★★★ 
|| Como todos os anteriores, e ainda referenciar dados de terceiros para prover contexto
|-
|}

O modelo tem sido refinado e adaptado por diversos grupos de pessoas. Um desses refinamentos, que conta com a participação de algumas pessoas vinculadas ao W3C, é '''[^https://5stardata.info/|5 ★ Open Data]'''. Nele, a identificação de coisas por URIs é uma característica exigida para a 4ª estrela. Além disso, vários exemplos de dados em cada estágio são apresentados.

=== <i class="fas fa-dolly"></i> Modelagem de proveniência de dados ===

A modelagem dos metadados de proveniência dos dados abertos é de grande importância para que se possa não apenas identificar a sua origem e processo de produção, como também documentá-lo e permitir que o mesmo seja reproduzido.

[^https://answers.semanticweb.com/questions/3677/what-provenance-vocabulary-should-we-use|Vários vocabulários de proveniência] (e.g. [^https://code.google.com/p/opmv/|OPMV], [^https://prov4j.org/xprov/|X-Prov], W3P, etc.) foram produzidos ao longo dos anos por diferentes grupos de estudiosos para descrever os metadados de proveniência. Os projetos de dados abertos do governo do Reino Unido ([^https://data.gov.uk|data.gov.uk]) atualmente utilizam o vocabulário OPMV para descrever seus metadados de proveniência, nos casos em que tais metadados são fornecidos.

Um [^https://www.w3.org/2011/01/prov-wg-charter.html|grupo de trabalho no W3C] foi criado para [^https://www.w3.org/2005/Incubator/prov/wiki/W3C_Provenance_Incubator_Group_Wiki|estudar, harmonizar e documentar] os diversos vocabulários de proveniência, e produziu um [^https://www.w3.org/2005/Incubator/prov/XGR-prov/|relatório final em 2010]. Deste grupo também resultou um [^https://www.w3.org/TR/2012/WD-prov-dm-20120724/|modelo de dados] e uma [^https://www.w3.org/TR/2012/WD-prov-o-20120503/|ontologia de proveniência].

=== <i class="far fa-check-circle"></i> OPQUAST Checklist ===

O sítio [^https://checklists.opquast.com/en/|Open Quality Standards] (OPQUAST) possui uma [^https://checklists.opquast.com/en/opendata|lista de verificação] com 72 questões que pretendem verificar o uso de boas práticas relacionadas a dados abertos.

=== <i class="far fa-map"></i> Modelo de Maturidade de Dados Abertos Governamentais ===

[^https://opengovdata.io/maturity/|Este modelo] foi desenvolvido pelo autor Joshua Tauberer (@JoshData) em seu livro [^https://opengovdata.io/|OPEN GOVERNMENT DATA]. Na verdade trata-se mais de um mapa, uma tabela que na qual podemos analisar uma ação sob dois eixos:

* horizontal: serviços públicos e "responsabilidade" pública (accountability)
* vertical: aspectos da maturidade de dados, como formatos de arquivos etc

Baseado no modelo das 5 estrelas, o modelo traz o uma visualização de exemplo do congresso americano, para auxuliar o entendimento do seu funcionamento.

=== 🇦🇺 Modelo de Qualidade de Dados do Governo da Austrália ===

O governo da Austrália está desenvolvendo um modelo também baseado nas 5 estrelas de Tim Berners-Lee, denominado ''[^https://blog.data.gov.au/news-media/blog/improving-data-quality-datagovau|"data quality framework"]''. A diferença básica é que ele dá mais valor, em vez do uso de um formato aberto, a planilhas "legíveis por máquina", isto é, cujas células podem ser diretamente interpretadas por um programa, sem cabeçalhos ou informações que precisariam ser selecionadas por um ser humano.

O modelo considera também a qualidade dos metadados e a qualidade de APIs de dados abertos.

=== <i class="fas fa-globe"></i> Kit de ferramentas para dados abertos governamentais do Banco Mundial ===

O kit de ferramentas para dados abertos governamentais do Banco Mundial tem um componente voltado ao [^https://data.worldbank.org/about/open-government-data-toolkit/supply-of-data|fornecimento e à qualidade de dados]. Nesse componente, são citados alguns padrões para qualidade de dados.

=== <i class="fas fa-award"></i> Vocabulário de Qualidade de Dados ===

O World Wide Web Consortium (W3C), no âmbito do [^https://www.w3.org/2013/dwbp/wiki/Main_Page|grupo de trabalho de melhores práticas para dados na web] (Data on the Web Best Practices) está desenvolvendo um vocabulário de Qualidade de Dados (Data Quality Vocabulary), como uma extensão do [^https://www.w3.org/TR/vocab-dcat/|vocabulário DCAT] para descrever a qualidade de conjuntos de dados (por exemplo, com que frequência é atualizado, se aceita correções, se há compromisso de persistência no fornecimento, etc.).

=== [image||{UP}/Ícones/frictionless.png] Frictionless Data ===

O [^https://frictionlessdata.io/|Frictionless Data], ou dados sem fricção, é um projeto da [^https://okfn.org/|Open Knowledge Internacional] que pretende remover as barreiras que tomam tempo (fricção) no tratamento dos dados, visando facilitar a sua reutilização. Para isso, promove [^https://frictionlessdata.io/specs/|especificações técnicas] baseadas no formato JSON para armazenar os metadados juntamente com os dados, chamado "Data package". No caso de tabelas no formato CSV, a especificação inclui as descrições das colunas da tabela, definição de chaves primárias e estrangeiras e regras de validação, segundo a especificação "Tabular Data Package". Isso possibilita a automatização de tarefas ao consumir os dados.

O projeto também promove uma série de [^https://frictionlessdata.io/software/|ferramentas] livres para facilitar a publicação e o consumo de dados conforme as especificações. Também disponibiliza bibliotecas livres para manipular os dados, para as principais linguagens de programação.

Está disponível uma [^https://youtu.be/qaoT-7okE0s?t=500|palestra do José Ferraz Neto sobre o assunto], apresentada durante o 12º PyData BSB, em Brasília, em 5/12/2018.

=== <i class="far fa-file-excel"></i> Qualidade em planilhas ===

A cidade de Toronto, no Canadá, [^https://portal0.cf.opendata.inter.sandbox-toronto.ca/migrate-automate-optimize-part-3-next-steps-checklist/|elaborou uma técnica] para melhorar a qualidade de planilhas para que elas sejam mais facilmente utilizadas no contexto de dados abertos. É um passo a passo para converter planilhas do formato .xls(x) para .csv. O foco é na usabilidade, retirando todos os elementos que dificultam o uso por programadores em um contexto processado por máquinas, tais como: cabeçalhos, formatações, fórmulas, etc.

== 📌 Modelos focados na abertura e nos impactos para a sociedade ==


=== 🌟 5 stars of Open Data Engagement ===

Durante um ''workshop'' no evento [^https://www.ukgovcamp.com/|UK Govcamp 2012], um grupo de pessoas, inspirados pelas 5 estrelas dos dados ligados propostas por Tim Berners-Lee, [^https://www.timdavies.org.uk/2012/01/21/5-stars-of-open-data-engagement/|procurou estabelecer] uma [^https://www.opendataimpacts.net/engagement/|gradação de 5 estrelas] visando medir os impactos sociais, a participação e a colaboração ("''engagement''") do cidadão em relação aos dados abertos. 

Esse modelo compreende:

{|
|-
| style="color: gold; text-align: right;" | ★     
|| Ser movido pela demanda
|-
| style="color: gold; text-align: right;" | ★★    
|| Colocar os dados em contexto
|-
| | style="color: gold; text-align: right;" | ★★★   
|| Suportar conversas que envolvam os dados
|-
| | style="color: gold; text-align: right;" | ★★★★  
|| Construir capacidades, habilidades e redes
|-
| | style="color: gold; text-align: right;" | ★★★★★ 
|| Colaborar nos dados como um recurso comum
|-
|}


=== 🎖 Certificação ODI ===

O [^https://www.theodi.org/|Instituto dos Dados Abertos] (''Open Data Institute'' - ODI) do Reino Unido estabeleceu uma série de critérios para [^https://theodi.github.io/open-data-certificate/|certificação dos dados abertos]. A certificação está dividida em quatro categorias:

* '''Informações legais''' sobre as implicações relacionadas à licença, à propriedade e a privacidade dos dados
* '''Informações práticas''' acerca da atualidade, qualidade e sustentabilidade dos dados
* '''Informações técnicas''' sobre onde os dados podem ser encontrados e em que formato
* '''Informações sociais''' sobre como trabalhar com os dados em conjunto com os seus responsáveis e com outros

Há quatro níveis de certificação:

* um '''certificado básico''' para quando forem atendidas as premissas fundamentais dos dados abertos
* um '''certificado piloto''' para incursões inciais na publicação de dados abertos,que proporcionam o suficiente para provocar a experimentação com os dados
* um '''certificado padrão''' para dados abertos rotineiramente publicados que encorajam o reúso
* um '''certificado estabelecido''' para dados abertos que fornecem uma infraestrutura de informações confiável

Esse modelo de certificações segue uma [^https://github.com/theodi/open-data-certificate/wiki/Vision|visão estabelecida] sobre como avaliar os dados abertos.

=== 🌞 Modelo de maturidade em transparência organizacional ===

Um modelo que mede o nível de maturidade de uma organização pública em relação à sua transparência institucional foi proposto por um grupo de pesquisadores e publicado em um periódico do Tribunal de Contas do Município do Rio de Janeiro. O artigo pode ser lido na página 77 da [^https://www.tcm.rj.gov.br/Noticias/10509/REVISTA_TCMRJ_53.pdf|edição nº 53, ano XXX], da revista, publicada em fevereiro de 2013.

O detalhamento do [^https://www2.unirio.br/unirio/ccet/unirio-cgu/produtos-gerados/modelo-de-maturidade-em-transparencia-organizacional-nivel-2-versao-inicial/view|segundo nível] deste modelo já encontra-se publicado.

=== <i class="fas fa-bullseye"></i> Padrões e priorizações na publicação de dados governamentais ===

Em 2009, Tim Berners-Lee, um dos criadores da web e da web semântica, publicou o documento ''[^https://www.w3.org/DesignIssues/GovData.html|Putting government data online]'', onde cita não apenas alguns formatos e padrões técnicos que os governos deveriam utilizar para abrir dados como também sugerindo uma ordem de prioridade baseada no pragmatismo - primeiro publicar dados brutos e depois transformá-los em dados ligados (''Linked Data''), conectando-os a outras fontes de dados.

Em 2013, o W3C criou um [^https://www.w3.org/2013/dwbp/wiki/Main_Page|grupo de trabalho para discutir melhores práticas para dados na web]. O grupo publicou uma minuta de [^https://www.w3.org/TR/dwbp/|documento que reúne essas melhores práticas].

No Brasil, a INDA utiliza o critério de priorizações definido na [Comite-Gestor-da-INDA#__Resolu%C3%A7%C3%B5es_0|Resolução n.º 3]:

(((
    I – grau de relevância para o cidadão (descoberto via consulta pública);

    II – estímulo ao controle social;

    III – obrigatoriedade legal ou compromisso assumido de disponibilização daquele dado;

    IV – dado se referir a projetos estratégicos do governo;

    V – dado demonstrar resultados diretos e efetivos dos serviços públicos disponibilizados ao cidadão pelo Estado;

    VI – sua capacidade de fomento ao desenvolvimento sustentável;

    VII – possibilidade de fomento a negócios na sociedade;

    VIII – dados mais solicitados em transparência passiva desde o início da vigênciada Lei nº 12.527, de 18 de novembro de 2011 - Lei de Acesso à Informação.
)))

A cidade de Toronto, no Canadá, propõe, em 2019, [^https://medium.com/@ryan.garnett/towards-a-priority-framework-for-open-data-fe0af33afd9a|um modelo] baseado em 4 critérios: questão cívica, saída, requisitante e fonte. Estabelece pesos diferentes para cada resposta possível ao critério

=== 🗒 Índice Global e Censo dos Dados Abertos ===

A ''Open Knowledge Foundation'' vem conduzindo um [^https://census.okfn.org|censo dos dados governamentais abertos] para países e cidades em todo o mundo. Alguns assuntos são especificados como essenciais para a abertura de dados e, conforme o progresso de cada administração pública em cada uma dessas áreas, é atribuída uma pontuação que é totalizada e mostrada em um ranking geral que deixa claro as forças e fraquezas da abertura de dados em cada país ou cidade.

Em 2015, o ranking de localidades de nível nacional foi renomeado para [^https://index.okfn.org/|Global Open Data Index], tendo o nome ''Census'' permanecido apenas para o ranking de cidades.

=== ⛅ Open Data Barometer da World Wide Web Foundation ===

A World Wide Web Foundation [^https://www.webfoundation.org/2012/09/introducing-the-open-data-index/|criou em 2012] o [^https://thewebindex.org/|Web Index], um levantamento onde um questionário é respondido por pesquisadores contratados em diversos países para avaliar diferentes aspectos do uso da web no país. A cada resposta é atribuída uma pontuação, que no final gera um ranking dos países avaliados. Parte das questões do questionário [^https://thewebindex.org/about/legacy/v2012/structure/|(Q22 a Q26)] e [^https://thewebindex.org/data/all/structure/|nove indicadores] se referem às iniciativas de dados abertos governamentais.

Questões:
* Uso de licenças abertas pelo governo
* Publicação de dados abertos sobre:
** Comércio internacional
** Orçamento e despesas
** Saúde
** Educação
** Transporte
** Censo
** Cartografia
** Serviços públicos e informações de contato
** Criminalidade
* Facilidade de acesso aos dados governamentais
* Extensão das iniciativas de dados abertos governamentais
* Criação de novos serviços baseados em dados abertos governamentais

Indicadores:
* Engajamento da sociedade civil com dados abertos
* Iniciativa de dados abertos governamentais
* Impacto dos dados abertos na transparência e responsabilização
* Impacto dos dados abertos na sustentabilidade ambiental
* Impacto dos dados abertos na inclusão de grupos marginalizados
* Impacto dos dados abertos na economia
* Impacto dos dados abertos na eficiência governamental
* Iniciativas de promoção da inovação baseadas em dados abertos
* Uso empreendedor dos dados abertos

Ainda em 2012, [^https://webfoundation.org/2012/09/introducing-the-open-data-index/|a parte do Web Index referente a dados abertos foi destacada, tornando-se o ''Open Data Index''] (não confundir com o ''Global Open Data Index'' da '''Open Knowledge''). Em 2013 foi [^https://webfoundation.org/2013/10/open-data-barometer-launched-by-web-foundation-open-data-institute/|reformulado novamente] para se tornar o [^https://www.opendatabarometer.org/|Open Data Barometer], ano em que teve a sua primeira edição publicada.

=== <i class="fas fa-flask"></i> Tabela periódica dos dados abertos ===

O modelo proposto pelo [^https://www.thegovlab.org/about.html|GovLab da New York University] dispõe, em um diagrama semelhante a uma [^https://odimpact.org/periodic-table.html|tabela periódica] dos elementos, as principais considerações que uma iniciativa de dados abertos deve ter para que produza impacto na sociedade. Abrange desde processos internos, como infraestrutura e qualidade de dados, até processos de interação com a sociedade, como colaboração e ciclos de feedback.

=== 🎰 Bingo dos dados abertos ===

Uma lista de desculpas comuns que a administração pública em todos os lugares do mundo costuma utilizar para não abrir dados. Criada inicialmente por Christopher Gutteridge (University of Southampton) e Alexander Dutton (University of Oxford), expandido pelo grupo Spaghetti Open Data (em particular Francesco Minazzi), em uma versão italiana, e posteriormente traduzido para o português por Fernanda Campagnucci. O bingo dos dados abertos foi mencionado no [^https://podcast.pizzadedados.com/e/episodio-017/|Podcast Pizza de Dados, episódio 17], em 2019.


== Modelos holísticos ==

Consideram-se aqui modelos holísticos aqueles que consideram tanto os aspectos da qualidade de dados quanto do impacto e engajamento da sociedade com os mesmos e, ainda, outros aspectos relevantes para que uma iniciativa de dados abertos seja bem-sucedida, tais como os legais, políticos, organizacionais e de gestão.


=== Estudo da OCDE ===

A Organização das Nações Unidas para a Cooperação e Desenvolvimento Econômico (OCDE) realizou em 2013 o estudo [^https://www.oecd-ilibrary.org/governance/open-government-data_5k46bj4f03s7-en|"Towards Empirical Analysis of Open Government Data Initiatives"]. O documento explica a cadeia de valores dos dados abertos e como eles são utilizados pela sociedade civil. Além disso, apresenta seis dimensões para a implementação de dados abertos, classificando os desafios em seis tipos: desafios nas políticas, técnicos, econômicos e financeiros, organizacionais, culturais e legais.

Por fim, o estudo propõe um conjunto de métricas e indicadores para os dados abertos governamentais, com as seguintes dimensões ou componentes:

* Políticas e leis
* Técnica
* Modelo de governança / conjuntura institucional de suporte a modelos de provimento de dados
* Organizacional
* Comunicação e interação
* Prioridades políticas
* Impacto
** na inovação
** valor econômico e produtividade
** valor social
** político
** centralidade no usuário
* Dados (disponibilidade, qualidade, demanda, reúso)

=== Kit de ferramentas para dados abertos governamentais do Banco Mundial ===

O Banco Mundial preparou um [^https://data.worldbank.org/open-government-data-toolkit|"kit de ferramentas" para dados abertos governamentais] que consiste nos seguintes componentes:

* Informações essenciais sobre dados abertos
* Opções tecnológicas
* Demanda e engajamento
* Fornecimento e qualidade de dados
* [^https://data.worldbank.org/about/open-government-data-toolkit/readiness-assessment-tool|Ferramenta de avaliação de prontidão ("Readiness assessment tool")]

Esse último componente pode apresentar importantes insumos para a avaliação da maturidade de iniciativas de dados abertos. Essa ferramenta, quando aplicada, avalia 8 aspectos independentes, relacionados abaixo, os quais podem ser visualizados em um gráfico do tipo radar.

* Liderança
* Institucional
* Política/legal
* Dados governamentais
* Demanda por dados e reúso
* Financiamento
* Ecossistema
* Infraestrutura

=== Common Assessment Framework for Open Data ===

A Web Foundation está estruturando um documento que [^https://webfoundation.org/2014/06/towards-common-methods-for-assessing-open-data/|propõe um modelo metodológico] comum para avaliar dados abertos.

=== Modelo de Maturidade de Dados Abertos do ODI ===

O [^https://theodi.org|Open Data Institute] (ODI) publicou em 2015 um [^https://theodi.org/article/open-data-maturity-model-2/|Modelo de Maturidade em Dados Abertos]. Ele se baseia em cinco temas com cinco níveis de progresso para cada um. Os 5 temas são:

* Processo de gestão de dados
* Conhecimentos e habilidades
* Suporte ao cliente e engajamento
* Investimentos e desempenho financeiro
* Supervisão estratégica

Há uma [^https://ceweb.br/publicacao/modelo-de-maturidade-de-dados-abertos/|tradução do modelo para o português] feita pelo Ceweb.br.

== 🌍 Experiências internacionais ==

Ao definir um modelo de maturidade para a publicação de dados abertos governamentais no Brasil, é importante considerar o que há de semelhante sendo feito em outros países.

=== 🇩🇪 Alemanha ===

[^https://www.bmi.bund.de/SharedDocs/Downloads/DE/Themen/OED_Verwaltung/ModerneVerwaltung/opengovernment.pdf;jsessionid=1E610723D01195D670CC8399BECBA4A3.2_cid295?__blob=publicationFile|Relatório sobre Dados Abertos Governamentais], encomendado pelo governo da Alemanha ao Instituto Fraunhoffer.

=== 🇦🇹 Áustria ===

O [^https://www.kdz.eu/de/webfm_send/1537|Manual de Dados Abertos Governamentais] austríaco acrescenta um aspecto referente à documentação dos metadados ao modelo de 5 estrelas de Tim Berners Lee, propondo que se adicione meia estrela ao alcançar esta condição.

O modelo também propõe a padronização de nomes para conjuntos de dados e para colunas em planilhas, níveis de maturidade para a gestão de metadados. Propõe, ainda, critérios pontuados de monitoramento de dados que podem ser utilizados num autodiagnóstico e na priorização de publicação dos dados que a organização detém.

=== 🇨🇱 Chile ===

O modelo chileno, [^https://datos-abiertos.oui-iohe.org/el-proyecto|OD-MM Datos Abiertos], avalia a maturidade do processo de publicação, da qualidade dos dados e do impacto de sua publicação, procurando uma visão holística. Está dividido em três eixos, conforme a estrutura a seguir:

# Perspectiva institucional e legal
## Estratégia, liderança e institucionalidade
## Leis e normas
## Gestão
# Perspectiva tecnológica
## Segurança e disponibilidade
## Acesso
## Qualidade de dados
# Perspectiva cidadã e empresarial
## Reutilização de dados
## Desenvolvedores
## Participação e Colaboração
Meta Keywords: modelo de maturidade, 5 estrelas, qualidade de dados, proveniência
Meta Description: Levantamento contendo diversos modelos relacionados a maturidade de políticas e implementação de dados abertos, qualidade de dados, etc.
Change Comment: +priorização Brasil e Toronto
dados.gov.br

PORTAL BRASILEIRO DE DADOS ABERTOS

Tópicos¶

Ferramentas¶

Produto GT 2 - Modelo de Maturidade de publicação de dados
