Este artigo tem como objetivo apresentar o processo de migração de dados meteorológicos (como temperaturas máxima e mínima, umidade relativa, pressão atmosférica, entre outros) de instituições brasileiras para o Sistema de Monitoramento Agrometeorológico (AGRITEMPO, 2012)

BACARO, R. R.

OTAVIAN, A. F.

Repository Open Access to Scientific Information from Embrapa

Conversão de formatos heterogêneos  para o AgritempoRafael Raña Bacaro ¹Adriano Franzoni Otavian²¹ Unicamp - FT, rafaelranabacaro@gmail.com2 Embrapa Informática Agropecuária, adriano@cnptia.embrapa.brEste artigo tem como objetivo apresentar o processo de migração de dados meteorológicos (como temperaturas máxima e mínima, umidade relativa, pressão atmosférica, entre outros) de instituições brasileiras para o Sistema de Monitoramento Agrometeorológico (AGRITEMPO, 2012).O Agritempo é um sistema desenvolvido para web, que disponibiliza in-formações agrometeorológicas e meteorológicas, armazena e administra dados diários de 1460 estações meteorológicas, 4870 estações pluviomé-tricas e gera mapas temáticos diariamente para todo o Brasil, com base nos dados recebidos e administrados pelo sistema.Os dados recebidos das diversas instituições como: Companhia Energética de Minas Gerais (CEMIG), Fundação Estadual de Pesquisa Agropeduária(Fepagro), Centro de Previsão de Tempo e Estudos Climáticos(CPTEC) etc, são dados que estão em formatos diferentes, sendo de difícil migração para o banco de dados. Para resolver isso, foi proposto um formato padrão para os dados das instituições. A qualidade dos dados, tais como a temperatura e a chuva acumulada, é essencial para garantir o funcionamento e a confiabilidade do produto final, que é disponibilizado em formato de tabelas, boletins agrometeorológicos e mapas de períodos de tempos variáveis. Com o objetivo de estruturar o processo de coleta dos dados das instituições, a automação da entrada de dados no sistema Agritempo tende a diminuir ou eliminar os erros de digitação, agilizar o processo de entrada de dados e fazer uma verifica-ção crítica dos dados recebidos, para que a tomada de decisão seja feita apenas por dados consistentes.86 Embrapa Informática AgropecuáriaA seguir será feita uma análise dos arquivos de dados recebidos de duas instituições diferentes com formatos variados: dados da CEMIG e do Instituto Nacional de Meteorologia (INMET ).Os dados da CEMIG estão armazenados em formato ASCII, cada um dos arquivos contém os dados referentes às leituras de 1 hora, sendo 24 ar-quivos por dia. Sendo assim o migrador deve ler 24 arquivos. O padrão de nome dos arquivos é feito em <data>.clh, onde <data> refere-se à data e à hora da leitura (aaaammddhh.clh, aaaa representa o ano, mm o mês, dd o dia e hh a hora da leitura). No total de 75 estações, apenas 26 possuem dados completos, as outras 49 possuem apenas dados de precipitação.Os dados do CEMIG são: LOCALIZAÇÃO, contendo o nome da esta-ção, CHUACUHORC, precipitação pluviométrica acumulada na hora (mm), TEMPERATM, temperatura do ar no instante da coleta (ºC), UMIDRELARM, umidade relativa do ar no instante da coleta (%), VELMVENTO, velocidade do vento a 2 metros no instante da coleta (m/s), DIRMVENTO, direção do vento (ºC), RADSOLGLOB, radiação solar global acumulada durante o dia, que começa em zero no início da manhã, formando uma curva senoidal e tem o máximo no final do dia (MJ,megajoules/m2/dia) , PRESSATM, pressão atmosférica no instante da coleta (mb, milibares), CODELEHIDR, código da estação.Os dados do INMET também estão armazenados no formato ASCII, po-rém com nomes de arquivos e extensão diferentes do CEMIG, que seria .csv, os dados de temperatura, precipitação e umidade de todas as esta-ções são divididas em 4 arquivos com valores diários. Possuem nome do tipo Sm<data>.csv (temperatura máxima), St<data>.csv (temperatura mí-nima), Su<data>.csv (umidade relativa) e Sp<data>.csv (precipitação). A data no nome do arquivo também difere sendo ddmmaa, dd para dia, mm para mês e aa para ano. A descrição dos dados nos arquivos é feita deste modo: na primeira coluna, o código da estação; na segunda, o nome da estação; e na terceira, a unidade da federação. A única descrição e coluna que difere nos arquivos do INMET é a quarta coluna que é diferente para cada tipo de arquivo, no Sm é a temperatura máxima do ar do dia (ºC), no St temperatura mínima do ar do dia (ºC), no Sp precipitação pluviométrica total do dia em mm e no Su a umidade relativa do ar (mm).O processo de migração (ROMANI, 2002), ilustrado pela Figura 1, dos arquivos das várias instituições é feito para facilitar e agilizar a entrada de dados na base, mantendo a qualidade dos dados. O processo é separado 87Resumos: VIII Mostra de Estagiários e Bolsistasnas seguintes etapas: coleta de dados, conversão de dados, simulação dos dados faltantes, correção dos dados com problemas, envio dos dados, e inclusão dos dados na base. A diversidade de formatos dos arquivos de dados das várias instituições dificulta a entrada dos dados na base, sendo assim, foi criado um formato padrão. Os dados são fornecidos em dois tipos, por hora e por dia. A coleta de dados é feita automatizada ou mecânica. A mecânica pode dar problemas com erros de digitação ou nas estações com quebra ou defeito.Sabendo da dificuldade das instituições de enviar os arquivos de dados no formato padrão, foi desenvolvido o conversor de dados para cada estação. Esse conversor só exibe mensagens sobre o processo de conversão e possíveis falhas na conversão. Existe um arquivo de configuração onde tem como parâmetros, o arquivo_fonte, que é o diretório em que estão os arquivos de dados e arquivo_destino, o diretório onde irá ser gravado o ar-quivo convertido. Os dados obtidos no arquivo_fonte passam pelo proces-so de conversão e ficam armazenados no diretório de destino com a ordem dos campos especificada pelo campos_saída, onde os identificadores de campos são gravados na ordem desejada, separados por ponto e vírgula.O arquivo convertido deve ser completo possuindo todos os dados climá-ticos. Como isso nem sempre acontece, devido a problemas nas coletas dos dados, os dados faltantes ficam com valores missing dentro do arquivo convertido. O arquivo é disponibilizado para fazer correções se precisar ou colocar dados que antes não possuía, não sendo possível alterar o Figura 1. Processo de migração de dados.88 Embrapa Informática AgropecuáriaReferênciasAGRITEMPO: Sistema de Monitoramento  A g r o m e t e o r o l ó g i c o . Campinas: Embrapa Informática Agropecuária: IAC: Cepagri, Unicamp. 2012. Disponível em: <http:// www.Agritempo.gov.br>. Acesso em: nov. 2012.BERGAMASCHI, H. (Coord.). Agrometeorologia aplicada à irrigação. Porto Alegre: Ed. Universidade – UFRGS, 1992. 125 p .ROMANI, L. A. S.; SANTOS, E. H. dos; MONTAGNER, A. J. Processo de migração de dados meteorológicos para o banco de dados do sistema Agritempo. Campinas: Embrapa Informática Agropecuária, 2002. 10 p. (Embrapa Informática Agropecuária. Comunicado Técnico, 27). Disponível em: <http://ainfo.cnptia.embrapa.br/digital/bitstream/CNPTIA/9886/1/comuntec27.pdf>. Acesso em: out. 2012.nome da estação e data dos arquivos convertidos. Após essa alteração de dados, o arquivo é salvo. Por meio do recurso de upload do sistema Agritempo, o usuário envia o(s) arquivo(s) para a Embrapa Informática Agropecuária e o migrador é iniciado automaticamente em horário específi-co percorrendo todos os diretórios, para incluir todos os dados de todas as estações na base de dados.A importância da migração dos dados obtidos nas instituições são de gran-de ajuda para a tomada de decisões do agricultor no cultivo das diferentes fases de plantações, ajudando na previsão meteorológica, na elaboração de calendários agrícolas, com o balanço hídrico, reduz o risco do uso de irrigações em períodos chuvosos (BERGAMASCHI,1992), perda de mate-riais (fertilizantes e defensivos por exemplo) pela ação da chuva e preveem proliferação de pragas.

Conversão de formatos heterogêneos para o Agritempo.

http://www.alice.cnptia.embrapa.br/alice/bitstream/doc/954524/1/85.pdf

Conversão de formatos heterogêneos para o Agritempo.

Abstract

Similar works

Full text

Available Versions

Repository Open Access to Scientific Information from Embrapa