IEEE LATIN AMERICA TRANSACTIONS, VOL. 15, NO.
9, SEPTEMBER 2017
Forecasting of Human Development Index of Latin
American Countries Through Data Mining
Techniques
C. B. Santos, B. Pedroso, A. M. Guimarães, D. R. Carvalho and L. A. Pilatti
Abstract— Aim: Predict the Human Development Index (HDI)
of 2013 and 2014 of Latin American countries through forecast
data mining techniques. Methodology: Full stages of Knowledge
Discovery in Databases applied in univariate and multivariate
time series. For the prediction, the predicting abilities of 90
predicting models were tested, distributed in two global
multivariate, 44 specific multivariate per country and 44
univariate. The algorithm SMOReg was adopted in the
development of models as it presented a better performance
among the learning algorithms based on functions tested in the
experiment. Results: It was observed that the predictions of the
models did not present significant statistical differences from the
HDI tendencies disclosed in the last report of the United Nations
Development Program. Nevertheless, the global multivariate
models presented better quality measures in the predictions.
Conclusion: The HDI prediction models used with multivariate
time series provide better learning of algorithms with the increase
of different univariate historical experiences.
Keywords— Data mining, HDI, Forecasting, Latin America,
Time Series. 1
I. INTRODUÇÃO
A AMÉRICA Latina é composta de países que passaram por
processos semelhantes de colonização e independência em
momentos históricos muitos próximos.
Atualmente, dentro de um contexto mundial, a maioria dos
países latino-americanos passa por um processo de
desenvolvimento, que pode ser avaliado a partir do índice de
desenvolvimento humano (IDH).
Este índice foi desenvolvido em 1990 por um grupo de
economistas, formado por Mahbub ul Haq, Amartya Sen, Paul
Streeten e Keith Griffin e vem sendo utilizado pelo Programa
das Nações Unidas para o Desenvolvimento (UNDP - do inglês
United Nations Development Programme) para avaliar o
desenvolvimento humano dos países filiados [1].
A previsibilidade do IDH pode auxiliar em tomadas de
decisões governamentais e, caso as expectativas não
correspondam aos valores reais, podem apoiar ou não medidas
políticas ou econômicas.
A literatura oferece uma variedade de técnicas de previsão,
entre elas destacam-se as previsões a partir de técnicas de
Mineração de Dados (MD) aplicadas em séries temporais.
Estudos contemporâneos de previsão utilizando técnicas de
MD foram desenvolvidos em diferentes áreas, entre as quais
energia eólica [2, 3]; mercado financeiro [4]; engenharia [5];
C. B. Santos, UEPG e UTFPR, Brazil, bilynkievycz@uepg.br
B. Pedroso, UEPG, Brazil, prof.brunopedroso@gmail.com
E. M. Guimarães, UEPG, Brazil, alainemg@uepg.br
D. R. Carvalho, PUC-PR, Brazil, drdrcarvalho@gmail.com
L. A. Pilatti, UTFPR, Brazil, lapilatti@utfpr.edu.br
1747
agronegócios [6]; meio ambiente [7] e saúde[8, 9].
Estudos de duas décadas atrás [10] já recomendavam
algoritmos de MD para aquisição de conhecimento, reduzindo a
necessidade de especialistas. No entanto, estudos posteriores
fazem julgamentos desfavoráveis à utilização de técnicas de
MD [11-13].
Autores [13] ainda criticam a falta de pesquisadores da área
de MD para testar métodos alternativos em problemas reais.
Diante desta abertura na literatura, este trabalho tem como
objetivo realizar a previsão do IDH de 2013 e 2014 dos países
latino-americanos, a partir de seus dados históricos, testando a
técnica de MD Forecast em séries temporais univariadas e
multivariadas, com aplicação de algoritmos de aprendizagem
baseada em funções, através de uma Interface de Programação
de Aplicativos (API – do inglês Application Programming
Interface), recentemente disponibilizada para testes.
II. MATERIAIS E MÉTODOS
A partir dos dados históricos dos IDH de 187 países filiados
a UNDP, foram desenvolvidas todas as etapas do processo de
Aquisição de Conhecimento em Base Dados (KDD - do inglês
Knowledge-Discovery in Databases) [14] no ambiente de
mineração de dados WEKA [15], utilizando a técnica de
Forecast. Esta técnica se diferencia dos demais métodos de
classificação de MD por utilizar séries temporais, as quais
consistem em conjuntos de observações de variáveis com
dependência serial, ordenadas em função do tempo. Também,
foram realizados através do software GraphPadInStat, testes
estatísticos complementares de análise de variância e correlação
em diferentes momentos do processo de KDD, adotando com
nível de significância: alfa = 0,05.
As hipóteses adotadas para as análises de variância foram:
i) Hipótese nula (H0): as médias são iguais.
ii) Hipótese alternativa (H1): as médias são diferentes.
Na análise de variância foram aplicados os testes:
paramétrico de T de Studant pareado e não paramétrico de
Wilcoxon pareado. Estes testes foram adotados de acordo com
características da amostra quanto a sua distribuição normal.
Para o teste de normalidade da amostra utilizou-se o teste de
Kolmogorov-Smirnov (KS).
Para avaliar os resultados, utilizaram-se as medidas de
qualidade das previsões das séries temporais disponíveis na API
do WEKA: erro absoluto médio (MAE - do inglês Mean
Absolute Error); erro quadrático médio (MSE - do inglês Mean
Squared Error); raiz quadrada do erro quadrático médio
(RMSE - do inglês Root Mean Squared Error); erro percentual
absoluto médio (MAPE - do inglês Mean Absolute Percentage
Error); precisão direcional (DAC - do inglês Directional
Accuracy); erro absoluto relativo (RAE - do inglês Relative
1748
Absolute Error) e raiz quadrada do erro quadrático relativo
(RRSE - do inglês Root Relative Squared Error).
Paralelos ao processo de KDD foram desenvolvidos
modelos de previsão através do software SPSS com o método
ARIMA (Autoregressive Integrated Moving Average) para
comparar seus resultados com os métodos de MD.
III. PREVISÃO DAS TENDÊNCIAS DO IDH 2013 E 2014
DOS PAÍSES DA AMÉRICA LATINA
As previsões do IDH 2013 e 2014 dos países da América
Latina foram desenvolvidas seguindo as etapas do processo de
KDD, que estão divididas, segundo definições de [16], em três
macros etapas: (i) Pré-processamento de Mineração de Dados:
todas as sub-etapas que antecedem a de Mineração de Dados,
(ii) Mineração de Dados: etapa onde se aplicam os algoritmos
mineradores; (iii) Pós-Processamento de Mineração de Dados:
todas as sub-etapas utilizadas para se consolidar o
conhecimento.
Pré-Processamento de Mineração de Dados
O pré-processamento iniciou-se com a obtenção dos dados
da base da UNDP [17] e do seu relatório [18]. A partir destas
fontes, foi desenvolvida uma base de dados específica com as
séries temporais atualizadas em 24/07/2014. Após a
implementação desta base de dados, foi realizada a etapa de
KDD de exploração da base de dados, por meio da Linguagem
de Consulta Estruturada (SQL – do inglês Structured Query
Language), resultando na estatística descritiva das séries
temporais. Observou-se que o IDH dos países filiados, ao longo
do período, apresenta média crescente com desvio padrão
decrescente. Através de Testes de T de Student pareado por
países, observa-se que as séries temporais apresentam
diferenças significativas (p<0,05) de um período para outro
subsequente. Os dados apresentam alta homogeneidade (baixa
dispersão ou variabilidade). Constatou-se, também, que 34,22%
dos países apresentavam dados incompletos nas suas séries
temporais, com ausência de dados retroativa ao período de
2010.
A partir da mineração visual, da estatística descritiva e da
análise de correlação, as séries temporais foram caracterizadas,
segundo as definições de [19], em: (i) Não estacionárias:
apresentam comportamento de crescimento; (ii) Não sazonais:
não apresentam padrões de comportamento em períodos
regulares de tempo; e (iii) Lineares: apresentam correlação com
o tempo.
Ao final do Pré-Processamento de MD, foram selecionadas
90 séries temporais, separadas em dois grupos de dados, o
primeiro para previsão do IDH 2013, com dados referentes ao
período de 1980 a 2012, e o segundo para previsão do IDH
2014, com dados referentes ao período de 1980 a 2013. Cada
grupo de dados seria utilizado para o desenvolvimento de: um
modelo multivariado global (MMG), treinado com séries
multivariadas correspondentes a 187 países filiados a UNDP;
22 modelos multivariados específicos (MME), treinados com
grupos de países com capacidade explicativa do índice de cada
país; e 22 modelos univariados (MU), treinados com séries
correspondentes a cada país da América Latina, resultando no
total de 45 modelos por grupo.
Para o desenvolvimento dos MMEs, foram selecionados
conjuntos de dados de IDH de países candidatos a previsores de
cada país da América Latina (atributo meta). Os conjuntos de
IEEE LATIN AMERICA TRANSACTIONS, VOL. 15, NO. 9, SEPTEMBER 2017
dados foram escolhidos através do algoritmo de seleção de
atributos CFS [20], por meio de validação cruzada. Este
algoritmo prioriza conjuntos de atributos muito relacionados
com o atributo meta e pouco relacionados entre si.
Mineração de Dados
A etapa de MD consiste na aplicação de um ou vários
algoritmos de aprendizado de máquina. Nesta etapa, foi
configurada a API selecionando-se o algoritmo mais adequado
ao estudo, considerando-se o custo operacional e melhor
desempenho. Foram testados os algoritmos pertencentes ao
grupo de aprendizagem baseada em funções: Least Median
Squared, Linear Regression, Linear Regression, Multilayer
Perceptron, RBF Network, SMOreg, Gaussian Processes.
Ao final dos testes preliminares, foi selecionado o
algoritmo SMOReg, para efetivar as previsões, por apresentar as
melhores medidas de qualidades para as diferentes categorias
de modelos, além de apresentar custo operacional
significativamente reduzido em relação à maioria. Também se
verificou que seus modelos apresentavam baixa correlação
entre os erros em um horizonte de previsões.
O SMOReg [21] aplica um motor de vetores de suporte para
regressão. Esta técnica é discutida em [22].
Finalizando a etapa de MD, 90 modelos foram
desenvolvidos com o uso do algoritmo SMOReg: dois MMGs,
44 MMEs e 44 MUs, para testar a previsão do IDH de 22 países
da América Latina nos períodos de 2013 e 2014.
Pós-Processamento de Mineração de Dados
Os resultados dos modelos alimentaram uma base de dados,
e, através de SQL específicas, esses resultados foram
organizados por modelos e pareados por países. Isto permitiu
comparações entre os valores reais e as previsões, assim como
entre as medidas de qualidade dos modelos. Os valores reais
referentes ao IDH 2013 foram consultados em [18] na data de
24/07/2014, enquanto que os valores referentes ao IDH 2014
foram consultados após sua atualização e divulgação realizada
por [23], na data de 14/12/2015.
Observou-se, através do Teste T de Student pareado por país
e ano, que as atualizações dos valores do IDH, referentes aos
relatórios [18] e [23] foram significativas em relação às suas
séries temporais do período de 2010 a 2013 (p<0,05). No
entanto, estas atualizações não foram significativas em relação
aos países da América Latina (p>0,05).
A última etapa do Processo de KDD, chamada, segundo
[14], de "Conhecimento", que exige a interpretação dos padrões
descobertos, será apresentada na seção VI, como resultados.
IV. RESULTADOS
As Tabelas I e II apresentam as estatísticas de resumo das
medidas de qualidade das previsões para o IDH de 2013 e 2014,
respectivamente, adaptadas do API Forecasting do WEKA.
As Figs. 1a, 1b e 2 apresentam o MAE do último ponto de
observação acumulado por modelos, incluído o modelo
ARIMA.
A Tabela III apresenta significância entre as diferenças das
médias das previsões do IDH por modelos e as tendências
divulgadas pela UNDP em seus relatórios.
As Figs. 3 a 6 apresentam direções (linhas tracejas),
previsões dos modelos, e as tendências (linhas contínuas)
divulgadas por [18] e [23] de alguns países com as maiores e
menores medidas de qualidade das previsões.
BILYNKIEVYCZ DOS SANTOS et al.: FORECASTING 1749

Os valores absolutos das previsões dos modelos são 0.825 0.824

0.8228
0.8197
apresentados juntamente com as tendências divulgadas pela 0.82 0.819
0.815 0.8157
0.815
UNDP em [18] e [23] na Tabela IV, bem como a estatística de 0.81
0.813
0.8104
resumo e resultados do teste de normalidade KS. Seus dados 0.805
Cuba (UNDP, 2014) 0.8097
MMG
estão organizados, em ordem decrescente de IDH a partir do 0.8
MME
último relatório[23] e pareadas por país. 0.795 MU
0.789
0.79 Cuba (UNDP, 2015) 0.787
TABELA I
0.785 ARIMA
MEDIDAS DE QUALIDADE DOS MODELOS DESENVOLVIDOS PARA
PREVISÃO DO IDH 2013 DOS PAÍSES DA AMERICA LATINA 0.78 0.778
0.776
0.775
0.772
0.769
0.768
Modelo MMG MME MU 0.77

Estatística µ ± µ ± µ ± 0.765
DAC 98,59 4,30 96,65 5,61 96,12 5,79

2010

2011

2012

2013

2014
MAE 0,00017 0,00005 0,00080 0,00054 0,0014 0,00068
Medida de
Qualidade

MAPE 0,02566 0,00486 0,11810 0,06688 0,20877 0,08153 Figura 3. Previsões e tendências do IDH de Cuba.
MSE 0,00000 0,00000 0,00000 0,00000 0,00000 0,00000 0.776
RAE 3,51 0,47 16,70 11,37 29,07 15,17 0.7749
RMSE 0,00019 0,00004 0,00137 0,00100 0,00217 0,00115 0.7742
Venezuela (UNDP, 2014)
RRSE 3,44 0,54 24,43 14,58 39,11 17,30
MMG
TABELA II 0.771
MME
MEDIDAS DE QUALIDADE DOS MODELOS DESENVOLVIDOS PARA MU 0.7689

PREVISÃO DO IDH 2014 DOS PAÍSES DA AMERICA LATINA Venezuela (UNDP, 2015) 0.7672
0.766 ARIMA 0.765
0.7656
0.764
Modelo MMG MME MU 0.764

0.7630
Estatística µ ± µ ± µ ± 0.764 0.762
DAC 98,64 4,15 96,26 5,47 96,09 5,64 0.761
0.759 0.761
MAE 0,00016 0,00005 0,00086 0,00053 0,00141 0,00067
Medida de
Qualidade

MAPE 0,02539 0,00612 0,12826 0,06612 0,21209 0,07801 0.7600 0.7600

MSE 0,00000 0,00000 0,00000 0,00000 0,00000 0,00000

0.757
RAE 3,55 0,676 18,28 11,19 30,08 15,05 0.756
RMSE 0,00019 0,00005 0,00143 0,00089 0,00225 0,00112

2010

2011

2012

2013

2014
RRSE 3,58 0,75 25,86 13,01 41,29 17,46

0.05 MAE - MMG 0.05 MAE - MMG

Figura 4. Previsões e tendências do IDH da Venezuela.
0.6920
0.04 MAE - MME 0.04 MAE - MME 0.69
MAE - MU MAE - MU
0.03 0.03
Bolívia (UNDP, 2014) 0.6840
MAE - ARIMA MAE - ARIMA
0.02 0.02 0.68 MMG
0.01 0.01 MME
MU 0.6720
0.00 0.00 0.6697
0.67 Bolívia (UNDP, 2015) 0.667
1 3 5 7 9 11 13 15 17 19 21 1 3 5 7 9 11 13 15 17 19 21 0.6675 0.6691
ARIMA 0.6658
a. b. 0.663
0.6653
0.662
0.66 0.661
Figura 1. MAE acumulado por modelo resultante da previsão do IDH 2013 e 0.658 0.658
dos resultados divulgados pela UNDP 2014 (a) e 2015 ( b). 0.654
MAE - MMG 0.65
0.05
0.647
0.04 MAE - MME
MAE - MU 0.64
0.641
0.03
MAE - ARIMA
2010

2011

2012

2013

2014
0.02
0.01 Figura 5. Previsões e tendências do IDH da Bolívia.
0.00 0.6940
0.691
1 3 5 7 9 11 13 15 17 19 21 0.6910
El Salvador (UNDP, 2014)
Figura 2. MAE Acumulado por modelo resultante da previsão do IDH 2014 e 0.686
MMG
dos resultados divulgados pela UNDP, 2015. 0.681 MME
TABELA III 0.676
MU
RESULTADO DE SIGNIFICÂNCIA ENTRE AS DIFERENÇAS DAS MÉDIAS DAS El Salvador (UNDP, 2015)
PREVISÕES DO IDH POR MODELOS E AS TENDÊNCIAS DIVULGADAS PELA 0.671 ARIMA
UNDP 0.6646 0.666
0.666
0.6656
0.6637
Teste T de Studant Tendências divulgadas UNDP 0.661
0.66
0.660
0.6629
0.6623
pareado (p-valor) ** *** 0.656 0.657
0.662

Previsões Modelo 2013 2013 2014

0.652
MMG 0.046 0.877 0.651
MME 0.007 0.672
2010

2011

2012

2013

2014

2013 MU 0.003 0.532

ARIMA 0.163 0.246 Figura 6. Previsões e tendências do IDH de El Salvador.
MMG 0.782
MME 0.578
TABELA IV
2014 MU 0.421 PREVISÕES DOS IHD 2013 E 2014 DOS PAÍSES DA AMÉRICA LATINA POR
ARIMA 0.178 MODELOS E SUAS TENDÊNCIAS DIVULGADAS PELA UNDP COM A
**UNDP, 2014 [18] e *** UNDP, 2015 [23] ESTATÍSTICA DE RESUMO E TESTE DE NORMALIDADE DE KS

IDH
Tendências divulgadas
Previsões
(UNDP)
País
2013 2014 2013 2014
Modelos de MD Modelo de MD
ARIMA ARIMA ** *** ***
MMG MME MU MMG MME MU
ARG 0.8102 0.8174 0.8128 0.819 0.8115 0.8109 0.8106 0.821 0.808 0.833 0.836
CHL 0.8249 0.8253 0.8213 0.824 0.8265 0.8272 0.8276 0.834 0.822 0.83 0.832
URY 0.791 0.7931 0.7891 0.801 0.7949 0.7934 0.7932 0.8 0.79 0.79 0.793
PAN 0.764 0.7663 0.7651 0.789 0.7693 0.7708 0.7691 0.796 0.765 0.777 0.78
CUB 0.8097 0.8104 0.8097 0.789 0.8157 0.8228 0.8197 0.787 0.815 0.768 0.769
1750 IEEE LATIN AMERICA TRANSACTIONS, VOL. 15, NO. 9, SEPTEMBER 2017

CRI
VEN
0.7671
0.765
0.7671
0.7672
0.7611
0.7742
0.781
0.76
0.7668
0.7656
0.7687
0.7689
0.7667
0.7749
0.791
0.753
0.763
0.764
0.764
0.764
0.766
0.762
com outlier na América Latina, tanto nos valores de IDH dos
MEX 0.7594 0.76 0.7631 0.784 0.759 0.7578 0.7652 0.789 0.756 0.755 0.756 relatórios da UNDP, como nas previsões dos modelos.
BRA 0.7455 0.7507 0.7486 0.743 0.7476 0.7501 0.7488 0.743 0.744 0.752 0.755
PER 0.7402 0.7385 0.7404 0.751 0.7421 0.7413 0.7436 0.757 0.737 0.732 0.734 A America Latina apresentou, tanto nas médias das
ECU
COL
0.712
0.7098
0.7107
0.7157
0.7125
0.7174
0.733
0.727
0.7144
0.714
0.7144
0.7132
0.7161
0.7188
0.732
0.727
0.711
0.711
0.73
0.718
0.732
0.72
previsões dos modelos (µ=0.714±0.002), como nas tendências
BLZ 0.7409 0.7371 0.7402 0.705 0.7378 0.7404 0.7369 0.709 0.732 0.715 0.715 (µ=0,712±0,083) divulgadas no último relatório da UNDP[23],
DOM 0.7026 0.7017 0.7041 0.709 0.7043 0.7036 0.7051 0.711 0.7 0.711 0.715
PRY 0.6706 0.6703 0.6797 0.675 0.68 0.6824 0.6824 0.677 0.676 0.677 0.679
maiores valores do IDH que a média mundial (µ=0,691±0,155)
SLV 0.6646 0.6623 0.6629 0.691 0.6656 0.666 0.6637 0.694 0.662 0.664 0.666 para 2014.
BOL 0.6675 0.6658 0.6653 0.684 0.672 0.6691 0.6697 0.692 0.667 0.658 0.662
GUI 0.637 0.6388 0.6392 0.648 0.6422 0.6431 0.6444 0.657 0.638 0.634 0.636 Segundo [4], boa parte da literatura sugere que previsões
NIC
GTM
0.6148
0.6327
0.6153
0.6332
0.6139
0.6322
0.605
0.59
0.6177
0.6335
0.6187
0.6392
0.6164
0.6374
0.618
0.588
0.614
0.628
0.628
0.626
0.631
0.627
combinadas podem melhorar as previsões individuais. Isto foi
HND 0.6189 0.6185 0.6273 0.641 0.6197 0.6223 0.6313 0.636 0.617 0.604 0.606 visível nos modelos multivariados (MM) que apresentam
HTI * 0.4732 0.4728 0.4743 0.466 0.4744 0.4739 0.476 0.468 0.471 0.481 0.483
melhores resultados que os MUs. Nos MMs, o algoritmo
µ 0.71 0.711 0.712 0.714 0.712 0.714 0.714 0.717 0.709 0.71 0.712
± 0.083 0.084 0.083 0.087 0.083 0.083 0.083 0.087 0.083 0.083 0.083 aprende com o comportamento de histórico das séries temporais
KS(p) 0.14 0.12 0.14 0.10 0.12 0.13 0.11 0.11 0.11 0.14 0.15 de todos ou de grupos de países, enquanto que, nos MUs, a
* outliers, ** UNDP, 2014 [18] e *** UNDP, 2015 [23]
aprendizagem se limita às séries temporais do país alvo.
Atualizações significativas dos índices de alguns países
V. DISCUSSÃO
podem limitar o estudo. Segundo a UNDP [14], as estimativas
O estudo empírico, utilizando dados reais, contribui para a internacionais e nacionais de dados podem apresentar
difusão de novos métodos de previsão e complementa o rol de inconsistência, uma vez que as agências de dados internacionais
experimentos que atendem a carência apontada por [13], em consultam os dados nacionais e, eventualmente, estimam dados
relação ao número reduzido de pesquisas de MD para testar inexistentes para comparação entre países. Em relação a estas
novos métodos com dados reais. atualizações, observaram-se diferenças significativas entre os
O experimento fez a previsão e comparação do IDH 2013 e valores de IDH, divulgados em [18] e [23].
IDH 2014 com as tendências divulgadas pela UNDP, em A má qualidade dos dados é um problema que prejudica a
24/07/2014 [18] e 14/12/2015 [23], respectivamente. MD. Em grandes bases de dados, a ocorrência de erros e dados
Os MMGs apresentaram as melhores medidas de qualidade incompletos é comum [15]. Intervalos de previsões são muitas
das previsões (Tabelas I e II), com diferenças estatísticas vezes sensíveis a outliers, principalmente se ocorrer perto da
significativas (p<0,05) entre as médias, observadas através do origem da previsão [24]. Técnicas de pré-processamento de
teste não paramétrico de Wilcoxon pareado, correspondendo MD às vezes podem solucionar alguns desses problemas [15].
aos maiores valores de DAC e menores tipos de erros, em A redução de dimensionalidade é uma delas, que pode ser
relação aos MMEs e MUs. utilizada para eliminar ruídos ou dados irrelevantes [25]. O
A partir das Figs. 1a, 1b e 2, observa-se que os modelos de estudo fez a previsão com 34,22% dos países apresentando
MD: MMU, MME e MU apresentaram a melhor MAE em dados incompletos retroativos a 2010, representando 12,64%
relação ao modelo ARIMA. das séries temporais nos MMGs e até 69,23% nos MUs
Verificaram-se (Tabela III) diferenças significativas (µ=10,78±18,54%). Os algoritmos utilizados superam essas
(p<0,05) entre as tendências do IDH 2013 do relatório UNDP faltas, através de interpolação de dados, principalmente porque
2014 [18] e as previsões dos modelos de MD, exceto em as ausências de dados não ocorreram próximas aos pontos de
relação ao modelo ARIMA (p=0,163). E inexistência de observação ou origens das previsões.
diferenças significativas (p>0,05) entre os modelos e as Em relação ao método utilizado, pesquisas empíricas de
tendências do IDH 2013 e 2014 divulgadas no relatório UNDP [13] encontraram pouco ganho com a MD na época. Para [11],
2015 [23]. os métodos promissores precisam ser replicados para se
Apesar do modelo ARIMA, como já foi mencionado, não identificar em que condições eles podem falhar. Em seu estudo,
apresentar diferenças significativas entre as médias das também menciona que as técnicas de MD oferecem pouca
previsões e as tendências do IDH 2013 do relatório UNDP [18], promessa e que, talvez, a grande falha desses métodos esteja na
observou-se que suas medidas de qualidade das previsões foram falta de conhecimento do domínio. Para [16], a eficácia do
inferiores aos modelos de MD. Esta constatação reforça a método depende do rigor deste processo e todas as suas etapas
importância das medidas de qualidades para julgamento dos são importantes para o produto final. Apesar das técnicas de
melhores modelos de previsão, pois somente a analise de MD não exigirem o conhecimento prévio do domínio, como
variância não é parâmetro suficiente para este tipo de avaliação. menciona [11], observou-se, no presente estudo, que se pode
As direções das tendências do IDH divulgadas pela UNDP conhecer muito sobre o domínio na etapa de KDD de pré-
que contrariam as previsões de todos os modelos correspondem processamento, que antecede a de MD, principalmente na sub-
a Cuba, em 2013 (Fig. 3), e Venezuela, em 2014 (Fig. 4). Cuba etapa de "Exploração da Base de Dados", como sugere [14].
também apresentou o maior MAE em relação ao IDH 2014, Neste estudo, foram percorridas todas as etapas do processo de
além de apresentar diferenças significativas entre os valores dos KKD, definidas por [14], atingindo-se as expectativas, e
relatórios [18] e [23]. Já a previsão para a Bolívia, em 2013 reafirmando-se que essas etapas são de fundamental
(Fig. 5), e El Salvador, em 2014 (Fig. 6), apresentaram os importância para a condução do processo e para o
menores MAE. estabelecimento da técnica e algoritmo mais adequado para o
Chile e Argentina (Tabela IV), classificados segundo a tipo de problema e natureza dos dados [14].
UNDP [18], como países desenvolvidos com desenvolvimento Os algoritmos de aprendizado de máquina são
humano muito elevado (IDH > 0,799), apresentaram índice recomendados para aquisição de conhecimento por reduzirem a
maiores que as previsões. Enquanto que o Haiti se apresenta necessidade de especialistas [10, 26], mas a literatura também
recomenda interação entre especialistas em MD e do domínio
BILYNKIEVYCZ DOS SANTOS et al.: FORECASTING
investigado [27-34]. Esta interação foi possível neste estudo,
tendo contribuído para melhor compreensão dos dados, bem
como dos resultados obtidos.
Apesar de este estudo ter realizado previsões testando
exclusivamente algoritmos de aprendizagem baseada em
funções para adoção do algoritmo mais promissor para avaliar
MMs e MUs, observa-se grande avanço na qualidade das
previsões obtidas por técnicas de DM. Considerando as
características específicas dos dados, este estudo contraria
trabalhos anteriores de [13] e [11], que não encontraram
vantagens no uso das técnicas de MD. Também, se aliam às
informações deste estudo outros estudos recentes, como de
Lloyd [6, 35], que, apesar de não deixar explícito o uso do
processo de KDD, destaca algumas etapas do processo e o uso
de técnicas de MD utilizadas para solução do problema de
previsão. Ainda, [36] apresentam diversos aspectos da
GEFCom2012 [37], incluindo os métodos utilizados pelos
participantes, confirmando que algumas técnicas de MD têm
vantagens sobre outras populares, como a ARIMA, o que
também observa-se no presente estudo.
Em relação ao custo operacional, segundo [38], as etapas
mais dispendiosas de tempo são as que antecedem a de MD,
podendo consumir até 80% de todo o processo de KDD. Este
estudo reafirma os custos operacionais, com aproximadamente
60% do tempo gasto no pré-processamento dos dados, 10% na
etapa de MD e 30% no pós-processamento dos dados.
A redução de dimensionalidade pode diminuir custos
operacionais e pode eliminar ruídos [25], aumentando a taxa de
acerto. No entanto, a alta dimensionalidade, neste estudo em
específico, não aumentou o custo operacional, pois se testou a
possibilidade de redução de dimensionalidade, mas verificou-se
que não houve melhorias significativas do tempo de resposta e
da DAC. Já a definição do algoritmo foi determinante no custo
operacional, pois alguns algoritmos ultrapassavam o tempo de
processamento esperado, além de apresentarem baixa qualidade
nas previsões e então, foram abortados da análise.
Entre as medidas de qualidade das previsões, geralmente o
MSE é mais utilizado por resultar em valores na mesma escala
dos dados. O RMSE e MSE são muito populares,
principalmente porque são muito empregados em modelagens
estatísticas [39], mas são mais sensíveis a outliers que outras
medidas, como o MAE [39, 40]. O autor [41] apresenta uma
lista de 32 princípios para avaliar sistematicamente o método de
previsão, não recomendando medidas sensíveis a outliers.
Estudos [40, 42] sugerem a MAPE como a melhor medida
neste caso, por ser uma medida absoluta em porcentagem do
valor previsto, além de possibilitar uma visão da amplitude do
erro. Já no caso de modelos que respeitem limites de erro
máximo, o MAE é o mais indicado. Tanto no MAE como no
MSE, durante o somatório, um erro positivo não é anulado por
um erro negativo ou vice-versa [40]. Outros pesquisadores [43]
utilizam o MSE para apresentar vantagens nos MMs em relação
aos MUs, criando uma equação de previsibilidade da série
temporal na adoção de preditores multivariados, ao invés de
univariados.
Pesquisas como de [44] para previsões direcionais de taxas
de juros de longo prazo e de [45] utilizam a DAC para fornecer
a correção da direção prevista e para avaliar a precisão da
previsão. Quanto maior o seu valor, melhores serão as
previsões [46]. MAPE permite comparar modelos com dados
diferentes [40]. A GEFCom2012 [37] utiliza o RMSE para
1751
avaliar os melhores modelos apresentados na competição. O
RMSE permite retornar a medida original dos dados a partir da
raiz do MSE [40]. Neste estudo, foram utilizadas todas as
medidas de avaliação das previsões disponíveis na API,
observando-se suas propriedades discutidas na literatura. No
entanto, dadas às características do experimento, como
utilização de variáveis com uma única unidade de medida,
observa-se que apenas as medidas de qualidade DAC e MAE
são suficientes para avaliação das previsões do IDH. Neste
estudo, o MAE permitiu identificar os melhores modelos entre
aqueles que não apresentam diferenças estatísticas
significativas entre suas previsões e os valores reais.
Em relação à eficiência do modelo, [47] e [48] apontam que
certas características do erro devem ser observadas. Segundo
[47], em um modelo eficiente não deve existir correlação entre
os erros de um período para outro, o que indica que o modelo
aprende com os erros do passado. Esta premissa foi observada
nas três categorias de modelos apresentados neste estudo, pois,
apesar da alta correlação entre as séries temporais, observou-se
que não existiam correlações entre os erros das previsões e
entre erros de pontos de observações subsequentes. Para [48], a
distribuição dos erros deve ter uma forma próxima da normal.
Isto também foi verificado neste estudo, pois os valores dos
erros no treinamento dos modelos foram submetidos e
aprovados no Teste de KS. No entanto, esta condição apontada
por [48] também dependerá do número de exemplos da série
temporal.
Os MMGs apresentaram melhor desempenho que os
demais. No entanto, esta vantagem relativa do preditor
multivariado pode ser diferente para cada país. O estudo de [43]
também destaca vantagens dos modelos multivariados,
principalmente se existir fortes relações entre as séries
temporais, o que também ocorreu neste estudo.
Os testes de análise de variância apontaram inexistência de
diferenças significativas (p>0,05) entre as previsões dos
modelos e as tendências divulgadas pela UNDP 2015 [23] para
o IDH 2013 e 2014. No entanto, os MMGs apresentaram as
melhores medidas de qualidade acumuladas durante todo
período de treinamento e previsão, com a maior DAC e os
menores tipos de erro em relação aos demais modelos, com
diferenças significativas (p<0,05).
A eficiência dos MMGs pode ser explicada implicitamente
pelas interdependências e vulnerabilidade dos países,
mencionadas em [18].
VI. CONCLUSÕES
Modelos desenvolvidos a partir de séries temporais
multivariadas, apesar de mais complexos, apresentaram melhor
precisão que os modelos desenvolvidos a partir de séries
univariadas.
Existem evidências de que as técnicas de MD de
Forecasting apresentam melhor desempenho que técnicas
comumente utilizadas como ARIMA.
As séries temporais multivariadas possibilitam maior
aprendizagem dos algoritmos com o aumento de diferentes
experiências históricas univariadas.
O IDH é um índice robusto, com grande previsibilidade e
vulnerabilidade. As contradições entre a previsão e os valores
reais do índice podem desencadear reflexões e auxiliar em
tomadas de decisões para sustentação ou mudanças políticas e
1752
econômicas, e também, justificar o cenário vivido pelos países
e mundo.
REFERÊNCIAS
[1] UNDP, "Human Development Report (HDR) 1990: Concept and
Measurement of human development," United Nations Development
Programme, New York1990.
[2] E. Mangalova and E. Agafonov, "Wind power forecasting using the k-
nearest neighbors algorithm," International Journal of Forecasting, vol. 30,
pp. 402-406, 2014.
[3] L. Silva, "A feature engineering approach to wind power forecasting:
GEFCom 2012," International Journal of Forecasting, vol. 30, pp. 395-
401, 2014.
[4] B. D. Rodrigues and M. J. Stevenson, "Takeover prediction using forecast
combinations," International Journal of Forecasting, vol. 29, pp. 628-641,
2013.
[5] A. K. Palit and D. Popovic, Computational intelligence in time series
forecasting: theory and engineering applications: Springer, 2006.
[6] F. E. Correa, J. Gama, P. L. Pizzigatti Correa, and L. R. A. Alves, "Data
mining frequent temporal events in agrieconomic time series," Latin
America Transactions, IEEE (Revista IEEE America Latina), vol. 13, pp.
2329-2334, 2015.
[7] W. R. N. Sousa, M. S. Couto, A. F. Castro, and M. P. S. Silva, "Evaluation
of desertification processes in ouricuri-pe through trend estimates of times
series," Latin America Transactions, IEEE (Revista IEEE America Latina),
vol. 11, pp. 602-606, 2013.
[8] Y. Xie, G. Schreier, M. Hoy, Y. Liu, S. Neubauer, D. C. W. Chang, et al.,
"Analyzing health insurance claims on different timescales to predict days
in hospital," Journal of Biomedical Informatics.
[9] L. A. Winters-Miner, P. S. Bolding, J. M. Hilbe, M. Goldstein, T. Hill, R.
Nisbet, et al., "Chapter 3 - Biomedical Informatics," in Practical Predictive
Analytics and Decisioning Systems for Medicine, ed: Academic Press,
2015, pp. 42-59.
[10] B. Arinze, "Selecting appropriate forecasting models using rule
induction," Omega, vol. 22, pp. 647-658, 1994.
[11] J. S. Armstrong, "Findings from evidence-based forecasting: Methods
for reducing forecast error," International Journal of Forecasting, vol. 22,
pp. 583-598, 2006.
[12] C. Chatfield, "Model Uncertainty, Data Mining and Statistical
Inference," Journal of the Royal Statistical Society. Series A (Statistics in
Society), vol. 158, pp. 419-466, 1995.
[13] E. Keogh and S. Kasetty, "On the need for time series data mining
benchmarks: a survey and empirical demonstration," Data Mining and
knowledge discovery, vol. 7, pp. 349-371, 2003.
[14] U. M. Fayyad, G. Piatetsky-Shapiro, and P. Smyth, "From data mining
to knowledge discovery in databases," AI magazine, vol. 17, p. 37, 1996.
[15] I. H. Witten and E. Frank, Practical machine learning tools and
techniques, 2 ed. San Francisco, USA: Morgan Kaufmann, 2005.
[16] R. S. Michalski and K. A. Kaufman, "Data mining and knowledge
discovery: A review of issues and a multistrategy approach," Machine
Learning and Data Mining: Methods and Applications, pp. 71-112, 1998.
[17] UNDATA. Human Development Index trends, 1980–2013 [Online].
Available: http://data.un.org/DocumentData.aspx?id=364
[18] UNDP, "Human Development Report (HDR) 2014. Sustaining Human
Progress: Reducing Vulnerabilities and Building Resilience," United
Nations Development Programme, New York2014.
[19] A. K. Palit and D. Popovic, theory and engineering applications.
Londres: Springer Science & Business Media, 2006.
[20] M. A. Hall, "Correlation-based feature selection for machine learning,"
Thesis, The University of Waikato, 1999.
[21] S. K. Shevade, S. S. Keerthi, C. Bhattacharyya, and K. R. K. Murthy,
"Improvements to the SMO algorithm for SVM regression," Neural
Networks, IEEE Transactions on, vol. 11, pp. 1188-1193, 2000.
[22] A. J. Smola and B. Schölkopf, "A tutorial on support vector regression,"
Statistics and computing, vol. 14, pp. 199-222, 2004.
[23] UNDP, "Human Development Report (HDR) 2015. Rethinking Work
for Human Development," United Nations Development Programme, New
York2015.
[24] C. Chen and L. M. Liu, "Forecasting time series with outliers," Journal
of Forecasting, vol. 12, pp. 13-35, 1993.
[25] P.-N. Tan, M. Steinbach, and V. Kumar, 1 ed. Boston, MA, USA:
Addison-Wesley Longman Publishing Co., Inc., 2005.
[26] F. Farias, L. Souza, R. Sousa, C. Caldas, L. F. Gomes, and J. Costa,
"Data mining applied to diagnose diseases caused by lymphotropic virus: a
performance analysis," Latin America Transactions, IEEE (Revista IEEE
America Latina), vol. 10, pp. 1319-1323, 2012.
IEEE LATIN AMERICA TRANSACTIONS, VOL. 15, NO. 9, SEPTEMBER 2017
[27] M. A. Kadhim, M. A. Alam, and H. Kaur, "A Multi-Intelligent Agent for
Knowledge Discovery in Database (MIAKDD): Cooperative Approach
with Domain Expert for Rules Extraction," in Intelligent Computing
Methodologies. vol. 8589, D. S. Huang, Ed., ed Switzerland, Suiça:
Springer, 2014, pp. 602-614.
[28] S. Dubey, R. K. Pandey, and S. S. Gautam, "Development of multimedia
fuzzy based diagnostic expert system for integrated disease management in
chickpea," International Journal of Science and Modern Engineering, vol.
2, pp. 16-20, 2014.
[29] M. Hofmann and B. Tierney, "The involvement of human resources in
large scale data mining projects," in Proceedings of the 1st international
symposium on Information and communication technologies, 2003, pp.
103-109.
[30] I. Kopanas, N. M. Avouris, and S. Daskalaki, "The role of domain
knowledge in a large scale data mining project," in Proceedings of the
Second Hellenic Conference on AI: Methods and Applications of Artificial
Intelligence, Berlin Heidelberg, 2002, pp. 288-299.
[31] M. L. Gargano and B. G. Raggad, "Data mining-a powerful information
creating tool," OCLC Systems & Services, vol. 15, pp. 81-90, 1999.
[32] T. Hong and I. Han, "Knowledge-based data mining of news information
on the Internet using cognitive maps and neural networks," Expert Systems
with Applications, vol. 23, pp. 1-8, 2002.
[33] H. R. Nemati, D. M. Steiger, L. S. Iyer, and R. T. Herschel, "Knowledge
warehouse: an architectural integration of knowledge management,
decision support, artificial intelligence and data warehousing," Decision
Support Systems, vol. 33, pp. 143-161, 2002.
[34] F. H. Duarte de Araujo, A. M. Santana, and P. de Alcantara dos Santos
Neto, "Evaluation of Classifiers Based on Decision Tree for Learning
Medical Claim Process," Latin America Transactions, IEEE (Revista IEEE
America Latina), vol. 13, pp. 299-306, 2015.
[35] J. R. Lloyd, "GEFCom2012 hierarchical load forecasting: Gradient
boosting machines and Gaussian processes," International Journal of
Forecasting, vol. 30, pp. 369-374, 2014.
[36] T. Hong, P. Pinson, and S. Fan, "Global energy forecasting competition
2012," International Journal of Forecasting, vol. 30, pp. 357-363, 2014.
[37] GEFCOM. (2012, 02-nov-2014). Global Energy Forecasting
Competition 2012. Available: http://www.kaggle.com/c/GEF2012-wind-
forecasting/details/evaluation
[38] H. Mannila, "Data mining: machine learning, statistics, and databases,"
in Scientific and Statistical Database Management, International
Conference on, 1996, pp. 2-2.
[39] R. J. Hyndman and A. B. Koehler, "Another look at measures of forecast
accuracy," International Journal of Forecasting, vol. 22, pp. 679-688,
2006.
[40] A. F. L. Passari, "Exploraçao de dados atomizados para previsao de
vendas no varejo utilizando redes neurais," Mestrado em Administração,
Departamento de Administração, Universidade de São Paulo, Brasil, 2003.
[41] J. S. Armstrong, "Evaluating forecasting methods," in Principles of
forecasting, J. S. Armstrong, Ed., ed: Springer, 2001, pp. 443-472.
[42] B. Abraham and A. Chuang, "Outlier detection and time series
modeling," Technometrics, vol. 31, pp. 241-248, 1989.
[43] D. Peña and I. Sánchez, "Measuring the advantages of multivariate vs.
univariate forecasts," Journal of Time Series Analysis, vol. 28, pp. 886-909,
2007.
[44] M. Greer, "Directional accuracy tests of long-term interest rate
forecasts," International Journal of Forecasting, vol. 19, pp. 291-298,
2003.
[45] L. Tang, L. Yu, and K. He, "A novel data-characteristic-driven modeling
methodology for nuclear energy consumption forecasting," Applied Energy,
vol. 128, pp. 1-14, 2014.
[46] J.-J. Wang, J.-Z. Wang, Z.-G. Zhang, and S.-P. Guo, "Stock index
forecasting based on a hybrid model," Omega, vol. 40, pp. 758-766, 2012.
[47] W. P. Putsis, "Parameter variation and new product diffusion," Journal
of Forecasting, vol. 17, pp. 231-257, 1998.
[48] M. Lawrence, M. O'Connor, and B. Edmundson, "A field study of sales
forecasting accuracy and processes," European Journal of Operational
Research, vol. 122, pp. 151-160, 2000.
Celso Bilynkievycz dos Santos, doutor e mestre (2007) em
Engenharia de Produção pela Universidade Tecnológica Federal do
Paraná - UTFPR. Especialista em Administração de Banco de
Dados pela Universidade Estadual de Ponta Grossa - UEPG
(2004).
BILYNKIEVYCZ DOS SANTOS et al.: FORECASTING 1753

Bruno Pedroso, doutor em Educação Física pela Universidade

Estadual de Campinas - UNICAMP (2013), Mestre (2008) e
Especialista (2006) em Engenharia de Produção pela UTFPR.
Professor Ajunto na UEPG. Docente permanente nos PPGs de
Ciências Sociais Aplicadas e Ciências da Saúde da (UEPG).

Alaine Margarete Guimarães, doutora em Computação Aplicada

- University of Florida (2005) e doutora em Agronomia (Energia
na Agricultura) pela Universidade Estadual Paulista Júlio de
Mesquita Filho (2005). Mestre em Informática pela Universidade
Federal do Paraná - UFPR (2000), bacharel em Informática pela
UEPG (1989). Professora associada, lotada no Departamento de
Informática da UEPG. Coordenadora e docente permanente no PPG do
Mestrado Acadêmico em Computação Aplicada (UEPG).

Deborah Ribeiro Carvalho, doutora em Informática Aplicada

pela Pontifícia Universidade Católica do Paraná - PUC-PR (2002)
e doutora em Computação de Alto Desempenho pela Universidade
Federal do Rio Janeiro (COPPE) (2005). Professora da PUC-PR
no PPG em Tecnologia Aplicada em Saúde e professora Colaboradora do PPG
em Ciência, Gestão e Tecnologia da Informação (UFPR).

Luiz Alberto Pilatti, doutor em Educação Física pela

Universidade Estadual de Campinas - UNICAMP (2000).
Professor Titular da UTFPR. Docente nos PPGs em Engenharia
de Produção (PPGEP) e Ensino de Ciência e Tecnologia
(PPGECT). Reitor da UTFPR.