3 - Progress Na Prática

Progress na prtica Migrando V8/V9 para OpenEdge 10
Regis Martins Ezipato

Pre Sales Manager
O que h de novo no RDBMS?

Performance
Type II Storage Areas
Fast Drop & Temp tables Increased shmem B 1 billion Internal algorithmic enhancements Buffers, Locks, Indexing Auto Record Defrag Enhanced Txn Backout New Defaults
Visibilidade Log File
Improved APW scanning
Db I/O by User by Object Database Describe
New format Significant events Improved management
Suporte a Grandes Bases
Suporte a Tipo de Dados
BLOB, CLOB
Datetime, Datetime-TZ INT64 (no conversion)

2 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10
64 bit Rowids 64 bit Sequences 64 bit Integer Datatype Large Index Key Entries (1970) 32,000 areas 8 TB Shmem
2008 Progress Software Corporation
O que h de novo no RDBMS?

Alta Disponibilidade Online Schema adds Manuteno Index Rebuild
Online space management Enabled/Disable AI online Enable AI Mgmt online HA Clusters Bundled
Segurana
Sequences Tables Fields Indexes w/fast fill
.st file syntax checker AI Management Multi threaded utilities idxbuild, binary dump Binary Dump without index Binary Load Performance Index Fix with NO-LOCK
By area, table, active status
SSL Auditing
3 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10 2008 Progress Software Corporation
Agenda
Estratgia Geral de Migrao Upgrade rpido e fcil Upgrade Fsico Oportunidade de Tuning
OPS-10: Moving V8/V9 RDBMS to OpenEdge 10
Passos Bsicos
Primeiro detalhe o planejamento, revise, teste e ENTO execute Preparao Instalao
BI truncado, Desabilitar AI, 2PC, e Replication (V9) Backup (V8/9) Instalar OpenEdge No precisa desintalar V8/9 *No sobrescrever seu diretrio Progress Upgrade DB para OpenEdge 10 Faa backups !!!! Recompile/Redistribua seu cdigo ABL se o cliente OpenEdge
Upgrade
Execute a aplicao e teste, testeteste

A Aplicao
Seguro
Instale OpenEdge em sua mquina de teste existente proutil <test db> -C conv910* Recompile sua aplicao* e teste Upgrade do site cliente remoto ou local Recompile sua aplicao* e teste
Rpido
Apresentao
Upgrade de sistemas remoto com OpenEdge Servidor remoto do cliente, Servidor de aplicaes remoto retire a aplicao recentemente construda (PROPATH) e teste
* O cdigo ABL precisa ser reompilado somente para promover o cliente V10. Na codificao em 3 camadas (com AppServer) o cliente ainda pode ser V9. No possvel atravs do SQL ou V8. * Voc ter que converter um DB de V8 para V9 antes de converter para OpenEdge
Agenda
Distribuio
Preparao
BI truncado Desabilitar AI, 2PC, Replication (V9) Backup das bases de dados (V8/9) Validar backup
Instalar OpenEdge 10 no servidor

E todas as outras partes!! (Clientes devem fazer o upgrade antes do servidor)
Recompile e re-distribua a aplicao (se necessrio)

Client/Server V9 para OpenEdge 10 Clientes V9 para V10, AppServer para V10, base de dados est habilitada
Conectividade: Progress V9 e OpenEdge 10

Mix de configurao ABL : Progress V9 e OpenEdge 10 so suportados
Uma verso (clientes para servidores) Uma verso encaminhada (clientes para Application Server)
Combinar o SQL
Cliente
Servidor
Base de dados
Novo no OpenEdge 10
10 10 10 9 9
10 10 9 10 10
10 9 9 10 9
Refere-se de produto por produto para detalhes adicionais

9
Converso da base de dados

Executar utilitrio de converso
_proutil <db> -C conv910 B 512
Converso executa em 5 minutos ou menos Basicamente um upgrade no schema

Sem mudanas de registros ou indices Sem mudanas na estrutura fsica
Backup da base de dados Reiniciar base de dados e aplicao
10
Agenda
11
reas de armazenamento?
Performance, escalabilidade e manuteno Vantagens nas novas caractersticas Nenhum efeito adverso na aplicao
Reorganizao fsica no muda a aplicao A posio dos objetos abstrada da linguagem pela camada de mapeamento Diferentes distribuies fsicas podem ser executadas com o mesmo .r compilado
12
Como chegar l
Preparao (o mesmo de antes)
Truncar BI, desabilitar AI, backup, validar, instalar
Reorganizao fsica
Upgrade da base de dados para OpenEdge 10
Utilitrio de converso prostrct create (obrigatrio mudar o tamanho do bloco)
Mudanas fsicas (no requer mudanas no .r)

Dados de usurio separados do schema Criao de novas reas de armazenamento
Especificar registros por blocos Especificar o tamanho do cluster para rea tipo II
Como chegar l
Reorganizao Fsica
Espalhe os dados pelas novas reas Mova os indices
Opes Online vs Opes offline

As mudanas do tamanho de bloco da base de dados so Offline
Depois da reorganizao
Espao utilizado na recuperao
Truncar area de dados velha Deletar area de dados velha
14
Mudanas Fsicas: Localizao, Localizao, Localizao

Criar arquivo .st com novo layout
Configurar os registros por blocos
Usar Areas de Armazenamento tipo II

Tabelas 64 ou 512 clusters por bloco Indices 8 ou 64 blocos por cluster
d Cust/Bill Indexes:7,1;8 /d_array2/myDB_7.d1 f 512000 d Cust/Bill Indexes:7,1;8 /d_array2/myDB_7.d2 # d Customer Data:8,16;64 /d_array2/myDB_8.d1 f 1024000 d Customer Data:8,16;64 /d_array2/myDB_8.d2 # d Billing Data:9,32;512 /d_array2/myDB_9.d1 f 1024000 d Billing Data:9,32;512 /d_array2/myDB_9.d2
Mudanas Fsicas
Primeiro validar prostrct add <db> new.st -validate
The Structure file format is valid. (12619)
Depois mudar prostrct add <db> new.st OU: prostrct addonline <db> new.st
16
Movendo Tabelas e ndices

3 opes de movimento de dados
1. Mover Tabela e ndice

Online (atravs do primeiro ndice) Com ou sem reconstruo de ndices Aplicao deve estar offline
2. Dump e Load (D&L)
Sugesto: Mix da opo #1 e #2

17
1 remover/arquivar dados desnecessrios Mover as tabelas pequenas (nmero de blocos) D&L e mais
Dump e Load
3 Dump e Load
Dados Textuais ASCII dump ASCII load A maior parte da carga segue a partir da reconstruo do ndice Binrio Dump Binrio Load Binrio
Com ndice reconstrudo A partir da reconstruo do ndice
(Texto ou raw) D&L com triggers Buffer-Copy / Raw-data-transfer / Export/Import Pode ser difcil, provavelmente voc pedir ajuda
Estratgia Geral de Dump e Load

Criar uma nova estrutura da base de dados Executar tabanalys Dump de dados, sequncias e usurios Definies de Dados
Definies de Dump Modificar as reas de armazenamento Definies de Load Adicionar a um DB existente Nova base de dados
Carregar os dados na tabela Configurao de ndices (se necessrio) [10.1C pode especificar o pacote] Executar tabanalys Backup
Dump de dados pelo Dicionrio

Ferramentas do Banco de Dados OU: run prodict/dump_d.p(<table>, <dir>,<codepage>). Vantagens:
Rpido e Fcil Paralelo Nenhuma edio Arquivo com limite de tamanho de 2 GB ** Pr 10.1C No pode escolher Tem que exportar toda a tabela Deve garantir que no haja mudanas nas tabelas entre D&L
Desvantagens:
20
Usando Dump Binrio

Vantagens:
Rpido e fcil Sem o limite de 2 GB Pode escolher a ordem de dump (pelo ndice) Pode exportar pores de dados da tabela Multi tarefa (10.1B) Pode exportar mltiplas tabelas em paralelo
Desvantagens:
No pode mudar nada entre o Dump e Load
21
Dump Binrio especificado

proutil <db> -C dumpspecified <table.field> <operator> fieldvalue1 AND operator value2 <dir> -preferidx <idx-name> 10.1B03 permite mltiplos valores Trocas Campo da tabela DEVE ser primeiro participante no ndice Operadores Vlidos: LT, GE, LE, GT, EQ -preferidx determina ndice especfico a usar -index, -thread so ignorados Performance Threaded preferido Pode rodar em paralelo com muitos valores nicos Precaues Cuidado com ndices descendentes
Tarefa do Dump Binrio

proutil <db> -C dump <table> <dir> -index <index #> -thread 1 -threadnum <n> -dumpfile <filelist> -Bp 64 -index <n>
Escolhe o ndice a ser usado na leitura -index 0

Rpido dump, leitura lenta Assume vindo de rea do Tipo II
-thread indica dump multi tarefa
-dumpfile usado como input para o load

# threads automtico (# CPUs) threadnum mx de # CPUs * 2 Threads somente disponvel em multi usurio Workgroup suporta somente 1 thread
Dump de Dados Completo. Reorganize a Configurao de rea/Objeto
24
Dump & Modificao de definio de dados

Use Data administration OU:
run prodict/dump_df.p(ALL, <mydb>.df, ). Se usando bulk load: run prodict/dump_fd.p(ALL, <mydb>.fd).
25
Dump & Modificao de definio de dados

Altere arquivos .df
Opcionalmente delete tabelas velhas Altere reas das Tabelas
ADD TABLE "mytable2" AREA Old Default Area"
DROP Table mytable2 ADD TABLE "mytable2" AREA New Data Area"
Delete/Drop tabelas Leitura da Definio de Tabelas

Data administration OU: run prodict/load_df.p(<mytable>.df").
Alternativa para Modificao da Definio de Dados

Se todos os dados esto na rea exportada Truncar objetos mais rpido do que mover/deletar proutil <db> -C truncate area Old Default Area Cuidado quando deletar dados (mas no o schema) Reindexar/ativar ndices vazios (se movendo) proutil <db> -C idxbuild inactiveindexes
Pode ser feito ONLINE, no apenas a indexao mas a ativao
Mova tabelas/ndices vazios para nova rea proutil <db> -C tablemove <table> <area> [ index-area ]
27
Lendo
Coisas a considerar... Habilite suporte a large files
No Sistema Operacional (ulimit) No Filesystem / volume groups No Banco de Dados
28
Bulkload
proutil <db> -C bulkload <fd-file> -B 1000 i Mf 10 Entrada de dados do dicionrio ou exportao customizada
Mencionado aqui para tabelas completas
Lembretes:
Limite de 2 GB (pr 10.1C) Leitura de uma tabela por vez (mono usurio) No usa ndice na entrada
Requer indexao separada
Nenhuma vantagem sobre outros mtodos Mais lento do que outros mtodos
29
Load pelo Dicionrio

Data Administration Tool OU: run prodict/load_d.p(table1, table1.d). Entrada de dados pelo dicionrio ou exportao de dados customizados Leitura de Dados em paralelo (para tabelas separadas) Performance perto do load binrio + reindexao
(quando lendo mltiplas tabelas) Inclui entrada nos ndices rvore de ndices imperfeita Limite de 2 GB por leitura (pr 10.1C)
30
Load Binrio
proutil <db> -C load <table>.bd [build]
Leitura para reas novas ou truncadas

Truncada ao invs de esvaziada
Leitura paralela para tabelas diferentes

reas iguais ou diferentes sem distanciamento! Usando rea do Tipo II
Opcionalmente leitura com criao de ndices

Pode ter melhor performance
31
Load Binrio
partir da exportao com multi tarefa proutil <db> -C load <table>.bd -dumplist <filename>
Arquivo Dump List:

/usr1/db/mytable.bd /usr1/db/mytable2.bd /usr1/db/mytable3.bd
Deve ler todos os dumps (.db, db2, .db3, )
32
Ajustando o Processo
Ajustando as atividades para cima Dump com
RO, aumente B e/ou -Bp Dump com ndice com menos # blocos (se possvel)
Load com
Maior B, r** or i** BIW, 1.5 APWs por CPU, Cluster de BI bem grande com blocos de 16K Sem AI/2PC
Espalhe dados, BI e arquivos temporrios atravs dos discos / controladoras
33
Depois da Leitura
Recontruo de ndices (onde aplicvel) proutil <db> -C idxbuild [ all |table <table> | area <area> schema <owner> | activeindexes | inactiveindexes] [thread n] [-threadnum n] [-T <dir>] [-TM n] [TB <blocksize>] [-B n] [-SG n] [-SS <file>] [-pfactor n]
Vrios ndices novos escolhidos Parmetros para auxlio -SG 64 (sort groups) -SS filename (arq. que contm arquivos de sort) -TM 32 (buffers de merge) -TB 31 (buffers de sort) -B 1000 Rode um tabanalys valida # registros Backup de sua base de dados
Agenda
35
Oportunidade para tuning

-Bt (temp tables so armazenadas em reas do tipo II) parmetro de cliente 10.1B+ altera o tamanho do bloco da Temp table
De 1K para 4K tmpbsize 1 restaura o antigo padro parmetro de cliente
Monitore o Tamanho do Cluster de BI

Notas de BI so maiores na OpenEdge 10
BI cresce mais
36
Resumo
Converso rpida
Atualizao fsica garante seu sossego Muitas opes de reorganizao fsica
Mudana pode ser simples 10,000+ clientes no OpenEdge
37
Perguntas
38
Obrigado
39
40

3 - Progress Na Prática

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

3 - Progress Na Prática

Uploaded by

Copyright:

Available Formats

Progress na prtica Migrando V8/V9 para OpenEdge 10

Regis Martins Ezipato

O que h de novo no RDBMS?

Type II Storage Areas

Visibilidade Log File

Improved APW scanning

Db I/O by User by Object Database Describe

New format Significant events Improved management

Suporte a Grandes Bases

Suporte a Tipo de Dados

Datetime, Datetime-TZ INT64 (no conversion)

O que h de novo no RDBMS?

Sequences Tables Fields Indexes w/fast fill

By area, table, active status

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Execute a aplicao e teste, testeteste

2008 Progress Software Corporation

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Instalar OpenEdge 10 no servidor

Recompile e re-distribua a aplicao (se necessrio)

Conectividade: Progress V9 e OpenEdge 10

Refere-se de produto por produto para detalhes adicionais

Converso da base de dados

Converso executa em 5 minutos ou menos Basicamente um upgrade no schema

Backup da base de dados Reiniciar base de dados e aplicao

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Mudanas fsicas (no requer mudanas no .r)

Opes Online vs Opes offline

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Mudanas Fsicas: Localizao, Localizao, Localizao

Usar Areas de Armazenamento tipo II

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Movendo Tabelas e ndices

1. Mover Tabela e ndice

2. Dump e Load (D&L)

Sugesto: Mix da opo #1 e #2

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

Estratgia Geral de Dump e Load

Dump de dados pelo Dicionrio

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Usando Dump Binrio

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

2008 Progress Software Corporation

Dump Binrio especificado

Tarefa do Dump Binrio

Escolhe o ndice a ser usado na leitura -index 0

-thread indica dump multi tarefa

-dumpfile usado como input para o load

2008 Progress Software Corporation

Dump de Dados Completo. Reorganize a Configurao de rea/Objeto

OPS-10: Moving V8/V9 RDBMS to OpenEdge 10