{"id":30280,"date":"2019-10-31T21:34:38","date_gmt":"2019-10-31T18:34:38","guid":{"rendered":"https:\/\/prohoster.info\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0\/"},"modified":"2019-10-31T21:34:38","modified_gmt":"2019-10-31T18:34:38","slug":"potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","title":{"rendered":"Convers\u00e3o em fluxo de bancos de dados Firebird 2.5 para o formato ODS12 (Firebird 3.0)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Cada vers\u00e3o do Firebird tem sua pr\u00f3pria vers\u00e3o do formato de estruturas de disco do banco de dados \u2013 O(n)D(isk)S(tructure). At\u00e9 a vers\u00e3o 2.5 inclusive, o mecanismo Firebird podia trabalhar com ODS de vers\u00f5es anteriores, ou seja, bancos de dados de vers\u00f5es mais antigas eram abertos pela nova vers\u00e3o e funcionavam em modo de compatibilidade, mas o mecanismo Firebird 3.0 s\u00f3 funciona com bancos de dados em sua pr\u00f3pria vers\u00e3o ODS 12.0.<\/p>\n

Para migrar para 3.0, o banco de dados da vers\u00e3o 2.5 deve ser convertido para o novo formato atrav\u00e9s de backup\/restaura\u00e7\u00e3o. Naturalmente, supomos que o banco de dados tenha sido preparado previamente para a convers\u00e3o - ou seja, os metadados e consultas foram verificados quanto \u00e0 compatibilidade com o Firebird 3.0.<\/p>\n

Se seguirmos a abordagem padr\u00e3o, isso significa que \u00e9 necess\u00e1rio fazer um backup na vers\u00e3o 2.5, depois instalar a 3.0 e realizar a restaura\u00e7\u00e3o. Esse procedimento \u00e9 vi\u00e1vel se houver tempo suficiente, mas na migra\u00e7\u00e3o de grandes bancos de dados, ou na migra\u00e7\u00e3o simult\u00e2nea de v\u00e1rias dezenas de bancos de dados, quando o tempo \u00e9 cr\u00edtico, pode-se usar a convers\u00e3o em stream, que \u00e9 de 30-40% mais r\u00e1pida. Como fazer isso (no Windows e no Linux) pode ser lido abaixo.
\n<\/a><\/noindex>
\nA ideia geral \u00e9 que, para acelerar, utilizaremos um pipeline:<\/p>\n

gbak -b \u2026 banco25 stdout | gbak -c \u2026 stdin banco30<\/code><\/pre>\n
\nO gbak da vers\u00e3o 2.5 gera um backup em formato linear e o direciona para stdout, que \u00e9 imediatamente capturado atrav\u00e9s de stdin pelo gbak da vers\u00e3o 3.0, criando um novo banco de dados.<\/p>\n
Esse pipeline deve ser organizado utilizando o m\u00e9todo de acesso local (de arquivos), pois o acesso de rede (mesmo atrav\u00e9s de localhost) diminuir\u00e1 significativamente o processo.<\/p>\n
Abaixo, examinamos os detalhes para Windows e Linux.<\/p>\n
Windows<\/b><\/p>\n
No caso do Windows, a maneira mais simples de fazer isso \u00e9 criar uma montagem totalmente aut\u00f4noma do Firebird. Para isso, pegamos o arquivo embed do Firebird 2.5<\/a><\/noindex>, renomeamos fbembedded.dll para fbclient.dll, adicionamos do arquivo \"normal\" 2.5 as utilit\u00e1rios gbak.exe e (opcionalmente) \u2013 isql.exe. <\/p>\n
O Firebird 3.0 utiliza uma \u00fanica montagem<\/a><\/noindex> e n\u00e3o requer nenhum ajuste.<\/p>\n
A op\u00e7\u00e3o mais m\u00ednima (que n\u00e3o exige a instala\u00e7\u00e3o de bibliotecas de tempo de execu\u00e7\u00e3o do VS2008\/VS2010 no sistema alvo) cont\u00e9m os seguintes arquivos:<\/p>\n
25\/gbak.exe\n25\/fbclient.dll\n25\/firebird.conf\n25\/firebird.log\n25\/firebird.msg\n25\/ib_util.dll\n25\/icudt30.dll\n25\/icuin30.dll\n25\/icuuc30.dll\n25\/Microsoft.VC80.CRT.manifest\n25\/msvcp80.dll\n25\/msvcr80.dll\n\n30\/fbclient.dll\n30\/firebird.conf\n30\/firebird.msg\n30\/gbak.exe\n30\/ib_util.dll\n30\/icudt52.dll\n30\/icudt52l.dat\n30\/icuin52.dll\n30\/icuuc52.dll\n30\/msvcp100.dll\n30\/msvcr100.dll\n30\/intl\/fbintl.conf\n30\/intl\/fbintl.dll\n30\/plugins\/engine12.dll<\/code><\/pre>\n
\nUm administrador experiente pode notar que na vers\u00e3o 2.5 n\u00e3o est\u00e3o inclu\u00eddos os arquivos intl\/fbintl.dll e intl\/fbintl.conf. Isso \u00e9 verdade, pois o gbak n\u00e3o utiliza o charset da conex\u00e3o e n\u00e3o converte dados entre charsets, mas do lado de 'recep\u00e7\u00e3o' do Firebird 3.0 esses arquivos s\u00e3o necess\u00e1rios para a cria\u00e7\u00e3o de \u00edndices.<\/p>\n
No firebird.conf, recomenda-se adicionar para o Firebird 3.0:<\/p>\n
MaxUnflushedWrites = -1\nMaxUnflushedWriteTime = -1<\/code><\/pre>\n
\nAl\u00e9m disso, \u00e9 desej\u00e1vel configurar um valor diferente para IpcName para 2.5 e 3.0. <\/p>\n
Ao escolher os valores de outros par\u00e2metros no firebird.conf, partimos da simples considera\u00e7\u00e3o de que, no est\u00e1gio de migra\u00e7\u00e3o de dados, um processo utiliza o gbak 2.5, enquanto o outro utiliza o 3.0; em seguida, o 2.5 encerra sua execu\u00e7\u00e3o e o 3.0 inicia a constru\u00e7\u00e3o de \u00edndices.<\/p>\n
Para acelerar o est\u00e1gio de constru\u00e7\u00e3o de \u00edndices no 3.0, recomenda-se aumentar o tamanho do par\u00e2metro TempCacheLimit para cerca de 40% da RAM (se este for um servidor dedicado, claro).<\/p>\n
Por exemplo, se o servidor tiver 16 GB de RAM, pode-se definir <\/p>\n
TempCacheLimit=6G<\/code><\/pre>\n
\n\u00c9 claro que tal valor s\u00f3 pode ser definido no Firebird 3 de 64 bits, pois qualquer processo de 32 bits n\u00e3o conseguir\u00e1 alocar mais de 2 gigabytes de mem\u00f3ria.<\/i><\/p>\n
No 2.5, n\u00e3o \u00e9 necess\u00e1rio alterar esse par\u00e2metro \u2013 ele j\u00e1 n\u00e3o pode ser superior a 2 gigabytes e, durante o backup, n\u00e3o afeta a velocidade.<\/p>\n
Antes de executar a opera\u00e7\u00e3o, \u00e9 necess\u00e1rio verificar se o cache de p\u00e1ginas no cabe\u00e7alho do banco de dados est\u00e1 definido como 0 (comando gstat -h databasename<\/code>, verifique a linha Page buffers). <\/p>\n
Se o cache for definido explicitamente no cabe\u00e7alho do banco de dados, isso sobrescreve os valores do firebird.conf (e databases.conf no 3.0) e, caso os valores sejam inadequadamente altos, isso pode levar a um consumo excessivo de mem\u00f3ria e swap.<\/p>\n
Em seguida, copiamos os arquivos para o sistema de destino. <\/p>\n
A convers\u00e3o \u00e9 realizada ap\u00f3s a parada do servi\u00e7o 'sistema' do Firebird 2.5, na linha de comando com privil\u00e9gios elevados para administrador local (exemplo):<\/p>\n
set ISC_USER=propriet\u00e1rio\n\"25\/gbak\" -z -b -g -v -st t -y 25.log banco25 stdout|^\n\"30\/gbak\" -z -c -v -st t -y 30.log stdin banco30<\/code><\/pre>\n
\nNeste exemplo, \u00e9 utilizada a 'barra inclinada direta' entre aspas (o 'estilo unix' permitido), enquanto o 'caret' (s\u00edmbolo '^') escapa o s\u00edmbolo de nova linha, o que \u00e9 conveniente ao digitar comandos longos. A op\u00e7\u00e3o -st(atus) foi introduzida no Firebird 2.5.8 e permite registrar no log dados sobre o tempo de execu\u00e7\u00e3o do processo gbak (detalhes \u2013 na documenta\u00e7\u00e3o).<\/p>\n
Linux<\/b><\/p>\n
No Linux, o Firebird 3 depende da biblioteca tommath. No CentOS (RHEL), essa biblioteca est\u00e1 no reposit\u00f3rio epel, enquanto no Ubuntu (Debian), ela est\u00e1 no sistema.<\/p>\n
Para o CentOS, primeiro \u00e9 necess\u00e1rio conectar-se ao reposit\u00f3rio epel e depois executar <\/p>\n
yum install libtommath<\/code><\/pre>\n
\nNo Ubuntu, n\u00e3o \u00e9 necess\u00e1rio conectar reposit\u00f3rios adicionais, mas no Ubuntu 16 e no Ubuntu 18, diferentes vers\u00f5es de pacotes s\u00e3o instaladas - libtommath0 e libtommath1, respectivamente.<\/p>\n
O Firebird 3.0 procura por tommath.so.0 e, para o Ubuntu 18, \u00e9 necess\u00e1rio criar um link simb\u00f3lico (symlink) de tommath.so.0 para tommath.so.1. Para isso, primeiro \u00e9 necess\u00e1rio encontrar tommath.so.1. <\/p>\n
O caminho procurado no Ubuntu \u00e9 \/usr\/lib\/x86_64-linux-gnu\/<\/code>, mas em outras distribui\u00e7\u00f5es baseadas em Debian pode ser diferente.<\/p>\n
O segundo problema est\u00e1 relacionado ao fato de que at\u00e9 o Firebird 3.0.1, inclusive, n\u00e3o havia uma maneira f\u00e1cil de instalar duas vers\u00f5es diferentes do servidor. A op\u00e7\u00e3o \"compilar a partir do c\u00f3digo-fonte com o prefixo necess\u00e1rio\" n\u00e3o \u00e9 considerada devido \u00e0 sua relativa complexidade.<\/p>\n
Para o Firebird 3.0.2 e superior, foi implementada a constru\u00e7\u00e3o com \u2013enable-binreloc<\/a><\/noindex> e uma op\u00e7\u00e3o separada do instalador (-path caminho).<\/p>\n
Assumindo que a biblioteca tommath e, se necess\u00e1rio, o symlink para tommath.so.0 foram adicionados ao sistema, pode-se instalar a distribui\u00e7\u00e3o atual (no momento da reda\u00e7\u00e3o deste artigo) do Firebird 3.0.4 em, por exemplo, \/opt\/fb3:<\/p>\n
.\/install.sh -path \/opt\/fb3<\/code><\/pre>\n
\nDepois disso, pode-se parar o servi\u00e7o do sistema Firebird e iniciar a convers\u00e3o cont\u00ednua. <\/p>\n
Ao parar o Firebird, \u00e9 importante considerar que os processos do Firebird 2.5 em modo Classic geralmente s\u00e3o iniciados pelo xinetd - portanto, \u00e9 necess\u00e1rio ou desativar o servi\u00e7o firebird para o xinetd ou parar totalmente o xinetd.<\/i><\/p>\n
No firebird.conf para 3.0 no Linux, n\u00e3o \u00e9 necess\u00e1rio definir os par\u00e2metros MaxUnflushed (eles funcionam apenas no Windows) e alterar as configura\u00e7\u00f5es do Firebird 2.5. <\/p>\n
No Linux, o acesso local (baseado em arquivos) ao Firebird 2.5 n\u00e3o \u00e9 equivalente \u00e0 vers\u00e3o embutida do Windows - o servidor 2.5 funcionar\u00e1 no processo gbak (sem parte de rede), mas os direitos de acesso ser\u00e3o verificados com base no banco de usu\u00e1rios, ou seja, ser\u00e3o necess\u00e1rios n\u00e3o apenas o login, mas tamb\u00e9m a senha: <\/p>\n
export ISC_USER=username ISC_PASSWORD=password\n\/opt\/firebird\/bin\/gbak -b \u2026 \u0431\u0430\u0437\u043025 stdout\n|\/opt\/fb3\/bin\/gbak -c \u2026 stdin \u0431\u0430\u0437\u043030<\/code><\/pre>\n
\nAp\u00f3s a convers\u00e3o bem-sucedida, \u00e9 necess\u00e1rio remover primeiro o Firebird 3.0 \"adicional\", depois o Firebird 2.5 \"principal\" e s\u00f3 ent\u00e3o executar uma instala\u00e7\u00e3o limpa do Firebird 2.5 - sendo prefer\u00edvel fazer isso a partir do instalador padr\u00e3o tar.gz, e n\u00e3o atrav\u00e9s dos reposit\u00f3rios, j\u00e1 que a vers\u00e3o nos reposit\u00f3rios pode estar desatualizada.<\/p>\n
Al\u00e9m disso, ap\u00f3s restaurar o BD no Linux e reinstalar, deve-se verificar se o novo BD tem o usu\u00e1rio firebird como propriet\u00e1rio.<\/p>\n
Se n\u00e3o for o caso, ser\u00e1 necess\u00e1rio corrigir<\/p>\n
chown firebird.firebird database<\/code><\/pre>\n
\nResultado<\/b><\/p>\n
Al\u00e9m da economia de tempo e espa\u00e7o em disco, a convers\u00e3o em tempo real possui outra vantagem importante \u2013 a transforma\u00e7\u00e3o do banco de dados \u00e9 feita sem a remo\u00e7\u00e3o do Firebird 2.5 existente, o que simplifica consideravelmente o retorno em caso de convers\u00e3o malsucedida (geralmente devido \u00e0 falta de espa\u00e7o ou uma reinicializa\u00e7\u00e3o inesperada durante o processo de migra\u00e7\u00e3o).<\/p>\n
A economia de tempo est\u00e1 relacionada ao fato de que a convers\u00e3o \"cl\u00e1ssica\" leva em conta o \"tempo de backup\" mais o \"tempo de restaura\u00e7\u00e3o\". A restaura\u00e7\u00e3o consiste em duas partes: ler dados do arquivo de backup e construir o \u00edndice.<\/p>\n
Na convers\u00e3o em tempo real, o tempo total \u00e9 calculado como \"tempo de backup mais cinco a dez por cento\" e o \"tempo de constru\u00e7\u00e3o de \u00edndices\".<\/p>\n
Os resultados espec\u00edficos dependem da estrutura do banco de dados, mas, em m\u00e9dia, o tempo de restaura\u00e7\u00e3o \u00e9 aproximadamente o dobro do tempo de backup. Portanto, se considerarmos o tempo de backup como uma unidade, a \"convers\u00e3o cl\u00e1ssica\" leva tr\u00eas unidades de tempo, enquanto a convers\u00e3o em tempo real leva duas unidades de tempo. Um aumento no TempCacheLimit tamb\u00e9m ajuda a reduzir o tempo adicionalmente.<\/p>\n
No geral, a convers\u00e3o em tempo real permite economizar entre 30% a 40% do tempo necess\u00e1rio para backups sequenciais e restaura\u00e7\u00f5es.<\/p>\n
D\u00favidas?<\/b><\/p>\n
Por favor, envie todas as perguntas nos coment\u00e1rios ou entre em contato com o autor da metodologia e coautor deste artigo \u2013 Vasily Sidorov, engenheiro de sistemas s\u00eanior da empresa \"iBase\", pelo e-mail bs at ibase ru.<\/p>\n
Apenas usu\u00e1rios registrados podem participar da pesquisa. Entre<\/a><\/noindex>, por favor.<\/p>\n
Qual vers\u00e3o do Firebird voc\u00ea est\u00e1 usando?<\/h2>\n