Паралельный экспорт-импорт в конверторе 810-810?

Администрирование баз данных (Pervasive.SQL, MS SQL, Oracle, утилита Support)

Модераторы: m0p3e, edward_K, Модераторы

Ответить
Andrey
Местный житель
Сообщения: 702
Зарегистрирован: 29 мар 2005, 17:49
Откуда: Украина, Запорожска яобласть, г.Днепрорудный

Паралельный экспорт-импорт в конверторе 810-810?

Сообщение Andrey »

Добрый день.
В конверторе 712-810 была такая возможность. А в конверторе 810-810 канула в лету? или как-то можно включить? Спасибо.
edward_K
Заслуженный деятель интернет-сообщества
Сообщения: 5185
Зарегистрирован: 29 мар 2005, 17:49
Откуда: SPB galaxy spb

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение edward_K »

А кто вам мешает самому организовать? Тем более, что докмпиляции нет.
Делаете несколько каталогов, режете exp\imp.lot в каждом и все.
Для ускорения еще на крупные таблы индексы отключаете(читайте readme конвертора).
Я бы вам посоветовал сначала сделать пробный прогон, по времени файлов определится где резать, заодно
проверить dbf больше 2гигов - лучше их порезать по atl_lastdate.
Andrey
Местный житель
Сообщения: 702
Зарегистрирован: 29 мар 2005, 17:49
Откуда: Украина, Запорожска яобласть, г.Днепрорудный

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение Andrey »

To edward_K: а значение параметра ParallelImpExp=Off/On при таком решении каким должно быть? На что этот параметр влияет?
edward_K
Заслуженный деятель интернет-сообщества
Сообщения: 5185
Зарегистрирован: 29 мар 2005, 17:49
Откуда: SPB galaxy spb

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение edward_K »

Если вы руками будете делать то все равно
==============================================================================
III. ВОЗМОЖНОСТЬ ПАРАЛЕЛЬНОГО ЭКСПОРТА-ИМПОРТА НА НЕСКОЛЬКИХ МАШИНАХ

Добавлена возможность экспорта-импорта таблиц на одной и более машинах.
Одна машина становится головной. На ней выполняются все шаги конвертации.
На остальных вспомогательных машинах только шаги экспорта-импорта.
Порядок конвертации:

1 . Включить опцию ParallelImpExp в exp.cfg для параллельного экспорта,
в imp.cfg для параллельного импорта;

2. Внимание!!! Перед каждым, кроме первого, экспортом-импортом на головной машине
необходимо запускать $_CONV\CONV\COM\clrattr.bat для очистки служебной информации,
используемой при параллельном экспорте-импорте. Без этого повторный запуск
экспорта-импорта будет работать некорректно.

3 . Сортировка лотов экспорта/импорта. Нужна для более оптимального
распределения больших таблиц между отдельными компьютерами.
Примечание : данный пункт выполнять необязательно!

a) Задать путь GAL712 на ресурсы Галактики 7.12 в PARCONV\sets.bat

б) Запустить $_CONV\CONV\PARCONV\TABLINFO.BAT. В файле $_CONV\CONV\report будет
выведена информация о размере записей каждой из таблиц в исходной базе и
размере рекомендуемой памяти для наиболее быстрого экспорта-импорта;

в) Не удаляя файл $_CONV\CONV\sorted, запустить $_CONV\CONV\PARCONV\sortlot.bat
(сортировка лота по размеру таблиц в исходной базе);
Неотсортированные лоты хранятся в дирректориях .\EXPORT\LOTS\ и .\IMPORT\LOTS\

4 . Запустить конвертор с паузами;

5 . Прервать конвертор перед этапом экспорта;
6 . Скопировать весь католог $_CONV на другие машины;
7 . Запустить этап экспорта таблиц на всех машинах;
8 . После завершения экспорта прервать конвертацию;
9 . Скопировать в каталог $_CONV\DBF\ головной машины, созданные dbf-файлы
из вспомогательных машин. После этого скопировать каталог $_CONV\DBF\
головной машины на вспомогательные.
10. Запустить на всех машинах этап импорта;
11. После завершения импорта прервать конвертацию;
12. Все этапы следующие за импортом выполнить на головной машине;

Можно использовать отключение индексов при параллельном экспорте-импорте.

При импорте все машины должны быть настроены на одну базу-приемник, за
исключением случая конвертации на платформе Btrieve.
В случае, когда импорт производится в разные директории (платформа Btrieve),
после завершения импорта следует объеденить все базы в одну и продолжить конвер-
тацию с этапа "Импорт системных таблиц из DBF" на головной машине.
Для Btrieve рекомендуется использовать 2-3 машины. Большее количество эфекта
не дает. Скорость экспорта может быть увеличена в 1,5 раза, импорта на 40%.
VAt
Постоянный обитатель
Сообщения: 123
Зарегистрирован: 29 мар 2005, 17:49
Откуда: Ухта, Республика Коми
Контактная информация:

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение VAt »

edward_K писал(а):Я бы вам посоветовал сначала сделать пробный прогон, по времени файлов определится где резать, заодно
проверить dbf больше 2гигов - лучше их порезать по atl_lastdate.
А зачем разбивать dbf, которые больше 2х гигов? Что это даст?
GAL 9.1, Oracle 11.2
edward_K
Заслуженный деятель интернет-сообщества
Сообщения: 5185
Зарегистрирован: 29 мар 2005, 17:49
Откуда: SPB galaxy spb

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение edward_K »

Ну до версии 712 такие вообще не импортировались полностью.
А так мне просто кажется, что лучше заливать кусочками - так как то шустрее выглядит. При большем объеме закачки первоначально импорт идет быстро, но потом начинает притормаживать. Ну да там индексы и т.д, но субъективно мне кажется шустрее. Кроме того у вас появиться возможность одну часть загрузить в другом потоке.
VAt
Постоянный обитатель
Сообщения: 123
Зарегистрирован: 29 мар 2005, 17:49
Откуда: Ухта, Республика Коми
Контактная информация:

Re: Паралельный экспорт-импорт в конверторе 810-810?

Сообщение VAt »

Да, в прежние переходы приходилось разбивать такие таблицы как Оборот и Перевод, сейчас уже такой проблемы по размеру dbf не увидел. Насчет ускорения, надо потестить:)
GAL 9.1, Oracle 11.2
Ответить