Große Datenbank dumpen und hochladen

[Christian P.]

Hallo,

ich habe eine Frage bezüglich dem Umgang mit großen Datenbanken. Es geht um eine Forenseite, die hunderttausende Beiträge enthält und die gedumpt werden soll, und später auch wieder hochgeladen.

Welche Methode ist hier ratsam? Kann das CGI-Skript von dF für MySQL-Backups mit großen Datenbanken umgehen? Und mit welcher Zeit ist für einen Dump zu rechnen?

Grüße,
Christian

[Klaus Moelands]

Hallo Christian,

für sehr große Datenbanken ist das Script MySQLDumper eine gute Wahl. Alternativ spielt Ihnen unsere Technik gerne den Dump ein. Hierzu einfach über den Link "Kundenservice" im Kundenmenü den Speicherort des Dumps + Datenbank, in die dieser eingespielt werden soll, and die Technik mitteilen.

Freundliche Grüße

Klaus Moelands
Kundenservice-Team (Forum)
domainFACTORY

***(Bis 30.06.03 - Klaus2001 Moderator (Kunde) - der Mann mit dem Staubsauger ;-) )***

[wareconsult]

Hallo Christian,

oder du spielst die Datenbank direkt über einen SSH-Zugang ein. Das ist dann unschlagbar schnell

[Christian P.]

Guten Abend!

Ich bedanke mich für die schnellen und kompetenten Antworten.

[Klaus Moelands]

Gerne
Wir wünschen gutes Gelingen

Freundliche Grüße

Klaus Moelands
Kundenservice-Team (Forum)
domainFACTORY

***(Bis 30.06.03 - Klaus2001 Moderator (Kunde) - der Mann mit dem Staubsauger ;-) )***

[z-meister]

Hallo,

oder du spielst die Datenbank direkt über einen SSH-Zugang ein. Das ist dann unschlagbar schnell

Dem kann ich mich nur anschließen. Das Teil ist mit einem Einzeiler eingespielt bzw. exportiert:

Export:

mysqldump db12345 -udb2345 -pPASSWORT -hHOST > dump.sql

Import:

mysql db12345 -udb2345 -pPASSWORT -hHOST < dump.sql

Gruß

[Christian P.]

Ich verwende derzeit MySQLDumper, weil auf dem betreffenden Host SSH nicht zur Verfügung steht.

Leider ist das Backup quälend langsam. Derzeit wird eine 1,8GB große Tabelle gedumpt und der Dumper arbeitet schon seit 10 Stunden, 50% sind abgeschlossen. Der Fortschritt war zu Beginn noch deutlich schneller.

Gibt es eine schnellere Variante um große Datenbanken zu dumpen oder bestimmte Optionen, mit denen der MySQLDumper schneller arbeitet?

[wareconsult]

Ich verwende derzeit MySQLDumper, weil auf dem betreffenden Host SSH nicht zur Verfügung steht.

Leider ist das Backup quälend langsam. Derzeit wird eine 1,8GB große Tabelle gedumpt und der Dumper arbeitet schon seit 10 Stunden, 50% sind abgeschlossen. Der Fortschritt war zu Beginn noch deutlich schneller.

Gibt es eine schnellere Variante um große Datenbanken zu dumpen oder bestimmte Optionen, mit denen der MySQLDumper schneller arbeitet?

direkt per SSH. Das geht mit deiner 1,8 GB Datenbank sehr schnell

[Christian P.]

direkt per SSH. Das geht mit deiner 1,8 GB Datenbank sehr schnell

SSH steht aber auf dem betreffenden Host nicht zur Verfügung, wie ich explizit schrieb.

[Christian P.]

Ich habe ein nettes Video zum MySQLDumper gefunden. Dort werden ein paar Performance-Kniffe erläutert.

http://www.mysqldumper.de/tuts/de/ph...phpbackup.html

[ifox]

der Dumper arbeitet schon seit 10 Stunden, 50% sind abgeschlossen.

Ich würde über das Kundenmenü einen entsprechenden Auftrag an die Technik geben. Der Aufwand dafür sollte eigentlich finanziell zu verkraften sein

[Christian P.]

Ich würde über das Kundenmenü einen entsprechenden Auftrag an die Technik geben. Der Aufwand dafür sollte eigentlich finanziell zu verkraften sein

Das könnte ich machen, sobald das Dump bei dF liegt. Derzeit wird eine Datenbank bei einem anderen Hoster gedumpt.

Aber mit einigen Performance Tricks habe ich den MySQLDumper deutlich beschleunigen können. Er benötigt jetzt für eine Tabelle mit 1,8GB und 44 Millionen Einträgen nur noch 2 Stunden beim Dumpen.

Die Datenbank ist rund 6GB groß.

[ifox]

Derzeit wird eine Datenbank bei einem anderen Hoster gedumpt.

Okay, das wusste ich natürlich nicht

[Christian P.]

Dem kann ich mich nur anschließen. Das Teil ist mit einem Einzeiler eingespielt bzw. exportiert:

Export:

mysqldump db12345 -udb2345 -pPASSWORT -hHOST > dump.sql

Import:

mysql db12345 -udb2345 -pPASSWORT -hHOST < dump.sql

Gruß

Klingt gut.

Ich müsste aber mehrere .sql files sequentiell importieren.

A1.sql
A2.sql
...
A14.sql
A15.sql

Mit welcher Art Kommando ließe sich das in einem Rutsch bewerkstelligen?

Gruß,
Christian

[Nils Dornblut]

Hallo Christian,

man könnte hier natürlich ein Bash-Skript oder einen Einzeiler schreiben, der die Dateien nacheinander abarbeitet. Das wäre jetzt abhängig vom Namen und man müsste halt eine Schleife drum herum bauen: http://openbook.galileocomputing.de/...004E2B1F04E172

Alternativ alle Dateien eines Verzeichnisses durchiterieren, in eine Variable schreiben und jeweils einlesen.

Vermutlich ist es aber einfacher die Zeile zu kopieren und entweder als Skript oder als einzelne Befehle kurz zu behandeln.

Mit freundlichen Grüßen

Nils Dornblut
Communityservice