Seite 2 von 3 ErsteErste 1 2 3 LetzteLetzte
Ergebnis 16 bis 30 von 36

Thema: SQL-Import 11GB-Datei

  1. #16
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von Enigma Beitrag anzeigen
    Das mache ich auch so, hat ja aber mit der Serverlast nicht allzu viel zu tun. Nun ja, wenn Du gut besuchte Sites hast, ist der Unterschied zwischen einem lokalen und einem Webserver bei ähnlicher Ausstattung recht klar - Ersterer muss nur Deine Anfragen beantworten, der Webserver die von Hunderten weiterer Besucher. Sprich: Er ist deutlich stärker ausgelastet, die CPU-"Zeitscheiben" für alle Prozesse werden kürzer, und letztlich laufen solche Prozesse dann langsamer. Ich würde jetzt nicht gerade mit einem solch erheblichen Unterschied rechnen, aber bei sehr starker Auslastung kann es zumindest in diese Richtung gehen.
    Hallo Jan,

    Jetzt weiß ich, was Du meinst. Auf diesem Server läuft noch nichts, außer diese Installation, auf die nicht zugegriffen wird. Bis auf den Import und ein paar Test von mir.

    Viele Grüße, Uwe

  2. #17
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    14.470

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von pixelparts Beitrag anzeigen
    Jetzt weiß ich, was Du meinst. Auf diesem Server läuft noch nichts, außer diese Installation, auf die nicht zugegriffen wird. Bis auf den Import und ein paar Test von mir.
    Okay, in dem Fall ist der Unterschied schon ziemlich krass.

    Geht's mit der nohup-Lösung denn schneller?

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  3. #18
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von Enigma Beitrag anzeigen
    Okay, in dem Fall ist der Unterschied schon ziemlich krass.

    Geht's mit der nohup-Lösung denn schneller?
    Leider nicht ...
    Und einmal muss ich noch. Wenn ich lokal importiere, läuft mein Prozessor auch fast mit Vollast, kann auf dem Rechner Spiegeleier braten Ich habe das Gefühl, dass der Prozessor des Servers hier diesem Prozess nicht die gleichen Ressourcen zur Verfügung stellt. Aber wie gesagt, ich kenne mich mit Hardware nicht so aus. Im Servermonitor ist jedenfalls keine nennenswerte Last zu erkennen ...

    Viele Grüße, Uwe
    Geändert von pixelparts (30.03.2012 um 16:24 Uhr)

  4. #19
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    14.470

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von pixelparts Beitrag anzeigen
    Ich habe das Gefühl, dass der Prozessor des Servers hier diesem Prozess nicht die gleichen Ressourcen zur Verfügung stellt. Aber wie gesagt, ich kenne mich mit Hardware nicht so aus. Im Servermonitor ist jedenfalls keine nennenswerte Last zu erkennen ...
    Das wird weniger am Prozessor bzw. an der Hardware liegen - die tut nur, was man ihr sagt. Das Betriebssystem teilt dem offenbar weniger Ressourcen zu. Irgendwie macht das natürlich auch Sinn, denn die Hauptaufgabe eines Webservers liegt nun mal darin, Webseiten auszuliefern. In so einem Fall ist es aber in der Tat extrem unangenehm. Ich hätte ehrlich gesagt auch nicht gedacht, dass ein Konsolenprozess dermaßen auf Sparflamme läuft. Das könnte daran liegen, dass dF für Shared Hosting und Managed Server sehr ähnliche Konfigurationen einsetzt - und im Shared Hosting müssen die anderen Kunden natürlich davor geschützt werden, dass ein einzelner Benutzer den Server mittels SSH quasi außer Betrieb setzt. Und auf dedizierten Servern wird der Kunde so quasi vor sich selbst geschützt (und der Support vor empörten Anrufen, weil die Websites nicht rund laufen ).

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  5. #20
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von Enigma Beitrag anzeigen
    Das wird weniger am Prozessor bzw. an der Hardware liegen - die tut nur, was man ihr sagt. Das Betriebssystem teilt dem offenbar weniger Ressourcen zu. Irgendwie macht das natürlich auch Sinn, denn die Hauptaufgabe eines Webservers liegt nun mal darin, Webseiten auszuliefern. In so einem Fall ist es aber in der Tat extrem unangenehm. Ich hätte ehrlich gesagt auch nicht gedacht, dass ein Konsolenprozess dermaßen auf Sparflamme läuft. Das könnte daran liegen, dass dF für Shared Hosting und Managed Server sehr ähnliche Konfigurationen einsetzt - und im Shared Hosting müssen die anderen Kunden natürlich davor geschützt werden, dass ein einzelner Benutzer den Server mittels SSH quasi außer Betrieb setzt. Und auf dedizierten Servern wird der Kunde so quasi vor sich selbst geschützt (und der Support vor empörten Anrufen, weil die Websites nicht rund laufen ).
    Ja, sowas hab ich mir in etwa gedacht. Kein moderner Rechner ist so langsam.
    Das heißt, ich sollte DF fragen, ob man da was ändern kann. Bin je der einzige auf dem Rechner, wie mir versichert wurde. So gibt's "empörte Anrufe" (nee, mach ich nicht), weil es so langsam läuft. Ich dachte, dass Shell immer Vollgas läuft.
    Schade, dass die Technik mir das nicht so erläutert, das ist wohl der "Flaschenhals" (und das wissen die Leute sicher, die haben ja Ahnung) Und die werden sich sicher denken können, was meine nächste Frage ist. Und ich vermute fast, wie die Antwort lautet Schauen wir mal ...

    Vielen Dank Dir Jan
    Beste Grüße vom Bodensee, Uwe

  6. #21
    Communityservice Avatar von Nils Dornblut
    Registriert seit
    15.10.2000
    Beiträge
    35.964

    AW: SQL-Import 11GB-Datei

    Hallo Uwe,

    natürlich sind unsere Webserver für die Auslieferung von Webseiten optimiert. Das ist ja auch der Normalfall. Ein solche krasser Fall der Einspielung wie bei Ihnen ist mir sonst nicht bekannt. Auch das Forum hier hat ein recht große Datenbank (kein direkter Vergleich zu Ihrer DB aber immerhin). Die Datenbank wird für Testinstallationen auf die gleiche Weise eingespielt über SSH.

    Wir werden uns die hier diskutierten Besonderheiten ansehen und uns noch einmal bei Ihnen melden. Danke für Ihre konstruktive Mitarbeit. Es ist jedoch nicht so, dass die Technik Ihnen hier etwas verheimlichen möchte oder wir Ihnen was nicht erzählen.

    Mit freundlichen Grüßen

    Nils Dornblut
    Communityservice

    __________________
    Blog - Facebook - Twitter
    Communitybetreiber: domainfactory GmbH
    Impressum / Pflichtangaben

  7. #22
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von Nils Dornblut Beitrag anzeigen
    natürlich sind unsere Webserver für die Auslieferung von Webseiten optimiert. Das ist ja auch der Normalfall. Ein solche krasser Fall der Einspielung wie bei Ihnen ist mir sonst nicht bekannt. Auch das Forum hier hat ein recht große Datenbank (kein direkter Vergleich zu Ihrer DB aber immerhin). Die Datenbank wird für Testinstallationen auf die gleiche Weise eingespielt über SSH.

    Wir werden uns die hier diskutierten Besonderheiten ansehen und uns noch einmal bei Ihnen melden. Danke für Ihre konstruktive Mitarbeit. Es ist jedoch nicht so, dass die Technik Ihnen hier etwas verheimlichen möchte oder wir Ihnen was nicht erzählen.
    Das freut mich wirklich zu hören! Auch für mich ist eine Datenbank dieser Größe Neuland, und so lerne ich hier was dazu. Dafür ein großes DANKE an die Beteiligten.
    Ach ja, die Auslieferung der Seiten ist wirklich klasse. Läuft PHP womöglich schneller als Shell?
    Herzlichst, Uwe

  8. #23
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    14.470

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von pixelparts Beitrag anzeigen
    Läuft PHP womöglich schneller als Shell?
    Davon würde ich nicht ausgehen.

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  9. #24
    Communityservice Avatar von Nils Dornblut
    Registriert seit
    15.10.2000
    Beiträge
    35.964

    AW: SQL-Import 11GB-Datei

    Hallo Uwe,

    wir haben in umfangreichen Setups das alles noch einmal geprüft und einige Empfehlungen an Sie gesendet. Bitte testen Sie das einmal. Die Shell ist in dem Sinn nicht künstlich begrenzt. Wenn die von uns gegebenen Tipps sich als gut herausstellen, können Sie diese natürlich auch gerne hier veröffentlichen

    Mit freundlichen Grüßen

    Nils Dornblut
    Communityservice

    __________________
    Blog - Facebook - Twitter
    Communitybetreiber: domainfactory GmbH
    Impressum / Pflichtangaben

  10. #25
    Communityservice Avatar von Nils Dornblut
    Registriert seit
    15.10.2000
    Beiträge
    35.964

    AW: SQL-Import 11GB-Datei

    Hallo Uwe,

    noch ein Nachtrag: Mit den von uns gesendeten Tipps läuft der Einspielvorgang mit ca. 6 Stunden doch wesentlich flotter. Wir hoffen, dass das für Sie dann ein zufriedenstellendes Ergebnis darstellt.

    Mit freundlichen Grüßen

    Nils Dornblut
    Communityservice

    __________________
    Blog - Facebook - Twitter
    Communitybetreiber: domainfactory GmbH
    Impressum / Pflichtangaben

  11. #26
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    14.470

    AW: SQL-Import 11GB-Datei

    Zitat Zitat von Nils Dornblut Beitrag anzeigen
    ca. 6 Stunden
    Wow - da würde mich schon interessieren, wie dieser extreme Geschwindigkeitszuwachs erreicht wurde!

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  12. #27
    Communityservice Avatar von Nils Dornblut
    Registriert seit
    15.10.2000
    Beiträge
    35.964

    AW: SQL-Import 11GB-Datei

    Hallo Jan,

    ich erkläre das auch gerne. Aber lassen wir den Uwe einfach erst einmal testen.

    Grüße
    Nils

    __________________
    Blog - Facebook - Twitter
    Communitybetreiber: domainfactory GmbH
    Impressum / Pflichtangaben

  13. #28
    Gast
    Registriert seit
    15.10.2006
    Beiträge
    1.111

    AW: SQL-Import 11GB-Datei

    Prozesspriorität auf einen hohen zweistelligen, negativen Wert gesetzt

    Oder ist das zu "einfach"

  14. #29
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    So, hier nun das Ergebnis:
    Vielen Dank an den Support von DF! Und vielen Dank an die vielen Leute und ihre wertvollen Hinweise!

    Meine Lösung sieht so aus: Die 11GB sql-Datei war mit allen extras ausgestattet, was sie so aufgeblasen hat. Um sie für den Webserver kompatibel zu machen, habe ich sie lokal importiert (geht viel schneller) und wieder exportiert. So sind aus 11 GB 3 GB geworden. Diese habe ich dann bei DF importiert, was nur noch ca. 90 Minuten gedauert hat. Alles funktioniert und ich kann diese bei DF auch wieder exportieren und danach importieren. Allerdings ist das DF-File dann 5 GB groß, und der Import dieser Datei geht dann ca. 10 Stunden. Leider weiß ich nicht, woher die Unterschiede kommen. Aber so kann ich arbeiten.

    Naja, man muss wohl manchmal um die Ecke arbeiten ...

    Viele Grüße, Uwe
    Geändert von pixelparts (11.04.2012 um 15:01 Uhr)

  15. #30
    Reseller
    Registriert seit
    28.01.2003
    Beiträge
    26

    AW: SQL-Import 11GB-Datei

    Vielleicht noch ein paar Randbemerkungen:
    Für den lokalen Import habe MAMP genutzt. Die php.ini entsprechend eingestellt (Laufzeiten, file_size etc). Der Import und Export habe ich mit Shell durchgeführt. Um MAMP zur Zusammenarbeit mit Shell zu bewegen, habe ich das ins Terminal eingegeben:
    Code:
    sudo ln -s /Applications/MAMP/Library/bin/mysql /usr/local/bin/mysql
    Code:
    sudo ln -s /Applications/MAMP/Library/bin/mysql /usr/local/bin/mysqldump
    Leider kann ich nicht sagen, warum die exportierte sql-Datei so viel kleiner geworden ist und so viel schneller zu importieren ist. Da stecke ich nicht tief genug im Thema.

    Vielleicht hilft das jemanden mit ähnlichen Problemen.

    Herzlichst, Uwe

Seite 2 von 3 ErsteErste 1 2 3 LetzteLetzte

Ähnliche Themen

  1. Import einer Excel Datei in MySQL
    Von Fairway-Man im Forum Scriptsprachen / SQL / Anwendungen
    Antworten: 2
    Letzter Beitrag: 13.02.2009, 08:41
  2. SQL import/export
    Von abrek im Forum Scriptsprachen / SQL / Anwendungen
    Antworten: 18
    Letzter Beitrag: 18.04.2006, 23:28
  3. import größerer SQL-dumps
    Von hmhic im Forum Scriptsprachen / SQL / Anwendungen
    Antworten: 9
    Letzter Beitrag: 26.03.2006, 14:23
  4. SQL Import ohne Umlaute
    Von Dode im Forum Scriptsprachen / SQL / Anwendungen
    Antworten: 3
    Letzter Beitrag: 03.11.2004, 09:44
  5. sql import
    Von p.a.s.t. im Forum Scriptsprachen / SQL / Anwendungen
    Antworten: 5
    Letzter Beitrag: 27.11.2003, 21:44

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •