WICHTIG: Der Betrieb von goMatlab.de wird privat finanziert fortgesetzt. - Mehr Infos...

Mein MATLAB Forum - goMatlab.de

Mein MATLAB Forum

 
Gast > Registrieren       Autologin?   

Partner:




Forum
      Option
[Erweitert]
  • Diese Seite per Mail weiterempfehlen
     


Gehe zu:  
Neues Thema eröffnen Neue Antwort erstellen

Effizientes Einlesen großer Dateien

 

Effsky

Gast


Beiträge: ---
Anmeldedatum: ---
Wohnort: ---
Version: ---
     Beitrag Verfasst am: 28.03.2022, 08:02     Titel: Effizientes Einlesen großer Dateien
  Antworten mit Zitat      
Hallo zusammen,

ich habe ein sehr großes ASCII-File (~8 GB) das ich gerne mit MATLAB effizient einlesen würde. In diesem File stehen Bildhelligkeiten einer Infrarotkamera zusammen mit Aufnahmedetails, die mich jedoch nicht interessieren. Eine Beispielsdatei mit 3 Zeitschritten habe ich angefügt (insgesamt sind es 4250 Frames). da ich keine .asc Datei hochladen darf, hab ich sie in .txt umbenannt. Ich habe einen Code der funktioniert, jedoch dauert das Einlesen mehrere Tage. Hat jemand eine Idee wie ich das effizienter lösen könnte?

Code:
   % Optionen definieren
    opts = delimitedTextImportOptions("NumVariables", 640);
    opts.VariableTypes = repmat("double", 1, 640);
    opts.ExtraColumnsRule = "ignore";
    opts.EmptyLineRule = "read";

    IR_Data = zeros(512,640,Frames);
    for i = 0:Frames-1                                                      % 4250 Frames, alle 0,04 s
        opts.DataLines = [30+i*517, 541+i*517];
        opts.Delimiter = "\t";
        A = readtable('5-V-Rippen_u_TEST.asc',opts);
        A = table2array(A);
        IR_Data(:,:,i+1) = A;
        disp(i)
    end
    clear opts
 



Vielen Dank und beste Grüße
Effsky

5-V-Rippen_u_TEST.txt
 Beschreibung:
Test-Datei

Download
 Dateiname:  5-V-Rippen_u_TEST.txt
 Dateigröße:  4.69 MB
 Heruntergeladen:  1500 mal


Harald
Forum-Meister

Forum-Meister


Beiträge: 24.460
Anmeldedatum: 26.03.09
Wohnort: Nähe München
Version: ab 2017b
     Beitrag Verfasst am: 28.03.2022, 09:47     Titel:
  Antworten mit Zitat      
Hallo,

dir dürfte auffallen, dass das am Anfang schneller geht als am Ende. Das Problem ist, dass beim Einlesen jedes Frames ja der Teil der Datei bis dorthin auch insofern gelesen werden muss, dass man die richtige Zeile finden muss.
Effizienter ist, alles auf einmal einzulesen und dann nach Wunsch aufzuspalten. Folgendes liefert für die Beispieldatei die gleichen Ergebnisse
Code:
opts.DataLines = [30, 541+(Frames-1)*517];
    opts.Delimiter = "\t";
    A2 = readtable('5-V-Rippen_u_TEST.txt',opts);
    A2 = table2array(A2);
    IR_Data2 = zeros(512,640,Frames);
    for i = 0:Frames-1
        IR_Data2(:,:,i+1) = A2(1+i*517 : 512+i*517, :); % wie oben, mit -29 Versatz
    end


Ist dir bewusst, dass die Frames überlappen?

Grüße,
Harald
_________________

1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
Private Nachricht senden Benutzer-Profile anzeigen
 
Effsky

Gast


Beiträge: ---
Anmeldedatum: ---
Wohnort: ---
Version: ---
     Beitrag Verfasst am: 28.03.2022, 11:25     Titel:
  Antworten mit Zitat      
Hallo Harald,

danke für Deine schnelle Antwort. Ja, das ist mir auch schon aufgefallen, aber da ich bisher nur deutlich weniger Frames betrachtet hatte, war das für mich nicht entscheidend. Ich hatte eher die Befürchtung, dass das Einlesen einer so großen Datei in den Arbeitsspeicher Probleme machen könnte.

Ich verstehe noch nicht genau, was Du damit meinst, dass die Frames überlappen?

Viele Grüße
Effsky
 
Harald
Forum-Meister

Forum-Meister


Beiträge: 24.460
Anmeldedatum: 26.03.09
Wohnort: Nähe München
Version: ab 2017b
     Beitrag Verfasst am: 28.03.2022, 11:47     Titel:
  Antworten mit Zitat      
Hallo,

Zitat:
danke für Deine schnelle Antwort. Ja, das ist mir auch schon aufgefallen, aber da ich bisher nur deutlich weniger Frames betrachtet hatte, war das für mich nicht entscheidend.

Absolut legitim, nur muss man dann halt entsprechende Anpassungen vornehmen, wenn es um viele Frames geht. Meine Vermutung ist, dass mit dem modifizierten Ansatz das Einlesen größenordnungsmäßig 100 Mal schneller wird.

Zitat:
Ich hatte eher die Befürchtung, dass das Einlesen einer so großen Datei in den Arbeitsspeicher Probleme machen könnte.

Dann sollte man darauf achten, die Daten nicht quasi doppelt abzuspeichern (bei dir: A und IR_Data). Zudem würde ich überlegen, einen Integer-Datentyp zu verwenden.

Zitat:
Ich verstehe noch nicht genau, was Du damit meinst, dass die Frames überlappen?

Da habe ich mich vertan. Es werden im Gegenteil Zeilen übersprungen.
Am Beispiel von Frames 0 und 1:
Frame 0: Zeile 30 bis 541
Frame 1: Zeile 547 bis 1058
Zeilen 542 bis 546 wurden also übersprungen.

Grüße,
Harald
_________________

1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
Private Nachricht senden Benutzer-Profile anzeigen
 
Effsky

Gast


Beiträge: ---
Anmeldedatum: ---
Wohnort: ---
Version: ---
     Beitrag Verfasst am: 29.03.2022, 10:13     Titel:
  Antworten mit Zitat      
Hallo Harald,

deine Vermutung war nicht übertrieben. Das Einlesen dauert jetzt statt ~ 4 Tage nur noch 5 Minuten!

Die Wahl des Datentyps wirkt tatsächlich auch Wunder. Danke für die Tipps!

Die übersprungenen Zeilen sind in diesem Fall tatsächlich gewollt, da dort nur Informationen zum Aufnhamezeitpunkt, etc... zu finden sind.

Besten Dank für die Hilfe!
 
Neues Thema eröffnen Neue Antwort erstellen



Einstellungen und Berechtigungen
Beiträge der letzten Zeit anzeigen:

Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
.





 Impressum  | Nutzungsbedingungen  | Datenschutz | FAQ | goMatlab RSS Button RSS

Hosted by:


Copyright © 2007 - 2024 goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks

MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.