ich habe ein sehr großes ASCII-File (~8 GB) das ich gerne mit MATLAB effizient einlesen würde. In diesem File stehen Bildhelligkeiten einer Infrarotkamera zusammen mit Aufnahmedetails, die mich jedoch nicht interessieren. Eine Beispielsdatei mit 3 Zeitschritten habe ich angefügt (insgesamt sind es 4250 Frames). da ich keine .asc Datei hochladen darf, hab ich sie in .txt umbenannt. Ich habe einen Code der funktioniert, jedoch dauert das Einlesen mehrere Tage. Hat jemand eine Idee wie ich das effizienter lösen könnte?
IR_Data = zeros(512,640,Frames);
for i = 0:Frames-1% 4250 Frames, alle 0,04 s
opts.DataLines = [30+i*517, 541+i*517];
opts.Delimiter = "\t";
A = readtable('5-V-Rippen_u_TEST.asc',opts);
A = table2array(A);
IR_Data(:,:,i+1) = A;
disp(i) end clear opts
dir dürfte auffallen, dass das am Anfang schneller geht als am Ende. Das Problem ist, dass beim Einlesen jedes Frames ja der Teil der Datei bis dorthin auch insofern gelesen werden muss, dass man die richtige Zeile finden muss.
Effizienter ist, alles auf einmal einzulesen und dann nach Wunsch aufzuspalten. Folgendes liefert für die Beispieldatei die gleichen Ergebnisse
Code:
opts.DataLines = [30, 541+(Frames-1)*517];
opts.Delimiter = "\t";
A2 = readtable('5-V-Rippen_u_TEST.txt',opts);
A2 = table2array(A2);
IR_Data2 = zeros(512,640,Frames);
for i = 0:Frames-1
IR_Data2(:,:,i+1) = A2(1+i*517 : 512+i*517, :); % wie oben, mit -29 Versatz end
1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
Effsky
Gast
Beiträge: ---
Anmeldedatum: ---
Wohnort: ---
Version: ---
Verfasst am: 28.03.2022, 10:25
Titel:
Hallo Harald,
danke für Deine schnelle Antwort. Ja, das ist mir auch schon aufgefallen, aber da ich bisher nur deutlich weniger Frames betrachtet hatte, war das für mich nicht entscheidend. Ich hatte eher die Befürchtung, dass das Einlesen einer so großen Datei in den Arbeitsspeicher Probleme machen könnte.
Ich verstehe noch nicht genau, was Du damit meinst, dass die Frames überlappen?
danke für Deine schnelle Antwort. Ja, das ist mir auch schon aufgefallen, aber da ich bisher nur deutlich weniger Frames betrachtet hatte, war das für mich nicht entscheidend.
Absolut legitim, nur muss man dann halt entsprechende Anpassungen vornehmen, wenn es um viele Frames geht. Meine Vermutung ist, dass mit dem modifizierten Ansatz das Einlesen größenordnungsmäßig 100 Mal schneller wird.
Zitat:
Ich hatte eher die Befürchtung, dass das Einlesen einer so großen Datei in den Arbeitsspeicher Probleme machen könnte.
Dann sollte man darauf achten, die Daten nicht quasi doppelt abzuspeichern (bei dir: A und IR_Data). Zudem würde ich überlegen, einen Integer-Datentyp zu verwenden.
Zitat:
Ich verstehe noch nicht genau, was Du damit meinst, dass die Frames überlappen?
Da habe ich mich vertan. Es werden im Gegenteil Zeilen übersprungen.
Am Beispiel von Frames 0 und 1:
Frame 0: Zeile 30 bis 541
Frame 1: Zeile 547 bis 1058
Zeilen 542 bis 546 wurden also übersprungen.
Grüße,
Harald
_________________
1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
Effsky
Gast
Beiträge: ---
Anmeldedatum: ---
Wohnort: ---
Version: ---
Verfasst am: 29.03.2022, 09:13
Titel:
Hallo Harald,
deine Vermutung war nicht übertrieben. Das Einlesen dauert jetzt statt ~ 4 Tage nur noch 5 Minuten!
Die Wahl des Datentyps wirkt tatsächlich auch Wunder. Danke für die Tipps!
Die übersprungenen Zeilen sind in diesem Fall tatsächlich gewollt, da dort nur Informationen zum Aufnhamezeitpunkt, etc... zu finden sind.
Besten Dank für die Hilfe!
Einstellungen und Berechtigungen
Du kannst Beiträge in dieses Forum schreiben. Du kannst auf Beiträge in diesem Forum antworten. Du kannst deine Beiträge in diesem Forum nicht bearbeiten. Du kannst deine Beiträge in diesem Forum nicht löschen. Du kannst an Umfragen in diesem Forum nicht mitmachen. Du kannst Dateien in diesem Forum posten Du kannst Dateien in diesem Forum herunterladen
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
RSS