|
|
|
Effizientere Alternative für riesen Cell-Array |
|
| Andy Kie |
Forum-Newbie
|
 |
Beiträge: 2
|
|
|
|
Anmeldedatum: 10.05.16
|
|
|
|
Wohnort: ---
|
|
|
|
Version: ---
|
|
|
|
 |
|
Verfasst am: 17.01.2019, 10:56
Titel: Effizientere Alternative für riesen Cell-Array
|
 |
Hallo zusammen,
Ich lese eine Menge .csv-Dateien ein und Stapel diese untereinander. (bisher etwa 350MB)
Da die Daten sowohl Text als auch Zahlen enthalten, importiere ich mit "importdata" und füge dann die Textdaten und die numerischen Daten in einem Cell-Array zusammen. (jeder Eintrag eine Zelle)
Da geht das Problem los. Das Array hat etwa 50e6 Zellen und macht das Programm extrem langsam.
Gibt es eine Alternative zum Cell-Array in das ich das Array nach dem Import umwandeln kann um dann damit weiter zu arbeiten?
Das Array benutze ich bisher, um anhand von einzelnen Spalten, Zeilen mit gewissen Einträgen zu finden und das gesamte Array dann auf diese Zeilen zu reduzieren.
Besten Dank im voraus.
Gruß Andy
|
|
|
|
|
|
| Harald |
Forum-Meister
|
|
Beiträge: 24.492
|
|
|
|
Anmeldedatum: 26.03.09
|
|
|
|
Wohnort: Nähe München
|
|
|
|
Version: ab 2017b
|
|
|
|
|
|
|
Verfasst am: 17.01.2019, 11:35
Titel:
|
|
Hallo,
importdata ist schon nicht unbedingt die effizienteste Möglichkeit. Ich würde mir readtable / detectImportOptions / datastore ansehen. Für datastore müssen alle Dateien die gleichen Spalten haben.
Sofern die Daten tabellarisch sind, würde ich in jedem Fall Tables empfehlen.
Um mehr sagen zu können, müsste man mehr über die Daten und die Art des Cell Arrays (auch da gibt es verschiedene Möglichkeiten) wissen. Ideal wäre, wenn du deinen Code und 2-3 kleine Beispieldateien zur Verfügung stellen könntest.
Grüße,
Harald
_________________
1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
|
|
|
|
| Andy Kie |
Themenstarter
Forum-Newbie
|
|
Beiträge: 2
|
|
|
|
Anmeldedatum: 10.05.16
|
|
|
|
Wohnort: ---
|
|
|
|
Version: ---
|
|
|
|
|
|
|
Verfasst am: 17.01.2019, 12:55
Titel:
|
|
Vielen Dank für die schnelle Antwort.
Tables hatte ich auch schon ins Auge gefasst.
Dein Tipp mit readtable ist super, damit umgehe ich das Cell-Array komplett.
|
|
|
|
|
|
|
Einstellungen und Berechtigungen
|
|
Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
|
|
Impressum
| Nutzungsbedingungen
| Datenschutz
| FAQ
|  RSS
Hosted by:
Copyright © 2007 - 2024
goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
|
|
