Weka Forex News

FX Data Mining mit Apache Spark Intro Lassen Sie uns unsere Erfahrung mit massiven Offline-Data Mining mit mehreren Open-Source-Technologien auf wöchentlichen Chargen von 1TB historischen Daten für die letzten 10 Jahre mit 400 Funktionen. Wir werden den alten Fluss und die Verbesserungen durch die Verwendung von Apache Spark und S3 vorstellen. Problem Das Problem, das wir behandelt haben, ist ein wöchentlicher Batch-ETL-Prozess für unsere Back-End-Modelle. Wir trainieren Klassifizierungsmodelle und nutzen diese im Echtzeithandel zur Trendklassifizierung und Positionseingabe. Dieser Prozess wird am Ende einer Handelswoche durchgeführt, aber wenn die Märkte verrückt werden, würden wir das Training erneut ausführen, um neue Entscheidungen zu treffen. Wir haben mit WEKA (Waikato Environment for Knowledge Analysis) als die wichtigste Quelle für Machine Learning-Algorithmen und Data Mining. WEKA hat alles, was Sie wollen: Filter, Klassifikatoren, Ensembles und Feature-Selektoren unter Java API. Wir beginnen mit einer einfachen Java-Anwendung, um Klassifikationsmodelle zu filtern, zu reinigen, zu transformieren und zu trainieren. Das Problem ist, dass die Anwendung auf einzelne CPU läuft und WEKA nicht für die Verwendung in Multi-Thread-Umgebungen konzipiert wurde. Die Verarbeitung von 1TB von historischen Daten mit einer durchschnittlichen Datenmenge von 500MB pro Woche führt zu Anwendungen, die tagelang laufen, manchmal sogar Gebäudemodelle, bevor die Handelswoche beendet ist. Offline-Batch-ETL und Online-Trading-Engine fließt Lösung Wir beschlossen, Apache Spark für den Job zu integrieren. Zudem haben wir anstelle von HDD auf S3 gewechselt, um Speicherplatzbeschränkungen zu vermeiden. Spark ist ein verteiltes Rechenwerk auf der klassischen Map-Reduction-Technologie. Es verbessert die Laufzeit durch Nutzung in Speicher-Berechnungen mit kleinen Recheneinheiten namens Aufgaben. Sparks Schlüssel-Datenstruktur ist RDD (Resilient Distributed Dataset), die Partitionierung über mehrere Cluster-Knoten ermöglicht und getrennte Task-Ausführung mit atomaren Operatoren. Sobald Ihre Berechnungen unabhängig sind, können Sie die volle Leistung des Clusters durch gleichzeitige Verarbeitung von Daten nutzen. Apache Spark bietet schnelle Machine Learning-Funktionalität durch zusätzliche Bibliothek namens MLlib. Die Bibliothek bietet Encoder, Klassifikatoren und Ensembles. Dennoch können wir in unserem Anwendungsfall mit WEKA mehr Flexibilität erreichen. Ergebnisse Wir haben mit 6 Chartperioden gehandelt: M5, M15, M30, H1, H4 und D1. So haben wir für jede Periode Batch Data Mining-Prozesse ausgeführt. Die Laufzeit einer einfachen Java-Anwendung reichte von 1 Stunde bis 22 Stunden auf Standard i5 Core mit 12 GB Speicher. Wir haben den Spark-Job auf 32 Xeon-Cores mit 60GB Arbeitsspeicher ausgeführt und die Laufzeit wurde auf 10 bis 2 Stunden reduziert. Dies ist eine riesige Verbesserung. Schauen Sie sich die folgenden Links für weitere Informationen: Einführung in FX Data Mining Lets machen eine einfache und schnelle Einführung in eine der interessantesten Bereichen heute - Data Mining. Es gibt eine breite Palette von Data Mining-Anwendungen. Wir sollten Data Mining in unseren Devisenhandel integrieren. FX, Forex oder der Devisenmarkt FX ist der größte Markt in Bezug auf täglich gehandelt Volumen. Es hat drei Hauptniveaus der Teilnehmer: die großen Jungen, die Zwischenebene und einfache Händler, wie Sie und ich. Es hat eine spekulative Natur, was bedeutet, die meisten der Zeit, die wir nicht tauschen Waren. Wir interessieren uns nur für den Unterschied und wollen niedrig kaufen und verkaufen hoch oder verkaufen hoch und kaufen niedrig. Durch kurze oder lange Operationen können wir Pips gewinnen. Abhängig von Ihrem Handelsvolumen kann Pip-Wert von einem Cent bis 10 und mehr reichen. Dies ist der wichtigste Weg, um Geld in der FX-Markt (neben mit Carry Trade, Brokering, Arbitrage und vieles mehr). Beachten Sie, dass der FX-Markt ist riesig, ist aber für alle Ebenen der Spieler geeignet. Denken Sie an die FX-Markt als unendlicher Supermarkt mit unendlichen Anzahl von Produkten und Kunden, aber es hat auch eine unendliche Anzahl von Kassierer. Das bedeutet für alle gleich viele Möglichkeiten. Data Mining und Machine Learning Data Mining ist ein reifes Unterfeld der Informatik. Es geht um eine Menge Daten und nicht-triviale Extraktion von nutzbarem Wissen aus massiven Datenmengen. Seine getan durch intelligente Datenverarbeitung mit Machine Learning Algorithmen. Data Mining ist nicht nur CRUD (Erstellen, Lesen, Aktualisieren und Löschen). Wir haben mehrere Data-Mining-Methoden. Hierdurch die Methoden und einige Anwendungen. Klassifizierung - Klassifizierung von E-Mails als Spam, Klassifizierung einer Transaktion als Betrug. Association - YouTube schlägt uns neue Videos basierend auf unserer Geschichte. Amazon schlägt uns mehr Einzelteile während der Prüfung vor. Clustering - Analyse von unstrukturierten Daten wie Wirtschaftsnachrichten und Meinungen, um gemeinsame Gruppen zu finden. Process Mining - untersucht Logs von Call-Operatoren, um ineffiziente Operationen zu finden. Text Mining - Bergbau Nachrichten oder technische Analyse für Mustererkennung. Algorithmic Trading ist eine automatisierte Ausführung eines Handelsalgorithmus. In unserem Fall kommt der Handelsalgorithmus aus dem Bergbau. Der automatisierte Handel wird von einigen König der Programmiersprache getan. Geschwindigkeit und Robustheit sind hier wichtige Punkte: der menschliche Händler kann das Computerprogramm nicht über diese Attribute schlagen. Es könnte sein, HFT (High Frequency Trading) und Low-Level-Programmierung (als C) oder langfristige Trading-und High-Level-Programmierung (als Java). Mix Algorithmic Trading mit Data Mining Mischen Data Mining im algorithmischen Handel ist wichtig. Das Wichtigste sind Daten. Ein einfaches Prinzip besagt, dass, wenn Ihre Daten nicht gut genug sind, Ihre Modelle nicht gut genug (GIGO) sein werden. Es geht darum, ein Modell zu schaffen, es umzusetzen und zu testen (wie immer). Derzeit ist diese Strömung meist manuell. Data Mining Software Es gibt viele Open Source Software-Optionen im Bereich Data Mining. WEKA ist ein Data Mining Framework, das von der University of Waikato, Hamilton, Neuseeland stammt. WEKA ist in Java geschrieben und hat eine große API. Auch haben Sie Implementierungen für die meisten der bekannten Machine Learning Algorithmen. Mischung von guten Werkzeugen ist entscheidend. Es gibt zu viele mögliche Handelsmodelle. Tossing eine Münze ist ein dummes Handelssystem, sondern ein Handelssystem. Wir brauchen Data Mining, um das Gold zu finden. Gute Werkzeuge sind leicht, so viel Glück mit dem Bergbau zu bekommen. Wenn Sie weitere Informationen über wissenschaftliche FX Trading suchen, wird Ihr nächster Schritt die Data Mining-Tools und die historischen Daten erforschen. Besuchen Sie algonell für weitere Details. Sie finden uns auf Twitter. Facebook. Google. LinkedIn und WordPress.