Software Engineering
Dans le premier article de la série, j'ai introduit pourquoi le framework Hadoop pouvait être utile pour calculer la VAR et analyser les résultats intermédiaires. Dans ce second article je vais décrire une première implémentation du calcul de la VAR avec Hadoop.Implémentation de la fonction map avec HadoopCette implémentation est une adaptation du ...
In the first part of this series, I have introduced why Hadoop framework could be useful to compute the VAR and analyze intermediate values. In that second part I will give you a first concrete implementation of the VAR calculation with Hadoop.Hadoop map implementationThe implementation is an adaptation of the code described in my previous article....
Après avoir introduit la Value At Risk dans mon premier article, je l'ai implémentée en utilisant GridGain dans mon second article. J'ai conclu dans ce dernier que les performances relativement bonnes obtenues étaient liées aux optimisations réalisées. L'une d'elles était basée sur l'hypothèse que les résultats intermédiaires - les prix issus de ch...
After introducing the Value at Risk in my first article, I have implemented it using GridGain in my second article. I conclude in this latter that relatively good performances have been reached through some optimizations. One of them was based on the hypothesis that the intermediate results - the prices for each draw - can be discarded. However, it...
Il y a eu beaucoup de discussions sur le web dernièrement. À propos du meilleur framework de "mock". EasyMock et Mockito sont fréquemment comparés. En particulier parce que Mockito est très inspiré par EasyMock (et utilise une partie du code technique) mais a sa propre syntaxe. Malheureusement, en lisant certaines comparaisons, j'ai noté certaines ...
There's been a lot of talking going on on the web lately. About which mocking framework is the best. EasyMock and Mockito are frequently compared. Especially since Mockito is greatly inspired (and is reusing the same mocking code under the hood) by EasyMock with some tweaks in the syntax. Sadly, while reading comparisons, I've noticed things that a...
Le 15 et 16 Octobre ont eu lieu les DevOpsDays 2010 à Hamburg. Cette conférence est l’occasion de réunir les DevOps désireux d’apprendre des retours d’expérience et surtout d’échanger via des Open Spaces. Si le terme DevOps est nouveau pour vous, je vous conseille de lire cet article d’introduction.Un an après la première édition en Belgique, et un...
Chez OCTO nous réalisons beaucoup d’audits d’applications et ceux-ci comportent de plus en plus souvent un volet sur la base de données. Les motivations des audits sont diverses : le modèle de données est-il conforme à l’état de l’art ou à un standard d’entreprise ? Représente-t-il des risques pour l’application (performances, intégrité) ? Sera-t-i...
Le monde noSQL est riche. Hadoop est un des éléments qui le compose. "Globalement" un clone du Google Big Table et utilisant l'algorithme Map/Reduce, ce projet Apache est en fait composé de plusieurs sous-projets (HBase,Zookeeper....).Vous me direz que depuis Google a changé son fusil d'épaule avec Big Query. Bref...Ces articles (je l'espère complé...
HDFS stores huge amount of data but storing it is worthless if you cannot analyse it and obtain information.Option #1 : Hadoop : the Map/Reduce engineHadoop OverviewHadoop is a Map/Reduce framework that works on HDFS or on HBase. The main idea is to decompose a job into several and identical tasks that can be executed closer to the data (on the Dat...