Stockages et manipulations des données dans Microsoft Azure

Dans le cadre de mes activités en clientèle, j’ai très souvent des remarques concernant le stockage ou la manipulation des données dans Azure. Remarques ayant souvent pour source la méconnaissance de la plateforme. A décharge de mes contacts, Azure évoluant très vite et de nouvelles fonctionnalités étant ajoutées régulièrement il n’est pas forcement facile d’être systématiquement à jour !

D’où ce billet pour recenser les différentes options de stockage et manipulation de données disponible dans Azure.

La plateforme de cloud computing Azure de Microsoft fournit donc de multiples fonctionnalités de stockage. Des plus classiques (comprendre historique) aux plus récentes, commercialisées ou non par Microsoft.

A noter que certaines des options évoquées ci-après ne sont pas obligatoirement accessibles dans les 2 portails de gestion de vos sousciptions Azure (l’officiel http://manage.windowsazure.com, ou celui en beta : http://portal.azure.com/)

 

Par Microsoft dans Azure :

• SQL Azure (relationnel en mode ‘cloud’ SAS, compatible SQL Server)
• SQL Server (relationnel en mode serveur dans une/des machine(s) virtuelle(s))
• Azure Storage 
  • Blob : stockage de donnée ‘binaire’ avec metadata. Utilisable en acces type « stream » ou direct (disque)
  • Queue : file de messages
  • Table : stockage de données non relationnel, par entité/colonne, schéma libre, requêtage limité, haute performance, grand volume de données, support transactionnel limité.
• HDInsight : stockage HBase (nosql, transactionnel avec faible latence), prioritairement destiné à être exploité à travers Hadoop pour la manipulation et l’analyse de données façons ‘BigData’
• Cache (en Preview) : base de donnée clé/valeur en mémoire, basé sur Redis
• DocumentDB (en Preview) : base de données NoSQL orienté document en mode SAS.
• Azure Search (en Preview) : moteur d’indexation en mode SAS (accessible uniquement sur le portail beta http://portal.azure.com ). Permet d’indexer vos jeux de données et fournit des fonctionnalités de type intellisense, correction orthographique, recherches par synonymes ou approchants.
• StorSimple : stockage avec appliance hardware local jouant le rôle de cache avec débord persistant dans Azure. Permet d’avoir de gros volume de données stockés dans Azure avec un cache local dans votre infrastructure afin d’optimiser les temps d’accès et donc améliorer les performances des vos applications.
• Recovery Service : destiné à archiver et gérer les backups de vos systèmes

 

Par Microsoft hors Azure :

• OneDrive (indirectement via les apis)
• Office365 (Sharepoint)

 

Autres éditeurs  avec facturation et réservation totalement ou partiellement intégrée (se reporter aux sites des éditeurs pour plus d’informations) :

• ClearDB : base de données relationnelle compatible MySQL en mode SAS.
• MongoDB : (edition Enterprise) base de données noSQL orienté document en mode SAS
• MongoLab : autre commercialisation de MongoDB  en mode SAS.
• RavenDB : base noSQL orienté document en mode SAS
• Oracle DB 12c Standard/Enterprise Edition + Windows Server 2012
• Oracle DB 11g R2 Standard/Enterprise + Windows Server 2008 R2
• Oracle DB 11g Standard/Enterprise + Windows Server 2008 R2
• Oracle DB 12.1.0.1 + Oracle Linux 6.4

 

 

En se référant au classement de db-engines.com (http://db-engines.com/en/ranking), on constate qu’Azure supporte donc directement 4 moteurs de bases de données du TOP5 . A noter que même si PostgresSQL (ainsi que d’autre bases de données plus exotiques) ne sont pas directement accessible à partir du portail de services Azure, il est tout à fait possible de déployer déployer ces bases sur une machine vituelle en mode IaaS (windows ou linux).

Au final, Azure supporte donc 100% des bases de données du TOP 5 db-engines.com.

 

Attention : la plupart des services évoqués ci-avant ont un coût d’utilisation variable. Reportez-vous aux conditions d’utilisations ou de vente de ces services pour obtenir les informations de tarifications officielles.

Bing Maps … sur France 2 au JT

Petit clin d’oeil : vous ne l’avez peut être pas vu, mais France 2 vient de virer Google Maps au profit de Bing Maps pour les vues satellite pendant le JT

© France Télévision (JT de 13h du 30/01/2012)

Premier test du SDK Kinect de Microsoft

Le sdk officiel de Microsoft est téléchargeable ici : http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

Première différence par rapport aux 2 autres SDK non officiel disponible (voir ce billet Développer avec Kinect) , celui de Microsoft n’est disponible que pour Windows 7 (32 ou 64bits).

Petit rappel, même si le SDK est officiel (produit et diffusé par Microsoft), il n’en reste pas moins en version Beta ! Donc à n’utiliser que sur une machine qui ne craint rien . De plus, il s’agit d’une licence pour ‘non commercial use’. Je vous invite à lire attentivement la license si vous envisager un usage dans un produit commercial.

Afin d’éviter des conflits de drivers, ne pas oublier de désinstaller les autres drivers Kinect que vous auriez pus tester.

 

Première impression, la séquence d’installation : c’est le jour et la nuit comparativement avec l’installation d’Open NI (je vous renvoi à mon précédent post), 4 clics sur suivant, 1 minutes d’installation et hop, c’est terminé.

Alimenter le Kinect, puis connecter le au PC. Windows va détecter votre Kinect et installer les drivers correspondant.

Premier test : Menu Démarrer\Tout les programmes\Microsoft Kinect for Windows SDK BETA puis lancer “Sample Skeletal Viewer”.

quelques constatations :

• Un gros point positif : pas besoin de pose spécifique pour qu’un squelette soit identifié et tracké : il suffit de se positionner ou de se déplacer dans le zone de visibilité du capteur (même sans s’arrêter), et le squelette est identifié très rapidement.

Malgré cela,

• Des positions aberrantes de squelette sur les dernières trame lors de la sortie de la zone de reconnaissance, ou lorsque l’on est trop près du capteur



 

• Quelques faux positifs (comme dans le cas suivant : une plante gentiment secouée par un chaton)

 

 

• La coloration de l’image de profondeur semble moins précise que celle effectué par OpenNI ou NUILab, mais cela vient surement du traitement effectué par le logiciel de test, la précision de la caméra de profondeur du capteur Kinect restant la même quelque soit le driver.
• Concernant la consommation CPU, L’application de test oscille entre 10&15% du CPU (un i7 quad core avec hyperthreading à 1.6Ghz), ce qui est significatif, notamment si on souhaite utiliser le kinect sur des machines pas trop puissantes.

L’autre programme test est un petit jeu dans lequel, il faut taper sur des formes qui tombent . L’occasion de tester à 2 joueurs … et ca marche très bien ! Le test à 3 joueurs n’a pas été concluant (la détection d’un 3e joueur déclenchant la disparition du premier).

 

Dernière étape pour tout geek qui se respecte … le code ! Le cours sources des 2 applications de test est livré en version C# et C++. Le code est simple, compréhensible et se recompile directement.

Les drivers pour le réseau de micro du Kinect sont aussi fournis. La recompilation de quelque sample nécessiteront l’installation des librairies “speech” de Microsoft :

• Speech Platform Runtime (x86 même sur les version x64) : http://www.microsoft.com/downloads/en/details.aspx?FamilyID=bb0f72cb-b86b-46d1-bf06-665895a313c7
• Kinect English Language Pack : http://go.microsoft.com/fwlink/?LinkId=220942
• et pour recompiler le tout, le Speech Platform SDK : http://www.microsoft.com/downloads/en/details.aspx?FamilyID=1b1604d3-4f66-4241-9a21-90a294a5c9a4&displaylang=en

Au programme audio : reconnaissance et synthèse vocale . Jetez un coup d’oeil au projet “ShapeGame” … et plus particulière au fichier “Recognizer.cs” !

 

De quoi occuper studieusement les 2 mois d’été qui arrivent !

bon développement à tous.

Le SDK Kinect ‘by Microsoft’ est enfin disponible !

Téléchargement ici : http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

Microsoft annonce l’acquisition Skype

Ce Mardi 10 mai 2011, Microsoft annonce l’acquisition de Skype pour un montant 8.5 milliards de $ : http://www.microsoft.com/Presspass/press/2011/may11/05-10CorpNewsPR.mspx 

Au delà du chiffre qui rappelle les meilleurs moments de la bulle internet, on ne peut que se laisser à imaginer les intégrations possibles entre skype (vidéo et audio de qualité, base installée, interconnexion au réseaux de téléphonie, …) avec les services Microsoft : Live Messenger (Instant messaging, intégration bing, …), Communication unifiée (Lync, Lync online, Exchange, Outlook, …), Jeux avec XBox Live, périphérique d’interaction utilisateur (Kinect) et téléphonie mobile (Windows Phone 7 avec le client pour Mango présenté lors du Mix 2011).

Dans les faits, la complémentarité de fonctionnement entre Skype et les outils Microsoft (Live Messenger, mais aussi OCS/Lync) est avéré puisque beaucoup d’utilisateur les utilise de manière complémentaire afin de palier les lacunes de l’autre outil.

La conférence de presse officielle aura lieu a 16h00 GMT et sera accessible en live : http://www.microsoft.com/Presspass/presskits/corpnews/

Développer avec Kinect

Si vous souhaitez développer pour et avec le Kinect de Microsoft, la première question que vous devrez vous poser (du moins en attendant les drivers officiels Microsoft) est “Quels drivers et API utiliser ?!”.

En effet, a l’heure actuelle, deux couches techniques sont disponibles pour le développement :

• CL NUI Platform de CodeLaboratories : http://codelaboratories.com/get/nui
• OpenNI : http://www.openni.org/

CL NUI Platform est la couche technique la plus légère pour utiliser le Kinect sur PC (l’installation fait 461Ko) et la plus simple à installer (on installe l’exécutable). Les drivers fournit sont signés numériquement (donc pas de soucis avec les versions 64bits). Elle est fournit avec 2 exemples en .Net WPF. La contrepartie de cette légèreté et de cette simplicité est que cette API se limite à nous fournir l’accès “brut” aux composants du Kinect (Webcam RGB, Webcam profondeur, réseaux de micro, accéléromètre, moteur) sans fonctionnalités de haut niveau (reconnaissance de geste, suivi de squelette, …). Elle est parfaite pour l’utilisation directe des données issues des capteurs du Kinect : une dll native, un peu d’interop .net et c’est parti (cf mon précédent billet pour des captures écrans des exemples).

OpenNI est un organisation à but non lucratif qui regroupe entre autres PrimeSense (la société à l’origine de la technologie du capteur de profondeur du Kinect) et d’autres acteurs connu du jeux , du matériel (Asus) ou de la robotique (Willow Garage). Elle publie un framework destiné à la mise en œuvre des interfaces naturelles (NI = Natural Interface). Ce framework est composé de plusieurs modules :

• OpenNI : la framework fournissant les API entre le matériels, les composant “middleware” et les applications – http://www.openni.org/downloadfiles/openni-binaries/21-stable
• OpenNI Middleware : on utilisera NITE que PrimeSense fournit gracieusement (pour Windows, MacOs et Ubuntu, la clé d’installation est sur la page http://www.openni.org/downloadfiles ) – http://www.openni.org/downloadfiles/openni-compliant-middleware-binaries/34-stable
• driver compatible OpenNI : il s’agit des drivers fournit par le fabricant des matériels intégré dans le Kinect (PrimeSense) – http://www.openni.org/downloadfiles/openni-compliant-hardware-binaries/32-stable 

L’installation d’OpenNI se fait en respectant la séquence : OpenNI, driver hardware Kinect puis NITE.

Toutefois, lors de la connexion du Kinect, J’ai rencontré quelque soucis : pas de pilote pour le périphérique “XBox NUI Motor” et aucun autre composant du kinect reconnu.

Pour corriger ce soucis, téléchargez les drivers disponibles ici ( https://github.com/avin2/SensorKinect, fichier avin2-SensorKinect-28738dc.zip). Déconnecter votre Kinect du PC, et installer la version correspondant à votre OS ( 32 ou 64 bits) présent dans le dossier Platform\Win32\Driver\ de l’archive.

Rebranchez votre Kinect, accepter le chargement du driver non signé (éventuellement forcer son chargement en indiquant à Windows le dossier où vous avez décompressé l’archive). Vous devez obtenir :

Une fois cette étape passée, les différents composants du Kinect sont reconnus par Windows

 

L’installation est un brin plus touchy et plus volumineuse, la mise en oeuvre de l’Api plus complexe et moins ‘directe’. En contrepartie vous disposer d’une API complète vous permettant d’accéder aux données du Kinect, mais aussi de travailler sur un squelette virtuel au sein de vos application, le tout étant géré par OpenNI/Nite.

Bon développement

Mix2011 : ca continue – keynote 2 : Silverlight, Windows Phone

Apres une première plénière hier couvrant html5, IE9/IE10, ce matin le keynote couvre Silverlight 5 et Windows Phone.

Une attente de keynote assez punchy avec DJ zTrip au platine (http://djztrip.com) que l’on retrouvera (du moins pour ceux présent à Vegas ) ce soir pour la “attendee party” au Marquee Nightclub.

Une vidéo d’introduction bien punchy a lancé le keynote (Merci brandonfoy.tv (@brandoyfoy) )

Joe Belfiore (corporate Vice President) a été le maitre de cérémonie de la plus grande partie du keynote. Apres quelques explications sur le processus de test des mises à jours des Windows Phone (justifiant ainsi le retard de déploiement de la dernière mise à jour), on est rentré dans le vif du sujet : “Mango” la future version de Windows Phone. Plus de 1500 nouvelles APIs et fonctions dans cette nouvelle version.

De nombreuses démonstrations ont ponctuées les annonces :

• 16 nouveaux langages (dont les langues asiatiques)
• disponibilité dans 38 pays (au lieu de 30)
• marketplace ouvert dans 35 pays (au lieu de 16)
• Liste des applications : Jumplist, filtre dynamique couplé au marketplace, affichage du statut de download d’une application
• marketplace : amélioration de la liste des applications, distribution de podcast, détail des applications dans un contrôle panorama
• historique avec intégration aux applications
• recherche : intégration plus fine avec bing, couplage avec des applications (ex: recherche d’un titre de film, affichage des rating user fournit par bing, bascule sur une application type imdb ou allociné pour avoir les détails du film)
• Browser web basé sur le même code qu’ie9, donc avec un support html 5 (audio, vidéo, .. démo sur http://www.boston.com ), barre de navigation en mode paysage
• amélioration des performances des contrôles (listbox, …)
• LiveTile : tile de l’écran d’accueil directement piloté par l’application, plusieurs tiles par application (sorte de raccourci pour accéder à des fonctions précise de l’application),
• Sonneries personnalisées par l’intermédiaire d’un service web
• socket tcp (démonstration d’un client de chat Irc , capture écran d’un client Skype ),
• base de donnée SQL intégrée (model code first, basé sur sqlCE),
• camera : api d’accès direct au flux vidéo (démo d’une application Amazon capturant le flux pour scanner un code barre)
• Boussole et gyroscope accessible au travers d’une api simplifiant la récupération de données directement utilisable par l’application
• Motion sensor : intégration de l’ensemble des capteurs intervenant dans la localisation
• Fast application switching : maintien en mémoire d’une application aussi longtemps que possible (état “suspended”), bascule rapide d’une application vers une autre
• Background multitasking : lecture audio même quand l’application n’est plus au premier plan (démo d’une application Spotify), système de téléchargement en tache de fond (son fonctionnement ressemble au BITS de Windows), alarme et rappel programmable et persistant.
• Background Agent : tache applicative appelé par le système à intervalle régulier et pour une durée maximale prédéterminée.
• Launcher pour un calcul d’itinéraire

L’ensemble des outils de développement pour la beta de Mango sera disponible courant Mai.

Scott Guthrie a ensuite pris le relais pour nous présenter les outils de développements associés.

• Vrai simulateur pour l’accéléromètre avec mémorisation des mouvements pour replay
• Simulation de positionnement en sélectionnant sur une carte bing, simulation de parcours
• Windows Phone Performance Analysis : collecte de données d’exécution (visual & function call), mémoire (managed objects & texture) , analyse de consommation des ressources par méthode/code, par frame de rendu, bascule directe dans le code (xaml inclus), l’outils fournit des explications et des conseils de correction

Les principales améliorations concernant le sdk ont ensuite été passé en revue :

• amélioration des performances : scrolling & input, décodage des images , garbage collection
• meilleur réactivité au sein du UI thread
• latence de téléchargement réduite
• temps de chargement des applications (notament XNA)
• optimisation de la consommation de la mémoire (l’application facebook consomme 30% de mémoire en moins)
• possibilité de mixer Silverlight & XNA dans la même application : démo du “Mix explorer” avec intégration d’un modèle 3D de scottgu (et c’est là que l’on s’aperçoit que Scott à un bon … coup de zoom)

Après ce morceau de choix, c’est enfin le tour de Silverlight 5 d’être le centre d’intérêt. La plupart des annonces ont déjà été faites, le contenu a été orienté démonstration des nouvelles fonctionnalités :

• décodage hardware des flux vidéos
• trickplay (changement de la vitesse de lecture avec correction de l’audio)
• télécommande
• API 3D reprenant le même modèle que XNA 4.0 (superbe démo de navigation dans un espace 3D basé sur Babylone … démo et moteur made in France par David Catuhe )
• intégration des projections 2D dans le modèle 3D
• Point d’arrêt dans le xaml (idéal pour débugger le databinding)

Le SDK beta de Silverlight 5 est disponible en téléchargement : http://www.silverlight.net/getstarted/silverlight-5-beta/

 

Pour terminer ce keynote de manière assez fun , Jeff Sandquist de l’équipe Kinect est venu nous présenter le future SDK Kinect. Ce SDK sera disponible avant l’été avec un licensing pour des applications non commerciale.

Le SDK sera utilisable à partir de VB, C# et C++. Il couvrira l’ensemble des fonctionnalités hardwares du kinect (caméra couleur, caméra de profondeur, réseau de micro, suppression des échos, localisation acoustique, animation du squelette)

Quelques démos utilisant un Kinect ont clôturé ce keynote :

• fauteuil roulant piloté par kinect (coding4fun)
• Wordwide Telescope piloté par le kinect (Jonathan Fay)
• Michael Zollner & Stephan Huber (université de Konstaz) ont présenté le “kinect helmet” : casque surmonté d’un kinect qui retourne des informations par vibration à son utilisateur si des obstacles se présentent
• Jared Ficklin (Frog design, principal technologist) a présenté un jeu basé sur la position corporelle

Au final, ce keynote a été beaucoup plus dynamique que le 1er. On sentait le public beaucoup plus satisfait et content des annonces et des différentes démonstrations qui ont été effectué.

On ne peut que constater que le développement de Windows phone est bel et bien piloté par les usages et par l’expérience utilisateur, Silverlight 5 continue son bonhomme de chemin et couvre de plus en plus de cas d’utilisation.

Mix 2011 : c’est parti – Keynote du 11 Avril

Ca y est. Le Mix est réellement commencé, bien que des pré-conférences aient eu lieu hier, le vrai coup d’envoi a été donné ce matin avec la première plénière de la semaine.

La récupération du badge d’accès a été très rapide, un modèle d’efficacité (ce qui n’est pas le cas du Wifi … surtout à partir de mon HD7). Bon je reconnais que le réveil à 6h pour cause de décalage horaire aide à être parmi les premier sur place. Petit dejeuner à l’américaine (bacon, omelette, Tabasco, ketchup, fruit & légumes frais, jus de canneberge) et me voilà paré pour le keynote.

Ce premier keynote est orienté HTML5/IE9 avec quelques preview du futur IE10. La majeure partie de la keynote était structurée sur la comparaison IE9 vs. Chrome (chaque démo étant systématiquement projeté en version IE9 et Chrome 12). Google est donc clairement l’”ennemi” désigné dans le monde des browsers. Firefox n’a été cité qu’a de rare moment, et jamais en démo.

Comme on s’y attend, IE9 s’en sort toujours largement haut la main. Les démos peuvent être rejouer chez vous ici : http://ie.microsoft.com/testdrive/. Par défi et curiosité, j’ai testé la démo FishBowl sur mon netbook (atom N550 dual core) … en désactivant uniquement le logo & l’audio, je tourne a 20fps avec 25 poissons pour un cpu a 80%, le tout en mode économie d’énergie.

Malgré une controverse franco-française, David Sinofski (President, Windows & Windows Live) à confirmer qu’il y aurait une Developper Conference  2011 : du 13 au 16 septembre 2011, à Anaheim, CA, USA (On notera la disparition du P de PDC, mais on confirmera la thématique dès que l’agenda sera connu).

Scott Guthrie (Microsoft, Corporate vice president) a ensuite enchainé. Pas de nouveauté, mais la confirmation de la disponibilité en téléchargement de tout un ensemble d’outils et de technologie déjà disponible en beta (WebMAtrix, ASP .Net MVC3, Azure AppFabric Access Control v2, Azure AppFabric Cache, Azure CDN, traffic manager, …). Les outils évoqués sont téléchargeables sur http://asp.net

Scott Hanselman (avec un superbe TShirt EF4.1) nous à fait une belle démo de création d’une application HTML5 avec ASP.Net MVC3, Entity Model by code, Control MVC basé sur le modèle EF, NuGet (http://nuget.org/) pour ajouter les packages SQL Compact et autres dépendances. Sympa et didactique.

Il a ensuite poursuivi avec la création d’un site de podcast avec WebMatrix, NuGet (bouton facebook, commentaire), utilisation de http://TemplateMonster.Com pour générer un template custom, utilisation de la syntax Razor (qui a dit que c’était de l’asp avec du C# à la place du vbscript? )

Il est clair que WebMatrix semble un outil de réalisation de site assez productif, du moins si le site reste basé sur l’assemblage de brique pré-packagé (NuGet) avec des développements relativement léger et limité.

Drew Robbins (Microsoft DPE) nous a fait une démo du CMS Orchard en utilisant WebMatrix pour construire le site (la quasi totalité des modules applicatifs etant téléchargé via NuGet), utilisation du site http://tuning.bind.pt pour créer un thème Orchard personnalisé, intégration d’un module d’e-commerce et du checkout Amazon.

Dans la série des CMS, Niels Hartviq (Umbraco, founder & CEO) nous a présenté quelques sites mettant en oeuvre Umbraco v4. la partie la plus intéressante a porté sur l’intégration de l’api de management de Windows Azure directement dans la console d’administration de la future version 5 : il est possible de définir de manière calendaire, le nombre d’instance qui exécuteront le site web. La puissance d’Azure à la demande et planifiée. Ce module applicatif est disponible sur codeplex : http://waacceleratorumbraco.codeplex.com/ 

 

En synthèse, pas d’annonce fracassante lors de ce premier keynote. La confirmation de l’avancée d’IE sur html5, la preview d’IE10 et la future Developper Conference de septembre 2011.

A noter que le keynote est déjà disponible en vidéo à la demande sur http://live.visitmix.com

A demain pour le 2e keynote qui couvrira Windows Phone, Silverlight, …

Le futur vu par Microsoft

Anticipons le futur des applications et des périphériques d’interaction homme/machine dans un environnement professionnel, commercial ou éducatif : http://www.microsoft.com/video/en/us/details/98393dd6-eada-43dd-a882-b2ff2e595c7a

PS : Est-ce que le nom des personnages a été choisi par hasard ? 🙂
Future Vision Montage

bug du ViewPort2DVisual3D … résolu dans WPF 4

Il y a près de 4 mois j’avais remonté un bug qui faisait planter le rendu WPF quand on posait un TabControl dans un ViewPort2DVisual3D (y compris avec .NET 3.5sp1).

Et bien j’ai enfin eu une réponse : il s’agissait d’une "régression due à  un FIX du 3.5sp1" (snif pas bon ca … où sont les testeurs ???) qui sera corrigé dans .NET4 .. et depuis 2 jours ….

Feedback Title – ViewPort2DVisual3D Crash when using TabControl
The following fields or values changed:
Field Status changed from [Active] to [Resolved]
Field Resolution changed from [Not Set] to [Fixed]

Donc tout est bien qui finit bien 🙂

La leçon du jour : Ne pas hésiter à remonter les bugs rencontrés à Microsoft (via le site http://connect.microsoft.com). Ils sont pris en compte systématiquement et traités (sauf si c’est "by design").

Merci qui ?