Stockages et manipulations des données dans Microsoft Azure

Dans le cadre de mes activités en clientèle, j’ai très souvent des remarques concernant le stockage ou la manipulation des données dans Azure. Remarques ayant souvent pour source la méconnaissance de la plateforme. A décharge de mes contacts, Azure évoluant très vite et de nouvelles fonctionnalités étant ajoutées régulièrement il n’est pas forcement facile d’être systématiquement à jour !

D’où ce billet pour recenser les différentes options de stockage et manipulation de données disponible dans Azure.

La plateforme de cloud computing Azure de Microsoft fournit donc de multiples fonctionnalités de stockage. Des plus classiques (comprendre historique) aux plus récentes, commercialisées ou non par Microsoft.

A noter que certaines des options évoquées ci-après ne sont pas obligatoirement accessibles dans les 2 portails de gestion de vos sousciptions Azure (l’officiel http://manage.windowsazure.com, ou celui en beta : http://portal.azure.com/)

 

Par Microsoft dans Azure :

• SQL Azure (relationnel en mode ‘cloud’ SAS, compatible SQL Server)
• SQL Server (relationnel en mode serveur dans une/des machine(s) virtuelle(s))
• Azure Storage 
  • Blob : stockage de donnée ‘binaire’ avec metadata. Utilisable en acces type « stream » ou direct (disque)
  • Queue : file de messages
  • Table : stockage de données non relationnel, par entité/colonne, schéma libre, requêtage limité, haute performance, grand volume de données, support transactionnel limité.
• HDInsight : stockage HBase (nosql, transactionnel avec faible latence), prioritairement destiné à être exploité à travers Hadoop pour la manipulation et l’analyse de données façons ‘BigData’
• Cache (en Preview) : base de donnée clé/valeur en mémoire, basé sur Redis
• DocumentDB (en Preview) : base de données NoSQL orienté document en mode SAS.
• Azure Search (en Preview) : moteur d’indexation en mode SAS (accessible uniquement sur le portail beta http://portal.azure.com ). Permet d’indexer vos jeux de données et fournit des fonctionnalités de type intellisense, correction orthographique, recherches par synonymes ou approchants.
• StorSimple : stockage avec appliance hardware local jouant le rôle de cache avec débord persistant dans Azure. Permet d’avoir de gros volume de données stockés dans Azure avec un cache local dans votre infrastructure afin d’optimiser les temps d’accès et donc améliorer les performances des vos applications.
• Recovery Service : destiné à archiver et gérer les backups de vos systèmes

 

Par Microsoft hors Azure :

• OneDrive (indirectement via les apis)
• Office365 (Sharepoint)

 

Autres éditeurs  avec facturation et réservation totalement ou partiellement intégrée (se reporter aux sites des éditeurs pour plus d’informations) :

• ClearDB : base de données relationnelle compatible MySQL en mode SAS.
• MongoDB : (edition Enterprise) base de données noSQL orienté document en mode SAS
• MongoLab : autre commercialisation de MongoDB  en mode SAS.
• RavenDB : base noSQL orienté document en mode SAS
• Oracle DB 12c Standard/Enterprise Edition + Windows Server 2012
• Oracle DB 11g R2 Standard/Enterprise + Windows Server 2008 R2
• Oracle DB 11g Standard/Enterprise + Windows Server 2008 R2
• Oracle DB 12.1.0.1 + Oracle Linux 6.4

 

 

En se référant au classement de db-engines.com (http://db-engines.com/en/ranking), on constate qu’Azure supporte donc directement 4 moteurs de bases de données du TOP5 . A noter que même si PostgresSQL (ainsi que d’autre bases de données plus exotiques) ne sont pas directement accessible à partir du portail de services Azure, il est tout à fait possible de déployer déployer ces bases sur une machine vituelle en mode IaaS (windows ou linux).

Au final, Azure supporte donc 100% des bases de données du TOP 5 db-engines.com.

 

Attention : la plupart des services évoqués ci-avant ont un coût d’utilisation variable. Reportez-vous aux conditions d’utilisations ou de vente de ces services pour obtenir les informations de tarifications officielles.

SQL Azure : déplacement d’un serveur vers une autre souscription

Petite nouveauté dans le portail d’administration Azure, il est maintenant possible de déplacer un serveur SQL Azure vers une autre souscription. Très pratique quand on utilise une souscription à tarif privilégié (type MSDN) qui arrive à expiration , cela évite de reconstruire la base de données dans la nouvelle souscription !

Une fois le nouvel abonnement sélectionné et validé, le serveur se retrouve quasi instantanément attaché à la nouvelle sélection, sans interruption de service au niveau SQL Azure.

A quand le même fonctionnalité sur les Hosted Services ?

Billet sans paroles : De l’intérêt d’une base de données fiable et élastique dans le cloud

SQL Azure et les données spatiales, SQL Azure manager online

Comme je le répète souvent aux participants des formations que j’assure ou à mes clients, Windows Azure est une plateforme qui évolue très rapidement et très souvent.

il en est de même pour SQL Azure. Le support des type de données géographiques à été ajouté en juin 2010. Il est donc possible de créer des tables avec des coordonnées spatiales.

CREATE TABLE CityLocation
(
CityName [nvarchar](50) NOT NULL,
Location [geography] NOT NULL
)
CONSTRAINT [PrimaryKey_CityName] PRIMARY KEY CLUSTERED
(
CityName ASC
)

 

L’insertion se fait de manière très classique, avec une syntaxe adaptée pour les types spatiaux :

 

Il est possible d’effectuer des requêtes sur les distances entre des coordonnées. Ainsi, obtenir la liste des villes à moins de 1000km de Lyon s’écrira ainsi :

On obtient bien Lyon, Marseille et Paris.

 

Une des fonctionnalités gravitant autour de SQL Azure est l’outils de management en ligne de la base SQL Azure. Cet outils (écrit en Silverlight) est accessible en vous connectant en https sur votre serveur SQL Azure ( https://[monserveur].database.windows.net ).

Cet outils est mis à jour régulièrement. il est maintenant capable de vous afficher les plans d’exécutions de vos requêtes pour les optimiser. La requête précédente donne ce plan d’exécution :

 

Pour revenir à nos données spatiales, une des fonctionnalités très pratique de cet outil est la représentation sous une forme cartographique de vos données spatiales. Ainsi, le résultat de la requête précédente nous donne :

La vérification du résultat d’une requête spatiale est énormément facilité … car visuel !!

Baisse de prix SQL Azure

L’équipe Azure vient d’annoncer une baisse plus que significative des tarifs des bases de données SQL Azure à partir de 5go (réduction minima de 48% !!), ainsi qu’une nouvelle taille minimale de 100Mo. Les nouveaux tarifs mensuels sont donc :

     100Mo       3,55€  (nouveau)
    1Go       7,09€  (-0%)  
    5Go     18,43€  (-48%)
  10Go     32,60€  (-54%)
  25Go     53,85€  (-75%)
  50Go     89,27€  (-75%)
100Go   124,70€  (-65%)
150Go   160,12€  (-55%)

On notera que l’offre promotionnelle qui fixait le prix des bases 100Go & 150Go au même prix que la base de 50Go (voir ce billet) est terminée… mais le nouveau prix est beaucoup plus intéressant puisque la 150Go au nouveau tarif coute deux fois moins cher que la 50go a l’ancien tarif

Conséquence:

• SQL Azure pour la gestion des sessions ASP.Net devient encore plus intéressant face à l’utilisation du cache distribué AppFabric (baisse du cout de stockage d’une session)
• SQL Azure reprend de la crédibilité sur le rapport cout du stockage/cout de développement par rapport à l’utilisation des Azure Storage Table pour des volumes de stockages de l’ordre des plusieurs Go.

Je rappelle en outre que ces tarifs sont basés sur le volume de données stockées, et que vous bénéficier automatiquement de l’ensemble des nouvelles fonctionnalités au fur et à mesure qu’elles sont activées en production (Fédération, portail d’administration, …)