miércoles, 6 de agosto de 2014

Diferentes arquitecturas de bigData (Microsoft – HDInsight)


Microsoft ha creado su propia instacia de Hadoop la cual es 100% compatible con Apache Hadoop. Esta plataforma utiliza Hortonworks Data Platform (HDP) sobre la plataforma de Azure, reportando los beneficios de utilizar esta plataforma. Algunas de las mejoras que presenta son:

·         HDInsight permite dos tipos de almacenamiento: HDFS (standard Hadoop) y Azure Storage system que permite el uso de blobs (binary storage), tables (clave/valor, similar a arquitectuas NoSQL), y colas además por defecto, Azure replica toda la información tres veces con redundancia interna, pudiendo además realizar copias en otras localizaciones geográficas.

·         El despliegue de los nodos se puede hacer tanto desde un entorno gráfico como el que proporciona Microsoft Azure portal como utilizando scripts de PowerShell.

·         HDInsight, permite el uso de distintos interfaces para operar con los datos, destacando que además de algunos propios del ecosistema Hadoop como Pig, Java o Hive, permite el uso de .NET y Excel.

·         Para facilitar la generación de operaciones de MapReduce ofrece el uso de HDInsight PowerShell cmdlets y de HDInsight .NET SDK

·         Si además se trabaja con Visual Studio hay un alto nivel de integración que permite facilitar las labores de desarrollo y despliegue.

·         Una de las posibilidades que más me ha gustado es la integración con Excel, pero que que no he podido probar con mi versión (a partir de la 2010), así que solo me puedo quedar con la promesa de unos buenos resultados.

Un apartado a tener en cuenta es el precio de lo que costará la plataforma que lo podemos ver en la página de Azure de precios, donde veremos algunas opciones gratuitas, aunque otros servicios de Azure asociados a HDInsight, como Almacenamiento y Transferencias de datos, se facturarán por separado pero para calcular la factura, tenemos la calculadora de Azure.

Fuentes:


No hay comentarios:

Publicar un comentario