15. HBase

HBASE

 

Descripción

Es una base de datos orientada a columnas distribuidas, construido en la parte superior del sistema de archivos Hadoop. Es un proyecto de código abierto y es escalable horizontalmente.HBase es un modelo de datos que es similar a la gran mesa de Google diseñado para proporcionar acceso aleatorio rápido de grandes cantidades de datos estructurados. Se aprovecha la tolerancia a fallos proporcionada por el sistema de archivos de Hadoop (HDFS).Es una parte del ecosistema Hadoop que proporciona al azar en tiempo real el acceso de lectura / escritura a los datos en el sistema de archivos de Hadoop.Uno puede almacenar los datos en HDFS ya sea directamente o a través de HBase. Consumidor de datos lee / accede a los datos en HDFS utilizando al azar HBase. HBase se sienta en la parte superior del sistema de archivos Hadoop y proporciona acceso de lectura y escritura.HBase y HDFS 

HDFS	HBase
HDFS es un sistema de archivos distribuido adecuado para almacenar archivos de gran tamaño.	HBase es una base de datos integrada en la parte superior de la HDFS.
HDFS no soporta rápidas búsquedas de registros individuales.	HBase ofrece búsquedas rápidas para las tablas más grandes.
Proporciona el procesamiento por lotes de alta latencia; ningún concepto de procesamiento por lotes.	Proporciona acceso de baja latencia a las filas individuales de miles de millones de registros (de acceso aleatorio).
Se proporciona sólo acceso secuencial de los datos.	HBase utiliza internamente Las tablas hash y proporciona acceso aleatorio, y almacena los datos en archivos HDFS indexadas para búsquedas más rápidas.

 Mecanismo de almacenamiento en HBase HBase es una base de datos orientada a columnas y las tablas en que están ordenadas según la fila. El esquema de la tabla define familias columna solo, que son los pares de valores clave. Una mesa de tener múltiples familias de columna y cada familia columna puede tener cualquier número de columnas. Valores de las columnas subsiguientes se almacenan de forma contigua en el disco. Cada valor de la celda de la tabla tiene una marca de tiempo. En resumen, en un HBase: 

• Tabla es una colección de filas.

• Fila es una colección de familias de columna.

• familia de columna es una colección de columnas.

• La columna es un conjunto de pares de valores clave 

A continuación se realiza un esquema de ejemplo de la tabla en HBase. 

rowid

columna de la familia

columna de la familia

columna de la familia

columna de la familia

col1

col2

col3

col1

col2

col3

col1

col2

col3

col1

col2

col3

1

2

3

---

Orientada columna y fila OrientadaLas bases de datos orientadas a columnas son los que almacenan las tablas de datos como secciones de columnas de datos, en lugar de como filas de datos. En breve, tendrán las familias de las columnas. 

Base de datos de fila-Oriented	Base de datos de la columna-Oriented
Es conveniente para el proceso de transacciones en línea (OLTP).	Es conveniente para el procesamiento analítico en línea (OLAP).
Estas bases de datos están diseñados para pequeño número de filas y columnas.	Bases de datos orientadas a columnas están diseñadas para grandes tablas.

S.O. Soportados 

 Los principales conjuntos de programas de sistemas que gestionan los recursos de hardware y que proveen servicios a los programas de aplicación de software que se ejecutan en HBase son: ·         Linux ·         Unix ·         Windows  

Aplicaciones

• Se utiliza cada vez que hay una necesidad de escribir aplicaciones pesadas.

• HBase se utiliza siempre que necesitamos para proporcionar un acceso aleatorio rápido a los datos disponibles.

• Empresas como Facebook, Twitter, Yahoo y Adobe utilizan HBase internamente.

Escalabilidad

 

HBase es u almacén distribuido del tipo column-oriented que puede ser también denominado como la base de datos Hadoop. El proyecto está dirigido a ofrecer tablas enormes de “miles de millones de filas, y millones. 

No. Usuarios concurrentes

 110 TB en HDFS~ 40 TB en HBase2300 crash p/min> 120 servidores físicos 12+30 Billones de eventos de + 10 Millones de usuarios+ 10 años de datos (clínicos, financieros, operacionales). 

Transacciones

Tephra es una solución open-source (licencia Apache 2.0) que ofrece transacciones globales sobre Apache HBase.
HBase ofrece consistencia para operaciones ACID a nivel de row o región, pero no multi-tabla o multi-región.Tephra soportar transacciones globales sobre regiones, tablas o múltiples RPCS, lo que simplifica el desarrollo sobre HBase.Para esto Tephra ofrece versionado de datos proveyendo multi-versioned concurrency control (MVCC), de modo que cada transacción ve su “snapshot” de los datos.Tephra está compuesto de 3 componentes:·    Transaction Server – maintains global view of transaction state, assigns new transaction IDs and performs conflict detection;
·      Transaction Client – coordinates start, commit, and rollback of transactions; and
· TransactionProcessor Coprocessor – applies filtering to the data read (based on a given transaction’s state) and cleans up any data from old (no longer visible) transactions.La forma de usarlo con HBase es esta:

Herramientas de apoyo

 Abarca sistema de archivos, carga de datos, búsqueda como:·         Avro 1.7.4
·         Chukwa 0.5.0
·         Flume 1.3.1
·         HBase 0.96.0
·         HDFS 2.2.0
·         Hive 0.12.0
·         Lucene 3.3.0
·         Oozie 3.3.2
·         Pig 0.12.0
·         Sqoop 1.4.3
·         Zookeeper 3.4.5    
 

Soporte técnico 

·         Soporte a través de foro                                      
·         Soporte estándar de IBM                                     
·         Actualizaciones de Software                                         
·         Soporte de Alta Disponibilidad  
 

Costo y tipos de licencia

 Soporte de facturación y administración de suscripciones gratuitoPlanes de soporte flexibles desde MXN$559.71/mes.Conectividad garantizada del 99,9 % para varias instancias.  

Última actualización

 

Año	Evento
2006 Nov	Google libera el papel de BigTable.
2007 Feb	HBase prototipo inicial fue creada como Hadoop contribución.
2007 Oct	La primera utilizable junto con Hadoop HBase 0.15.0 se ha lanzado.
2008 Ene	HBase se convirtió en el subproyecto de Hadoop.
2008 Oct	HBase 0.18.1 fue liberado.
2009 Ene	HBase 0.19.0 fue liberado.
2009 Sept	HBase 0.20.0 fue liberado.
Mayo de 2010	HBase convirtió en Apache project de nivel superior.

  

Clientes importantes que la usan

 Entre las empresas que han adoptado HBase, podemos destacar:– Adobe– Amadeus IT Group, Como almacenamiento a largo plazo– Daumkakao– Facebook, Plataforma de mensajería.– LinkedIn– Netflix– Spotify, Usa HBase como base para trabajos Hadoop y Machine learning.– Tuenti, Plataforma de mensajería.– Sears 

Requisitos de instalación 

Se puede considerar "la base de datos" de Hadoop. Basado en BigTable de Google, proporciona la capacidad de crear tablas con millones de entradas y permite hacer accesos de lectura/escritura rápida y consistentemente. También es versionada y no-relacional, por lo que ofrece flexibilidad. Además es fácilmente conectable, ya sea a través de su API java o mediante web services. Podemos usar HBase para dar forma a nuestros datos.Si usa una suscripción de Azure de la que no es el administrador o el propietario como, por ejemplo, una suscripción propiedad de una empresa, debe comprobar lo siguiente antes de seguir los pasos descritos en este artículo:·         Para iniciar sesión en Azure, debe tener al menos acceso de colaborador al grupo de recursos de Azure. Este grupo de recursos se utiliza para crear un clúster de Azure HDInsight y otros recursos de Azure.
·         Un usuario con al menos acceso de Colaborador a la suscripción de Azure debe haber registrado previamente el proveedor para el recurso que está utilizando. El registro del proveedor se produce cuando un usuario con acceso de Colaborador a la suscripción crea un recurso por primera vez en la suscripción. También puede realizarse sin crear ningún recurso mediante el registro de un proveedor con REST.
  

Requisitos de software

 Una configuración común incluye de 6 a 12 terabytes (TB) de espacio en disco y de 48 a 96 gigabytes (GB) de RAM. Controladores RAID para los discos son innecesarias porque HDFS proporciona protección de datos cuando los discos fallan. 

Requisitos de almacenamiento

HBase requiere una caché de lectura y escritura que se asigna desde el almacenamiento dinámico de Java. 

Lenguajes soportados

·         C 

·         C# 

·         C++

·         Java 

·         PHP 

·         Python

·         Scala     

    Referencias Bibliográficas

 http://db-engines.com/en/system/HBases

 https://www.ibm.com/support/knowledgecenter/es/SSPT3X_4.1.0/com.ibm.swg.im.infosphere.biginsights.admin.doc/doc/ACL_Management_HBase.html

  https://es.slideshare.net/marcosluis2186/intro-hbase

 http://maniqui.ru/computadoras-y-software/big-data/gestin-de-datos/1174-requisitos-de-hardware-para-hbase.html

  https://www-01.ibm.com/software/ec/data/infosphere/hadoop/productos.html

  https://unpocodejava.wordpress.com/2016/01/02/tephra-transacciones-sobre-hbase/

    by: Violeta FM.

    

x

SAP Adaptive Server

SAP Adaptive Server Enterprise

DESCRIPCION:

SAP Adaptive Server Enterprise (Sybase ASE) es un sistema de gestión de base de datos relacional de alto rendimiento para entornos de uso intensivo de datos de misión crítica. Se asegura la más alta eficiencia operativa y el rendimiento en una amplia gama de plataformas. Proporciona una solución de base de datos rentable que puede manejar un gran número de transacciones y usuarios con rendimiento superior, confiabilidad y eficiencia.

S.O. SOPORTADOS:

·         Windows

·         Linux

·         Unix

·         Sun Solaris

·         IBM AIX

·         HP-UX

·         Mac OS

Aplicaciones:

Sistemas donde se necesite una fuerte encriptación de contraseñas y perfiles de sesión únicos que protegen la base de datos de intentos de accesos externos no autorizados y hace más fácil administrar un amplio número de usuarios.

millones de transacciones por minuto con bases de datos de terabytes y soporte rápidas tasas de crecimiento en el volumen de datos y transacciones.

Escalabilidad de la versión Enterprise:

No tiene límites desde el punto de vista de escalabilidad

Número de usuarios:     Ilimitado

Orientado a operaciones con transacciones

Soporte técnico

Pagina web con soporte por versiones http://www.sap.com/support.html

Costo y tipos de licencia

Licencia comercial y también versiones con licencias gratuitas pero limitadas en cuanto a tamaño y funcionalidad.

Última actualización

SAP Adaptive Server Enterprise 16.0 SP02

Ultima actualizacion: 20 de Diciembre del 2016

Actualización anterior 30 de junio del 2016

Clientes importantes que la usan

Banco Regional de Monterrey (Banregio)

En este caso en concreto SAP Adaptive Server impulsa 46 de los 50 principales bancos internacionales y firmas de valores.

Requisitos de instalación

-SO compatible.

-4GB minimo de RAM

-750mb de almacenamiento libre en disco(varia).

Requisitos de software

SAP Java Runtime Environment (JRE) 7.1

Microsoft Visual C++ 2005 Service Pack 1 Redistributable Package ATL Security Update

Requisitos de almacenamiento

Requiere una versión normal

4GB en memoria RAM para correr normalmente

Y espacio en disco disponible suficiente ya que el tamaño varía según la versión t los complementos utilizados además de si se descargó con todas las funciones.

Lenguajes soportados

C

C++

Cobol

Java

Java

Perl

PHP

Python

Referencias de paginas.

http://www.mtbase.com/soluciones/almacenamiento

http://help-legacy.sap.com/ase1602#section11

https://www.sybven.com/sybven/sap-adaptive-server-enterprise/

http://infocenter.sybase.com/help/index.jsp?topic=/com.sybase.infocenter.help.ase.16.0/doc/html/title.html

Por: Eduardo Rodriguez.

  

Apache Solr (Solar)

S.O Soportados:

.Net

Erlang

Java

JavaScript

any language that supports sockets and either XML or JSON

Perl

PHP

Python

Ruby

Scala

Soporte técnico

Usuarios concurrentes

Alta concurrencia de usuarios

Ultima actualización

Recientemente han liberado la versión 3.1

Costo y tipos de licencia

BitNami Apache Solr para Linux (64 bits) simplifica el desarrollo y ... BitNami Stack Apache Solr se distribuye gratuitamente bajo la licencia Apache 2.0.

Lenguajes Soportados

APIs XML/HTTP y JSON/Python/Ruby

Requisitos de instalación, software y hardware

Detenga su contenedor de servlets

De la distribución solr, copia de la war solr en el directorio webapps de su contenedor de servlets como solr.war.

De la distribución solr, copiar el ejemplo en home solr ejemplo / solr como una plantilla para su home solr. Inicie el contenedor de servlets, pasando por la ubicación de su home solr. Esto se puede hacer de varias maneras.

Java5 o superior instalado. (Nota: a partir de SOLR 4, se requiere Java 1.6)

Un contenedor de servlets como Tomcat, Jetty, o resin.

Una distribución SOLR

Requisitos de almacenamiento

Un tamaño superior a 4 GB

Bibliografia

http://db-engines.com/en/system/Solr

http://www.revista.unam.mx/vol.13/num11/art114/

https://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0ahUKEwi7qMSN0bTSAhUM1GMKHbjaAg4QFggZMAA&url=http%3A%2F%2Fes.slideshare.net%2Fjuanjohdezcanovas%2Fformacin-apache-solr-44072314&usg=AFQjCNGMxJU6bleG4mkOnhJtS0MGkbYTHw&sig2=vr97Hq-FrMznpzAhtEblvg&bvm=bv.148441817,d.cGc

13- Teradata

13-Teradata
Descripción:	Teradata Corporation (NYSE: TDC) es una empresa estadounidense especializada en herramientas de base de datos warehousing y herramientas analíticas empresariales. Teradata está presente en más de 60 países y cuenta con más de 950 clientes y de 2.400 implementaciones. Teradata ofrece mejores resultados de negocio a través de soluciones de tecnología habilitados en las áreas que más importan - a partir de la excelencia operativa y la optimización de activos, a la experiencia del cliente y la innovación de productos, para financiar la transformación y la mitigación de riesgos.
Sistemas Operativos soportados:	SUSE Linux Enterprise Server (SLES). NCR UNIX SVR4 MP-RAS, variante del sistema V UNIX de AT&T. Microsoft Windows. Windows Server Microsoft. Linux en sistemas Intel de 64 bits.
Aplicaciones:	Se pueden desarrollar aplicaciones de consulta para el acceso a la base de datos mediante la interpretación de sentencias SQL en lenguajes de programación como C, COBOL, (PL/I). La siguiente tabla muestra información acerca de los pre-procesamientos disponibles. Cliente interconectado a la red o de acceso mediante canal.
Escalabilidad:	Teradata ofrece mejores resultados a través de soluciones tecnológicas en las áreas que más importan: desde la excelencia operativa y la optimización de activos hasta la experiencia del cliente y la innovación de productos, para financiar la transformación y la mitigación de riesgos. Trabajamos con empresas líderes en más de 75 países de todo el mundo. Nuestros clientes incluyen muchos de los mejores artistas y marcas más conocidas en telecomunicaciones, transporte, bienes de consumo, servicios financieros y fabricación.  Más del 50% de nuestro equipo son consultores - estrategas de datos y científicos de datos, tecnólogos, innovadores y expertos en todo tipo de análisis. Nos dedicamos directamente a los líderes empresariales y de TI para resolver problemas urgentes del mundo real y aprovechar oportunidades estratégicas convincentes
Número de usuarios concurrentes:	1.400 Clientes en 77 Países. Basado en Fortune Global Rankings lanzado Q3 2014.
Transacciones herramientas de apoyo;	Intel Microsoft Oracle Cisco Pay Pal
Soporte técnico:	http://www.teradata.com/contact-us/?LangType=1033&LangSelect=true 866-548-8348(US)  937-242-4030 (Internacional)
Costo y tipos de licencia:	Teradata Temporal $ 300  por CCU Teradata Data Mover $ 160  por CCU TPT Stream o Tpump $ 240  por CCU Laboratorio de datos Teradata $ 1,750 por sistema * Los precios de la Unidad de Computación en Nube (CCU) para Teradata Database as a Service incluyen hardware, software, soporte y backup diario. Las tarifas de reserva son una evaluación única por período de compromiso. Un (1) CCU mínimo para servicios prestados desde centros de datos en los Estados Unidos. Todos los precios de 1 año y 3 años reflejan los pagos anuales por adelantado; Los pagos trimestrales por adelantado están disponibles para una tarifa incremental del 2%. El precio es en dólares estadounidenses y está sujeto a cambios. Teradata que está completamente configurada y lista para ejecutarse. Proporciona la oportunidad de trabajar con la base de datos de Teradata para la evaluación, desarrollo, prueba de nuevas características de Teradata, nuevas teorías, nuevos datos y aprendizaje. No requiere un servidor o una licencia; Y usted no necesita saber Linux. Esta descarga le permite implementar una base de datos Teradata totalmente funcional en su computadora portátil usando un entorno de máquina virtual. El período de evaluación para esta descarga no caduca.
Última actualización;	Versión 15.10 B035-3151-045K-ESN Abril de 2015
Clientes importantes que la usan:	Telenor Pakistán unidad de Pershing LLC del Banco de Nueva York Mellon (BNYM), una institución líder en servicios financieros y líder en tecnología La Contraloría de Maryland  Felicitaciones a Verizon Wireless El 2016 CIO 100 Awards
Requisitos de instalación, Hadware y Software:	Requisitos del servidor Linux El Servicio de notificaciones Teradata para Linux es necesario para ejecutar los scripts BTEQ y los programas ejecutables en un servidor Linux, y debe estar instalado en un servidor Linux proporcionado por el cliente. Si las acciones de alerta BTEQ y Ejecutar el programa no se necesitan en Linux, el Servicio de notificaciones Teradata para Linux no es necesario. Dependencias de software Uno de los siguientes sistemas operativos de SuSE Linux Enterprise: • SuSE Linux Enterprise 10, Service Pack 3 o una versión posterior • SuSE Linux Enterprise 11 El siguiente Java SE Runtime Environment: • Java SE Runtime Environment 7 o posterior BTEQ y dependencias relacionadas: • Las versiones de TTU dependen de la base de datos Teradata Database de destino y deben instalarse mediante la instalación principal del cliente TTU de modo que se instalen todas las dependencias necesarias. Otros requisitos El reloj del sistema Linux debe estar sincronizado con el reloj del servidor Viewpoint. Requisitos del servidor Windows El Servicio de notificaciones Teradata para Windows es necesario para ejecutar los scripts BTEQ y los programas ejecutables en un servidor Windows, y debe estar instalado en el servidor Windows. Si las acciones de alerta BTEQ y Ejecutar el programa no se necesitan en Windows, el Servicio de notificaciones Teradata para Windows no es necesario Dependencias de software Uno de los siguientes sistemas operativos de Microsoft Windows: • Windows XP • Windows Server 2003 • Windows Vista • Windows Server 2008 • Windows Server 2008 R2 • Windows 7 El siguiente Java SE Runtime Environment: • Java SE Runtime Environment 7 o posterior de 32 bits BTEQ y dependencias relacionadas: • Las versiones de TTU dependen de la base de datos Teradata Database de destino y deben instalarse mediante la instalación principal del cliente TTU de modo que se instalen todas las dependencias necesarias
Lenguajes Soportados:	C Java Oracle SQL

Fuentes: http://www.teradata.com/about-us/?LangType=1033&LangSelect=true

Investigación rea por: Luis Angel Piedra Almanza