Jesgargardon

El sitio web de Jesús García García-Doncel.

Hadoop

Hadoop es un ecosistema, es decir, un conjunto de componentes que implementan las distintas funciones necesarias para trabajar en entornos Big Data. Esta pensado para trabajar con Clusters de ordenadores de bajo coste. Y es un proyecto de la fundación Apache, por lo que cuenta con una licencia de software libre, lo que significa que cualquiera puede usarlo sin tener que pagar por ello.

Hay dos componentes fundamentales en el ecosistema Hadoop:

  • El sistema de ficheros distribuidos HDFS (Hadoop Distributed File System): Basado en la Big Table de Google que fue el primer sistema de ficheros distribuidos para trabajar con Big Data. Es el sistema de ficheros para trabajar con los ordenadores del clusters, realizando todas las funciones clásicas de un sistema de ficheros: guardar datos, localizar y acceder a ellos.
  • El sistema de procesamiento MapReduce: Es el sistema para procesar los datos en el Cluster, que también está tomado de Google, quien lo desarrollo para procesar la información de las distintas páginas web que recogía para las búsquedas.

La clave del éxito de Hadoop es que divide el almacenamiento de los datos y el trabajo de procesamiento entre los distintos ordenadores del cluster, realizando varias operaciones en paralelo, pudiendo así manejar muchos datos en menor tiempo.

Arquitectura Big Data

En posts anteriores he hablado de la aparición del Big Data y de las famosas Vs. De repente, se hizo necesario ser capaz de manejar muchísimos más datos con una afluencia muchísimo mayor. Las arquitecturas tradicionales no podían lidiar con esta nueva situación, y se desarrollaron las arquitecturas Big Data. Estas últimas enfocadas a trabajar con los datos en las nuevas condiciones.

Antes de la aparición del Big Data, con un buen servidor y un RAID de discos era suficiente para procesar y almacenar todos los datos que manejábamos. Esta arquitectura era además escalable y las necesidades de ampliación eran asumibles. Sin embargo, con la llegada del Big Data, y la gran cantidad y variedad de datos que tenemos que manejar y almacenar, las arquitecturas tradicionales basadas en un servidor resultan insuficientes. Se hace inviable procesar toda esta información en un único ordenador, y se desarrollan arquitectura Big Data basadas en Clusters de ordeanadores (un conjunto de ordenadores trabajando de manera coordinada para resolver una misma tarea).

Por tanto, en una arquitectura Big Data, vamos a trabajar con múltiples ordenadores y tendremos nuestras capacidades de computación distribuidas. Para aprovechar eficientemente estas capacidades, recurrimos a algoritmos de procesamiento paralelo que distribuyen la carga de procesamiento entre los distintos ordenadores del Cluster. Esto también nos ayudará a procesar los datos más rápidamente, que es otro de los requerimientos de una arquitectura Big Data, como por ejemplo con las queries de un buscador web.

Juego del Domino para aprender arquitectura de ordenadores

Siempre he creído que se puede aprender jugando y siempre me ha interesado desarrollar juegos que contribuyan al aprendizaje. Por ello, en esta ocasión, hago un paréntesis en los posts teóricos de mis clases y os presento el trabajo de grupo que tuvieron que realizar mis alumnos de Arquitectura de Sistemas. Un juego del domino para aprender arquitectura de ordenadores.

En realidad, se trata de un domino para aprender arquitectura de ordenadores. Las fichas serían componentes del ordenador, que se reparten entre los jugadores, y que se van colocando sobre la mesa por turnos. Únicamente, tienes que tener una ficha que encaje con alguna de las que ya está sobre la mesa. Al final, al igual que en el domino, gana el primer jugador que se quede sin fichas.

Esté fue el trabajo de grupo de fin de asignatura que tuvieron que realizar mis alumnos. Os dejo una foto de uno de los trabajos totalmente desplegado:

Lógicamente, el trabajo lo hicieron al final de la asignatura cuando ya habían estudiado arquitectura de ordenadores y alguna idea tenían. Seguramente tuvieron que refrescar todos esos conocimientos para hacer el trabajo, pero el hecho es que todavía no he podido emplear el juego para enseñar la materia, quizás el año que viene.

Bueno, y desde este punto, ¿qué viene después?.

Imagino que podría emplearse para enseñar arquitectura de ordenadores: Hacer a los alumnos un test al comienzo de la asignatura, que pasen algunas sesiones jugando, hacerles otro test después de las partidas y comparar el avance.

Podría llevarse también a un videojuego y tener media clase jugando con el juego físico y a la otra media con el videojuego, posteriormente comparar el grado de aprendizaje por ambos medios.

En fin, creo que la dinámica de juego del domino puede emplearse para enseñar todo aquello que tenga que ver con una arquitectura o estructura, ya que al ir colocando las fichas sobre el tablero vas construyendo dicha estructura y queda visible a todos los jugadores.

Además, puede emplearse para casi todo tipo de disciplinas, por ejemplo, ¿para enseñar la estructura de un plan de Marketing?.

Bueno, hay que investigarlo un poco más. Ya os iré contando.

NOTA:

Este post es parte de la colección “Arquitectura de Sistemas” que reproduce los apuntes de la clase que imparto sobre el tema en ESIC. Puedes ver el índice de esta colección aquí.

Mercado Laboral Oculto

A finales de septiembre, entregue el Trabajo Fin de Master del Master en Digital Business del ICEMD. Había comenzado presentando una plataforma para alquiler de los puntos de recarga de coches eléctricos entre particulares, cambie luego a una empresa de desarrollo de hyper casual games para Smartphones que desarrollaría juegos educativos que se adaptarían usando inteligencia artificial para mantener el reto en el nivel óptimo y maximizar el aprendizaje. Y finalmente, va a ser verdad que a la tercera va la vencida, desarrolle un trabajo sobre una plataforma para la búsqueda de trabajo en el mercado laboral oculto.

El resumen ejecutivo del trabajo que reproduzco a continuación, creo que explica razonablemente lo que pretendo:

Cuando alguien es despedido y pasa a engrosar las listas del paro, su trabajo pasa a ser buscar trabajo. En ese momento, pasa a realizar un trabajo para el que no ha sido formado y para el que no tiene experiencia. Y además entra en un mercado en el que sólo el 25% de la oferta es visible y peleada por el 80% de los demandantes de empleo, mientras que al mercado laboral oculto que supone el 75% de la oferta sólo accede el 20% de los demandantes de empleo.

En el contexto descrito, para tener éxito en la búsqueda de un nuevo trabajo, hay que dirigirse al mercado oculto de trabajo, para lo que se necesita una estrategia y una herramienta adecuada para ejecutarla. De igual forma que en una empresa estarías ofreciendo un producto o servicio, en esta situación, el producto eres tú mismo y tienes que venderte. Y al igual que ocurre en las empresas, se define la estrategia sin demasiados problemas pero las dificultades surgen en la ejecución.

Este trabajo versa sobre la creación de una plataforma donde los demandantes de trabajo dispondrán de la herramienta que les permitirá gestionar la búsqueda de su trabajo deseado de una forma eficiente, acudiendo al sensiblemente menos poblado mercado laboral oculto. Además, dentro de la plataforma, podrán colaborar entre ellos y aprender unos de otros, formándose en su nuevo trabajo: buscar trabajo.

La propuesta de valor es: “Te ayudamos a ejecutar tu estrategia de búsqueda de trabajo, accediendo al mercado laboral oculto y aprendiendo de los que tienen éxito”.

El fitbit del agua

icono del fitbit del agua

Hoy os dejo un mokup de una aplicación, que he bautizado como el fitbit del agua, para el ahorro de agua y reducción de su consumo en viviendas. Proporcionando información al usuario de como consume el agua, despertamos su conciencia medio ambiental y le ayudamos a reducir su consumo y ahorrarse un dinero.

Podéis ver todo el detalle en: el fitbit del agua

 

 

Página 1 de 3

Funciona con WordPress & Tema de Anders Norén