Utilisation de Hive with Pig

Question

Ma requête Hive a plusieurs jointures externes et son exécution est très longue. Je me demandais s'il serait judicieux de le diviser en plusieurs requêtes plus petites et d'utiliser pig pour travailler les transformations.

Existe-t-il un moyen d'interroger des tables de ruche ou de lire des données de table de ruche dans un script cochon?

Merci

Answer 1

L'objectif du Howl project est de permettre de porc et Ruche de partager un référentiel de métadonnées. Une fois que Howl est arrivé à maturité, vous serez capable d'exécuter des requêtes PigLatin et HiveQL sur les mêmes tables que les tables . Pour l'instant, vous pouvez essayer de travailler avec les données telles qu'elles sont stockées dans HDFS.

Notez que Howl a été renommé HCatalog.