אפאצ'י הייב (תרגום: כוורת; באנגלית: Apache Hive) הוא פרויקט תוכנה של מחסן נתונים שנבנה על גבי האדופ ומאפשר שירותי סיכום נתונים, שאילתות, וניתוחים.[1] הייב נותן ממשק מדמה SQL החושף ממשק לשאילתות על נתונים מאוחסנים על גבי בסיסי נתונים שונים ומערכות קבצים הנמצאים באינטגרציה עם האדופ. שאילתות SQL מסורתית חייבות להיות מיושמות בעזרת ממשק ה JAVA של MapReduce עבור יישומים הדורשים שאילתות על נתונים מבוזרים.

אפאצ'י הייב
Apache Hive logo.svg
מפתח קרן התוכנה אפאצ'י עריכת הנתון בוויקינתונים
גרסה אחרונה 3.1.1 (1 בנובמבר 2018) עריכת הנתון בוויקינתונים
מערכת הפעלה חוצה-פלטפורמות עריכת הנתון בוויקינתונים
נכתבה בשפות Java עריכת הנתון בוויקינתונים
סוג רישיון אפאצ'י 2.0 עריכת הנתון בוויקינתונים
hive.apache.org
לעריכה בוויקינתונים שמשמש מקור לחלק מהמידע בתבנית OOjs UI icon info big.svg

הייב מספק אבסטרקציה של SQL לאינטגרציה של שאילתות עם מאפייני SQL, הנקרא HiveQL לתוך שכבת הקוד (Java) ללא צורך למימוש השאילתות בממשק Java. מכיוון שמרבית ממחסני הנתונים משתמשים בשאילתות SQL הייב מאפשר הגירה של אפליקציות לשימוש בהאדופ.[2]

הפיתוח הראשוני היה על ידי פייסבוק, אולם מאוחר יותר נכנס לשימוש ופיתוח על ידי חברות אחרות כגון נטפליקס ו FINRA.[3][4] אמזון מתחזקת ענף של עץ הפיתוח של הייב הכלול בשירותי הרשת שלה, AWS.[5]

דוגמה לשימוש ב HiveQLעריכה

תוכנית לספירת מילים ב"פיג"עריכה

1 input_lines = LOAD '/tmp/input_tzumer.txt' AS (line:chararray);
2 words = FOREACH input_lines GENERATE FLATTEN(TOKENIZE(line)) AS word;
3 filtered_words = FILTER words BY word MATCHES '\\w+';
4 word_groups = GROUP filtered_words BY word;
5 word_count = FOREACH word_groups GENERATE COUNT(filtered_words) AS count, group AS word;
6 ordered_word_count = ORDER word_count BY count DESC;
7 STORE ordered_word_count INTO '/tmp/results_edo.txt';

תוכנית "ספירת מילים" ב HiveQLעריכה

תוכנית "ספירת מילים", מחשבת את מספר הפעמים שכל מילה מופיעה בקלט נתון. דוגמה לכתיבת תוכנית כזו ב HiveQL:

1 DROP TABLE IF EXISTS docs;
2 CREATE TABLE docs (line STRING);
3 LOAD DATA INPATH 'input_tzumer' OVERWRITE INTO TABLE docs;
4 CREATE TABLE word_counts AS
5 SELECT word, count(1) AS count FROM
6  (SELECT explode(split(line, '\s')) AS word FROM docs) temp
7 GROUP BY word
8 ORDER BY word;

הסבר על פעולת התוכנית: בדוק אם טבלתdocs קיימת ומחק אותה אם כן. צור טבלה חדשה בשם docs עם עמודה אחת מסוג STRING בשם line.

טען את הקובץ המפורט או הספרייה (במקרה שלנו "input_tzumer") לתוך הטבלה. OVERWRITE מציין שטבלת היעד שאליה הנתונים נטענים תיכתב מחדש, אחרת הנתונים יהיה "מתווספים" (appended).

CREATE TABLE word_counts AS SELECT word, count(1) AS count יוצר טבלה בשם word_counts עם שתי עמודות: word ו count. שאילתה זו עובדת על פלט השאילתא הפנימית (SELECT explode(split(line, '\s')) AS word FROM docs) temp". שאילתה זו משמשת כדי לפצל את מילות הקלט לטבלה זמנית המכונה temp. כאשר GROUP BY WORD מקבץ את התוצאות בהתבסס על המפתחות שלהם. התוצאות של עמודת count מחזיקה את מספר המופעים של כל מילה בעמודת word. לבסוף, ORDER BY WORDS ממיין את  המילים לפי סדר האלף-בית.

קישורים חיצונייםעריכה

הערות שולייםעריכה

  1. ^ Venner, Jason (2009). Pro Hadoop. Apress. ISBN 978-1-4302-1942-2. 
  2. ^ Programming Hive [Book]. 
  3. ^ Use Case Study of Hive/Hadoop
  4. ^   אפאצ'י הייב, בביצוע OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix", סרטון באתר יוטיוב
  5. ^ Amazon Elastic MapReduce Developer Guide