אלגוריתם ויטרבי

אלגוריתם ויטרבי
ממציא	אנדרו ויטרבי
נקרא על שם	אנדרו ויטרבי

אלגוריתם ויטרבי (באנגלית: Viterbi Algorithm), אלגוריתם תכנון דינמי למציאת רצף המצבים החבויים הסביר ביותר, שתוצאתו היא רצף תצפיות נתון. בין שימושיו הנפוצים - מציאת רצף המצבים בהנחת מודל מרקוב חבוי, פיענוח קודי קונבולוציה ועוד רבים. תחת זאת, משמש באופן תדיר במערכות תקשורת, כגון IEEE 802.11.

יתרונו הבולט של האלגוריתם הוא הורדת סיבוכיות המציאה של הרצף הסביר ביותר - מהמימוש הנאיבי (בעל סיבוכיות מעריכית בגודל הרצף) למימוש היעיל של האלגוריתם (בעל סיבוכיות ליניארית בגודל הרצף).

היסטוריה

האלגוריתם פותח לראשונה על ידי אנדרו ויטרבי בשנת 1967 לטובת פיענוח קוד קונבולוציה מעל ערוץ תקשורת רועש. הוא פותח באופן בלתי-תלוי על ידי מספר גורמים אחרים.

פסאודו-קוד

אלגוריתם ויטרבי מקבל כקלט רצף תצפיות $Y=(y_{1},y_{2},\ldots ,y_{T})\in \{1,2,\dots ,N\}^{T}$ , ומטרתו להוציא את רצף המצבים $X=(x_{1},x_{2},\ldots ,x_{T})\in S=\{s_{1},s_{2},\dots ,s_{K}\}^{T}$ הסביר ביותר בהינתן התצפיות $Y$ . בהקשר זה, $T$ הוא אורך הרצף (תצפיות ומצבים), $N$ הוא גודל מרחב התצפיות ו- $K$ הוא גודל מרחב המצבים.

במהלך פעולתו, האלגוריתם משתמש בשתי טבלאות בגודל $K\times T$ :

טבלה $T_{1}$ , שבה האיבר $T_{1}[i,j]$ מכיל את ההסתברות של הנתיב (רצף) הכי סביר עד כה: ${\hat {X}}=({\hat {x}}_{1},{\hat {x}}_{2},\ldots ,{\hat {x}}_{j})$ .
טבלה $T_{2}$ שבה האיבר $T_{2}[i,j]$ מכיל את ${\hat {x}}_{j-1}$ של המסלול הסביר ביותר עד כה.

האלגוריתם ממלא את הטבלאות לפי סדר עולה של $K\cdot j+i$ , ולפי הנוסחאות הרקורסיביות:

T_{1}[i,j]=\max _{k}{(T_{1}[k,j-1]\cdot A_{ki})\cdot B_{iy_{j}}}

T_{2}[i,j]=\operatorname {argmax} _{k}{(T_{1}[k,j-1]\cdot A_{ki})}

כאשר $A_{ki}$ ו- $B_{iy_{j}}$ מוגדרים מטה.

קלט

מרחב התצפיות $O=\{o_{1},o_{2},\dots ,o_{N}\}$
מרחב המצבים $S=\{s_{1},s_{2},\dots ,s_{K}\}$
ההסתברויות ההתחלתיות $\Pi =(\pi _{1},\pi _{2},\dots ,\pi _{K})$ , כך ש- $\pi _{i}$ היא ההסתברות ש- $x_{1}==s_{i}$
רצף תצפיות $Y=(y_{1},y_{2},\ldots ,y_{T})$ כך ש- $y_{t}==i$ אם התצפית בזמן $t$ היא $o_{i}$
מטריצת המעברים $A$ ממימד $K\cdot K$ כך ש- $A_{ij}$ היא הסתברות המעבר ממצב $s_{i}$ למצב $s_{j}$
מטריצת הפלטים $B$ ממימד $K\cdot N$ כך ש- $B_{ij}$ הוא ההסתברות לתצפית $o_{j}$ בהינתן שהמצב הוא $s_{i}$

פלט

רצף המצבים הסביר ביותר $X=(x_{1},x_{2},\ldots ,x_{N})$

 function VITERBI $(O,S,\Pi ,Y,A,B):X$ 
     for each state  $i\in \{1,2,\ldots ,K\}$  do
          $T_{1}[i,1]\leftarrow \pi _{i}\cdot B_{iy_{1}}$ 
          $T_{2}[i,1]\leftarrow 0$ 
     end for
     for each observation  $i=2,3,\ldots ,T$  do
         for each state  $j\in \{1,2,\ldots ,K\}$  do
              $T_{1}[j,i]\leftarrow B_{jy_{1}}\cdot \max _{k}{(T_{1}[k,i-1]\cdot A_{kj})}$ 
              $T_{2}[j,i]\leftarrow \arg \max _{k}{(T_{1}[k,i-1]\cdot A_{kj}})$ 
         end for
     end for
      $z_{T}\leftarrow \arg \max _{k}{(T_{1}[k,T])}$ 
      $x_{T}\leftarrow s_{z_{T}}$ 
     for  $i\leftarrow T,T-1,\dots ,2$   do
          $z_{i-1}\leftarrow T_{2}[z_{i},i]$ 
          $x_{i-1}\leftarrow s_{z_{i-1}}$ 
     end for
     return  $X$ 
 end function