Алгоритм стеммер Портера. Морфологический разбор слова

Для поиска в строке или тексте подобных слов - имеющих одинаковый корень, можно воспользоваться алгоритмом стеремминг. Это необходимо, к примеру, для определения семантического ядра или тематики текста. Стеремминг — это алгоритм, с помощью которого можно определить корневую основу слова, корень - такую часть слова, которая не меняется. Если к выделенному корню прибавить суффиксы и соответствующее окончание, то можно получить различные словоформы. Алгоритмы подобного типа используются поисковыми системами - yandex, google, другими.

Одним из таких алгоритмов является стеммер Портера. Он был представлен широким массам в 1980 году.

Стеммер Портера не использует корней, а просто отбрасывает суффиксы и окончания, используя основные морфологические правила языка. Благодаря такому упрощению работает быстро, но с некоторой погрешностью.  На самом деле стемминг алгоритм  Портера - это псевдо морфологический разбор слова, однако,  этот алгоритм и был создан для простого и быстрого формирования суждения о структуре слова.

Исходный код (php) взят с просторов интернета

<?php
#mb_regex_encoding( 'UTF-8' );
#mb_internal_encoding( 'UTF-8' );
class Lingua_Stem_Ru
{
    var $VERSION = "0.02";
    var $VOWEL = '/аеиоуыэюя/';
    var $PERFECTIVEGROUND = '/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';


   var $REFLEXIVE = '/(с[яь])$/';
    var $ADJECTIVE = '/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$/';
    var $PARTICIPLE = '/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/';
    var $VERB = '/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])
(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/';
    var $NOUN = '/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$/';
    var $RVRE = '/^(.*?[аеиоуыэюя])(.*)$/';
    var $DERIVATIONAL = '/[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$/';


    function s(&$s, $re, $to)
    {
        $orig = $s;
        $s = preg_replace($re, $to, $s);
        return $orig !== $s;
    }
 
    function m($s, $re)
    {
        return preg_match($re,$s);
    }

    function stem_word($word)
    {
        $word = mb_strtolower($word, mb_detect_encoding($word));
        //$word = mb_strtolower($word, '');
        $word = str_replace('ё', 'е', $word);
        $stem = $word;
        do {
          if (!preg_match($this->RVRE, $word, $p)) break;
          $start = $p[1];
          $RV = $p[2];
          if (!$RV) break;
 
          # Step 1
          if (!$this->s($RV, $this->PERFECTIVEGROUND, '')) {
              $this->s($RV, $this->REFLEXIVE, '');
              if ($this->s($RV, $this->ADJECTIVE, '')) {
                  $this->s($RV, $this->PARTICIPLE, '');
              } else {
                  if (!$this->s($RV, $this->VERB, ''))
                      $this->s($RV, $this->NOUN, '');
              }
          }

          # Step 2
          $this->s($RV, '/и$/', '');

          # Step 3
          if ($this->m($RV, $this->DERIVATIONAL))
              $this->s($RV, '/ость?$/', '');

          # Step 4
          if (!$this->s($RV, '/ь$/', '')) {
              $this->s($RV, '/ейше?/', '');
              $this->s($RV, '/нн$/', 'н');
          }

          $stem = $start.$RV;
        } while(false);
        return $stem;
    }

};
?>