Лематизація (lemmatization)

Лематизація – (від лат. lemma – словникова форма від значення “щось отримане безкоштовно”) – процедура комп’ютерної й корпусної лінгвістики, що відновлює словникову форму за її словоформою [Селіванова, с. 329]. В. Левелт у своїх дослідженнях будував лематизацію з урахуванням членування системи на підсистеми, кожна з яких отримує відповідний вид мовленнєвої інформації і надає певний продукт. Такими підсистемами в його моделі є концептуалізатор, продуктом якого є довербальне повідомлення, формувальник, що здійснює граматичне й фонологічне кодування у взаємодії з лексиконом, й артикулятор, який перетворює фонетичний план (внутрішнє мовлення) на зовнішнє [Селіванова, с. 329]. Процес лематизації в природній обробці мови передбачає роботу зі словами відповідно до їх кореневих лексичних компонентів. Він використовується при обробці природних мов і розумінні природної мови в комп'ютерному програмуванні та штучному інтелекті. Комп’ютер може групувати слова, які не мають однакового стебла, але все ж мають однакове переплете значення. Групування слова «добре» за такими словами, як «краще» та «найкраще» – приклад лематизації. Лематизація також є передвісником підвищеної витонченості штучного інтелекту – оскільки обробка природних мов досягає лематизації, вона здатна більше розбирати дані та забезпечувати інтелектуальні результати. Це буде важливим аспектом NLP, оскільки технологія наближається до проходження тесту Тюрінга з комп'ютерами, які чують, розуміють, думають та говорять, як люди [Інтернетпосилання].

Джерела:

⠀ 1. Ганич, Д.І., Олійник, І.С. (1985). Словник лінгвістичних термінів. К: Вища школа.

⠀ 2. Селіванова, О.О. (2011). Лінгвістична енциклопедія. Полтава: Довкілля-К.

⠀ 3. https://uk.theastrologypage.com/lemmatization