Evaluation of the Ontological Knowledge Model/ Ontoloģiskā zināšanu modeļa novērtēšana/ Оценка качества онтологической модели знаний

В данной статье исследуется оценка качества онтологии, построенной для решения задачи управления материальными ресурсами предприятия с помощью многоагентной системы. Онтология в агентной системе обеспечивает одинаковое понимание агентами информации, которой они обмениваются для решения поставленных задач. Онтология представляет собой канал, через который агенты взаимодействуют. Следовательно, для функционирования системы необходимо оценить качество предлагаемой онтологии и ее пригодность к данной задаче. В результате исследования оценки качества онтологической модели знаний были выявлены четыре подхода оценки качества - многокритериальный, сравнение с золотым стандартом, основанный на данных и основанный на применении. Подходы также можно классифицировать относительно уровня оценки - синтаксис, иерархия, отношения и т.п. Для проведения исследования было построено пять онтологий, каждая из них подвергалась оценке четырьмя подходами. Первая онтология имеет только иерархические отношения (таксономия), вторая - онтология с грамматическими ошибками, третья - не покрывающая предметную область (неполная), четвертая - покрывающая всю предметную область, и пятая - онтология, относящаяся к производству, а не закупке сырья. Подход, основанный на данных, сравнил документ, описывающий процесс закупки сырья, и построенные онтологии. Использовались методы точности и полноты для оценки покрытия онтологией предметной области, а также расстояние Левенштейна для определения того, насколько концепты онтологии совпадают с терминами документа. В подходе, основанном на применении, онтологии были включены в агентную систему, и исследовались результаты переговоров между агентами. Только онтология, построенная с высокой точностью и покрывающая предметную область, способна дать результат от ее применения. Затем был произведен сравнительный анализ с золотым стандартом и проведена оценка качества онтологии многокритериальным способом принятия решения. Сравнение с золотым сечением было произведено теми же методами, что и в подходе, основанном на данных. В многокритериальном подходе использовался алгоритм - аналитический иерархический процесс. Во всех результатах четвертая онтология была оценена как наиболее подходящая для поставленной задачи.