Создание решений для помощи людям с нарушениями слуха, использующим бенгальский жестовый язык, который считается языком с ограниченными ресурсами, представляет собой сложную задачу из-за нехватки ресурсов и доступности экспертов. В данной статье представлена новая информационно-теоретическая метрика – информационная ценность для лексикографии жестов (IV-SL), разработанная для автоматизации процесса лексикографического отбора при разработке словаря жестового языка. Предложенная структура использует реализацию на основе Python, которая включает MediaPipe Holistic для извлечения визуально-кинематических признаков, включая формы рук, траекторию движения и выражения лица, а также Word2Vec для семантических связей между векторными представлениями слов бенгальского языка. Итеративный механизм отбора определяет приоритетность жестов на основе максимального прироста информации на словарную запись, балансируя редкость и разнообразие для минимизации избыточности при обеспечении широкого лексического охвата. Экспериментальная проверка показывает, что метрика IV-SL создает приоритетные лексиконы с высокой степенью соответствия экспертным оценкам лингвистов, значительно превосходящие базовые модели, основанные на частоте. Первичная валидация проведена на синтетическом датасете (880 образцов) с моделированием фонологических признаков. Подтверждение на реальных видеоданных бенгальского жестового языка остается предметом будущих исследований. Научная новизна данного исследования заключается в принципиальном применении критериев информативности и разнообразия – концепций, заимствованных из теории активного обучения, – к лексикографии жестовых языков, предлагая масштабируемое и воспроизводимое решение для жестовых языков с ограниченными ресурсами.
Creating solutions to help the hearing impaired individuals who use Bengali Sign Language, which is considered a low-resource language, is a challenge due to a lack of resources and expert availability. This paper introduces a novel information-theoretic metric, the Information Value for Sign Lexicography (IV-SL), designed to automate the lexicographic selection process for sign language dictionary development. The proposed framework uses a Python-based implementation, which incorporates MediaPipe Holistic for the extraction of visual-kinematic features, including handshapes, movement trajectory, and facial expressions, as well as Word2Vec for the semantic relationships between the gloss word embeddings of the Bengali language. An iterative selection mechanism prioritizes signs based on maximum information gain per dictionary entry, balancing rarity and diversity to minimize redundancy while ensuring broad lexical coverage. Experimental validation demonstrates that the IV-SL metric produces prioritized lexicons with strong alignment to expert linguist judgments, significantly outperforming frequency-based baselines. Initial validation was conducted on a synthetic dataset (880 samples) with simulated phonological features. Confirmation on real-world Bengali Sign Language video data remains a subject for future research. The scientific novelty of this research lies in the principled application of informativeness and diversity criteria – concepts drawn from active learning theory – to sign language lexicography, offering a scalable, reproducible solution for under-resourced sign languages.
The authors declare that there are no conflicts of interest present.