ОРГАНИЗАЦИЯ ИНДЕКСА РАСПРЕДЕЛЕННОЙ ПОИСКОВОЙ СИСТЕМЫ, РАБОТАЮЩЕЙ ПО АЛГОРИТМУ КОНСЕНСУСА *BFT

Актуальность исследования обусловлена высоким влиянием ценовой В рамках данной статьи рассматривается алгоритм построения поискового индекса распределенной поисковой системы, применяющей алгоритм консенсуса семейства *BFT (Byzantine Fault Tolerance), а также его реорганизация, вызванной добавлением или выходом узлов из состава поискового кластера. В статье детально описывается структура кластера, добавление данных в индекс, алгоритм реорганизации, а также рассматриваются возможные сопутствующие проблемы, описываются их решения. Вместе с тем рассматриваются ограничения, накладываемые как самой природой распределенных вычислений, так и необходимостью соответствию требованиям BFT. Актуальность задачи обуславливается возрастающей необходимостью применения распределенных систем для решения разнородных практических задач, в том числе и организации поиска, а также необходимостью адаптации существующих решений к условиям распределенных систем и учета накладываемых ими ограничений, что подтверждается как существованием активных исследований в данной области, так и сложившейся на рынке ситуацией. Методы и подходы, применяемые в данной работе, с некоторой модификацией, могут быть перенесены на схожие задачи, возникающие в распределенных системах других типов. Результаты и материалы статьи могут быть использованы для решения прикладных задач при реализации распределенных вычислительных систем, распределенных поисковых систем, распределенных систем хранения данных.

1. Benet J. IPFS – Content Addressed, Versioned, P2P File System / J. Benet. – Версия DRAFT 3 – 2014. – 11с. https://arxiv.org/pdf/1407.3561.pdf

2. Ongaro D., Ousterhout J. In Search of an Understandable Consensus Algorithm / D. Ongaro, J. Ousterhout – Stanford University – 2013. – 18 с.

3. Castro M., Liskov B. Practical Byzantine Fault Tolerance / Miguel Castro, Barbara Liskov – Laboratory for Computer Science, Massachusetts Institute of Technology – 1999. – 14 с.

4. Page L., Brin S., Motwani R., Winograd T. The PageRank Citation Ranking: Bringing Order to the Web / Lawrence Page, Sergey Brin, Rajeev Motwani, Terry – Winograd Stanford InfoLab – 1999. – 17 с. http://ilpubs.stanford.edu:8090/422/

5. Back A. Hashcash - A Denial of Service Counter-Measure / A. Back – 2002. – 10с. http://www.hashcash.org/papers/hashcash.pdf

6. Nakamoto S. Bitcoin: A Peer-to-Peer Electronic Cash System – 2008г. – 9 с. https://bitcoin.org/bitcoin.pdf

7. The Community-Powered Search Engine. – 2017г. – 39 с. https://www.presearch.io/uploads/WhitePaper.pdf