索引資源調(diào)度及更新系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、O2O作為當(dāng)前互聯(lián)網(wǎng)的熱點方向之一，發(fā)展迅猛，無數(shù)線下商家通過O2O平臺為廣大用戶提供服務(wù)，隨著商家的增多，用戶不能再通過查找獲取心怡的商家，而搜索引擎則為用戶提供了便捷查找商家的服務(wù)。這種在O2O場景下應(yīng)用的搜索引擎，具有自己獨立的特征，雖不及全文搜索引擎的信息全面，但需要確保每一條結(jié)果的信息的完整性，如何確保搜索結(jié)果的準(zhǔn)確性也成為了嚴(yán)峻的課題。
　　本文將介紹一種O2O場景下垂直搜索引擎的索引更新及調(diào)度系統(tǒng)，該系統(tǒng)不僅可以確保

2、跨機房多機器間索引的一致性，同時在時效性方面，也可以確保在分鐘級別內(nèi)完成萬兆數(shù)據(jù)量的拉取工作;此外，該系統(tǒng)可以自動化地完成服務(wù)上下線，索引自動拉取，服務(wù)監(jiān)控及治理等工作。索引更新當(dāng)中采用混合更新機制完成檢索服務(wù)索引更新的工作，索引資源調(diào)度解決了索引文件調(diào)度，為集群中的所有機器提供流量轉(zhuǎn)移服務(wù)，保證整個服務(wù)的穩(wěn)定性。該系統(tǒng)保證了線上服務(wù)的穩(wěn)定運行，確保為用戶提供一個可靠的檢索服務(wù)。本系統(tǒng)采用Python+Lua語言完成開發(fā)，其中Lua腳本

3、語言為基礎(chǔ)檢索服務(wù)提供支持，因為Lua可以無縫嵌入C++中，本系統(tǒng)將功能需求進行分層抽象，同時將個業(yè)務(wù)進行模塊抽象，保證系統(tǒng)良好的可擴展性和性能的穩(wěn)定性。本系統(tǒng)除了可以保證索引重建的完整性，同時在時效性方面，系統(tǒng)可以保證在較短時間內(nèi)完成索引的拉取和推送。
　　該系統(tǒng)有效地保證了垂直搜索引擎中資源的合理分配，索引更新的時效性及一致性，并結(jié)合O2O的應(yīng)用場景做適應(yīng)性開發(fā)，如今已應(yīng)用到實際生產(chǎn)環(huán)境，并對整體檢索服務(wù)帶來了積極的影響，在未