高等教育領域數字化綜合服務平臺
中國農業大學
教育部
- 18 高校采購信息
- 348 科技成果項目
- 1 創新創業項目
- 0 高校項目需求
一種基于Hadoop的海量矢量數據劃分方法及系統
2021-04-11 00:00:00
云上高博會
http://www.6gsl1hl.xyz
關鍵詞：
海量矢量數據劃分
所屬領域:
項目成果/簡介:
本發明涉及一種基于Hadoop的海量矢量數據劃分方法及系統。該方法包括：基于Hilbert空間填充曲線對空間數據集中的空間要素進行空間編碼；通過Map函數和Reduce函數實現空間要素的鍵值化，并生成空間數據樣本信息集；根據所述空間數據樣本信息集生成空間數據劃分矩陣；根據所述空間數據劃分矩陣將各個空間要素劃分入對應的存儲數據塊中，同時將相鄰數據塊分發至同一集群節點上。本發明系統將Hilbert空間填充曲線引入到數據抽樣和劃分規則中，充分考慮空間數據相鄰對象的空間位置關系、空間對象的自身大小以及相同編碼塊的空間對象個數等影響要素，不僅保證了樣本信息集的空間分布特征，提高了海量矢量數據的空間索引效率；同時也保證了基于HDFS數據塊存儲的負載均衡。
項目階段:
掃碼關注，查看更多科技成果
取消
確定