美打破“太字節障礙”創數據分類速度紀錄

美國加州大學計算機科學家打破了“太字節（Terabyte）障礙”，創造了在60秒內對超過太字節數據進行分類的世界紀錄。在被譽為“數據分類的世界杯”的“分類基準”比賽中，他們還追平了最快數據分類率的世界紀錄，172分鐘內數據分類量達到1萬億字節，不過使用的計算機資源只有原紀錄創造者計算機資源的1/4。
　　尋求新趨勢、高效率和其他競爭優勢的公司致力于發展大數據量的分類途徑，通常此項工作需要超強的數據中心。互聯網的運行顯示了數據分類的重要性，社會網絡的廣告、亞馬遜網站的推薦以及谷歌的搜索結果均源自對多達數拍字節（petabyte）數據組的分類。1拍字節等于1000太字節。
　　研究項目負責人、加州大學圣地亞哥分校計算機科學教授阿敏·瓦達特表示，如果某家大公司需要查詢所有相關的網頁或產品銷售，這需要對多達數拍字節的數據組進行分類，而數據組本身每天可呈千兆字節的速度增長。公司在不斷地將其數據分類的數量和速度推向極限。瓦達特認為，實時的數據分析需要更好的分類技術。在數據中心，分類常常是許多更高級活動的“瓶頸”。
　　計算機科學家面對的數據分類挑戰不同于其他的利用現成數據庫軟件參加的比賽，它們之間最大的差異是在太字節和拍字節分類中，數據遠遠超過了計算機做分類所具有的內存容量。為了建立自己的大數據量分類系統，瓦達特他們專門設計了高速且平衡的計算機系統。所謂平衡系統是指系統內的技術資源如內存、存儲和網絡寬帶等被全量使用，做到盡可能沒有浪費。
　　為打破“太字節障礙”，瓦達特他們建立的計算機系統擁有52個計算機節點，每個節點為1臺裝有兩個4核處理器的服務器，其內存為24千兆字節，16塊每塊為500千兆字節的硬盤組成了存儲空間。作為合作者，美國思科公司為研究小組提供了Nexus 5020交換機。