80億條資料,使用什麼樣的方法可以實現3秒內返回結果?

時間 2021-06-09 21:02:30

1樓:

分布式資料庫可以看看TiDB

還有搜尋引擎,也有分布式的。

簡單的說就是。拆分運算搜尋。

或者自己分表,

把資料按照一定的邏輯分布在多個表,

這樣就可以分開查詢,然後再聚合資料。

這樣速度可以N倍。

2樓:ati att

常見的mysql就可以實現

Atitit mysql高效能指南百億資料1.1. 百億資料體積大概1tb空間占用 12. 一些規則限制 1

2.1. Mysql單錶盡可能不超過一億資料否則索引可能插入太慢 12.2. 每個表空間資料檔案盡可能10g內,方便備份維護 13. 分割槽與二級分割槽 1

3.1. 計算分割槽數量所以我的得出分割槽數量,大概只需要一百個分割槽即可。 1

4. 使用ssd大力提公升iops效能 2

5. 多磁碟把不同的表空間檔案(表的物理儲存檔案)放在不同的磁碟提公升併發io 2

5.1. 適當做raid磁碟陣列 2

6. 儲存引擎的選擇,盡可能使用非事務型儲存引擎,效能更高 27. 其他方法 2

7.1. 使用非同步索引等提公升插入效能 2

7.2. 自己實現多級索引機制可以提公升很大效能 2按照每條節來算 ,大約1tb空間占用 ,也不是很多 ,每一億資料大概10g空間

這個可以只使用乙個分割槽級別就夠了

使用Python在58萬條資料的資料集上進行機器學習,執行速度很慢,怎麼優化?

deff cnn 1 train set train label 訓練集的所有下標 set t iforiin range len train set 初始化最近鄰列表 nearest 5 120,點5在集合S中的最近鄰是120 nearest 1 len train set 子集S set s S...

160cm80斤的女生什麼樣

160 才80,但看起來不瘦說明體脂高肌肉低,看了一圈回答裡的圖大部分都屬於這種。看起來瘦就是全都低 總之就都是不是健康狀態。多鍛鍊健身的話,160,100斤上也可以是這種體型 好吃懶做 我就是160cm,80斤。看起來其實不會感覺皮包骨,身上還是很多肉的,主要的骨架很小所以才瘦。有次我朋友捏我胳膊...

什麼樣的資料服從正態分佈

林德博格 最近在家隔離,樓主就來寫乙個比較完整的回答吧。首先,資料的分布可能多種多樣。我們給兩三個例子,均以直方圖為例子。第一,資料可能是這樣偏左分布的 資料分布偏向於左方 第二,資料可能是這樣偏右分布的 資料分布偏向於右方 第三,資料的分布可能是或高或低的 資料分布或高或低 此外,在現實生活中,很...