上海快3怎么样充值

歡迎來到 盛火數據
0411-62668989
  /
公司新聞 行業動態

網站從小型到大型的演變過程

2019-06-03
       1. 初始階段的網站架構
       大型網站都是從小型網站發展起來的,網站架構也是一樣,網站剛開始搭建處于雛形階段,訪問量小,一臺服務器完全夠用,也是大部分企業級應用的選擇


       應用程序,數據庫,文件都部署在一臺服務器的,通常服務器選用Linux,應用程序選用PHP,然后部署在Apache 上,數據庫使用MySQL,匯集各種開源軟件以及一架廉價的服務器就可以進行開發

       2. 應用服務和數據分離
       隨著業務的發展,一臺服務器不能滿足業務需求:越來越多的用戶訪問導致性能越來越差,越來越多的數據導致服務器存儲空間不足,這就需要將應用和數據分離。應用和數據分離后整個網站使用三臺服務器,應用服務器,文件服務器,數據庫服務器


       應用和數據分離后,不同特性的服務器承擔不同的服務角色,網站的并發處理能力和數據存儲都得到了很大的改善,支持業務的進一步發展。但是隨著業務的增多,訪問量增大,網站又一次面臨挑戰,數據庫壓力太多導致訪問延遲,進而影響整個網站的性能,用戶體驗受到影響

       3. 使用緩存改善網站性能
       網站訪問特點和現實世界的財富分配通常符合二八定律: 80%的業務訪問集中在20% 的數據上,淘寶買家瀏覽的商品集中在少部分成交數多、評價良好的商品上;百度搜索的關鍵詞集中在少部分熱門詞匯上,搜索出來的詞條你也會瀏覽前兩頁的內容。


       既然大部分的瀏覽都只會放在一小部分數據上,那么是否能把這些數據緩存起來放在內存中,是不是就可以減少數據庫的壓力,從而提高整個網站的數據訪問速度,改善數據庫的寫入性能了呢?


       網站的緩存分為兩種: 緩存在本地服務器上的本地緩存,緩存在遠程服務器上的遠程緩存,本地緩存的訪問速度要比遠程緩存的更快。但是受應用服務器的內存限制,往往會存在本地緩存和應用程序競爭內存的情況,這種情況在遠程服務器上就不會存在,遠程分布式緩存可以使用集群的方式,部署大內存的服務器使用專門的緩存服務器,理論上可以做到不受內存限制的緩存服務


       使用緩存后,有效的改善了數據庫訪問的壓力,但是單一應用程序的服務器能夠處理的連接有限,在網站訪問的高峰期間,應用服務器會成為網站的瓶頸

4. 使用應用服務器集群改善網站的并發處理能力
       使用集群是解決高并發,海量數據問題的關鍵手段,當一臺服務器的處理能力、存儲空間不足的時候,不要嘗試去更換一臺存儲量更大的服務器,而是考慮集群部署,因為對于大型網站而言,不管多么強大的服務器,都滿足不了網站持續增長的業務。


       應用服務器集群部署,使用負載均衡服務器做負載控制,能夠改善流量峰值對應用服務器的壓力,避免單一服務器承擔更多的請求壓力。如果還有更多的請求,那么就在現有的基礎上增加更多的應用服務器。

       5. 數據庫讀寫分離
       使用緩存后,能夠改善一部分的數據庫訪問壓力,使絕大多數數據讀操作訪問不用通過數據庫就能完成,但是仍有一部分讀(緩存訪問不命中,緩存過期)和全部的寫操作都會直接訪問數據庫,在網站到達一定的規模后,也會增大數據庫的壓力


       目前大部分主流數據庫都提供主從熱備功能,通過配置兩臺數據庫搭建主從關系,可以將一臺數據庫服務器的數據更新同步到另一臺服務器上,網站可以利用這一特性,實現數據庫的讀寫分離的功能,從而改善數據庫的壓力。


       應用在寫數據的時候,訪問主服務器,在讀數據的時候,訪問從服務器,主數據庫通過主從復制的功能將數據同步更新到從服務器,這樣當有讀操作的時候,就會直接訪問從服務器,當有寫操作的時候,會直接訪問主服務器,為了便于應用程序訪問讀寫分離后的數據庫,通常在應用服務器端使用專門的數據訪問模塊,使數據庫讀寫分離對應用透明

       6. 使用反向代理和CDN加速網站響應
       隨著網站規模不斷擴大,用戶規模越來越大,由于國內網絡情況復雜,不同地區的用戶訪問網站時,速度差別也極大。有研究表明,網站訪問延遲和用戶流失率正相關,網站訪問越慢,用戶的流失率越快,所以為了更好的用戶體驗,留住用戶,網站需要更快的訪問速度,主要手段有使用CDN和反向代理


       CDN和反向代理的基本原理都是緩存,區別在于CDN部署在網絡提供商的機房,使用戶在請求網站服務時,可以從距離自己最近的機房獲取數據;而CDN則部署在網站的中心機房,當用戶請求到達中心機房后,首先訪問的服務器是反向代理服務器,如果反向代理服務器緩存著資源,就會直接返回給用戶




       使用CDN的目的都是盡早返回數據給用戶,一方面能夠加快訪問速度,一方面都能減輕服務器的壓力



       7. 使用分布式文件系統和分布式數據庫系統
       任何強大的單一服務器都滿足不了大型網站持續增長的業務需求。數據庫經過讀寫分離后,從一臺服務器拆分成兩臺服務器,但是隨著網站業務的發展不能滿足業務的需求,需要使用分布式的存儲服務器,文件系統能夠也是一樣,需要使用分布式文件系統。


       分布式數據庫是網站數據庫拆分的重要手段,只有在單表數據非常龐大的時候才使用。不到不得已時,網站最常用的數據庫拆分手段是業務分庫。將不同業務的數據部署在不同的服務器上。





       8. 使用NoSQL和搜索引擎
       隨著網站業務的擴大,對數據存儲和檢索的要求也越來越高,網站需要采用一些非關系型數據庫技術如NoSQL和非數據庫查詢技術和搜索引擎


       NoSQL和搜索引擎都是源自互聯網的技術手段,對可伸縮的分布式特性具有更好的支持。應用服務器則通過一個統一數據訪問模塊訪問各種數據。減輕應用程序管理諸多數據源的麻煩

       9. 業務拆分
       大型網站為了應對日益繁雜的業務場景,通過使用分而治之的方式將整個網站的業務拆分成不同的產品線,如大型購物交易網站就會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線,分歸不同的業務部門負責管理。


       具體到技術上,也會根據產品線劃分產品,將一個產品拆分成不同的應用。每個應用獨立部署和維護,應用之間可以通過超鏈接簡歷關系,也可以通過消息隊列進行數據分發,當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

       10. 分布式服務
       隨著業務拆分越來越小,存儲系統越來越大,應用系統的整體復雜度呈指數增長,部署越來越困難。由于所有的應用都要和數據庫系統連接。在數萬臺服務器規模的網站中,這些連接的數目是服務器規模的平方。導致存數據庫連接資源不足。拒絕服務。


       既然每一個應用系統都需要執行許多相同的業務操作,可以把相同的業務提取出來。由這些可復用的業務連接數據庫。提供公用業務服務。

       大型網站演化到這里,基本上大多數的技術問題都可以解決,諸如跨數據中心的實時數據同步和具體網站業務相關的問題都可以通過組合改進現有的技術架構來解決。