分布式計算
  • 拼 音:
  • 注 音:
  • 繁體字:
提交資料
  • 基本解釋

     所謂分布式計算是一門計算機(jī)科學(xué),它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然后把這些部分分配給許多計算機(jī)進(jìn)行處理,最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。 最近的分布式計算項目已經(jīng)被用于使用世界各地成千上萬位志愿者的計算機(jī)的閑置計算能力,通過因特網(wǎng),您可以分析來自外太空的電訊號,尋找隱蔽的黑洞,并探索可能存在的外星智慧生命;您可以尋找超過1000萬位數(shù)字的梅森質(zhì)數(shù);您也可以尋找并發(fā)現(xiàn)對抗艾滋病病毒的更為有效的藥物。這些項目都很龐大,需要驚人的計算量,僅僅由單個的電腦或是個人在一個能讓人接受的時間內(nèi)計算完成是決不可能的。

  • 詳細(xì)解釋


     分布式計算是利用互聯(lián)網(wǎng)上的計算機(jī)的 中央處理器 的閑置處理能力來解決大型計算問題的一種計算科學(xué)。下面,我們看看它是怎么工作的:

    首先, 要發(fā)現(xiàn)一個需要非常巨大的計算能力才能解決的問題。這類問題一般是跨學(xué)科的、極富挑戰(zhàn)性的、人類急待解決的科研課題。其中較為著名的是:

    1.解決較為復(fù)雜的數(shù)學(xué)問題,例如:GIMPS(尋找最大的梅森素數(shù))。

    2.研究尋找最為安全的密碼系統(tǒng),例如:RC-72(密碼破解)。

    3.生物病理研究,例如:Folding@home(研究蛋白質(zhì)折疊,誤解,聚合及由此引起的相關(guān)疾病)。

    4.各種各樣疾病的藥物研究,例如:United Devices(尋找對抗癌癥的有效的藥物)。

    5.信號處理,例如:SETI@Home(在家尋找地外文明)。

    從這些實際的例子可以看出,這些項目都很龐大,需要驚人的計算量,僅僅由單個的電腦或是個人在一個能讓人接受的時間內(nèi)計算完成是決不可能的。在以前,這些問題都應(yīng)該由超級計算機(jī)來解決。但是, 超級計算機(jī)的造價和維護(hù)非常的昂貴,這不是一個普通的科研組織所能承受的。隨著科學(xué)的發(fā)展,一種廉價的、高效的、維護(hù)方便的計算方法應(yīng)運而生——分布式計算!

    隨著計算機(jī)的普及,個人電腦開始進(jìn)入千家萬戶。與之伴隨產(chǎn)生的是電腦的利用問題。越來越多的電腦處于閑置狀態(tài),即使在開機(jī)狀態(tài)下中央處理器的潛力也遠(yuǎn)遠(yuǎn)不能被完全利用。我們可以想象,一臺家用的計算機(jī)將大多數(shù)的時間花費在“等待”上面。即便是使用者實際使用他們的計算機(jī)時,處理器依然是寂靜的消費,依然是不計其數(shù)的等待(等待輸入,但實際上并沒有做什么)?;ヂ?lián)網(wǎng)的出現(xiàn), 使得連接調(diào)用所有這些擁有限制計算資源的計算機(jī)系統(tǒng)成為了現(xiàn)實。

    那么,一些本身非常復(fù)雜的但是卻很適合于劃分為大量的更小的計算片斷的問題被提出來,然后由某個研究機(jī)構(gòu)通過大量艱辛的工作開發(fā)出計算用服務(wù)端和客戶端。服務(wù)端負(fù)責(zé)將計算問題分成許多小的計算部分,然后把這些部分分配給許多聯(lián)網(wǎng)參與計算的計算機(jī)進(jìn)行并行處理,最后將這些計算結(jié)果綜合起來得到最終的結(jié)果。

    當(dāng)然,這看起來也似乎很原始、很困難,但是隨著參與者和參與計算的計算機(jī)的數(shù)量的不斷增加, 計算計劃變得非常迅速,而且被實踐證明是的確可行的。目前一些較大的分布式計算項目的處理能力已經(jīng)可以達(dá)到甚而超過目前世界上速度最快的巨型計算機(jī)。

    您也可以選擇參加某些項目以捐贈Cpu的內(nèi)核處理時間,您將發(fā)現(xiàn)您所提供的 中央處理器 內(nèi)核處理時間將出現(xiàn)在項目的貢獻(xiàn)統(tǒng)計中。您可以和其他的參與者競爭貢獻(xiàn)時間的排名,您也可以加入一個已經(jīng)存在的計算團(tuán)體或者自己組建一個計算小組。這種方法很利于調(diào)動參與者的熱情。

    隨著民間的組隊逐漸增多, 許多大型組織(例如公司、學(xué)校和各種各樣的網(wǎng)站)也開始了組建自己的戰(zhàn)隊。同時,也形成了大量的以分布式計算技術(shù)和項目討論為主題的社區(qū),這些社區(qū)多數(shù)是翻譯制作分布式計算項目的使用教程及發(fā)布相關(guān)技術(shù)性文章,并提供必要的技術(shù)支持。

    那么誰可能加入到這些項目中來呢? 當(dāng)然是任何人都可以! 如果您已經(jīng)加入了某個項目,而且曾經(jīng)考慮加入計算小組, 您將在中國分布式計算總站及論壇里找到您的家。任何人都能加入任何由我站的組建的分布式計算小組。希望您在中國分布式總站及論壇里發(fā)現(xiàn)樂趣。

    參與分布式計算——一種能充分發(fā)揮您的個人電腦的利用價值的最有意義的選擇——只需要下載有關(guān)程序,然后這個程序會以最低的優(yōu)先度在計算機(jī)上運行,這對平時正常使用計算機(jī)幾乎沒有影響。如果你想利用計算機(jī)的空余時間做點有益的事情,還猶豫什么?馬上行動起來吧,你的微不足道的付出或許就能使你在人類科學(xué)的發(fā)展史上留下不小的一筆呢!

    專業(yè)定義 (中國科學(xué)技術(shù)信息研究所對分布式計算的定義)

    分布式計算是近年提出的一種新的計算方式。所謂分布式計算就是在兩個或多個軟件互相共享信息,這些軟件既可以在同一臺計算機(jī)上運行,也可以在通過網(wǎng)絡(luò)連接起來的多臺計算機(jī)上運行。分布式計算比起其它算法具有以下幾個優(yōu)點:

    1、稀有資源可以共享。

    2、通過分布式計算可以在多臺計算機(jī)上平衡計算負(fù)載。

    3、可以把程序放在最適合運行它的計算機(jī)上。

    其中,共享稀有資源和平衡負(fù)載是計算機(jī)分布式計算的核心思想之一。

    實際上,網(wǎng)格計算就是分布式計算的一種。如果我們說某項工作是分布式的,那么,參與這項工作的一定不只是一臺計算機(jī),而是一個計算機(jī)網(wǎng)絡(luò),顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力。網(wǎng)格計算的實質(zhì)就是組合與共享資源并確保系統(tǒng)安全。

    分布式計算的意義和格局

    一、分布式計算與人類由于現(xiàn)代人類各個課題學(xué)科繁多,涉及面廣,而分類又細(xì)。而當(dāng)今的每個學(xué)科似乎都需要進(jìn)行大量的計算。天文學(xué)研究組織需要計算機(jī)來分析太空脈沖(pulse),星位移動;生物學(xué)家需要計算機(jī)來模擬蛋白質(zhì)的折疊(protein folding)過程;藥物學(xué)家想要研制克服愛滋病(AIDS)或非典(SARS)的藥物;數(shù)學(xué)家想計算最大的質(zhì)數(shù)和圓周率的更精確值;經(jīng)濟(jì)學(xué)家要用計算機(jī)分析計算在幾萬種因素考慮下某個企業(yè)/城市/國家的發(fā)展方向從而宏觀調(diào)控。由此可見,人類未來的科學(xué),時時刻刻離不開計算。而分布式計算(Distributed Computing),以其獨特的優(yōu)點——便宜、高效而越來越受到社會的關(guān)注。

    二、雜亂無章的分布式計算格局

    就目前來看,全球的各種分布式計算已有約百種,這些計算大多互無聯(lián)系、獨立管理、獨立使用自己的一套軟件。目前的這種分布式計算互相割據(jù)的格局很不利于發(fā)展的需要。比如,某個生物學(xué)研究機(jī)構(gòu)需要利用世界各地志愿者的計算機(jī)來模擬蛋白質(zhì)折疊的過程,那個生物學(xué)研究機(jī)構(gòu)沒有分布式計算方面的專業(yè)人才,而但是社會上也并沒有任何公司可以提供這樣的服務(wù),他們就不得不自己花費大量精力用于開發(fā)分布式計算的服務(wù)器、客戶端。這樣一來,原來可以用于研究生物的時間用在了別的地方。剛才提到的生物學(xué)研究機(jī)構(gòu)就是美國斯坦福大學(xué)的PANDE小組。

    三、BOINC一統(tǒng)大局,互相協(xié)作!

    為了改變這種雜亂無章的割據(jù),美國加州大學(xué)伯克利分校(UC Berkeley)首先提出了建立BOINC的想法。BOINC的中文全稱是伯克利開放式網(wǎng)絡(luò)計算平臺(Berkeley Open Infrastructure for Network Computing),他能夠把許多不同的分布式計算項目聯(lián)系起來統(tǒng)一管理。并對計算機(jī)資源進(jìn)行統(tǒng)一分配(比方您對研究艾滋病藥物和探索地外文明同時感興趣,您就可以同時選擇兩個運行,并設(shè)置優(yōu)先級)。對統(tǒng)計評分系統(tǒng)進(jìn)行統(tǒng)一管理(無論你在為哪個項目工作,只要你奉獻(xiàn)CPU時間長,就積分高)。有了這樣的統(tǒng)一管理,的確給PANDE小組這樣的科學(xué)研究機(jī)構(gòu)提供了便利!

    BOINC目前已經(jīng)成熟,多個項目已經(jīng)成功運行于BOINC平臺之上,如SETI@home, LHC@home等。

    BOINC分布式計算平臺介紹

    BOINC是Berkeley Open Infrastructure for Network Computing的簡稱,即伯克利開放式網(wǎng)絡(luò)計算平臺。

    BOINC是不同分布式計算可以共享的分布式計算平臺。不同分布式計算項目可以直接使用BOINC的公用上傳下載系統(tǒng)、統(tǒng)計系統(tǒng)等,這樣不僅可以發(fā)揮各個分布式計算之間的協(xié)調(diào)性,也能使分布式計算的管理、使用更加方便易用。

    BOINC項目由美國加州大學(xué)伯克利分校(U.C.Berkeley)主持發(fā)起。

    BOINC項目由美國國家科學(xué)基金會(National Science Foundation)贊助。

    BOINC有自己的積分系統(tǒng),因為在BOINC上可以運行的項目千差萬別,比如項目A的任務(wù)包(Workunit,簡稱WU)在某臺機(jī)器里需要3個小時完成,而項目B的任務(wù)包在這臺機(jī)器里需要30個小時才能完成,顯然用WU的數(shù)目來衡量工作量是不可行的;類似的,機(jī)器性能也有差別,用CPU時間來衡量工作量更是不行的。積分系統(tǒng)只能通過一定的算法得到用戶實際完成的計算量,這篇文章對BOINC中積分的計算方法進(jìn)行了說明。

    分布式計算安全嗎?

    對用戶方來說,加入任何一個項目前,您必須確保您可以信任項目的研制方,主要涉及兩方面:

    1.個人計算機(jī)上的隱私數(shù)據(jù),您從項目方下載的計算程序,運行在本機(jī),而且可以訪問網(wǎng)絡(luò),因此,只有可靠的項目方才能保證您計算機(jī)上的隱私數(shù)據(jù)不會惡意的取走、修改等。

    2.個人計算機(jī)的壽命,雖然分布式計算的計算程序一般運行在最低優(yōu)先級,不會對您的日常使用造成影響,但計算程序全負(fù)荷運行時仍會對計算機(jī)的各個部件造成一定壓力,要了解更多請查看分布式計算對計算機(jī)軟硬件的影響。

    對項目方來說,參加分布式計算的志愿者畢竟不是項目方自己的人員,并不是全體可信任,因此必須引入一定的冗余計算機(jī)制,才防止計算錯誤、惡意作弊等。

    分布式計算在中國

    據(jù)中國互聯(lián)網(wǎng)信息中心(CNNIC)的統(tǒng)計信息,中文網(wǎng)民人數(shù)占世界的比重已經(jīng)增長到了12%左右,并且還在快速增長著。這里所說的中文網(wǎng)民是包括大陸、香港、澳門、臺灣和海外華人的。您也許會問互聯(lián)網(wǎng)在中國快速發(fā)展的原因。我想,主要有以下幾個方面。價格便宜:在上海一根512K的ADSL包月才120元人民幣左右。教育體制:最近政府花了巨資幫助大學(xué)、初高中修建了多媒體信息教室,這使得很多學(xué)生對信息技術(shù)充滿著興趣和渴望。

    相比于互聯(lián)網(wǎng)在中國的快速發(fā)展,中國的分布式計算卻發(fā)展緩慢。就我看來,網(wǎng)民數(shù)量的統(tǒng)計并不能十分客觀地反映一個國家信息化程度的高低,而參與分布式計算網(wǎng)民的數(shù)量或比例卻可以明顯地看出這個國家科學(xué)普及化的水平。在這方面,毋庸置疑,歐美國家是十分領(lǐng)先的。在北歐國家,幾乎一半的電腦參加了分布式計算項目,這是一個驚人的數(shù)字。再讓我們來看看我們中國和印度,盡管我們擁有了不少最新科技,且看上去在網(wǎng)絡(luò)普及化進(jìn)程中有不錯表現(xiàn),但是在分布式計算方面卻很薄弱。讓我們來看些例子:

    SETI@home是世界上最大的分布式計算項目。從中國的參與人數(shù)來看,它在中國也是最著名的項目。它通過使用聯(lián)網(wǎng)的計算機(jī)下載程序分析射電望遠(yuǎn)鏡所收到的訊號,來搜索地球外的生命跡象。

    盡管中國在近一年來有所進(jìn)步,中國的國際排名從29上升到了24,但是我們中國用戶卻仍然只完成了日本用戶完成的工作數(shù)的十分之一,而日本,這個高度發(fā)達(dá)的國家網(wǎng)民人數(shù)缺少于中國??磥恚岣呔W(wǎng)民素質(zhì)、提高科學(xué)普及化程度也是十分重要的。印度和一些中東國家也有相似的問題,而中歐國家明顯在這方面作得比較好,不少獨聯(lián)體國家所完成的數(shù)據(jù)量已經(jīng)超過了俄羅斯聯(lián)邦的總合。

    Folding@home是一個研究蛋白質(zhì)折疊,誤解,聚合及由此引起的相關(guān)疾病的分布式計算工程。它使用聯(lián)網(wǎng)式的計算方式和大量的分布式計算能力來模擬蛋白質(zhì)折疊的過程,并指引我們近期對由折疊引起的疾病的一系列研究。

    中國很少有人參加這個項目。

    Climateprediction.net工程是把最新的氣候預(yù)測模型通過家庭、學(xué)校、辦公室的計算機(jī)來進(jìn)行計算。這些計算完成的結(jié)果將會組成世界最大的氣象預(yù)測模型。氣候改變了,而我們對此的行動已經(jīng)是全球重要的話題。這將影響到人類的農(nóng)業(yè)生產(chǎn)、水資源量、生態(tài)系統(tǒng)、能源需求、保險花費和很多其他與人類息息相關(guān)的方面。確鑿的科學(xué)依據(jù)表明,地球在在接下來的幾個實際可能會變得溫暖話,但是我們無法估計到底變化會有多大。如果您參加,這將能有助與21世紀(jì)的氣候科學(xué)預(yù)測。

    中國目前已經(jīng)有了很多計算機(jī),其中不乏性能極其先進(jìn)的。而他們中的大多數(shù)僅僅是打字、播放幻燈而已。這不能不說是一種資源的浪費。

    從另外一個角度看,我們不難發(fā)現(xiàn)發(fā)達(dá)國家和發(fā)展中國家的差距。我們把這種現(xiàn)象稱為數(shù)字鴻溝。另一個現(xiàn)象同樣令人痛心疾首,所有的分布式計算項目都是由發(fā)達(dá)國家發(fā)起的,這一方面也加深了科學(xué)鴻溝。斯坦福大學(xué)化學(xué)系的戈爾哈姆•理查德•切爾曼教授說,分布式計算將加快整個人類的科學(xué)進(jìn)程??茖W(xué)家們現(xiàn)在可以完成以前從來想不到要去完成的,或者要花幾十年幾百年才能完成的計算任務(wù)。這是的確是千真萬確的,但是這種計算從一定程度上助長了發(fā)達(dá)國家的科學(xué)壟斷。

    幸而,中國有關(guān)部門也開始意識到分布式計算的重要性,一些大學(xué)教授和科學(xué)家也開始鉆研分布式計算科學(xué)。

    圖書《分布式計算》信息

    者:(美國)(HagitAttiya)阿蒂雅等

    出版社: 電子工業(yè)出版社

    出版時間: 2008

    ISBN: 9787121062438

    開本: 16

    定價: 39.00 元

    內(nèi)容簡介

    分布式計算系統(tǒng)現(xiàn)在越來越受到人們的重視,為使該較難的主題易于理解,本書簡要介紹分布式計算的數(shù)學(xué)基礎(chǔ)和理論,揭示設(shè)計分布式系統(tǒng)的底層問題(通信、協(xié)調(diào)、同步及不確定)和基本的算法概念及下界技術(shù)。所涉及模型的問題領(lǐng)域包括領(lǐng)導(dǎo)者選舉、互斥、一致性、時鐘同步等,以及最新的快速互斥算法、對列鎖、分布式共享存儲器、無等待層級和故障檢測器等。本書涵蓋了分布式計算理論的主要內(nèi)容,強(qiáng)調(diào)不同模型之間的相似點,同時也解釋了它們之間的內(nèi)在差異。

    本書可作為大學(xué)計算機(jī)專業(yè)高年級本科生及研究生的教材,也可作為研究人員和專業(yè)人士的參考用書。

    目錄

    第1章引言

    1.1分布式系統(tǒng)

    1.2分布式計算理論

    1.3內(nèi)容概要

    1.4理論和實踐的關(guān)系

    本章注釋

    第一部分

    第2章消息傳遞系統(tǒng)中的基本算法

    2.1消息傳遞系統(tǒng)的形式化模型

    2.2生成樹上的廣播和斂播

    2.3洪泛算法及構(gòu)造生成樹

    2.4構(gòu)造指定根的深度—優(yōu)先搜索生成樹

    2.5構(gòu)造不指定根的深度—優(yōu)先搜索生成樹

    練習(xí)

    本章注釋

    第3章環(huán)中領(lǐng)導(dǎo)者選舉算法

    3.1領(lǐng)導(dǎo)者選舉問題

    3.2匿名環(huán)

    3.3異步環(huán)

    練習(xí)

    本章注釋

    第4章共享存儲器中的互斥

    第5章容錯一致性

    第6章因果關(guān)系和時間

    第7章模擬的形式化模型

    第8章廣播與多播

    第9章分布式共享存儲器

    第10章讀/寫對象的容錯模擬

    第11章模擬同步

    第12章改進(jìn)算法的容錯性

    第13章容錯的時鐘同步

    第14章隨機(jī)化

    第15章任意對象的無等待模擬

    第16章異步系統(tǒng)中的可解問題

    參考文獻(xiàn)

    ……