2011年7月10日 星期日

近6成政府機關導入伺服器虛擬化

http://www.ithome.com.tw/itadm/article.php?c=68101


文/黃彥棻 (記者) 2011-06-17

主計處調查:已經導入伺服器虛擬化的政府機關,平均每臺實體伺服器可以安裝8臺虛擬機器,最受歡迎的虛擬化平臺是VMware


今年3月,主計處針對臺灣222個政府機關進行「政府機關伺服器虛擬化概況」調查,有將近6成的政府機關正在規畫、進行或已經完成伺服器虛擬化,其中,每 個單位建置虛擬主機平均使用7.5臺實體伺服器,平均每一臺實體伺服器可以安裝8臺虛擬機器(VM),將近9成(86.82%)虛擬化平臺採用 VMware。

近6成政府機關陸續推動伺服器虛擬化
根據這份調查報告,222個政府機關中有將近6成(58.11%),共計129個單位,正在規畫、進行或已經完成伺服器虛擬化,其餘尚未導入的政府機關, 主要原因在於缺乏相關技術人力或支援(43.01%),其次為單位規模較小(35.48%)和建置成本過高(35.48%)。

這6成導入伺服器虛擬化的政府機關中,有95.35%的機關採漸進式、分階段導入,僅少數採部分或只有特定系統導入,並沒有政府機關採用一次性全面導入的作法。

主計處也進一步分析伺服器虛擬化所需要花費的時間和成本,將近3成(27.69%)的政府機關從規畫迄今已經花6個月到1年,是目前最大宗的比例;花1 年~1年半(23.85%)、1年半~2年(21.54%),或者是2年以上(19.23%)的政府機關都大約各有2成之譜,半年內比例最少,不到1成 (7.69%)。

至於導入伺服器虛擬化軟、硬體包含升級與擴充的費用,介於1百萬~3百萬元之間的政府機關超過3成(31.78%),3百萬~6百萬元(24.81%)和 100萬元以內(19.38%)大約2成上下,1,001萬元以上(13.18%)和6百萬元~1千萬元(10.85%)各約1成。

政府機關每臺實體伺服器安裝8臺虛擬機器
政府機關平均使用7.5臺實體伺服器來建置虛擬主機,平均每一臺實體伺服器上可以安裝8臺虛擬機器(VM),將近一半(47.29%)政府機關每一臺實體 伺服器可以安裝1~5個虛擬機器;另外近4成(35.66%)政府機關每一臺伺服器可以安裝6~10個虛擬機器;其餘政府機關每臺伺服器上可以安裝的虛擬 機器,不論是11~15個虛擬機器(4.65%)、16~20個虛擬機器(6.98%),或者可以安裝21個以上虛擬機器(5.43%),平均都有5%的 政府機關採用。

由於每個機關可能採用不只一個虛擬化平臺,但根據統計,VMware是政府機關最主要使用的虛擬化平臺,有將近9成(86.82%)的政府機關採用;使用微軟Hyper-V平臺的只有25.58%;VMware加上微軟虛擬化平臺兩者皆採用的比例超過9成。

政府機關導入伺服器虛擬化主要的用途,有超過7成(72.09%)是用於備份;另外有超過6成5(65.12%)是用於虛擬化儲存設備;其餘超過6成 (62.79%)是用於建置測試環境;其他用途還包括高可用性(HA)(61.24%)、異地備援(27.13%)和其他(3.10%)。

有錢好辦事,從這個調查也可以發現,政府機關導入伺服器虛擬化最困難的第一關就是沒有經費,超過一半(54.26%)的政府機關都有經費籌措不易的困難,其次面臨的困難則是資訊系統從實體機器轉移到虛擬機器過程耗時(43.41%)。文⊙黃彥棻

eBay如何分析非結構性資料

http://www.ithome.com.tw/itadm/article.php?c=67971

文/辜雅蕾 2011-06-05

eBay開發了可同時處理結構與非結構性資料的平臺Singularity,找出非結構性資料中可結構化的部分,再進行分析,解決資料倉儲僅能分析結構性資料的挑戰


過往eBay擅長利用資料倉儲進行網站行為分析,但近年來由於動態網頁普及,增加了不少半結構化或是非結構化的資料,也使得eBay不能完全仰賴專門分析結構化資料的資料倉儲系統。

eBay分析平臺高級總監Oliver Ratzesberger表示,近年來在分析資料碰到最大的挑戰就是半結構化與非結構化資料。他認為,既有的資料倉儲系統分析結構化資料的能力都很好,但 是卻無法同時處理結構與非結構化的資料。於是,他們決定先建立一個能夠同時處理結構與非結構性資料的平臺,再放進資料倉儲中進行關連性分析。

eBay分析平臺高級總監Oliver Ratzesberger表示,今年將把Hadoop的技術整合進Teradata的資料倉儲系統中,協助分析巨大資料。

eBay擁有全世界最大的資料倉儲系統,對eBay來說,必須靠著不斷分析買家在網站上的瀏覽行為,來增加買賣家媒合的機會,像是讓買家更快更精準的搜尋 到所需要的產品等。舉例來說,去年eBay曾經推出讓買家可以退貨的服務,只要買家在eBay上購買任何商品,一旦發現問題,eBay都可以保證讓買家退 貨。Ratzesberger表示,這些都是透過分析買家瀏覽網站的行為後,所規畫的行銷活動,也確實提高了銷售數字。

Ratzesberger表示,2002年時,eBay的資料量大約為10TB,2009年時,資料量已經到了2PB,近2年,資料量增加的更快,幾乎是 每年成長了2倍的資料量,現在,eBay每天就有50TB的資料量。而其中很大一部份就是來自於非結構化資料與半結構化資料的分析。

就以網頁點擊率來說,eBay過去會先分類點擊特性,像是IP位址、時間、URL、使用者所使用的瀏覽器等,放置在不同欄位交叉分析。不過,現在網頁都屬動態頁面,網頁的畫面總是不斷變化,這就增加他們分析顧客購買行為如何改變的困難度。

為了解決非結構化資料不容易分析的難題,eBay將所有資料從結構到非結構分為4種,在結構化的資料中可以直接用快取備份以及資料倉儲去分析處理資料的關 連性,半結構化的資料則由他們自行開發可同時處理結構與非結構資料的平臺Singularity處理,非結構化的資料則由Hadoop的技術處理。

將半結構化的資料集中放置單一欄位,再找出可對應數值
eBay是在4年多前建立了Singularity的平臺,可將半結構化的資料轉化成為結構化的資料後,再建立分析模型,減少需要分析資料的量。以網頁點 擊率來說,過去的欄位仍保留,其他較為複雜的資料就放置在另一個欄位中,在選取分析資料時,就可以特定時間,經過相對應的數值匹配,找到符合的概念與數 值,再將這些數值加入模型中計算。Ratzesberger認為,只將半結構化數據中有需要的部分拉出來作分析,這種作法對分析非結構化數據是很有幫助 的。

2年半前,eBay在這個平臺又加入了Hadoop的技術,主力在於分析非結構化的資料,可以平面文件的方式儲存非結構化資料,再進行轉化。 Ratzesberger表示,現在這個平臺可以處理結構與非結構化的資料量已達40PB,eBay還打算在今年進一步將Hadoop的技術整合進 Teradata的資料倉儲系統中,有利於處理大量的資料。文⊙辜雅蕾

Linux核心邁向3.0

來源:http://www.ithome.com.tw/itadm/article.php?c=68005

文/王宏仁 (記者) 2011-06-05

Linux的版本發展策略是增加更多驅動程式支援,修正虛擬機器部分錯誤、強化ARM處理器支援等。


Linux 核心2.0版本發表了15年之後,Linux創始人Linus Torvalds在5月30日時終於宣佈,Linux邁向3.0,首先釋出的是Linux 3.0的第一個RC測試版本。前一個核心版本是2.6,日前才釋出第39個小更新,原本開源社群預期可能會推出2.8版,但Linus表示,Linux釋 出已20週年,也應該升級到3.0版了。


不過,Linus表示,Linux的版本發展策略不會像其他軟體那樣因不同版號,而有很大的變 動。3.0不會增加新的API,也不會改變ABI或新功能,而是增加更多驅動程式支援,修正虛擬機器部分錯誤、強化ARM處理器支援等,Linus預定 6~7周後釋出Linux 3.0正式版。