推薦：SQL Server 2005 CE軟件環(huán)境需求
由于SQL Server 2005 Compact Edition和SQL Server 2005是同時(shí)代的產(chǎn)品，所以它們之間的互操作和結(jié)合性較之以前的SQL Server版本要好，為此如果要考慮使用SQL Server 2005 Compact Edition中的

自今年2月推出的SQL Server 2008后 ，使用其SSIS( SQL Server Integration services)工具你可以就感覺到數(shù)據(jù)加載的世界級(jí)的性能記錄。微軟與Unisys公司宣布了一項(xiàng)紀(jì)錄，它是關(guān)于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)提取，轉(zhuǎn)換和加載（ ETL的）工具。它能在不足30分鐘加載超過1 TB的TPC- H的數(shù)據(jù)。我想在此提供以Q ＆A的紀(jì)錄形式提供一些背景材料，盡管很難提供更多的技術(shù)細(xì)節(jié)。我們也正在籌劃關(guān)于這方面的論文，希望對(duì)你了解這背景資料有用。

- Len Wyatt

數(shù)據(jù)加載速度到底有多快?

在不到30分鐘，把超過1 T字節(jié)的數(shù)據(jù)從平面文件解析并通過網(wǎng)絡(luò)傳送，最終載入到目的地?cái)?shù)據(jù)庫，這創(chuàng)造了一個(gè)世界紀(jì)錄，超過了以往發(fā)布的使用ETL工具的所有結(jié)果。這是一個(gè)速度超過每小時(shí)2TB（ 650 MB/秒） 。更精確地說， 相當(dāng)于1.18TB的單位檔案資料裝載僅用1794秒。這等價(jià)于25分20秒加載1.00TB數(shù)據(jù)或者2.36TB/每小時(shí)。

為什么這很重要？

企業(yè)日益增加的數(shù)據(jù)存儲(chǔ)在許多不同系統(tǒng)。 thay想知道有一個(gè)ETL工具，他們想選擇能夠支持任何數(shù)據(jù)卷的工具。微軟公司一直在SQL Server集成服務(wù)（ SSIS ）做出重大改進(jìn) ，這些記錄顯示出了SQL Server Integration Services2008的能力， SQL Server 2008及Unisys的ES7000服務(wù)器已經(jīng)能夠以更快的速度來處理大量的數(shù)據(jù)。

為什么僅僅是做了大量的負(fù)荷數(shù)據(jù)加載？

對(duì)于今天的商業(yè)而言， 目標(biāo)系統(tǒng)上一直可使用的數(shù)據(jù)資源是很寶貴的,并且它們無須加以規(guī)范或糾正錯(cuò)誤就能夠加載。在如此情況下，大批量時(shí)代的散裝裝載數(shù)據(jù)非常有意義。數(shù)據(jù)集成可以涉及復(fù)雜的轉(zhuǎn)換規(guī)則，錯(cuò)誤檢查和數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)。 如SSIS這樣的ETL的工具具備這些功能，如數(shù)據(jù)系統(tǒng)之間的遷移和格式化數(shù)據(jù)，完整性檢查，鍵查詢，跟蹤譜系以及更多。 SSIS已被證明是一個(gè)多功能的ETL工具，而現(xiàn)在是指出的是它還是性能最好的。

你如何選擇裝載的數(shù)據(jù)？

DBGEN工具，來自TPC-H benchmark性能測試工具用于產(chǎn)生1.18 TB的源數(shù)據(jù)。數(shù)據(jù)由DBGEN分割后，允許它被裝載在并行的多個(gè)系統(tǒng)中。 DBGEN生成數(shù)據(jù)的客戶，零部件，供應(yīng)商，訂單和項(xiàng)目。這是具有廣泛代表性的一個(gè)典型。這些數(shù)據(jù)包含各種數(shù)據(jù)類型，包括日期，金額，整數(shù)，字符型及標(biāo)識(shí)型。

請(qǐng)注意ETL裝載結(jié)果并非的TPC - H的基準(zhǔn)測試結(jié)果，不應(yīng)該和TPC - H的基準(zhǔn)測試相比。

這是一個(gè)認(rèn)證基準(zhǔn)嗎？

有沒有一個(gè)被普遍接受的基準(zhǔn)的ETL工具? 微軟認(rèn)為應(yīng)該有�；鶞�(zhǔn)測試的業(yè)界標(biāo)準(zhǔn)能導(dǎo)致良性競爭，從而提供更好的產(chǎn)品和采用更好的技術(shù)，以獲得更高的性能。
微軟可能會(huì)很高興有機(jī)會(huì)與業(yè)界其同仁一道確定一個(gè)共同的基準(zhǔn)，以反映ETL工具的真實(shí)使用狀況。

TPC-H的數(shù)據(jù)的使用為這一項(xiàng)目提供了一個(gè)方便。這不是一個(gè)TPC-H的基準(zhǔn)測試結(jié)果。

這是經(jīng)過驗(yàn)證的性能測試嗎？

多家競爭對(duì)手已經(jīng)在TPC-H的數(shù)據(jù)上公布了結(jié)果。Informatica 此前曾報(bào)道，此前裝載1TB數(shù)據(jù)為45分鐘。SSIS已經(jīng)超越了記錄，只需要15分鐘以上 。

盡管已經(jīng)有了一些其他的標(biāo)準(zhǔn)，但對(duì)于非標(biāo)準(zhǔn)的數(shù)據(jù)集，并沒有足夠的資訊以進(jìn)行全方位意義上的比較�；�于這部分原因，微軟將支持建立一個(gè)行業(yè)標(biāo)準(zhǔn)的ETL的基準(zhǔn)。

使用什么系統(tǒng)配置？

數(shù)據(jù)庫服務(wù)器運(yùn)行一個(gè)ES7000/one Unisys的企業(yè)服務(wù)器， 32雙座雙核心Intel ® XEON tm 3.4千兆赫（ 7140米）處理器， 256 GB的RAM和8雙端口4 Gbit HBA卡的。 SQL Server數(shù)據(jù)存儲(chǔ)在一個(gè)擁有165 （ 146 gb/15 krpm ）針的EMC Clariion CX3-80 SAN上。數(shù)據(jù)庫服務(wù)器運(yùn)行在Windows Server 2008x64數(shù)據(jù)中心版操作系統(tǒng)上面的SQL Server 2008 企業(yè)預(yù)覽版（ v10.0.1300.4 ， " 2008年2月的發(fā)布的CTP版本 " ） 。

四個(gè)服務(wù)器作為數(shù)據(jù)源，它們是來自現(xiàn)代企業(yè)的不同的數(shù)據(jù)系統(tǒng)中的建模事實(shí)數(shù)據(jù)。每一源服務(wù)器運(yùn)行SSIS包通過網(wǎng)絡(luò)發(fā)送數(shù)據(jù)到數(shù)據(jù)庫服務(wù)器。源頭服務(wù)器運(yùn)行著Windows Server 2008的SQL Server版本v10.0.1300.4上的SSIS 。源數(shù)據(jù)則來自DBGen產(chǎn)生的平面文件 。

源服務(wù)器， 4 臺(tái)Unisys的ES3220L windows2008 x64企業(yè)版服務(wù)器。每臺(tái)服務(wù)器配備2 × 2.0 GHz的四核Intel處理器， 4 GB的內(nèi)存，雙端口4 Gbit Emulex的HBA和英特爾PRO1000/PT網(wǎng) 卡。源數(shù)據(jù)則來自于被讀出2 ×的EMC CLARiiON cx600 SAN存儲(chǔ)設(shè)備 。 數(shù)據(jù)源服務(wù)器通過雙端口1 GB的以太網(wǎng)連接到es7000/one Server數(shù)據(jù)庫服務(wù)器。

為什么要使用多數(shù)據(jù)源系統(tǒng)？

現(xiàn)代大型企業(yè)是包含復(fù)雜的業(yè)務(wù)活動(dòng)。大型數(shù)據(jù)集往往是混合著多種數(shù)據(jù)源。這種測試更切合實(shí)際，酷似一個(gè)真實(shí)的ETL場景。

SSIS包看起來是什么樣子的呢？

這里有一個(gè)包， 通過源系統(tǒng)運(yùn)行著多個(gè)實(shí)例。 它也是簡單的：存在有一個(gè)控制流 為每一個(gè)"流"所產(chǎn)生的數(shù)據(jù)DBGEN。通過OLEDB控制流為每一個(gè)表存在一個(gè)數(shù)據(jù)流，每一個(gè)數(shù)據(jù)流讀平面文件數(shù)據(jù)，并寫回SQL Server數(shù)據(jù)庫。在平面文件數(shù)據(jù)源和數(shù)據(jù)庫表之間存在的這個(gè)數(shù)據(jù)集有一個(gè)一對(duì)一的欄位之間的映射，。

讓我們看看Windows Server 2008技術(shù)重點(diǎn):

Windows Server 2008做了許多創(chuàng)新的工作,其中包括內(nèi)存管理的顯著改善， PCI和塊存儲(chǔ)輸入/輸出，以及核心網(wǎng)絡(luò)，從的業(yè)績。由于這些進(jìn)展， Windows Server 2008能夠持續(xù)大約每秒960兆字節(jié)網(wǎng)路傳輸 。

做這項(xiàng)工作是否需要更多秘密的技巧?

不需要特別的版本和技巧，盡管這是一個(gè)預(yù)版本， 但它同時(shí)是一個(gè)正式的SQL Server 008企業(yè)版本。在產(chǎn)品使用上沒有任何特殊代碼。我們所做的一切足以讓別人仿效。

我們在關(guān)系型數(shù)據(jù)庫中完成了被稱為"Soft NUMA"的技術(shù)，它通過端口映射在系統(tǒng)內(nèi)部得以獲得良好的分布式工作效果。 這是技術(shù)已經(jīng)公開發(fā)表，你可以在 MSDN上找到文章。我們還設(shè)置X-flag，從一開始使用SQL Server起 ， 這就降低了SQL Server花在收集性能統(tǒng)計(jì)在運(yùn)行時(shí)間。

在SSIS中我們采用了使用SSIS數(shù)據(jù)流匹配的數(shù)據(jù)類型，因此從平面文件讀取的數(shù)據(jù)并不需要轉(zhuǎn)換，在文本文件字段被應(yīng)用的時(shí)候就能獲得最快地解析 。

在服務(wù)器上的網(wǎng)絡(luò)連接使用了內(nèi)建Intel PRO/1000 GbE控制器。發(fā)布版本的網(wǎng)絡(luò)驅(qū)動(dòng)程序被使用，而且以太網(wǎng)Jumbo幀被配置好，以更好地支持這項(xiàng)散裝流的情況。Windows Server 2008年的新的TCP/IP接收窗口自動(dòng)調(diào)諧默認(rèn)為"限制" 。

后續(xù)將有一份完整的清單文件發(fā)表，它將包含系統(tǒng)的設(shè)置和優(yōu)化等內(nèi)容。

分享：剖析SQL Server 2005查詢通知之基礎(chǔ)篇
在本系列文章中，我們將深入探討如何把.NET 2.0和SQL Server 2005的查詢通知特征聯(lián)合起來，以便通知應(yīng)用程序何時(shí)關(guān)鍵數(shù)據(jù)發(fā)生變化進(jìn)而達(dá)到消除反復(fù)查詢數(shù)據(jù)庫的目的。 一、引言 數(shù)據(jù)庫應(yīng)用