顯示具有 SQL 標籤的文章。 顯示所有文章
顯示具有 SQL 標籤的文章。 顯示所有文章

2015年3月9日 星期一

MS SQL - 簡單 IF ELSE (CASE WHEN)

查詢時,要顯示欄位有IF ELSE的效果

單一條件e
CASE WHEN 欄位 = ? THEN X ELSE Y END AS 顯示欄位名

多層條件
CASE
  WHEN 欄位 = ? THEN W
  WHEN 欄位 = ? THEN X
  WHEN 欄位 = ? THEN Y
  ELSE Z
END AS 顯示欄位名


轉載 

2014年8月27日 星期三

SQL 海量資料優化

轉 http://0rz.tw/XL2WK

具體要注意的:
1.應儘量避免在 where 子句中對欄位進行 null 值判斷,否則將導致引擎放棄使用索引而進行全資料表掃描,如:
select id from t where num is null
可以在num上設置預設值0,確保表中num列沒有null值,然後這樣查詢:
select id from t where num=0
2.應儘量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全資料表掃描。優化器將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。
3.應儘量避免在 where 子句中使用 or 來連接條件,否則將導致引擎放棄使用索引而進行全資料表掃描,如:
select id from t where num=10 or num=20
可以這樣查詢:
select id from t where num=10
union all
select id from t where num=20
4.in 和 not in 也要慎用,因為IN會使系統無法使用索引,而只能直接搜索表中的資料。如:
select id from t where num in(1,2,3)
對於連續的數值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
5.儘量避免在索引過的字元資料中,使用非打頭字母搜索。這也使得引擎無法利用索引。
見如下例子:
SELECT * FROM T1 WHERE NAME LIKE ‘%L%’
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=’L’
SELECT * FROM T1 WHERE NAME LIKE ‘L%’
即使NAME欄位建有索引,前兩個查詢依然無法利用索引完成加快操作,引擎不得不對全表所有資料逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。
6.必要時強制查詢最佳化工具使用某個索引,如在 where 子句中使用參數,也會導致全資料表掃描。因為SQL只有在運行時才會解析區域變數,但優化程式不能將訪問計畫的選擇推遲到運行時;它必須在編譯時進行選擇。然而,如果在編譯時建立訪問計畫,變數的值還是未知的,因而無法作為索引選擇的輸入項。如下面語句將進行全資料表掃描:
select id from t where num=@num
可以改為強制查詢使用索引:
select id from t with(index(索引名)) where num=@num
7.應儘量避免在 where 子句中對欄位進行運算式操作,這將導致引擎放棄使用索引而進行全資料表掃描。如:
SELECT * FROM T1 WHERE F1/2=100
應改為:
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=’5378’
應改為:
SELECT * FROM RECORD WHERE CARD_NO LIKE ‘5378%’
SELECT member_number, first_name, last_name FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
應改為:
SELECT member_number, first_name, last_name FROM members
WHERE dateofbirth < DATEADD(yy,-21,GETDATE())
即:任何對列的操作都將導致資料表掃描,它包括資料庫函數、計算運算式等等,查詢時要盡可能將操作移至等號右邊。
8.應儘量避免在where子句中對欄位進行函數操作,這將導致引擎放棄使用索引而進行全資料表掃描。如:
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
9.不要在 where 子句中的「=」左邊進行函數、算數運算或其他運算式運算,否則系統將可能無法正確使用索引。
10.在使用索引欄位作為條件時,如果該索引是複合索引,那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引,否則該索引將不會被使用,並且應盡可能的讓欄位順序與索引順序相一致。
11.很多時候用 exists是一個好的選擇:
select num from a where num in(select num from b)
用下面的語句替換:
select num from a where exists(select 1 from b where num=a.num)
SELECT SUM(T1.C1)FROM T1 WHERE(
(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECT SUM(T1.C1) FROM T1WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
兩者產生相同的結果,但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的資料表掃描或是索引掃描。
如果你想校驗表裡是否存在某條紀錄,不要用count(*)那樣效率很低,而且浪費伺服器資源。可以用EXISTS代替。如:
IF (SELECT COUNT(*) FROM table_name WHERE column_name = 'xxx')
可以寫成:
IF EXISTS (SELECT * FROM table_name WHERE column_name = 'xxx')
經常需要寫一個T_SQL語句比較一個父結果集和子結果集,從而找到是否存在在父結果集中有而在子結果集中沒有的記錄,如:
SELECT a.hdr_key FROM hdr_tbl a---- tbl a 表示tbl用別名a代替
WHERE NOT EXISTS (SELECT * FROM dtl_tbl b WHERE a.hdr_key = b.hdr_key)
SELECT a.hdr_key FROM hdr_tbl a
LEFT JOIN dtl_tbl b ON a.hdr_key = b.hdr_key WHERE b.hdr_key IS Null
SELECT hdr_key FROM hdr_tbl
WHERE hdr_key NOT IN (SELECT hdr_key FROM dtl_tbl)
三種寫法都可以得到同樣正確的結果,但是效率依次降低。
12.儘量使用表變數來代替臨時表。如果表變數包含大量資料,請注意索引非常有限(只有主鍵索引)。
13.避免頻繁創建和刪除臨時表,以減少系統表資源的消耗。
14.臨時表並不是不可使用,適當地使用它們可以使某些常式更有效,例如,當需要重複引用大型表或常用表中的某個資料集時。但是,對於一次性事件,最好使用匯出表。
15.在新建臨時表時,如果一次性插入資料量很大,那麼可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果資料量不大,為了緩和系統表的資源,應先create table,然後insert。
16.如果使用到了臨時表,在預存程序的最後務必將所有的臨時表顯式刪除,先 truncate table ,然後 drop table ,這樣可以避免系統表的較長時間鎖定。
17.在所有的預存程序和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF 。無需在執行預存程序和觸發器的每個語句後向用戶端發送 DONE_IN_PROC 消息。
18.儘量避免大事務操作,提高系統併發能力。
19.儘量避免向用戶端返回大資料量,若資料量過大,應該考慮相應需求是否合理。
20. 避免使用不相容的資料類型。例如float和int、char和Varchar、binary和Varbinary是不相容的。資料類型的不相容可能使優化器無法執行一些本來可以進行的優化操作。例如:
SELECT name FROM employee WHERE salary > 60000
在這條語句中,如salary欄位是money型的,則優化器很難對其進行優化,因為60000是個整型數。我們應當在程式設計時將整型轉化成為錢幣型,而不要等到運行時轉化。
21.充分利用連接條件,在某種情況下,兩個表之間可能不只一個的連接條件,這時在 WHERE 子句中將連接條件完整的寫上,有可能大大提高查詢速度。
例:
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO
SELECT SUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO = B.CARD_NO AND A.ACCOUNT_NO=B.ACCOUNT_NO
第二句將比第一句執行快得多。
22、使用視圖加速查詢
把表的一個子集進行排序並創建視圖,有時能加速查詢。它有助於避免多重排序 操作,而且在其他方面還能簡化優化器的工作。例如:
SELECT cust.name,rcvbles.balance,......other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>「98000」
ORDER BY cust.name
如果這個查詢要被執行多次而不止一次,可以把所有未付款的客戶找出來放在一個視圖中,並按客戶的名字進行排序:
CREATE VIEW DBO.V_CUST_RCVLBES
AS
SELECT cust.name,rcvbles.balance,......other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
然後以下面的方式在視圖中查詢:
SELECT * FROM V_CUST_RCVLBES
WHERE postcode>「98000」
視圖中的行要比主表中的行少,而且物理順序就是所要求的順序,減少了磁片I/O,所以查詢工作量可以得到大幅減少。
23、能用DISTINCT的就不用GROUP BY
SELECT OrderID FROM Details WHERE UnitPrice > 10 GROUP BY OrderID
可改為:
SELECT DISTINCT OrderID FROM Details WHERE UnitPrice > 10
24.能用UNION ALL就不要用UNION
UNION ALL不執行SELECT DISTINCT函數,這樣就會減少很多不必要的資源
35.儘量不要用SELECT INTO語句。
SELECT INOT 語句會導致表鎖定,阻止其他使用者訪問該表。
上面我們提到的是一些基本的提高查詢速度的注意事項,但是在更多的情況下,往往需要反復試驗比較不同的語句以得到最佳方案。最好的方法當然是測試,看實現相同功能的SQL語句哪個執行時間最少,但是資料庫中如果資料量很少,是比較不出來的,這時可以用查看執行計畫,即:把實現相同功能的多條SQL語句考到查詢分析器,按CTRL+L看查所利用的索引,資料表掃描次數(這兩個對性能影響最大),總體上看詢成本百分比即可。

今天在itput上看了一篇文章,是討論一個語句的優化:
原貼位址: HTTP://www.itpub.net/viewthread.php?tid=1015964&extra=&page=1
一,發現問題 優化的語句:
請問以下語句如何優化:
CREATE TABLE aa_001
( ip VARCHAR2(28),
name VARCHAR2(10),
password VARCHAR2(30) )
select * from aa_001 where ip in (1,2,3) order by name desc;
--目前表中記錄有一千多萬條左右,而且in中的值個數是不確定的。
以上就是優化的需要優化的語句和情況。
不少人在後面跟帖:有的說沒辦法優化,有的說將IN該為EXISTS,有的說在ip上建立索引複合索引(ip,name)等等。
二,提出問題 那這樣的情況,能優化嗎,如何優化?今天就來討論這個問題。
三,分析問題 1,資料量1千萬多條。
2,in中的值個數是不確定
3.1 分析資料分佈 這裡作者沒有提到ip列的資料的分佈情況,目前ip列的資料分佈可能有以下幾種:
1,ip列(資料唯一,或者資料重複的概率很小)
2,ip列 (資料不均勻,可能有些資料重複多,有些重複少)
3,ip列 (資料分佈比較均勻,資料大量重複,主要就是一些同樣的資料(可能只有上萬級別不同的ip資料等)
解決問題:
1,對於第一種資料分佈情況,只要在ip列建立一個索引即可。這時不管表有多少行, in個數是不確定的情況下,都很快。
2,對應第二中資料分佈情況,在ip列建立索引,效果不好。因為資料分佈不均勻,可能有些快,有些慢
3,對應第三種資料分佈情況,在ip列建立索引,速度肯定慢。
注意:這裡的 order by name desc 是在取出資料後再排序的。而不是取資料前排序
對於2,3兩個情況,因為都是可能需要取出大量的資料,優化器就採用資料表掃描(table scan),而不是索引查找(index seek) ,速度很慢,因為這時資料表掃描效率要優於索引查找,特別是高併發情況下,效率很低。
那對應2,3中情況,如何處理。是將in改成exists。其實在sql server 2005和oracle裡的優化器在in後面資料少時,效率是一樣的。這時採用一般的索引效率很低。這時如果在ip列上建立叢集索引,效率會比較高。我們在SQL server 2005中做個測試。
表:[dbo].[[zping.com]]]中有約200萬條資料。包含列Userid, id, Ruleid等列。按照上面的情況查詢一下類似語句:
select * from [dbo].[[zping.com]]] where
userid in ('402881410ca47925010cb329c7670ffb','402881ba0d5dc94e010d5dced05a0008'
,'4028814111a735e90111a77fa8e30384') order by Ruleid desc
我們先看userid的資料分佈情況,執行下面語句:
select userid,count(*) from [dbo].[[zping.com]]] group by userid order by 2
這時我們看看資料分佈:總共有379條資料,資料兩從1到15萬都有,資料分佈傾斜嚴重。下圖是其中一部分。

這時如果在ip上建立非叢集索引,效率很低,而且就是強行索引掃描,效率也很低,會發現IO次數比資料表掃描還高。這時只能在ip上建立叢集索引。這時看看結果。
這時發現,搜索採用了(clustered index seek)聚集搜索掃描。
在看看查詢返回的結果:
(156603 行受影響)
表 '[zping.com]'。掃描計數 8,邏輯讀取 5877 次,物理讀取 0 次,預讀 0 次,lob 邏輯讀取 0 次,lob 物理讀取 0 次,lob 預讀 0 次。
表 'Worktable'。掃描計數 0,邏輯讀取 0 次,物理讀取 0 次,預讀 0 次,lob 邏輯讀取 0 次,lob 物理讀取 0 次,lob 預讀 0 次。
返回15萬行,才不到6千次IO。效率較高,因為這15萬行要排序,查詢成本裡排序占了51%。當然可以建立(userid,Ruleid)複合叢集索引,提高性能,但這樣做DML維護成本較高。建議不採用。
從上面的測試例子可以看出, 優化的解決辦法:
資料分佈為1:建立ip索引即可
資料分佈為2,3:在ip列建立叢集索引。

2011年7月5日 星期二

[SQL]MS SQL 自動編號(identity)歸零(reset)


1 -- DBCC CHECKIDENT('dbo.table_name', RESEED, 0)
2 -- 範例:
3 DBCC CHECKIDENT(CashCardDailyRpt, RESEED, 0)
CashCardDailyRpt 是一個 Table

2010年7月16日 星期五

大量匯入資料時保留識別值

http://technet.microsoft.com/zh-tw/library/ms186335(SQL.90).aspx

以將包含識別值的資料檔案大量匯入 Microsoft SQL Server 的執行個體中。根據預設,會忽略所匯入資料檔案中的識別資料行值,SQL Server 會自動指定唯一值。唯一值的依據是資料表建立期間所指定的初始值及累加值。
如果資料檔不包含資料表中識別碼資料行的值,請使用格式檔案指定在匯入資料時應略過資料表中的識別碼資料行。SQL Server 會自動為資料行指定唯一值。
若要在將資料列大量匯入資料表時,不讓 SQL Server 指定識別值,請使用適當的 keep-identity 命令限定詞。當您指定 keep-identity 限定詞時,SQL Server 會使用資料檔案中的識別值。這些限定詞如下:

命令 Keep-identity 限定詞 限定詞類型
bcp-E參數
BULK INSERTKEEPIDENTITY引數
INSERT ...SELECT * FROM OPENROWSET(BULK...) KEEPIDENTITY資料表提示
如需詳細資訊,請參閱<bcp 公用程式>、<BULK INSERT (Transact-SQL)>、<OPENROWSET (Transact-SQL)>、<INSERT (Transact-SQL)>、<SELECT (Transact-SQL)>及<資料表提示 (Transact-SQL)>。

範例

本主題中的範例會使用 INSERT ...SELECT * FROM OPENROWSET(BULK...) 並保留預設值來大量匯入資料。

範例資料表

大量匯入資料的範例需要在 dbo 結構描述下的 AdventureWorks 範例資料庫中,建立一個名為 myTestKeepNulls 的資料表。若要建立這個資料表,請在「SQL Server Management Studio 查詢編輯器」中執行:

USE AdventureWorks;
GO
SELECT * INTO HumanResources.myDepartment
  FROM HumanResources.Department
     WHERE 1=0;
GO
SELECT * FROM HumanResources.myDepartment;

myDepartment 所依據的 Department 資料表已將 IDENTITY_INSERT 設為 OFF。因此,若要將資料匯入識別資料行,您必須指定 KEEPIDENTITY 或 -E。如需資料表的結構描述,請參閱<Department 資料表 (AdventureWorks)>。

範例資料檔

大量匯入範例中所使用的資料檔包含從 HumanResources.Department 資料表中大量匯出的原生格式資料。若要建立資料檔,請在 Microsoft Windows 命令提示字元中,輸入:

bcp AdventureWorks.HumanResources.Department out myDepartment-n.Dat -n -T

範例格式檔案

大量匯入範例使用 XML 格式檔案 myDepartment-f-x-n.Xml,而它是使用原生資料格式。此範例使用 bcpAdventureWorks 資料庫的 HumanResources.Department 資料表來產生這個格式檔案。在 Windows 命令提示字元中,輸入:

bcp AdventureWorks.HumanResources.Department format nul -n -x -f myDepartment-f-n-x.Xml -T

如需有關建立格式檔案的詳細資訊,請參閱<建立格式檔案>。

2009年11月10日 星期二

已超過連接逾時的設定。在取得集區連接之前超過逾時等待的時間,可能的原因為所有的共用連接已在使用中,並已達共用集區大小的最大值。

1.與DB的connection開太多且用完後沒有關閉,導致connection pool已滿
2.dataReader 用完後沒有關閉

我的情況是兩種可能都有 XD

改掉之後程式就正常了

還有一種方法就是將connection pool加大

設定的方法就是在connectionString最後面加上Max pool size = 200

類似這樣
Server=myServerAddress;Database=myDataBase;Uid=myUsernamePwd=myPassword;Max pool size = 200

參考資料

補充說明:參考資料

Min pool size 代表在connection pool裡最少有幾個連接數,假設你Min pool size設5
那connection pool建立的時候,裡面就會有5個conncetion。

Max pool size則代表connection pool裡最多能有幾個connection。


如果connectioin已達到Max pool size且connection pool中的connection全部都在使用中,要打開新的SqlConnection物件時,則要等待一個SqlConnection物件關閉,然後才可以使用新的SqlConnection物件。如果請求等待時間超過ConnectionTimeout屬性指定的秒數,則會拋出exception。

2009年10月16日 星期五

擷取SQL登入web.config字串

System.Configuration.ConfigurationManager.ConnectionStrings("ConnectionString").ConnectionString

2009年8月11日 星期二

SQL Server 2008 中儲存資料表的 「 錯誤 」 訊息: 「 儲存變更時不允許 」

不允許儲存變更。 您所做的變更會需要下列資料表卸除並重新建立。 您有做任何變更一個資料表,無法重新建立或啟用選項會防止儲存變更,需要重新建立資料表。


-------------------------------------------

http://support.microsoft.com/kb/956176/zh-tw

若要將 儲存的變更,需要重新建立資料表的 [ 選項請依照下列步驟執行:
  1. 請開啟 SQL Server Management Studio (SSMS)。
  2. 在 [ 工具 ] 功能表中上, 按一下 [ 選項 ]。
  3. 在 [ 選項] 視窗,巡覽窗格中, 按一下 設計工具 (英文)。
  4. 選取或清除 [儲存的變更,需要重新建立資料表 ] 核取方塊,然後再按一下 [確定]
請注意 如果您停用此選項時,您不會警告您,儲存資料表時所做的變更已變更資料表的中繼資料結構。 在這種情況下您儲存資料表時,可能會發生資料遺失。

關閉 [防止儲存需要資料表重新建立的變更] 選項的風險。

雖 然關閉此選項,可協助您避免重新建立資料表,它也會導致變更遺失。 舉例來說,假設您會啟用變更追蹤功能追蹤資料表的變更的 SQL Server 2008 中。 當您執行的作業,會導致重新建立資料表時, 收到錯誤訊息中,< 徵狀 > 一節所述。 不過,如果您關閉這個選項,重新建立資料表時,會刪除現有的變更追蹤資訊。 因此,建議您做無法解決這個問題藉由關閉選項。

如果要判斷是否變更的追蹤功能已啟用資料表中,請依照下列步驟執行]:
  1. 在 SQL Server Management Studio,請在 Object Explorer 中尋找資料表。
  2. 資料表上, 按一下滑鼠右鍵,,然後按一下 [ 內容]
  3. 在 [ 表格內容] 對話方塊] 方塊中,按一下 [變更追蹤 (英文)。
如果 變更追蹤 項目的值為 True 時,資料表已啟用這個選項。 如果值為 False ,此選項會停用。

啟用變更的追蹤功能時,使用 Transact-SQL 陳述式變更資料表的中繼資料結構。

2009年8月6日 星期四

VB.NET 操作 MSSQL SP 語法

Dim Conn As SqlConnection = New SqlConnection("Data Source=xxx.xxx.xxx.xxx;Initial Catalog=DATABASE name;User ID=XXX;Password=xxxxxxxx")
Dim Comm As SqlCommand = New SqlCommand("SP_InsertEvent", Conn)
Comm.CommandType = Data.CommandType.StoredProcedure
Comm.Parameters.AddWithValue("@Yym", Session("currYYM"))
Comm.Parameters.AddWithValue("@Code", "Q456")
Comm.Parameters.AddWithValue("@Name", "現在五點")
Comm.Parameters.AddWithValue("@BeginDate", "2009/08/06")
Comm.Parameters.AddWithValue("@EndDate", "2009/08/06")
Comm.Parameters.AddWithValue("@Description", "現在五點")
Comm.Parameters.AddWithValue("@PsnNo", "7777777")
Conn.Open()
Comm.ExecuteNonQuery()\\沒有回傳值
Conn.Close()