Import dữ liệu lớn từ excel vào sql server nhanh nhất. (1 người xem)

[quang0308]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

 

[Ngày mai trời lại sáng]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng nhanh nhất mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.

 

[quang0308]

Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.

Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.

 

[Ngày mai trời lại sáng]

Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.

Cách nào chẳng phải for next bạn, cách của mình là câu lệnh insert sẽ nằm ngoài vòng lặp sau khi kết thúc mà bạn.. cách bạn có giống không?

 

[quang0308]

Cách nào chẳng phải for next bạn, cách của mình là câu lệnh insert sẽ nằm ngoài vòng lặp sau khi kết thúc mà bạn.. cách bạn có giống không?

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

 

[Ngày mai trời lại sáng]

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Vậy code của bạn đâu?

 

[VetMini]

Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.

 

[quang0308]

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.

Bài đã được tự động gộp: 26/4/22

Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.

Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

 

[ongke0711]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.

 

[Ngày mai trời lại sáng]

Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.

Bài đã được tự động gộp: 26/4/22

Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Kiểu này nè bạn:

                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)

 

[VetMini]

...
Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

SQL Server phải cho phép VBA kết nối.
Chính cái kết nối ấy mở đường cho acttack.
Kiến thức về an toàn CSDL của người viết VBA là con số không tổ bố. Hầu hết các chuỗi kết nối chứa tên user và password.

Khi làm việc trên SQL Server Management Studio (SSMS) thì chủ server cho phép máy con được kết nối với một số diều kiện. Người chạy SSMS phải có một số kiến thức về an toàn. Admin của Server có thể giới hạn rằng người dùng chỉ có quyền đọc, ghi thì phải dùng SP (stored procedure)

Cách an toàn duy nhất cho VBA là đặt Schedule Task, đưa tham số tên file, tên bảng vào SP. Scheduled Task sẽ tự chạy SP. Vì SP chịu kiểm soát của Server cho nên khá an toàn.

 

[quang0308]

Kiểu này nè bạn:

                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)

Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.

 

[Ngày mai trời lại sáng]

Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.

Mình thấy bài 9 của anh @ongke0711 có gợi ý 2 cách đó mà chưa thấy bạn phản hồi.
Rồi các nguy cơ liên quan đến máy chủ mà chú @VetMini nói tớ nữa đó bạn.
Mình không có phòng thí nghiệm để thử nên chỉ có cách củ chuối đó thôi bạn.

 

[ongke0711]

Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.
- Dùng Bulk insert thì sẽ có những đánh đổi để được tốc độ như nó không kiểm tra các khóa, các ràng buộc dữ liệu (constraint) mà chỉ nạp một đống dữ liệu vào. Nếu ngoài việc chuyển dữ liệu lớn vào SQL SV thì không nên dùng cách này.

(Lưu ý: là chỉ đang test trên cùng 1 máy cài SQL SV, không tính tới yếu tố băng thông khi đưa lên máy chủ, qua mạng LAN, WAN)

 

[Ngày mai trời lại sáng]

Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.

View attachment 275069

Nhìn hấp dẫn quá,chia sẻ cho em học để áp dụng với anh

 

[quang0308]

C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

 

[ongke0711]

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.

 

[quang0308]

Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.

'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

 

[thuyyeu99]

'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

Theo tôi thấy code bạn làm sai ý rồi, cố gắng mò đi cho nhớ

 

[ongke0711]

' Dim rs, rs1 As Object

' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow


Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

- Dính lỗi khai báo biến gộp. Có bài nói rồi.
- Mỗi lần lấy dữ liệu là mỗi lần tương tác với Sheet.
- Các Action query (Delete, Insert, update) thì chỉ cần thực thi, không cần phải qua đối tượng Recordset. Dùng thẳng đối tượng ADO Connection hoặc ADO Command.
- Code VBA còn lủng củng thì sẽ khó hơn khi tương tác với stored procedure của SQL Server.
Thông thường khi nhập liệu lên table của SQL Server người ta thường truyền tham số cho stored procedure của SQL Sv để chạy trên máy chủ chứ không chạy bằng câu lệnh SQL ở phía khách như anh Vetmini đã đề cập ở trên. (Tránh bị SQL injection).

 

[quang0308]

- Dính lỗi khai báo biến gộp. Có bài nói rồi.
- Mỗi lần lấy dữ liệu là mỗi lần tương tác với Sheet.
- Các Action query (Delete, Insert, update) thì chỉ cần thực thi, không cần phải qua đối tượng Recordset. Dùng thẳng đối tượng ADO Connection hoặc ADO Command.
- Code VBA còn lủng củng thì sẽ khó hơn khi tương tác với stored procedure của SQL Server.

Hic nó chi chạy chậm chứ nó không hề báo lỗi gì.Bạn có thể chia sẽ cho mình cách bulk insert vba được không?

 

[befaint]

Ợ. Tưởng vướng mắc gì, sao ngay bài #1 không úp code đã làm lên cho rồi.
Vậy mà phương án nào đưa ra cũng kêu chậm.

Gọi tới từng cell thế kia thì siêu rùa chứ chậm gì.

last_row còn gọi tới sheet cụ thể, lúc lấy dữ liệu thì gọi cell trống không.

 

[tigertiger]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

Nên hỏi IT phụ trách cơ sở dữ liệu đó.
Nếu bạn là IT phụ trách luôn: thì sẽ biết nên hỏi vấn đề này ở đâu thay vì Excel

 

[ongke0711]

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

Bạn xem file đính kèm.
- Mở SQL Server và chạy lần lượt 3 cái SQL script để tạo: TestDB, tblRawData và cái stored procedure Bulk insert.
- Chạy file Excel và nhập các thông số kết nối tới máy chủ SQL Server của bạn.

Bổ sung: Tùy phiên bản và thiết lập SQL Server của bạn mà thay đổi Connection String cho phù hợp nhé.

mConnectionString = "Network Library=DBMSSOCN;" & _
                    "PROVIDER=MSOLEDBSQL;DATA SOURCE=" & mServerName & _
                    ";INITIAL CATALOG=" & mDatabaseName & _
                    ";User Id=" & mUserName & ";Password=" & mPassword & ";"

mConnectionString = "Driver={SQL Server};" & _
                    "Server=" & mServerName & _
                    ";Database=" & mDatabaseName & _
                    ";Uid=" & mUserName & _
                    ";Pwd=" & mPassword & ";"
                    '";DataTypeCompatibility=80;"    'dung cho SQL SV 2019 với các datatype moi'

 

[hvnhpro]

Bạn xem file đính kèm.
- Mở SQL Server và chạy lần lượt 3 cái SQL script để tạo: TestDB, tblRawData và cái stored procedure Bulk insert.
- Chạy file Excel và nhập các thông số kết nối tới máy chủ SQL Server của bạn.

Cảm ơn Ongke0711 đã chia sẻ.
Em đang tìm hiểu về ADODB, bác có thể cho em xin thêm tài liệu hoặc link tham khảo được ko, em cảm ơn!!!

vd như qua ngâm cứu file bác gửi, em thấy bác khai báo mấy biến chung này mà vẫn ko hiểu khai báo này có mục đích để làm gì?

Private Const adUseClient As Long = 3
Private Const adLockReadOnly As Long = 1
Private Const adStateOpen As Long = 1
Private Const adCmdStoredProc As Long = 4
Private Const adParamOutput As Long = 2
Private Const adOpenDynamic As Long = 2
Private Const adOpenStatic As Long = 3

Public Enum DBaseType
dbSQLServer = 1
dbAccess = 2
dbIBMDADB2 = 3
End Enum

 

[ongke0711]

Private Const adUseClient As Long = 3
Private Const adLockReadOnly As Long = 1
Private Const adStateOpen As Long = 1
Private Const adCmdStoredProc As Long = 4
Private Const adParamOutput As Long = 2
Private Const adOpenDynamic As Long = 2
Private Const adOpenStatic As Long = 3

Public Enum DBaseType
dbSQLServer = 1
dbAccess = 2
dbIBMDADB2 = 3
End Enum

Code gốc của tôi dùng khai báo muộn (Late binding) với thư viện ADODB, nên nếu dùng tên hằng như:
rs1.Open select_query, cn , adOpenKeySet, adLockOptimistic
sẽ báo lỗi ngay vì VBA nó không hiểu các tham số đó là gì nếu chưa khai báo nó.

Nếu truyền tham số trong câu lệnh bằng các con số thì sẽ không báo lỗi nhưng không phải ai cũng nhớ nó là tham số gì. Người ta hay gọi là Magic number.

rs1.Open select_query, cn, 1, 3

Do đó tôi khai báo các hằng trên để có thể dùng cái tên nó luôn trong câu lệnh đối với Late binding.

Còn phần khai báo: DBType là vì tôi dùng bộ code này để kết nối với 2 loại CSDL khác là Access và IBMDB. Khi kết nối với CSDL nào thì cung cấp tham số này để code nó tạo chuỗi kết nối phù hợp với loại CSDL đó.

Tài liệu tham khảo: đính kèm bên dưới.

 

[hvnhpro]

Code gốc của tôi dùng khai báo muộn (Late binding) với thư viện ADODB, nên nếu dùng tên hằng như:
rs1.Open select_query, cn , adOpenKeySet, adLockOptimistic
sẽ báo lỗi ngay vì VBA nó không hiểu các tham số đó là gì nếu chưa khai báo nó.

Nếu truyền tham số trong câu lệnh bằng các con số thì sẽ không báo lỗi nhưng không phải ai cũng nhớ nó là tham số gì. Người ta hay gọi là Magic number.

rs1.Open select_query, cn, 1, 3

Do đó tôi khai báo các hằng trên để có thể dùng cái tên nó luôn trong câu lệnh đối với Late binding.

Còn phần khai báo: DBType là vì tôi dùng bộ code này để kết nối với 2 loại CSDL khác là Access và IBMDB. Khi kết nối với CSDL nào thì cung cấp tham số này để code nó tạo chuỗi kết nối phù hợp với loại CSDL đó.

Tài liệu tham khảo: đính kèm bên dưới.

lần thứ n cảm ơn Bác.
Có tài liệu đọc sẽ hiểu gốc vấn đề hơn học mót.

 

[quang0308]

Bạn xem file đính kèm.
- Mở SQL Server và chạy lần lượt 3 cái SQL script để tạo: TestDB, tblRawData và cái stored procedure Bulk insert.
- Chạy file Excel và nhập các thông số kết nối tới máy chủ SQL Server của bạn.

Bổ sung: Tùy phiên bản và thiết lập SQL Server của bạn mà thay đổi Connection String cho phù hợp nhé.

mConnectionString = "Network Library=DBMSSOCN;" & _
                    "PROVIDER=MSOLEDBSQL;DATA SOURCE=" & mServerName & _
                    ";INITIAL CATALOG=" & mDatabaseName & _
                    ";User Id=" & mUserName & ";Password=" & mPassword & ";"

mConnectionString = "Driver={SQL Server};" & _
                    "Server=" & mServerName & _
                    ";Database=" & mDatabaseName & _
                    ";Uid=" & mUserName & _
                    ";Pwd=" & mPassword & ";"
                    '";DataTypeCompatibility=80;"    'dung cho SQL SV 2019 với các datatype moi'

cảm ơn bạn rất nhiều.

 

[befaint]

khai báo mấy biến chung này

Cái đó gọi là enum (value of Constant).
Khi dùng kết nối sớm thì dùng Constant (cũng có thể dùng value). Lúc gõ phương thức/ thuộc tính môi trường lập trình đưa sẵn gợi ý constant để lựa chọn.

Khi dùng kết nối muộn, object chỉ chấp nhận dùng enum. Và lập trình tường minh, rõ ràng thì phải khai báo các trị đó rõ ràng dạng hằng, để dễ nhận biết, quản trị.
Muốn biết enum của Constant tương ứng là gì thì gõ vào Google là thấy.