Import dữ liệu lớn từ excel vào sql server nhanh nhất.

[quang0308]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

 

[Ngày mai trời lại sáng]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng nhanh nhất mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.

 

[quang0308]

Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.

Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.

 

[Ngày mai trời lại sáng]

Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.

Cách nào chẳng phải for next bạn, cách của mình là câu lệnh insert sẽ nằm ngoài vòng lặp sau khi kết thúc mà bạn.. cách bạn có giống không?

 

[quang0308]

Cách nào chẳng phải for next bạn, cách của mình là câu lệnh insert sẽ nằm ngoài vòng lặp sau khi kết thúc mà bạn.. cách bạn có giống không?

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

 

[Ngày mai trời lại sáng]

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Vậy code của bạn đâu?

 

[VetMini]

Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.

 

[quang0308]

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.

Bài đã được tự động gộp: 26/4/22

Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.

Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

 

[ongke0711]

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.

 

[Ngày mai trời lại sáng]

Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.

Bài đã được tự động gộp: 26/4/22

Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Kiểu này nè bạn:

                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)

 

[VetMini]

...
Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

SQL Server phải cho phép VBA kết nối.
Chính cái kết nối ấy mở đường cho acttack.
Kiến thức về an toàn CSDL của người viết VBA là con số không tổ bố. Hầu hết các chuỗi kết nối chứa tên user và password.

Khi làm việc trên SQL Server Management Studio (SSMS) thì chủ server cho phép máy con được kết nối với một số diều kiện. Người chạy SSMS phải có một số kiến thức về an toàn. Admin của Server có thể giới hạn rằng người dùng chỉ có quyền đọc, ghi thì phải dùng SP (stored procedure)

Cách an toàn duy nhất cho VBA là đặt Schedule Task, đưa tham số tên file, tên bảng vào SP. Scheduled Task sẽ tự chạy SP. Vì SP chịu kiểm soát của Server cho nên khá an toàn.

 

[quang0308]

Kiểu này nè bạn:

                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)

Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.

 

[Ngày mai trời lại sáng]

Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.

Mình thấy bài 9 của anh @ongke0711 có gợi ý 2 cách đó mà chưa thấy bạn phản hồi.
Rồi các nguy cơ liên quan đến máy chủ mà chú @VetMini nói tớ nữa đó bạn.
Mình không có phòng thí nghiệm để thử nên chỉ có cách củ chuối đó thôi bạn.

 

[ongke0711]

Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.
- Dùng Bulk insert thì sẽ có những đánh đổi để được tốc độ như nó không kiểm tra các khóa, các ràng buộc dữ liệu (constraint) mà chỉ nạp một đống dữ liệu vào. Nếu ngoài việc chuyển dữ liệu lớn vào SQL SV thì không nên dùng cách này.

(Lưu ý: là chỉ đang test trên cùng 1 máy cài SQL SV, không tính tới yếu tố băng thông khi đưa lên máy chủ, qua mạng LAN, WAN)

 

[Ngày mai trời lại sáng]

Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.

View attachment 275069

Nhìn hấp dẫn quá,chia sẻ cho em học để áp dụng với anh

 

[quang0308]

C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

 

[ongke0711]

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.

 

[quang0308]

Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.

'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

 

[thuyyeu99]

'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

Theo tôi thấy code bạn làm sai ý rồi, cố gắng mò đi cho nhớ

 

[ongke0711]

' Dim rs, rs1 As Object

' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow


Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

- Dính lỗi khai báo biến gộp. Có bài nói rồi.
- Mỗi lần lấy dữ liệu là mỗi lần tương tác với Sheet.
- Các Action query (Delete, Insert, update) thì chỉ cần thực thi, không cần phải qua đối tượng Recordset. Dùng thẳng đối tượng ADO Connection hoặc ADO Command.
- Code VBA còn lủng củng thì sẽ khó hơn khi tương tác với stored procedure của SQL Server.
Thông thường khi nhập liệu lên table của SQL Server người ta thường truyền tham số cho stored procedure của SQL Sv để chạy trên máy chủ chứ không chạy bằng câu lệnh SQL ở phía khách như anh Vetmini đã đề cập ở trên. (Tránh bị SQL injection).