Import dữ liệu lớn từ excel vào sql server nhanh nhất.

Liên hệ QC
Q

quang0308

Thành viên mới
Tham gia
21/7/21
Bài viết
11
Được thích
0
Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.
 
Sắp xếp theo thời gian sắp xếp theo bầu chọn
quang0308 đã viết:
Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng nhanh nhất mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.
Nhấp chuột vào đây để mở rộng...
Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.
 
Upvote 0
Ngày mai trời lại sáng đã viết:
Vậy bạn thử for.. next dữ liệu rồi đưa hết vào câu lệnh insert into cuối cùng là ghi vào xem vấn đề gì không (nghĩa là ghi 1 lần) thay vì mỗi vòng lặp là 1 lần ghi vào.
Nhấp chuột vào đây để mở rộng...
Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.
 
Upvote 0
quang0308 đã viết:
Mình đã thử rất nhiều cách,trong đó có cách của bạn nhưng cũng không nhanh hơn dc vì nó phải chạy lệnh insert thì sẽ không nhanh được.
Nhấp chuột vào đây để mở rộng...
Cách nào chẳng phải for next bạn, cách của mình là câu lệnh insert sẽ nằm ngoài vòng lặp sau khi kết thúc mà bạn.. cách bạn có giống không?
 
Upvote 0
Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.
 
Upvote 0
quang0308 đã viết:
Rồi insert vào kiểu gì bạn thử demo cho mình dc không?
Nhấp chuột vào đây để mở rộng...
Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.
Bài đã được tự động gộp:

VetMini đã viết:
Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.
Nhấp chuột vào đây để mở rộng...
Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.
 
Upvote 0
quang0308 đã viết:
Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.
Nhấp chuột vào đây để mở rộng...
C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.
 
Lần chỉnh sửa cuối:
Upvote 0
quang0308 đã viết:
Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.
Bài đã được tự động gộp:


Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.
Nhấp chuột vào đây để mở rộng...
quang0308 đã viết:
Rồi insert vào kiểu gì bạn thử demo cho mình dc không?
Nhấp chuột vào đây để mở rộng...
Kiểu này nè bạn:
Mã: 
                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)
 
Upvote 0
quang0308 đã viết:
...
Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.
Nhấp chuột vào đây để mở rộng...
SQL Server phải cho phép VBA kết nối.
Chính cái kết nối ấy mở đường cho acttack.
Kiến thức về an toàn CSDL của người viết VBA là con số không tổ bố. Hầu hết các chuỗi kết nối chứa tên user và password.

Khi làm việc trên SQL Server Management Studio (SSMS) thì chủ server cho phép máy con được kết nối với một số diều kiện. Người chạy SSMS phải có một số kiến thức về an toàn. Admin của Server có thể giới hạn rằng người dùng chỉ có quyền đọc, ghi thì phải dùng SP (stored procedure)

Cách an toàn duy nhất cho VBA là đặt Schedule Task, đưa tham số tên file, tên bảng vào SP. Scheduled Task sẽ tự chạy SP. Vì SP chịu kiểm soát của Server cho nên khá an toàn.
 
Upvote 0
Ngày mai trời lại sáng đã viết:
Kiểu này nè bạn:
Mã: 
                data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)
Nhấp chuột vào đây để mở rộng...
Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.
 
Upvote 0
quang0308 đã viết:
Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.
Nhấp chuột vào đây để mở rộng...
Mình thấy bài 9 của anh @ongke0711 có gợi ý 2 cách đó mà chưa thấy bạn phản hồi.
Rồi các nguy cơ liên quan đến máy chủ mà chú @VetMini nói tớ nữa đó bạn.
Mình không có phòng thí nghiệm để thử nên chỉ có cách củ chuối đó thôi bạn.
 
Upvote 0
Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.
- Dùng Bulk insert thì sẽ có những đánh đổi để được tốc độ như nó không kiểm tra các khóa, các ràng buộc dữ liệu (constraint) mà chỉ nạp một đống dữ liệu vào. Nếu ngoài việc chuyển dữ liệu lớn vào SQL SV thì không nên dùng cách này.

(Lưu ý: là chỉ đang test trên cùng 1 máy cài SQL SV, không tính tới yếu tố băng thông khi đưa lên máy chủ, qua mạng LAN, WAN)


Screen Shot 2022-04-27 at 08.57.42.png
 
Lần chỉnh sửa cuối:
Upvote 0
ongke0711 đã viết:
Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
- Dữ liệu: 30k dòng x 15 cột
- Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.

View attachment 275069
Nhấp chuột vào đây để mở rộng...
Nhìn hấp dẫn quá,chia sẻ cho em học để áp dụng với anh }}}}}
 
Upvote 0
ongke0711 đã viết:
C1: Bạn đã thử dùng ADODB Recordset chưa?
- Kết nối SQL Server, mở ADO Recordset từ Table đích.
- Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.
Nhấp chuột vào đây để mở rộng...
C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?
 
Upvote 0
ongke0711 đã viết:
Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.
Nhấp chuột vào đây để mở rộng...
'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next
 
Upvote 0
quang0308 đã viết:
'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT]"
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from [CSDL_LDA].[KHOAN_PHONG].[NL_TH_KHTT] "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next
Nhấp chuột vào đây để mở rộng...
Theo tôi thấy code bạn làm sai ý rồi, cố gắng mò đi cho nhớ
 
Upvote 0
quang0308 đã viết:
' Dim rs, rs1 As Object

' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow


Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next
Nhấp chuột vào đây để mở rộng...

- Dính lỗi khai báo biến gộp. Có bài nói rồi.
- Mỗi lần lấy dữ liệu là mỗi lần tương tác với Sheet.
- Các Action query (Delete, Insert, update) thì chỉ cần thực thi, không cần phải qua đối tượng Recordset. Dùng thẳng đối tượng ADO Connection hoặc ADO Command.
- Code VBA còn lủng củng thì sẽ khó hơn khi tương tác với stored procedure của SQL Server.
Thông thường khi nhập liệu lên table của SQL Server người ta thường truyền tham số cho stored procedure của SQL Sv để chạy trên máy chủ chứ không chạy bằng câu lệnh SQL ở phía khách như anh Vetmini đã đề cập ở trên. (Tránh bị SQL injection).
 
Lần chỉnh sửa cuối:
Upvote 0
Bạn phải đăng nhập hoặc đăng ký để trả lời bài viết tại đây.
Web KT

Bài viết mới nhất

LuuAnh980
Công thức thỏa mãn 2 điều kiện thì có dấu X, nếu không thì =""
Trả lời
16
Đọc
133
VetMini
V
N
  • Question
Mở từng file PDF ra in rồi đóng lại mở tiếp file khác trên cùng folder
Trả lời
13
Đọc
163
Hoàng Tuấn 868
H
A
Tính tổng dữ liệu băng dictionary
Trả lời
8
Đọc
147
HieuCD
H
vancuong4747
Chuyển đổi chữ tiếng Nhật từ ký tự toàn phần thành ký tự bán phần.
Trả lời
0
Đọc
22
vancuong4747
vancuong4747
LuuAnh980
  • Question
Code lấy dữ liệu từ 3 file con.
2 3 4
Trả lời
68
Đọc
1K
Hoàng Tuấn 868
H
Xem thêm…

Facebook

Giaiphapexcel.com

Group

DIỄN ĐÀN GIẢI PHÁP EXCEL Group 1
DIỄN ĐÀN GIẢI PHÁP EXCEL Group 2

Thành viên có số lượng bài viết cao nhất tháng

Thành viên có điểm tương tác cao nhất tháng

Back
Top Bottom