Xin hỏi cách nạp 200 triệu dòng dữ liệu

[tranhungdao12a3]

Mình nghĩ là bộ PC intel i9-12900HX, 128GB RAM chắc chạy ổn.

Bộ này thì chạy ngon hẳn rồi anh, mỗi tội hơi cao tiền

Bài đã được tự động gộp: 14/6/22

Hehe, file để vào thư mục onedrive trên cả 2 máy. Refresh trên máy bàn, còn laptop xách đi chinh chiến. Nó sẽ chỉ download về chứ không refresh.

Ondrive chắc dùng bản thương mại mới nạp được anh, bản Free hình như dung lượng 5gb thì không đủ

Bài đã được tự động gộp: 14/6/22

Data của em hơn 18 triệu dòng mà mỗi lần chạy đã cỡ 30 phút rồi.
Máy i5, ram 24G.
Với data trên của anh, không biết nó refresh hết bao lâu?

Máy mình mạnh hơn máy bạn chút nên mỗi lần refresh mình mất khoảng 1 tiếng

 

[ptm0412]

Ondrive chắc dùng bản thương mại mới nạp được anh, bản Free hình như dung lượng 5gb thì không đủ

OneDrive kèm theo bản quyền 365 lên tới 1 T

 

[87kilua]

thử coi nghiên cứu. Dữ liệu bán hàng tập đoàn đa quốc gia hay sao mà nhiều vậy. 20tr dòng thấy rồi. 200 tr to đấy

Data reduction techniques for Import modeling - Power BI

Understand different techniques to help reduce the data loaded into Import data models.

docs.microsoft.com

kèm theo $ nâng cấp

Bài đã được tự động gộp: 16/6/22

Ăn được PI không đơn giản

Can I import a 10 GB data set into Power BI?

Answer (1 of 5): Power BI supports only Maximum of 1GB of Power BI Desktop (.PBIX) files. However, Power BI Premium supports uploads of Power BI Desktop (.pbix) files that are up to 10 GB in size.

www.quora.com

trước tiên làm quen cơ bản đến năng cao, loại chất xám mua nâng cấp những tính năng có người tạo sãn. (cái này không thể học được) kiến thức nhà phát triển, không truyền ra ngoài. một số tính năng đơn giản học để thao tác trên excel rất tiện

 

[truongvu317]

Bác @VetMini có gì muốn xui cháu không? hehe

 

[87kilua]

Mua lấy con chim này

 

[tranhungdao12a3]

Có một bạn bạn ấy tư vấn như sau:
Đầu tiên sẽ convert 200 fiile excel đó sang định dạng file parquet
Sau đó tách bảng dữ liệu thành 2 bảng(một bảo lưu trữ dữ liệu cũ và một bảng lưu trữ dữ liệu mới).Sau đó khi sử dụng thì chỉ cần Refresh bảng dữ liệu mới là được.
Tuy nhiên em đã viết khoảng 800 hàm Dax rồi nên nếu tách ra lại phải sửa lại toàn bộ hàm.
Bạn nào cũng đang làm cái như vầy có test thì cho mình biết với xem mức độ cải thiện có đáng để đánh đổi sửa hàm không nhé!