Giúp mình tìm dữ liệu trùng ( bôi màu dữ liệu trùng ) 50k hàng dữ liệu bằng Google Apps Script

[oddball18]

Như tiêu đề mình muốn lọc trùng dữ liệu ở cột B ( trong ví dụ link đi kèm ) bằng Google Apps Script vì nếu lọc bằng công thức load rất chậm. Mình không có kiến thức gì về Google Apps Script, lên mạng tìm 1 code thấy lọc được nhưng khi dùng trên file hơn 20k hàng trở lên nó báo " timeout ". Mọi người giúp mình với.

https://docs.google.com/spreadsheets/d/1B9lOBy58ZdwX5eZYco2hnh1anPaSaN-Z3wwwsOwrD2k/edit#gid=109806070

 

[befaint]

1 code thấy lọc được nhưng khi dùng trên file hơn 20k hàng trở lên nó báo " timeout "

Code nào mà dởm thế.

File 50 ngàn dòng đâu không thấy gửi á?

Công thức chưa tới 2 giây:
=UNIQUE(A2:A28273)

 

[oddball18]

Code nào mà dởm thế.

File 50 ngàn dòng đâu không thấy gửi á?

Công thức chưa tới 2 giây:
=UNIQUE(A2:A28273)

sr do mình ghi không rõ. mình cần bôi màu dữ liệu trùng ( highlight) chứ k phải lọc. ngoài ra đây chỉ là ví dụ còn trang làm việc dữ liệu nhiều hơn, công thức nhiều hơn có những lúc load mất 15p mới xong

 

[befaint]

highlight

Thay vì hai lai ba lai mỏi mắt tìm thì mình liệt kê luôn những cô nàng trùng cho nhanh.

Nửa giây:
=query(query(A2:A28273;"select A, count(A) group by A ";0);"select Col1 where Col2>1";0)

 

[oddball18]

Thay vì hai lai ba lai mỏi mắt tìm thì mình liệt kê luôn những cô nàng trùng cho nhanh.

Nửa giây:
=query(query(A2:A28273;"select A, count(A) group by A ";0);"select Col1 where Col2>1";0)

Được vậy thì tốt quá nhưng mà mình phải bôi màu số trùng mới đc. b có thể giúp mình cái app script với

 

[oddball18]

Ai giúp mình với

 

[befaint]

phải bôi màu số trùng

Mình nêu lý do xem nào? Nếu thuyết phục sẽ có đáp án thôi.

 

[oddball18]

Mình nêu lý do xem nào? Nếu thuyết phục sẽ có đáp án thôi.

Mình làm trên gg sheet dữ liệu nhập vào liên tục theo giây. cần lấy cả bảng dữ liệu, dữ liệu mới nhập vào phải biết ngay lập tức là dữ liệu trùng ( đa phần dữ liệu trùng không xóa ) để còn check nên k thể lọc được

 

[befaint]

nhập vào liên tục theo giây

Nếu theo từng 1 giây thì code zời cũng không làm được, bởi dữ liệu nhiều -> cần thời gian cho code xử lý kịp.

dữ liệu mới nhập vào phải biết ngay lập tức là dữ liệu trùng

Vậy là nhiệm vụ của Data Validation chứ? Tô màu làm chi?
Việc tô màu mè là công việc vô cùng nặng nề, tốn rất nhiều tài nguyên, xét cho cùng - cái cuối cuối cuối cùng - là cần biết trùng ---> Lập 1 công thức CountIF(), hoặc Query() cho cột bên cạnh biết số lượng, > 1 tức là trùng. Thế là được.

 

[oddball18]

Nếu theo từng 1 giây thì code zời cũng không làm được, bởi dữ liệu nhiều -> cần thời gian cho code xử lý kịp.


Vậy là nhiệm vụ của Data Validation chứ? Tô màu làm chi?
Việc tô màu mè là công việc vô cùng nặng nề, tốn rất nhiều tài nguyên, xét cho cùng - cái cuối cuối cuối cùng - là cần biết trùng ---> Lập 1 công thức CountIF(), hoặc Query() cho cột bên cạnh biết số lượng, > 1 tức là trùng. Thế là được.

Mình sẽ thử làm thêm cột countif xem có nhẹ hơn không. Cảm ơn b

 

[TyCQT]

How to highlight duplicates faster in google sheets script?

I wrote function markDupes1Col which highlights all duplicates in column. It works great, but when number of rows has passed 50k it became really slow. Is there anything I can do to make it faster?

stackoverflow.com

Bạn tham khảo cách người ta giải quyết vấn đề cho file lớn (>50k rows)