(Hỏi) Giải pháp lấy dữ liệu từ website

[sadlyken]

Kính thưa toàn thể anh/chị em,
Mình là mem mới và đây là bài đầu tiên. Hiện mình có một vấn đề như sau rất cần các anh/chị em nào có kinh nghiệm có thể góp ý.
Công việc của mình cần dữ liệu báo cáo tài chính của các doanh nghiệp. Các dữ liệu này hiện nay đa phần nằm ở trên các website. Trước đây mình copy bằng tay nhưng thực sự lượng dữ liệu ngày càng lớn việc này càng lúc càng kéo dài, mình cũng đã thử mua nhưng thực sự giải pháp này mình cũng không thể theo nổi do không đủ kinh phí. Rất may mắn là mình tìm được bài viết của anh HeSanBi (đây). Một công cụ rất tuyệt vời giúp mình tiết kiệm được rất nhiều thời gian.
Mặc dù công cụ này rất tuyệt nhưng mình vẫn không sử dụng được nhiều, là vì mình cần dữ liệu của các doanh nghiệp với dạng Panel và mình cần một thời đoạn dài, nhưng file của anh HeSanBi chỉ cho phép lấy data trong 4-5 năm. Mình phải copy từng mã và transpose từng đoạn. Tất nhiên anh HeSanBi cũng không thể cập nhật liên tục vì lý do cá nhân.
Vì vậy, xin mạn phép hỏi anh/chị em cao thủ, có phương pháp nào mình có thể lấy dữ liệu trên website như Vietstock mà newbie có thể làm được không. Mình không biết gì về VBA, mình đã thử importXML trên sheet nhưng nó ko hoạt động với Vietstock, mình đã thử tính năng import data của excel nhưng gặp 2 vấn đề: một là chỉ được 4 năm, 2 là khi chuyển đổi giữa quý và năm thì xử lý như thế nào ?
Mình tìm hiểu thì được biết việc này được gọi là "Scraping website". Mong anh/chị em trợ giúp !
Thân !

 

[befaint]

có phương pháp nào mình có thể lấy dữ liệu trên website như Vietstock mà newbie có thể làm được không

Trả lời: Không.

Thu thập dữ liệu từ web yêu cầu trình độ ở mức cao, nhất là kiến thức về web, về web API.

 

[khitamdao]

- bác chịu khó học “selenium basic for vba”;
- giải quyết được vấn đề hay không là do trình độ code của bác rồi;
- Mình hay lấy số liệu trên web để phục vụ chuyên môn, trước viết chương trình lấy qua internet explorer, nhưng giờ trang web nó không hoạt động trên ie nữa, nên cũng phải học cái selenium này, bản thân mình dốt khoản học, nhưng thấy cũng không khó để tiếp thu đâu, 1 tháng là ok (1,học qua để biết các thành phần trên web, và mình lấy cái gì; 2, viết lệnh để làm điều đó, cái này có thể google trợ giúp)

 

[sadlyken]

- bác chịu khó học “selenium basic for vba”;
- giải quyết được vấn đề hay không là do trình độ code của bác rồi;
- Mình hay lấy số liệu trên web để phục vụ chuyên môn, trước viết chương trình lấy qua internet explorer, nhưng giờ trang web nó không hoạt động trên ie nữa, nên cũng phải học cái selenium này, bản thân mình dốt khoản học, nhưng thấy cũng không khó để tiếp thu đâu, 1 tháng là ok (1,học qua để biết các thành phần trên web, và mình lấy cái gì; 2, viết lệnh để làm điều đó, cái này có thể google trợ giúp)

Cảm ơn bạn rất nhiều ! Mình ko ngại học và sẵn sàng học nhưng khi tìm kiếm trên google thì có quá nhiều hướng dẫn khác nhau sử dụng các ngôn ngữ lập trình khác nhau (nhiều nhất là Python). Nên mình ko rõ nên bắt đầu từ đâu.

 

[khitamdao]

nếu bác học được python thì càng tốt, vba thì cổ lắm rồi. bác có thể gõ tìm kiếm như sau (vba, python … )
“python: get data from website”