Proxy là gì? Proxy hoạt động như thế nào và tại sao doanh nghiệp sử dụng chúng

Trong bối cảnh của internet, địa chỉ IP, web scraping và tự động hóa trực tuyến, proxy, ở dạng thuần túy nhất, là một máy chủ nằm giữa bạn và đích đến của bạn và chuyển tiếp các yêu cầu của bạn thay mặt bạn. Đích đến sẽ thấy IP của proxy, không phải của bạn.

Đó là toàn bộ khái niệm. Nhưng để hiểu tại sao bạn muốn làm điều đó, bạn phải hiểu vấn đề mà proxy giải quyết.

Một ví dụ thực tế

Giả sử bạn là một người bán ô tô đang cố gắng tìm xe cũ với giá tốt. Bạn không có thời gian hoặc nhân lực để xem qua hàng nghìn danh sách mỗi ngày trên hàng chục trang web. Giải pháp tự nhiên là xây dựng phần mềm scraping, một chương trình hoạt động giống như một trình duyệt, ngoại trừ việc thay vì hiển thị dữ liệu thành giao diện người dùng, nó cung cấp dữ liệu trực tiếp vào ứng dụng của bạn.

Một scraper được xây dựng tốt cho phép bạn duy trì cơ sở dữ liệu có thể truy vấn về các ô tô và giá của chúng, theo dõi khi nào danh sách được đăng, và phát hiện khi chúng bị gỡ xuống. Bây giờ bạn có thể kiểm soát toàn bộ thị trường thay vì làm mới các tab cả ngày.

Vấn đề với các yêu cầu tự động

Để bảo vệ chống lại các cuộc tấn công DDoS, khai thác thông tin xác thực và scraping hung hăng, các trang web đã triển khai các cơ chế phát hiện giới hạn nghiêm trọng lưu lượng tự động. Chúng phát hiện bot dựa trên nhiều yếu tố, bao gồm browser fingerprint, mẫu yêu cầu, tín hiệu hành vi và TLS fingerprinting (JA3/JA4). Nhưng một trong những yếu tố chính vẫn là địa chỉ IP mà các yêu cầu xuất phát từ đó.

Khi một trang web thấy một IP gửi khối lượng yêu cầu bất thường, nó thường sẽ giới hạn tốc độ bằng cách nhắc nó giải captcha, hoặc hoàn toàn từ chối dịch vụ thông qua mã trạng thái 429/403. Bất kỳ điều nào trong số đó sẽ làm hỏng scraper của người bán ô tô, trừ khi anh ta có cách phân phối các yêu cầu của mình trên nhiều IP khác nhau.

Proxy giải quyết vấn đề như thế nào

Khi các giới hạn tốc độ bắt đầu phát huy tác dụng, cách bypass dễ nhất là định tuyến lô yêu cầu tiếp theo qua một IP khác, và phần mềm của bạn tiếp tục hoạt động. Giả sử bạn cũng đang xoay các tín hiệu nhận dạng khác của mình (browser fingerprint, cookie, TLS profile, v.v.), trang web sẽ thấy IP mới là một người dùng mới không có lịch sử. Giới hạn tốc độ có xu hướng được áp dụng theo từng IP, vì vậy một IP mới thường có nghĩa là một ngân sách mới.

Tất cả những IP đó đến từ đâu?

Có nhiều nguồn, được đề cập chi tiết hơn trong Có những loại proxy nào?, nhưng mô hình đơn giản nhất là cho thuê IP. Có một toàn bộ thị trường cho không gian địa chỉ IPv4 chưa sử dụng. Các công ty sở hữu các khối IP nhưng không sử dụng chúng có thể cho thuê chúng cho các công ty cần chúng.

IPXO là một trong những nền tảng lớn nhất được xây dựng cụ thể cho cho thuê IPv4; để bán và chuyển nhượng hoàn toàn, IPv4.Global (Hilco) là nền tảng được thiết lập nhất theo khối lượng giao dịch. Các nhà cung cấp proxy như FlashProxy cho thuê các nhóm IP theo các hợp đồng hàng tháng, sau đó bán quyền truy cập vào những IP đó cho người dùng của họ.

Trong thực tế, người bán ô tô cắm điểm cuối proxy của FlashProxy vào scraper của mình. Mỗi lần phần mềm của anh ta gặp giới hạn tốc độ trên một trang web đích, nó sẽ chuyển sang một IP khác từ nhóm. Trang web đích thấy những gì trông giống như hàng nghìn người dùng khác nhau đang duyệt danh sách, thay vì một máy đang tấn công trang web. Người bán ô tô nhận được dữ liệu của mình, trang web không bị quá tải, và hệ thống hoạt động theo cách nó được thiết kế.

Đó là toàn bộ tiền đề của một proxy.

Được xuất bản bởi Alon Levi, CEO tại FlashProxy

Về tác giả: Alon Levi là CEO của FlashProxy và có kinh nghiệm phong phú trong cơ sở hạ tầng proxy, kiến trúc mạng và các công nghệ định tuyến IP quy mô lớn.  

Kết nối trên LinkedIn  ·  Liên hệ: [email protected]

Các câu hỏi thường gặp

Proxy được sử dụng để làm gì?

Proxy thường được sử dụng nhất cho web scraping, giám sát giá, xác minh quảng cáo, theo dõi xếp hạng SEO và bỏ qua các hạn chế địa lý trên dữ liệu công khai.

Proxy có giống VPN không?

Không. VPN mã hóa tất cả lưu lượng của thiết bị của bạn và định tuyến nó qua một đường hầm. Proxy chuyển tiếp các yêu cầu của bạn qua một IP khác, lưu lượng đó vẫn có thể được mã hóa end-to-end (một yêu cầu HTTPS vẫn được mã hóa cho dù nó có đi qua proxy hay không), nhưng bản thân proxy không tạo đường hầm được mã hóa trên toàn bộ thiết bị. Chúng phục vụ các mục đích khác nhau.

Xoay IP là gì?

Xoay IP là thực tế chuyển đổi giữa các IP proxy khác nhau trong các yêu cầu. Nó ngăn chặn bất kỳ IP đơn lẻ nào kích hoạt giới hạn tốc độ trên trang web đích, giữ cho các quy trình tự động chạy suôn sẻ.

Proxy có che giấu danh tính của bạn không?

Proxy che giấu địa chỉ IP thực của bạn khỏi máy chủ đích, nhưng chúng không cung cấp tính ẩn danh đầy đủ. Các tín hiệu khác, chẳng hạn như browser fingerprint, cookie và TLS profile, vẫn có thể nhận dạng bạn nếu không có các biện pháp bảo vệ bổ sung.

Nguồn & Tham khảo

• IETF RFC 6585, Các mã trạng thái HTTP bổ sung (429 Quá nhiều yêu cầu): https://datatracker.ietf.org/doc/html/rfc6585

• MDN Web Docs, 429 Quá nhiều yêu cầu: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/429

• Cloudflare, TLS fingerprinting JA3/JA4: https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/

• IPXO, Thị trường cho thuê IPv4: https://www.ipxo.com/

• IPv4.Global (Hilco Global): https://www.hilcobrands.com/companies/ipv4/  Yêu cầu khối lượng giao dịch tự báo cáo của nhà cung cấp.