데이터센터 프록시
데이터센터 프록시는 호스팅 또는 클라우드 네트워크의 IP 주소를 사용하는 서버를 통해 애플리케이션의 요청을 전송합니다. 웹사이트는 프록시 IP에서 오는 연결을 받습니다. 브라우저, 스크레이퍼 등 애플리케이션은 계속 사용자의 컴퓨터나 서버에서 실행됩니다.
데이터센터는 주요 프록시 네트워크 유형 중 하나로, IP의 출처를 나타냅니다. 작업 대상 웹사이트가 호스팅 IP를 허용한다면, 주소가 많이 필요하거나 데이터를 대량으로 전송할 때 경제적인 선택인 경우가 많습니다.
데이터센터 IP의 출처
데이터센터에는 서버와 네트워크 장비가 설치되어 있으며 전원, 냉각, 인터넷 연결이 제공됩니다. 프록시 제공업체는 이 장비를 직접 소유하거나 호스팅 회사에서 임대할 수 있습니다. 서버에서 프록시 소프트웨어를 실행하고, 호스팅 또는 클라우드 네트워크의 공인 IP 주소로 웹사이트에 연결합니다.
서버 한 대가 여러 프록시 IP를 제공할 수 있습니다. 각 주소는 서로 다르지만 같은 프로세서와 인터넷 연결을 공유할 수 있습니다. 따라서 하드웨어 비용을 여러 IP에 나누어 부담할 수 있습니다. 한편 주소를 더 구매하더라도 대역폭이나 허용되는 동시 연결 수가 반드시 늘어나는 것은 아닙니다.
유형은 서버가 있는 건물만이 아니라 IP가 속한 네트워크로 구분합니다. ISP 프록시도 같은 데이터센터의 서버에서 실행되면서 인터넷 접속 제공업체와 연결된 IP를 사용할 수 있습니다. 주거용 프록시는 가정용 인터넷 연결을, 모바일 프록시는 이동통신 연결을 사용합니다. 데이터센터 IP는 호스팅 네트워크에 속합니다.
연결이 이루어지는 방식
애플리케이션이 프록시를 통해 페이지를 불러오면 다음 세 단계가 진행됩니다.
- 애플리케이션이 서비스에서 제공한 주소, 포트, 접속 정보를 사용해 프록시에 연결합니다.
- 프록시가 웹사이트에 연결하고 요청을 전달합니다. 웹사이트에는 이 연결에 사용된 IP가 보이며, 이를 보통 출구 IP라고 합니다.
- 웹사이트가 응답을 프록시로 보내면 프록시가 애플리케이션에 다시 전달합니다.
어떤 페이지를 요청하고 어떻게 처리할지는 여전히 애플리케이션이 결정합니다. 프록시는 요청과 응답을 운반합니다. 사용자를 대신해 스크레이핑을 수행하거나 테스트 부하를 만들지는 않습니다.
서비스는 프록시 주소 목록을 제공하거나 풀에서 IP를 선택하는 게이트웨이를 제공할 수 있습니다. 게이트웨이를 사용하는 경우 설정에 입력한 주소와 웹사이트에 보이는 IP가 다를 수 있습니다.
데이터센터 프록시의 장점
많은 요청을 처리할 수 있는 용량
호스팅 서버와 네트워크 연결은 많은 연결과 대량 전송을 처리할 수 있습니다. 트래픽이 참여자의 가정용 회선이나 모바일 기기의 무선 구간을 통과할 필요가 없습니다. 따라서 데이터센터 프록시는 많은 페이지를 가져오거나 대규모 데이터셋을 내려받는 작업에 유용합니다.
대역폭과 응답 시간은 서로 다릅니다. 서버가 대량의 데이터를 전송할 수 있어도 경로가 길거나 웹사이트의 응답이 느리면 각 요청에는 더 긴 시간이 걸릴 수 있습니다. 서비스의 대역폭 및 연결 한도와 함께 실제 작업을 완료하는 데 걸리는 시간이 중요합니다.
대규모 IP 목록의 비용 절감
여러 프록시 IP가 같은 서버를 사용할 수 있고, 제공업체가 주소마다 별도의 가정용 회선이나 SIM 카드를 마련할 필요가 없습니다. 따라서 대규모 데이터센터 목록은 주거용 또는 모바일 접속보다 저렴한 경우가 많습니다. IP 주소를 확보하고 유지하는 데에는 여전히 비용이 들며, 하드웨어 공유는 제공업체의 비용 중 일부만 줄여 줍니다.
반복 작업의 비용이 쌓이는 정기 수집이나 대량 다운로드에 유용할 수 있습니다. 성공적으로 완료한 작업의 비용을 비교하세요. 필요한 페이지를 불러올 수 없는 주소는 가격이 저렴해도 가치가 작습니다.
예약 작업에 적합
프록시 서버는 보통 지속적으로 운영됩니다. 예약 작업은 가정의 참여자가 기기를 연결된 상태로 두는지에 의존하지 않습니다. 고정 IP 서비스라면 이후 실행에서도 같은 IP를 다시 사용할 수 있습니다.
이는 일일 수집, 모니터링, 반복 점검에 도움이 됩니다. 다만 가용성은 제공업체의 장비와 네트워크에 달려 있으므로 유지보수, 장애, 과부하가 연결을 끊을 수 있습니다.
데이터센터 프록시의 한계
웹사이트는 호스팅 IP를 식별할 수 있음
웹사이트는 IP 분류 데이터베이스와 네트워크 등록 정보를 사용해 호스팅 제공업체와 연결된 주소를 식별할 수 있습니다. 이를 위해 사용자의 원래 IP를 알아낼 필요는 없습니다. 웹사이트는 연결을 허용하거나 CAPTCHA를 표시하거나 요청을 거부할 수 있습니다.
제한은 IP 하나, 주소 범위 또는 자율 시스템 번호(ASN)로 식별되는 네트워크 전체에 적용될 수 있습니다. 마지막 경우에는 같은 네트워크의 다른 IP로 바꾸어도 결과가 같을 수 있습니다. 주소가 많은 목록이라고 해서 반드시 여러 네트워크의 주소가 포함된 것은 아닙니다.
과거 사용과 공유 사용이 IP에 미치는 영향
주소는 이전 활동 때문에 평판이 나쁠 수 있습니다. 새 고객에게 할당해도 그 이력이 지워지지 않으며, 공유 서비스에서는 다른 고객도 여전히 같은 IP를 사용할 수 있습니다. 이는 웹사이트가 모든 호스팅 IP를 거부하는 경우와 별개입니다. 알려진 악용 이력이 없는 주소도 그러한 규칙의 적용을 받을 수 있습니다.
웹사이트는 쿠키, 계정, 브라우저 신호, 요청 패턴도 평가할 수 있습니다. 프록시 IP를 바꾸어도 이런 신호 중 상당수는 그대로 남습니다. 따라서 단순히 주소를 얼마나 자주 순환하는지보다 거부된 이유가 더 중요합니다.
풀이 크다고 모든 위치를 제공하는 것은 아님
선택할 수 있는 국가와 도시는 제공업체의 네트워크와 IP 범위에 달려 있습니다. 몇 개 국가에 수천 개 주소가 있어도 작업에 다른 위치가 필요하면 도움이 되지 않습니다. 필요한 국가의 호스팅 IP라고 해서 현지 가정이나 이동통신 가입자를 나타내는 것도 아닙니다.
위치 점검에서는 웹사이트가 IP를 어떻게 식별하는지가 중요합니다. 웹사이트의 위치 데이터베이스 결과가 제공업체의 국가 표시나 서버의 물리적 위치와 다를 수 있습니다.
데이터센터 프록시의 활용
다음 예시는 수집 작업 분리, 안정적인 주소 유지, 여러 출발지에서의 테스트 등 프록시 IP를 사용하는 서로 다른 이유를 보여 줍니다. 데이터센터 인프라는 반복 작업과 대량 전송에 이런 주소를 실용적으로 사용할 수 있게 해 줍니다.
공개 카탈로그와 아카이브 크롤링
크롤러는 여러 출처에서 기업 기록, 아카이브 페이지, 문서를 수집할 수 있습니다. 작업자마다 서로 다른 프록시 IP를 할당할 수 있습니다. 출처가 IP별로 요청이나 연결 수를 계산한다면 유용합니다. 그렇지 않으면 같은 주소를 사용하는 작업자들이 하나의 허용량을 나누어 쓰게 됩니다.
데이터센터 프록시는 대규모 주소 목록을 비교적 저렴하게 제공하며 지속적인 전송을 처리할 수 있습니다. 대기열 관리, 콘텐츠 파싱, 웹사이트별 요청 빈도 설정은 여전히 크롤러가 담당합니다. IP를 추가해도 수집 대상 웹사이트의 처리 용량이 늘어나지는 않습니다.
가격과 재고 재확인
가격 모니터는 하루 동안 정해진 제품 목록을 반복 방문합니다. 상점이나 제품군마다 별도의 프록시 주소를 할당하고, 고정 주소를 여러 차례 확인에 재사용할 수 있습니다. 이렇게 하면 모니터를 실행하는 컴퓨터의 현재 인터넷 연결에 얽매이지 않고 수집 과정에서 일정한 네트워크 출발지를 유지할 수 있습니다.
같은 페이지를 반복해서 가져오므로 낮은 운영 비용이 중요합니다. 대규모 카탈로그를 자주 갱신해야 한다면 데이터센터 프록시를 시험해 볼 만합니다. 직접 연결로 잘 작동하는 소규모 모니터라면 프록시가 유용한 기능을 더해 주지 않을 수 있습니다.
허용된 IP를 통한 API 데이터 수집
일부 데이터 API는 승인된 출발지 주소의 요청만 허용합니다. 작업자는 IP 허용 목록에 등록된 고정 데이터센터 프록시를 통해 연결할 수 있습니다. 작업자를 다른 서버나 네트워크로 옮겨도 API는 계속 같은 프록시 IP에서 오는 연결을 받습니다.
이는 정기적인 JSON 또는 XML 내보내기와 대용량 데이터 피드에 유용합니다. 프록시는 네트워크 주소를 제공하고 전송을 운반하며, API 키 제공과 응답 처리는 여전히 애플리케이션이 담당합니다. 프록시 IP를 추가해도 해당 키나 계정의 할당량은 바뀌지 않습니다.
외부 주소에서 대규모 웹사이트 감사
SEO 크롤러는 자신의 사이트나 고객 사이트에서 끊어진 링크, 리디렉션 체인, 중복 제목, 잘못된 canonical 태그를 확인합니다. 크롤링 결과를 사이트맵과 비교하면 내부 링크가 없는 페이지도 찾을 수 있습니다. 고정 프록시는 감사에 알려진 외부 주소를 제공하므로 사이트 소유자가 접근 제어에서 허용할 수 있습니다. 다른 컴퓨터에서 감사를 실행할 때도 같은 주소를 재사용할 수 있습니다.
대규모 크롤링에 데이터센터의 용량이 유용하지만, 요청 빈도는 여전히 사이트가 처리할 수 있는 수준에 맞춰야 합니다. 오류를 찾는 것은 크롤러이며 프록시는 연결을 제공합니다. 사이트 이전 후에도 같은 허용 주소로 크롤링을 반복할 수 있습니다.
자체 사이트의 부하 대응 테스트
합의된 부하 테스트에서는 여러 프록시 IP를 통해 요청을 보내 동시 방문, 지속적인 API 트래픽, 급격한 요청 증가를 확인할 수 있습니다. 서로 다른 출발지 주소를 사용하면 자체 서비스가 IP별 연결 및 요청 한도를 어떻게 적용하는지도 시험할 수 있습니다.
데이터센터 프록시는 감당할 수 있는 비용으로 여러 외부 주소를 제공합니다. 부하를 만드는 것은 테스트 프로그램입니다. 포화된 프록시를 느린 웹사이트로 오해하지 않도록 프록시 서비스의 대역폭과 연결 한도도 측정하세요. 여러 IP가 여전히 서버 한 대와 네트워크 연결 하나를 공유할 수 있습니다.
접속 방식 선택
두 가지를 별도로 선택해야 합니다. IP가 유지되는지, 다른 고객도 그 IP를 사용하는지입니다. 고정 IP는 공유될 수 있고, 전용 주소 묶음에도 순환을 적용할 수 있습니다.
IP가 바뀌는가?
고정 IP
서비스가 IP 할당을 유지하므로 여러 연결에서 재사용할 수 있습니다. 고정 프록시 목록을 제공하거나 그 고정 주소들에 대한 게이트웨이 접속을 제공할 수 있습니다. 특정 작업에 IP를 연결하거나 연속된 작업 동안 유지할 수 있습니다.
애플리케이션이 고정 목록의 주소를 번갈아 사용한다면 프록시 전환 시점은 애플리케이션이 결정합니다. 목록의 각 주소 자체는 고정되어 있습니다.
순환
서비스가 풀에서 IP를 선택하고 새 연결이나 일정 시간 경과 등 자체 규칙에 따라 변경합니다. 일부 서비스는 연속된 요청에 하나의 IP를 유지하는 고정 세션을 제공합니다.
순환은 주소를 바꿀 뿐 네트워크 유형을 바꾸지 않습니다. 데이터센터 풀은 계속 데이터센터 IP를 제공합니다. 구체적인 변경 시점은 서비스의 순환 설정에 따릅니다.
누가 IP를 사용하는가?
전용
서비스가 한 고객에게 IP를 예약합니다. 예약 기간 동안 그 서비스의 다른 고객은 해당 IP를 사용하지 않습니다. 따라서 그 주소를 통해 전송되는 활동을 직접 관리할 수 있습니다.
서버 자체에는 다른 프록시 IP가 함께 있을 수 있습니다. 독점 주소가 반드시 독점 하드웨어나 대역폭을 뜻하는 것은 아닙니다.
공유
여러 고객이 같은 프록시 IP를 사용합니다. 연결은 서로 분리되어 있지만, 웹사이트가 IP 기반 한도를 적용할 때 요청을 합산할 수 있습니다. 다른 고객의 활동이 주소의 평판에도 영향을 줄 수 있습니다.
공유는 IP 비용을 여러 고객에게 나눕니다.