Engellenen Web Siteleri ve Uygulamalar

Engellenen Web Siteleri ve Uygulamalar

Bir proxy sağlayıcısı, müşterilerin kendi ağı üzerinden erişemeyeceği kaynakları içeren bir engellenenler listesi tutabilir. Bir kayıt, kötüye kullanım şikâyeti veya altyapı tedarikçisinin talebi üzerine eklenebilir. Başka hedefler ise sağlayıcı olay yaşanma riskini çok yüksek bulduğu için önceden engellenir.

Bu, hizmetin trafiğinizi nereye taşıyabileceğini belirleyen proxy kullanım sınırlarından biridir. Proxy sunucusu kullanılabilir ve doğru yapılandırılmış olduğu halde listedeki bir hedefe bağlantıyı reddedebilir.

Bir şikâyet nasıl hedef engeline dönüşür?

Müşteri proxy kullandığında hedef, trafiği proxy çıkış IP adresinden alır. Bu trafik sorun yaratırsa web sitesinin işletmecisi adresi, ilgili ağdan sorumlu kuruluşa bildirebilir. Şikâyet proxy sağlayıcısına doğrudan veya altyapısını sağlayan barındırma şirketi, veri merkezi ya da ağ işletmecisi üzerinden ulaşabilir.

Kötüye kullanım bildirimi, bir hizmetin kötüye kullanıldığı şüphesine ilişkin bildirimdir. Tekrarlanan yetkisiz oturum açma girişimleriyle, taramayla veya sisteme aşırı yük bindiren trafikle ilgili olabilir. Altyapı tedarikçisi, müşterisi olan proxy sağlayıcısından bu etkinliği durdurmasını isteyebilir. Tedarikçinin kurallarına ve olaya bağlı olarak sorunun çözülmeden bırakılması, sunucuyu veya ağ erişimini riske atabilir.

Kayıtları ilgili hesabı belirlemeye olanak veriyorsa sağlayıcı hesabı inceleyip kısıtlayabilir. Ayrıca etkilenen hedefi hizmetinin bir bölümünde veya tamamında engelleyebilir. Bu önlemler farklı sorunları çözer: hesap kısıtlaması belirli bir müşteriyi hedef alırken hedef engeli, diğer müşterilerin kapsanan hizmet üzerinden aynı kaynağa trafik göndermesini önler.

Bir proxy hizmetinden tekrar tekrar istenmeyen trafik alan bir kamu portalını düşünün. Şikâyet ve bu trafiğin durdurulması talebinin ardından sağlayıcı, portalı engellenenler listesine ekler. Daha sonra başka bir müşteri herkese açık bir belgeyi indirmeyi dener ve hata alır. İkinci müşteri yanlış bir şey yapmamıştır, ancak ortak hedef kuralı bu bağlantıya da uygulanır.

Birkaç müşteri proxy sunucuları üzerinden bir web sitesine aşırı sayıda istek gönderir. Site şikâyette bulunur ve sağlayıcı portal.example adresini engellenenler listesine ekler. Ardından başka bir müşterinin isteği sağlayıcı tarafından durdurulur.
Şekil 1. Bazı müşterilerin trafiğine ilişkin şikâyet, diğer müşterilerin erişiminin kısıtlanmasına yol açar. Bir alan adı için ortak kural örneği.

Sağlayıcılar kaynakları neden olay yaşanmadan engeller?

Sağlayıcı her web sitesi için ayrı bir şikâyet beklemek zorunda değildir. Belirli türdeki kaynaklarla ilgili olaylarla uğraştıktan sonra benzer hedefleri önceden kısıtlamaya karar verebilir. Böylece engellenenler listesi, geçmiş sorunların kaydı olmanın yanında önleyici bir önleme dönüşür.

Olası maliyet, tek bir şikâyeti ele almanın ötesine geçer. Tekrarlanan olaylar personelin zamanını alır, altyapı tedarikçileriyle ilişkileri zedeler ve diğer müşteriler için hizmetin kullanılabilirliğini tehdit edebilir. Bazı müşterilerin erişim için meşru nedenleri olsa bile sağlayıcı, hassas bir kategoriye trafik taşımanın bu risklere değmediğine karar verebilir.

Bu, ilk müşteri kaldırıldıktan sonra geniş kapsamlı bir kısıtlamanın neden yürürlükte kalabileceğini açıklar. Sağlayıcı tekrarlanmayı önlemeye çalışır. Her yeni ziyaretçinin sayfa okumak mı, oturum açmak mı yoksa istenmeyen bir işlem yapmak mı istediğini önce belirlemeden bütün bir kategoriyi kısıtlayabilir.

Hangi kaynaklar engellenenler listesine alınabilir?

Kamu ve finans kaynakları, sağlayıcıların önlem olarak kısıtlayabileceği kategorilere örnektir. Bunlar, yetkisiz erişimin veya kesintinin kişisel kayıtları, kamu hizmetlerini, hesapları ya da parayı etkileyebileceği sistemleri içerir. Her müşterinin amaçladığı etkinliği değerlendirmek, hedefe erişimi reddetmekten daha zor olduğu için sağlayıcı geniş kapsamlı bir kural seçebilir.

KaynaklarSağlayıcı neden kısıtlayabilir?
Kamu portalları ve kamu sektörü sistemleriKamu hizmetlerini etkileyen yetkisiz erişim girişimleri, tarama veya kesinti riskini azaltmak için.
Bankalar, ödeme hizmetleri ve diğer finans platformlarıProxy ağı üzerinden hesap saldırıları ve finansal dolandırıcılık fırsatlarını sınırlandırmak için.
Tekrarlanan şikâyetlerle ilişkilendirilen diğer kaynaklarBelirli bir web sitesi veya hizmet, kategorisine bakılmaksızın olaylardan sonra eklenebilir.

Tüm proxy sağlayıcılarının kullandığı tek bir engellenenler listesi yoktur. Bir hizmet tek tek alan adlarını kısıtlarken diğeri bütün bir kategoriyi kapatabilir. Aynı şirket içinde bile kurallar ürünler veya ağlar arasında farklılık gösterebilir. Bir kamu web sitesinin bir sağlayıcının listesinde olması, her sağlayıcının onu engellediği anlamına gelmez.

Bir kategorinin teknik kurallara da dönüştürülmesi gerekir. Kamu kaynakları pek çok alan adı düzeni kullandığı için yalnızca .gov ile biten adresleri engellemek, tüm kamu web sitelerini engellemekle aynı şey değildir. Sağlayıcı hedefleri belirlemek için kendi listesini tutabilir veya bir sınıflandırma hizmeti kullanabilir.

Proxy sunucusu engellenenler listesini nasıl uygular?

Proxy sunucusunun sizi bir kaynağa bağlayabilmesi için önce hedefi bilmesi gerekir. HTTP proxy kullanıldığında istemci, CONNECT portal.example:443 ile HTTPS tüneli isteyebilir. Bu istek proxy sunucusuna hedef sunucu adını ve portu verir. SOCKS5 de sunucu adı veya IP adresi olarak sağlanan bir hedef adresi taşır.

Hizmet, bu hedefi erişim kurallarıyla karşılaştırır. Eşleşen bir kural hedefi yasaklıyorsa hizmet, müşterinin isteğini web sitesine iletmeden önce bağlantıyı reddedebilir. Alan adı kuralı adı, adres kuralı ise hedef IP adresini veya aralığını kontrol eder. Kategori kuralı, o kategoriye atanmış alan adları veya adresler listesine dayanabilir.

Bunun için proxy sunucusunun şifrelenmiş sayfayı okuması gerekmez. Olağan bir HTTPS tünelinde web sitesiyle korumalı alışveriş başlamadan önce hedef bilinir. Dolayısıyla engelleme; sayfa içeriği, tam URL yolu veya ziyaretçinin gireceği parola incelenmeden yapılabilir.

Kuralın kapsamı önemlidir. Tek bir sunucu adını engellemek, aynı kuruluşa ait tüm alt alan adlarını otomatik olarak engellemez. Buna karşılık geniş kapsamlı bir alan adı kuralı veya paylaşılan bir sunucuyu kapsayan IP kuralı, şikâyete yol açan kaynaktan daha fazlasını etkileyebilir. Web sitesi adreslerinin değişmesi de engellenenler listesinin bakım gerektirdiği anlamına gelir.

Erişim neden ürüne bağlıdır?

Sağlayıcı farklı ürünlere farklı erişim kuralları uygulayabilir. Bir web sitesi veri merkezi veya ISP proxy sunucularında engellenmiş, konut ağı üzerinden kullanılabilir veya yalnızca yönetilen bir veri toplama hizmetiyle erişilebilir olabilir.

Bazı sağlayıcılar, belirli kaynaklara erişime ancak müşterinin kimliğini doğrulayan KYC (Know Your Customer) sürecinden sonra izin verir. Sağlayıcının ayrıca belirli görevi onaylaması gerekebilir. Bu kontrollerden sonra verilen erişim yine de belirli bir ürün veya hedefle sınırlı olabilir; hesaptaki tüm kısıtlamaları kaldırmaz.

Hizmetin istekleri ele alış biçimi de önemlidir. Olağan bir proxy sunucusunda hangi isteklerin gönderileceğine müşterinin tarayıcısı veya programı karar verir. Veri kazıma API’sinde müşteri, sayfa alma veya ürün verisi toplama gibi bir görev gönderir; sağlayıcının sistemi de bunu gerçekleştirir. Sonuç, sayfanın HTML kodu veya yapılandırılmış biçimde çıkarılmış veriler olabilir.

Böyle bir yönetilen hizmette sağlayıcı proxy ağını seçebilir, istek başlıklarını ve çerezleri ayarlayabilir, başarısız istekleri tekrarlayabilir ve yanıtı işleyebilir. Kontrolün tam olarak nasıl bölüşüldüğü ürüne bağlıdır: bazı ayarlar otomatikken diğerleri izin verilen sınırlar içinde müşteri tarafından sağlanabilir. Sağlayıcı bu görev için hedef siteyle yapılan alışverişi yönetir ve kabul edilen istek parametrelerini kısıtlayabilir.

Bu, daha geniş erişimi kısıtlı tutarken belirli bir işleme izin vermenin yolunu sağlar. Örneğin hizmet, API’nin herkese açık ürün fiyatlarını toplamasına izin verirken aynı alan adına olağan proxy erişimini reddedebilir. Bu izin otomatik olarak oturum açmayı, form göndermeyi veya hesap yönetmeyi kapsamaz. Ürün, web sitesindeki her işlemi desteklemeden belirli sayfaların okunmasını destekleyebilir.

Bir sağlayıcının üç ürünü ve tek bir web sitesi: portal.example. A ürünü, veri merkezi proxy sunucuları: erişim reddedilir. B ürünü, konut proxy sunucuları: KYC ve görev onayından sonra erişim. C ürünü, veri kazıma API’si: sağlayıcı izin verilen istekleri gerçekleştirir ve HTML veya veri döndürür.
Şekil 2. Açıklayıcı örnek: web sitesi veri merkezi proxy sunucularında engellenmiştir, KYC ve görev onayından sonra konut proxy sunucularıyla kullanılabilir ve veri kazıma API’siyle belirli verilerin alınması desteklenir. Kurallar sağlayıcıya, web sitesine ve göreve bağlıdır.

Erişimi ürün, hedef ve amaçlanan işlemin birleşimi için kontrol edin. Bir web sitesinin sağlayıcının API’si üzerinden çalışması, aynı sağlayıcının proxy paketi üzerinden de çalışacağını kanıtlamaz. Yönetilen API’nin de kendi kısıtlamaları vardır. Satın almadan önce hangi ürünün görevinize izin verdiğini ve doğrulama veya ayrı onay gerektirip gerektirmediğini sorun.

Müşteri ne görür?

En açık sonuç, hedefe izin verilmediğini belirten net bir mesajdır. Diğer durumlarda yazılım yalnızca bağlantı hatası veya zaman aşımı bildirir. Müşterinin ne kadar bilgi edindiği, hem hizmetin döndürdüğü yanıta hem de uygulamanın gösterdiği ayrıntılara bağlıdır.

Engellenen bir hedef, diğer yönlerden çalışan birçok proxy IP adresinde kullanılamaz durumda kalabilir. Aynı kural paketin tamamını kapsıyorsa adresleri değiştirmek sonucu değiştirmez. Daha fazla trafik satın almak veya eşzamanlı bağlantı sınırını artırmak da bu hedef kuralını yürürlükte bırakır.

Uygulama yalnızca kısmen çalışmayabilir. Örneğin ana sayfası bir alan adı, oturum açma hizmeti ise başka bir alan adı kullanabilir. İkinci adres engellenmişse sayfa açılır, ancak oturum açma başarısız olur. Aynı durum dosya indirmelerinde veya ayrı sunucular kullanan diğer işlevlerde de görülebilir. Engellenenler listesi yalnızca uygulamanın adına değil, uygulamanın iletişim kurduğu ağ hedeflerine uygulanır.

Web sitesinin proxy sunucunuzu reddetmesinden farkı nedir?

Sağlayıcının engellenenler listesi, trafiği hedefe giderken durdurur. Web sitesi ise kendi sunucularına veya güvenlik hizmetine ulaşan trafiği ayrıca reddedebilir; örneğin çıkış IP adresini reddettiği veya etkinliği şüpheli bulduğu için. Bu durumda ret hedef tarafından gelir.

Tek başına bir HTTP 403 yanıtı veya başarısız bağlantı, erişimi kimin engellediğini belirlemez. Sağlayıcıdan gelen ve yasaklanan hedefi belirten bir mesaj, tek başına durum kodundan daha yararlıdır. Neden belirsiz olduğunda, sağlayıcı kuralının devreye girip girmediğini kontrol etmek için destek ekibinin tam adrese, kullanılan hizmete, denemenin zamanına ve hata metninin tamamına ihtiyacı vardır.

Ayrı bir kısıtlama türü de vardır: engellenen hedef portlar. Alan adı engeli bir kaynağa erişimi reddederken port kısıtlaması, birçok farklı sunucuya belirli türde bir bağlantıyı önleyebilir. Bu nedenle erişilemeyen web sitesi veya uygulama bir belirtidir; hedef listesi olası nedenlerden biridir.

Bir kaynak engellenenler listesinden çıkarılabilir mi?

Bu, kuralın neden var olduğuna ve kimin kontrolünde bulunduğuna bağlıdır. Sağlayıcı hedefi önlem olarak eklediyse belirli bir görevi değerlendirmeye açık olabilir. Erişim altyapı tedarikçisi veya sabit bir ürün kuralı tarafından hariç tutuluyorsa sıradan bir destek talebi bunu değiştirmeye yetmeyebilir.

İstisnaların mümkün olduğu durumlarda yararlı bir talep, kaynağı tam olarak belirtir ve amaçlanan etkinliği açıklar: hangi veri veya işlevin gerektiğini, oturum açılıp açılmayacağını ve beklenen iş yükünü. Böylece sağlayıcı, bütün bir kategoriyi açmaya yönelik belirsiz bir talep yerine belirli bir kullanımı değerlendirebilir.

Doğrulama veya onay, hesaptaki tüm kısıtlamaları mutlaka kaldırmaz. İstisna yalnızca belirli bir hedefi veya ürünü kapsayabilir. Proxy sağlayıcısının verdiği erişim, web sitesinin kendi erişim kontrollerini de yürürlükte bırakır.

Yeni şikâyetler geldikçe veya sağlayıcı risk değerlendirmesini değiştirdikçe engellenenler listeleri değişebilir. Daha önce çalışan bir kaynak, kural eklendikten sonra kullanılamaz hale gelebilir. Belirli bir web sitesine bağlı görev için hizmeti seçmeden önce o hedefin ve gereken işlemin desteklenip desteklenmediğini belirleyin; kullanılabilir IP sayısı bu soruyu yanıtlamaz.

Bilgi bankasına dön