ネットワーク
はじめに
Playwrightは、HTTPとHTTPSの両方で、ブラウザのネットワークトラフィックを監視および変更するためのAPIを提供します。XHRおよびfetchリクエストを含む、ページが行うあらゆるリクエストを追跡、変更、処理できます。
APIのモック
API モックガイドを参照して、さらに詳しく学びましょう。
- APIリクエストをモックし、APIにヒットしない
- APIリクエストを実行し、レスポンスを変更する
- HARファイルを使用してネットワークリクエストをモックする。
HTTP認証
HTTP認証を実行します。
- 同期
- 非同期
context = browser.new_context(
http_credentials={"username": "bill", "password": "pa55w0rd"}
)
page = context.new_page()
page.goto("https://example.com")
context = await browser.new_context(
http_credentials={"username": "bill", "password": "pa55w0rd"}
)
page = await context.new_page()
await page.goto("https://example.com")
HTTPプロキシ
ページをHTTP(S)プロキシまたはSOCKSv5経由でロードするように構成できます。プロキシはブラウザ全体にグローバルに設定することも、各ブラウザコンテキストに個別に設定することもできます。
HTTP(S) プロキシのユーザー名とパスワードをオプションで指定できます。また、プロキシをバイパスするホストも指定できます。
グローバルプロキシの例を次に示します。
- 同期
- 非同期
browser = chromium.launch(proxy={
"server": "http://myproxy.com:3128",
"username": "usr",
"password": "pwd"
})
browser = await chromium.launch(proxy={
"server": "http://myproxy.com:3128",
"username": "usr",
"password": "pwd"
})
コンテキストごとに指定することも可能です。
- 同期
- 非同期
browser = chromium.launch()
context = browser.new_context(proxy={"server": "http://myproxy.com:3128"})
browser = await chromium.launch()
context = await browser.new_context(proxy={"server": "http://myproxy.com:3128"})
ネットワークイベント
すべてのリクエストとレスポンスを監視できます。
- 同期
- 非同期
from playwright.sync_api import sync_playwright, Playwright
def run(playwright: Playwright):
chromium = playwright.chromium
browser = chromium.launch()
page = browser.new_page()
# Subscribe to "request" and "response" events.
page.on("request", lambda request: print(">>", request.method, request.url))
page.on("response", lambda response: print("<<", response.status, response.url))
page.goto("https://example.com")
browser.close()
with sync_playwright() as playwright:
run(playwright)
import asyncio
from playwright.async_api import async_playwright, Playwright
async def run(playwright: Playwright):
chromium = playwright.chromium
browser = await chromium.launch()
page = await browser.new_page()
# Subscribe to "request" and "response" events.
page.on("request", lambda request: print(">>", request.method, request.url))
page.on("response", lambda response: print("<<", response.status, response.url))
await page.goto("https://example.com")
await browser.close()
async def main():
async with async_playwright() as playwright:
await run(playwright)
asyncio.run(main())
または、ボタンクリック後に page.expect_response() でネットワーク応答を待機します。
- 同期
- 非同期
# Use a glob url pattern
with page.expect_response("**/api/fetch_data") as response_info:
page.get_by_text("Update").click()
response = response_info.value
# Use a glob url pattern
async with page.expect_response("**/api/fetch_data") as response_info:
await page.get_by_text("Update").click()
response = await response_info.value
バリエーション
page.expect_response() でレスポンスを待機します。
- 同期
- 非同期
# Use a regular expression
with page.expect_response(re.compile(r"\.jpeg$")) as response_info:
page.get_by_text("Update").click()
response = response_info.value
# Use a predicate taking a response object
with page.expect_response(lambda response: token in response.url) as response_info:
page.get_by_text("Update").click()
response = response_info.value
# Use a regular expression
async with page.expect_response(re.compile(r"\.jpeg$")) as response_info:
await page.get_by_text("Update").click()
response = await response_info.value
# Use a predicate taking a response object
async with page.expect_response(lambda response: token in response.url) as response_info:
await page.get_by_text("Update").click()
response = await response_info.value
リクエストの処理
- 同期
- 非同期
page.route(
"**/api/fetch_data",
lambda route: route.fulfill(status=200, body=test_data))
page.goto("https://example.com")
await page.route(
"**/api/fetch_data",
lambda route: route.fulfill(status=200, body=test_data))
await page.goto("https://example.com")
Playwrightスクリプトでネットワークリクエストを処理することで、APIエンドポイントをモックできます。
バリエーション
browser_context.route() または page.route() でブラウザコンテキスト全体またはページにルートを設定します。これはポップアップウィンドウや開かれたリンクに適用されます。
- 同期
- 非同期
context.route(
"**/api/login",
lambda route: route.fulfill(status=200, body="accept"))
page.goto("https://example.com")
await context.route(
"**/api/login",
lambda route: route.fulfill(status=200, body="accept"))
await page.goto("https://example.com")
リクエストの変更
- 同期
- 非同期
# Delete header
def handle_route(route):
headers = route.request.headers
del headers["x-secret"]
route.continue_(headers=headers)
page.route("**/*", handle_route)
# Continue requests as POST.
page.route("**/*", lambda route: route.continue_(method="POST"))
# Delete header
async def handle_route(route):
headers = route.request.headers
del headers["x-secret"]
await route.continue_(headers=headers)
await page.route("**/*", handle_route)
# Continue requests as POST.
await page.route("**/*", lambda route: route.continue_(method="POST"))
変更を加えてリクエストを続行できます。上記の例では、送信されるリクエストからHTTPヘッダーを削除しています。
リクエストの破棄
page.route() と route.abort() を使用してリクエストを中断できます。
- 同期
- 非同期
page.route("**/*.{png,jpg,jpeg}", lambda route: route.abort())
# Abort based on the request type
page.route("**/*", lambda route: route.abort() if route.request.resource_type == "image" else route.continue_())
await page.route("**/*.{png,jpg,jpeg}", lambda route: route.abort())
# Abort based on the request type
await page.route("**/*", lambda route: route.abort() if route.request.resource_type == "image" else route.continue_())
レスポンスの変更
レスポンスを変更するには、APIRequestContext を使用して元のレスポンスを取得し、そのレスポンスを route.fulfill() に渡します。オプションでレスポンスの個々のフィールドを上書きできます。
- 同期
- 非同期
def handle_route(route: Route) -> None:
# Fetch original response.
response = route.fetch()
# Add a prefix to the title.
body = response.text()
body = body.replace("<title>", "<title>My prefix:")
route.fulfill(
# Pass all fields from the response.
response=response,
# Override response body.
body=body,
# Force content type to be html.
headers={**response.headers, "content-type": "text/html"},
)
page.route("**/title.html", handle_route)
async def handle_route(route: Route) -> None:
# Fetch original response.
response = await route.fetch()
# Add a prefix to the title.
body = await response.text()
body = body.replace("<title>", "<title>My prefix:")
await route.fulfill(
# Pass all fields from the response.
response=response,
# Override response body.
body=body,
# Force content type to be html.
headers={**response.headers, "content-type": "text/html"},
)
await page.route("**/title.html", handle_route)
Glob URLパターン
Playwright は、page.route() や page.expect_response() などのネットワークインターセプトメソッドで URL マッチングに簡略化されたグロブパターンを使用します。これらのパターンは基本的なワイルドカードをサポートしています。
- アスタリスク
- 単一の
*は/以外の任意の文字に一致します。 - 二重の
**は/を含む任意の文字に一致します。
- 単一の
- 疑問符
?は疑問符?のみに一致します。任意の文字に一致させたい場合は、代わりに*を使用してください。 - 中括弧
{}は、コンマ,で区切られたオプションのリストに一致させるために使用できます。 - バックスラッシュ
\は、特殊文字をエスケープするために使用できます(バックスラッシュ自体を\\としてエスケープすることに注意してください)。
例
https://example.com/*.jsはhttps://example.com/file.jsに一致しますが、https://example.com/path/file.jsには一致しません。https://example.com/?page=1はhttps://example.com/?page=1に一致しますが、https://example.comには一致しません。**/*.jsはhttps://example.com/file.jsとhttps://example.com/path/file.jsの両方に一致します。**/*.{png,jpg,jpeg}はすべての画像リクエストに一致します。
重要な注意点
- globパターンは、URLの一部だけでなく、URL全体に一致する必要があります。
- URLマッチングにglobを使用する場合は、プロトコルやパスセパレータを含む完全なURL構造を考慮してください。
- より複雑なマッチング要件には、グロブパターンではなく [RegExp] を使用することを検討してください。
WebSockets
Playwright は WebSockets の検査、モック、変更をすぐにサポートしています。WebSockets をモックする方法については、API モックガイドを参照してください。
WebSocket が作成されるたびに、page.on("websocket") イベントが発生します。このイベントには、さらなる Web ソケットフレーム検査のための WebSocket インスタンスが含まれています。
def on_web_socket(ws):
print(f"WebSocket opened: {ws.url}")
ws.on("framesent", lambda payload: print(payload))
ws.on("framereceived", lambda payload: print(payload))
ws.on("close", lambda payload: print("WebSocket closed"))
page.on("websocket", on_web_socket)
不足しているネットワークイベントとサービスワーカー
Playwright の組み込みの browser_context.route() と page.route() を使用すると、テストでネイティブにリクエストをルーティングし、モックとインターセプトを実行できます。
- Playwright のネイティブな browser_context.route() と page.route() を使用していて、ネットワークイベントが欠落しているように見える場合は、service_workers を 'block' に設定してサービスワーカーを無効にしてください。
- Mock Service Worker (MSW) のようなモックツールを使用している可能性があります。このツールはレスポンスのモックにはすぐに機能しますが、ネットワークリクエストを引き継ぐ独自のサービスワーカーを追加するため、browser_context.route() および page.route() には表示されなくなります。ネットワークテストとモックの両方に興味がある場合は、レスポンスモックに組み込みの browser_context.route() と page.route() を使用することを検討してください。
- テストやネットワークモックにサービスワーカーのみを使用するのではなく、サービスワーカー自体が行ったリクエストのルーティングとリッスンに興味がある場合は、この実験的な機能を参照してください。