継続的インテグレーション

はじめに

PlaywrightテストはCI環境で実行できます。一般的なCIプロバイダー向けにサンプル構成を作成しました。

CIでテストを実行するための3つのステップ

1. CIエージェントがブラウザを実行できることを確認する： LinuxエージェントでDockerイメージを使用するか、CLIを使用して依存関係をインストールします。

2. Playwrightをインストールする:

   dotnet build
   pwsh bin/Debug/netX/playwright.ps1 install --with-deps

3. テストを実行する:

   dotnet test

CI構成

コマンドラインツールは、CIですべてのオペレーティングシステムの依存関係をインストールするために使用できます。

GitHub Actions

push/pull_request時

テストは、main/masterブランチへのpushまたはpull requestで実行されます。ワークフローは、すべての依存関係をインストールし、Playwrightをインストールしてから、テストを実行します。

.github/workflows/playwright.yml

name: Playwright Tests
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v4
    - name: Setup dotnet
      uses: actions/setup-dotnet@v4
      with:
        dotnet-version: 8.0.x
    - name: Build & Install
      run: dotnet build
    - name: Ensure browsers are installed
      run: pwsh bin/Debug/net8.0/playwright.ps1 install --with-deps
    - name: Run your tests
      run: dotnet test

コンテナ経由

GitHub Actionsは、コンテナでジョブを実行することをサポートしています。jobs.<job_id>.containerオプションを使用します。これは、ホスト環境を依存関係で汚染しないようにし、さまざまなオペレーティングシステム間でスクリーンショット/ビジュアルリグレッションテストなどの一貫した環境を確保するのに役立ちます。

.github/workflows/playwright.yml

name: Playwright Tests
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  playwright:
    name: 'Playwright Tests'
    runs-on: ubuntu-latest
    container:
      image: mcr.microsoft.com/playwright/dotnet:v1.50.0-noble
      options: --user 1001
    steps:
      - uses: actions/checkout@v4
      - name: Setup dotnet
        uses: actions/setup-dotnet@v4
        with:
          dotnet-version: 8.0.x
      - run: dotnet build
      - name: Run your tests
        run: dotnet test

デプロイ時

これは、GitHub Deploymentがsuccess状態になった後にテストを開始します。Vercelのようなサービスはこのパターンを使用しているため、デプロイされた環境でエンドツーエンドテストを実行できます。

.github/workflows/playwright.yml

name: Playwright Tests
on:
  deployment_status:
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    if: github.event.deployment_status.state == 'success'
    steps:
    - uses: actions/checkout@v4
    - name: Setup dotnet
      uses: actions/setup-dotnet@v4
      with:
        dotnet-version: 8.0.x
    - run: dotnet build
    - name: Ensure browsers are installed
      run: pwsh bin/Debug/net8.0/playwright.ps1 install --with-deps
    - name: Run tests
      run: dotnet test
      env:
        # This might depend on your test-runner
        PLAYWRIGHT_TEST_BASE_URL: ${{ github.event.deployment_status.target_url }}

Docker

事前構築済みのDockerイメージがあり、これを直接使用するか、既存のDocker定義を更新するための参照として使用できます。

推奨される構成

1. Chromiumを使用する場合は、--ipc=hostを使用することもお勧めします。これがないと、Chromiumはメモリ不足になり、クラッシュする可能性があります。このオプションの詳細については、Dockerドキュメントを参照してください。
2. Chromiumの起動時に他の奇妙なエラーが発生していますか？ローカルで開発するときは、docker run --cap-add=SYS_ADMINでコンテナを実行してみてください。
3. --init Dockerフラグまたはdumb-initを使用すると、PID=1のプロセスに対する特別な扱いを避けることができます。これは、ゾンビプロセスの一般的な原因です。

Azure Pipelines

WindowsまたはmacOSエージェントの場合、追加の構成は必要ありません。Playwrightをインストールしてテストを実行するだけです。

Linuxエージェントの場合、DockerコンテナをAzure Pipelinesサポートとともに使用して、コンテナ化されたジョブを実行することができます。または、コマンドラインツールを使用して、必要なすべての依存関係をインストールすることもできます。

Playwrightテストを実行するには、このパイプラインタスクを使用します

trigger:
- main

pool:
  vmImage: ubuntu-latest

steps:
- task: UseDotNet@2
  inputs:
    packageType: sdk
    version: '8.0.x'
  displayName: 'Use .NET SDK'
- script: dotnet build --configuration Release
  displayName: 'Build'
- script: pwsh bin/Release/net8.0/playwright.ps1 install --with-deps
  displayName: 'Install Playwright browsers'
- script: dotnet test --configuration Release
  displayName: 'Run tests'

Azure Pipelines（コンテナ化）

trigger:
- main

pool:
  vmImage: ubuntu-latest
container: mcr.microsoft.com/playwright/dotnet:v1.50.0-noble

steps:
- task: UseDotNet@2
  inputs:
    packageType: sdk
    version: '8.0.x'
  displayName: 'Use .NET SDK'

- script: dotnet build --configuration Release
  displayName: 'Build'
- script: dotnet test --configuration Release
  displayName: 'Run tests'

CircleCI

CircleCIでPlaywrightを実行することは、GitHub Actionsで実行することと非常によく似ています。事前構築済みのPlaywright Dockerイメージを指定するには、次のように構成でdocker:を使用してエージェント定義を変更するだけです

executors:
  pw-noble-development:
    docker:
      - image: mcr.microsoft.com/playwright/dotnet:v1.50.0-noble

注：dockerエージェント定義を使用する場合、playwrightが実行されるリソースクラスを「medium」ティアここに指定しています。Playwrightのデフォルトの動作は、ワーカーの数を検出されたコア数（mediumティアの場合は2）に設定することです。ワーカーの数をこれより大きくオーバーライドすると、不要なタイムアウトと失敗が発生します。

Jenkins

Jenkinsは、パイプライン用のDockerエージェントをサポートしています。Playwright Dockerイメージを使用して、Jenkinsでテストを実行します。

pipeline {
   agent { docker { image 'mcr.microsoft.com/playwright/dotnet:v1.50.0-noble' } }
   stages {
      stage('e2e-tests') {
         steps {
            sh 'dotnet build'
            sh 'dotnet test'
         }
      }
   }
}

Bitbucket Pipelines

Bitbucket Pipelinesは、パブリックDockerイメージをビルド環境として使用できます。BitbucketでPlaywrightテストを実行するには、パブリックDockerイメージ（Dockerfileを参照）を使用します。

image: mcr.microsoft.com/playwright/dotnet:v1.50.0-noble

GitLab CI

GitLabでPlaywrightテストを実行するには、パブリックDockerイメージ（Dockerfileを参照）を使用します。

ブラウザのキャッシュ

ブラウザバイナリのキャッシュは推奨されません。キャッシュの復元にかかる時間が、バイナリのダウンロードにかかる時間とほぼ同等であるためです。特にLinuxでは、オペレーティングシステムの依存関係をインストールする必要があります。これらはキャッシュできません。

それでもCI実行間でブラウザバイナリをキャッシュする場合は、Playwrightバージョンのハッシュに対して、CI構成でこれらのディレクトリをキャッシュします。

ブラウザ起動のデバッグ

Playwrightは、実行中にデバッグログを出力するためにDEBUG環境変数をサポートしています。pw:browserに設定すると、Error: Failed to launch browserエラーのデバッグに役立ちます。

DEBUG=pw:browser dotnet test

ヘッド付きで実行

デフォルトでは、Playwrightはブラウザをヘッドレスモードで起動します。ヘッド付きモードでテストを実行する方法については、テストの実行ガイドを参照してください。

Linuxエージェントでは、ヘッド付き実行にはXvfbをインストールする必要があります。DockerイメージとGitHub ActionにはXvfbがプリインストールされています。Xvfbを使用してヘッド付きモードでブラウザを実行するには、実際のコマンドの前にxvfb-runを追加します。

xvfb-run dotnet test