Setelah Anda menyusun skenario pengujian, Anda dapat menjalankannya untuk menghasilkan laporan pengujian.Memilih Metode Eksekusi yang Sesuai#
Apidog menyediakan beberapa cara untuk menjalankan skenario pengujian, yang sesuai untuk berbagai kebutuhan pengujian.Metode ini dimulai dari mesin lokal dan sesuai untuk pengujian cepat berskala kecil. Metode ini sangat efektif ketika pengembangan dan pengujian dilakukan secara bersamaan, sehingga memungkinkan pemantauan secara real-time dan penyesuaian segera.Ideal untuk menangani data berskala besar atau skenario iteratif, metode ini menawarkan kecepatan eksekusi yang lebih tinggi. Metode ini dapat berjalan secara offline, sehingga sesuai untuk lingkungan dengan sumber daya terbatas atau lingkungan yang tidak memerlukan antarmuka pengguna grafis.Gaya eksekusi ini terintegrasi dalam pipeline CI/CD, sehingga menjadi opsi yang sangat baik untuk proses integrasi otomatis dan deployment berkelanjutan. Metode ini sangat berguna dalam pengaturan tempat pengujian sering dijalankan untuk memastikan stabilitas API setelah setiap pembaruan kode.4.
Eksekusi self-hosting runner:
Dalam skenario pengujian, jika variabel lingkungan/global digunakan, nilai aktual variabel tersebut dapat berbeda tergantung pada metode eksekusi yang dipilih, yang dapat menyebabkan hasil pengujian tidak konsisten. Pelajari selengkapnya. Memulai#
1
Buka skenario pengujian yang diinginkan dan pilih lingkungan tempat Anda ingin permintaan dijalankan.
3
Anda akan melihat laporan pengujian yang menampilkan informasi seperti tingkat kelulusan, waktu eksekusi, dan data lain untuk eksekusi saat ini. Anda dapat memperluas setiap permintaan untuk melihat validasi dan aservi.
4
Klik "more" untuk memeriksa detail permintaan dan respons aktual.
Opsi eksekusi dalam skenario pengujian#
Saat menjalankan skenario pengujian di Apidog, beberapa pengaturan dan opsi dapat dikonfigurasi untuk menyesuaikan eksekusi pengujian dengan kebutuhan tertentu.Di bawah ini, kami membahas aspek-aspek penting dari pengaturan ini:Lingkungan#
Tentukan layanan (base URL) yang menjadi tujuan permintaan dalam skenario serta set variabel yang akan digunakan. Pelajari detail selengkapnya di lingkungan & layanan.Perhatikan bahwa permintaan khusus memiliki URL lengkapnya sendiri dan TIDAK akan diarahkan ke lingkungan yang ditetapkan dalam konteks ini, berbeda dengan langkah yang diimpor.Data pengujian#
Skenario pengujian mendukung impor set data pengujian eksternal. Ketika skenario pengujian berjalan, sistem akan melakukan loop pada semua set data dalam file data dan menetapkan data dalam set data tersebut ke variabel yang sesuai. Lihat pengujian berbasis data untuk detailnya.Iterasi#
Konfigurasikan berapa kali semua langkah dalam skenario akan dieksekusi dalam loop.Jika terdapat sejumlah besar data yang harus diproses, disarankan untuk menggunakan Apidog CLI untuk eksekusi, bukan klien Apidog, guna mengoptimalkan performa.Thread#
Eksekusi semua langkah dalam beberapa thread, dengan data antar-thread tetap terisolasi untuk mencegah interferensi.Perhatikan bahwa fitur ini masih dalam Beta dan mungkin memerlukan optimasi performa lebih lanjut. Untuk pengujian beban yang ketat, disarankan untuk menggunakan fungsionalitas Performance test sebagai gantinya.
Thread tidak didukung di CLI.Berjalan pada#
Mesin yang benar-benar mengonsumsi sumber daya perangkat keras untuk menjalankan skenario pengujian. Semua permintaan yang dimulai dalam skenario pengujian akan dikirim dari mesin yang ditentukan di sini. Oleh karena itu, perbedaan dalam lingkungan jaringan mesin yang mengirim permintaan dapat menyebabkan hasil pengujian yang bervariasi.Pengaturan ini tidak akan disimpan sebagai bagian dari konfigurasi eksekusi skenario pengujian. Setiap kali, mesin lokal akan digunakan secara default untuk menjalankan skenario pengujian. Selain itu, pengaturan ini tidak akan berlaku selama eksekusi batch atau eksekusi CLI. Dalam kasus ini, permintaan akan dimulai menggunakan sumber daya mesin saat ini.
Notifikasi#
Mengaktifkan fitur ini akan mengirimkan notifikasi kepada penerima yang ditentukan setelah skenario pengujian manual selesai. Notifikasi akan mencakup ringkasan hasil pengujian dan tautan ke laporan terperinci. Anda dapat mengonfigurasi apakah notifikasi dikirim segera setelah pengujian selesai atau hanya ketika terjadi kegagalan, sehingga membantu meminimalkan peringatan yang tidak diperlukan. Lihat pengaturan notifikasi untuk informasi yang lebih terperinci.Dibagikan#
Dengan mengaktifkan opsi "Share" di sisi kanan Advanced Settings, laporan pengujian yang dihasilkan setelah setiap eksekusi skenario pengujian akan secara otomatis dibagikan kepada anggota proyek lainnya. Anda dapat melihat semua laporan pengujian yang telah dibagikan dalam tim pada tab Shared di bagian Test Reports. Lihat laporan pengujian untuk detail selengkapnya.Pengaturan lanjutan#
Saat terjadi kesalahan#
Konfigurasikan bagaimana pengujian harus menangani kesalahan, yang dapat mencakup kegagalan aservi, kegagalan validasi format data, kesalahan server, dan sebagainya. Opsinya adalah:Abaikan: Lanjutkan mengeksekusi langkah berikutnya ketika terjadi kesalahan (pengaturan default).
Lanjutkan: Akhiri iterasi saat ini dan mulai iterasi berikutnya ketika terjadi kesalahan.
Akhiri eksekusi: Hentikan seluruh eksekusi ketika kesalahan ditemukan.
Penundaan#
Tetapkan jeda antara pengiriman setiap langkah untuk mengelola dan mengontrol kecepatan eksekusi.Simpan permintaan/respons#
Secara default, Apidog menyimpan setiap permintaan dan respons. Dalam kasus ketika permintaan atau respons berukuran sangat besar (berpotensi beberapa MB), hal tersebut dapat menggunakan ruang disk yang cukup besar. Anda dapat mengaktifkan opsi ini agar tidak menyimpan setiap permintaan dan respons, tetapi hanya menyimpan hasil aservi dan validasi.Sebagai alternatif, Anda dapat memilih untuk hanya menyimpan permintaan dan respons yang gagal guna menghemat ruang.Pertahankan nilai variabel#
Opsi ini diaktifkan secara default, memastikan bahwa nilai saat ini dari variabel global dan lingkungan, ketika dimodifikasi selama pengujian, mempertahankan hasil modifikasi terakhir. Jika opsi ini dinonaktifkan, variabel global dan lingkungan tidak akan berubah setelah eksekusi pengujian; variabel tersebut akan mempertahankan nilai yang dimiliki sebelum eksekusi.Variabel lokal tidak terpengaruh oleh pengaturan ini dan akan dihapus setelah setiap eksekusi.Jalankan dengan cookie tersimpan#
Di sudut kanan bawah Apidog, ikon Cookies mengarah ke pengelolaan cookie. Apidog secara otomatis menyimpan cookie saat membuat permintaan API. Jika Anda ingin menggunakan cookie yang tersimpan selama eksekusi skenario pengujian, aktifkan opsi ini.Simpan cookie setelah eksekusi#
Serupa dengan di atas, jika Anda ingin memperbarui cookie yang tersimpan setelah mengeksekusi skenario pengujian, aktifkan opsi ini.Dengan mengonfigurasi pengaturan lanjutan ini di Apidog, Anda dapat menyempurnakan eksekusi pengujian untuk memenuhi kebutuhan pengujian spesifik Anda, sehingga memastikan eksekusi pengujian yang efisien dan presisi.Pengaturan runtime dalam mode desain skenario pengujian#
Jika Anda berada dalam mode desain skenario pengujian, konfigurasi runtime yang relevan diciutkan ke sisi kanan tombol "Run". Arahkan mouse ke tombol pengaturan ini untuk melihat konfigurasi runtime terperinci untuk skenario pengujian ini.Menjalankan Pengujian Fungsional#
Setelah menjalankan pengujian fungsional, Anda akan diarahkan ke halaman eksekusi skenario pengujian. Diagram lingkaran pada gambar di bawah memberikan ringkasan hasil pengujian, yang diperbarui secara real-time saat skenario pengujian berjalan. Di bawah diagram lingkaran, Anda akan menemukan langkah-langkah pengujian terperinci yang sedang dieksekusi, dengan status setiap langkah ditampilkan selama eksekusi.Setelah eksekusi pengujian fungsional selesai, Anda dapat mengeklik endpoint yang relevan untuk melihat metrik dan statusnya selama pengujian. Ini mencakup nama endpoint, metode permintaan, URL permintaan, kode status respons, waktu respons, konten respons, validasi data, dan hasil aservi. Untuk detail selengkapnya, silakan lihat laporan pengujian.Aturan penggunaan variabel lingkungan/global di berbagai metode eksekusi#
Variabel lingkungan dan global bersifat persisten, yang berarti variabel tersebut dapat disimpan untuk penggunaan jangka panjang di beberapa eksekusi atau skenario pengujian yang berbeda. Namun, nilai variabel aktual yang digunakan dapat bervariasi tergantung pada metode eksekusi yang dipilih. Contohnya:Jika skenario pengujian menggunakan variabel lingkungan Token, skenario tersebut mungkin berhasil ketika dieksekusi dalam klien, tetapi gagal ketika dijalankan menggunakan Runner self-hosted karena nilai Token tidak benar.Ketidaksesuaian ini dapat terjadi karena nilai aktual variabel lingkungan Token diambil dari nilai yang disimpan secara lokal dalam klien selama eksekusi. Namun, ketika berjalan di Runner self-hosted, Runner tidak memiliki Token yang sama yang tersimpan secara lokal, sehingga menyebabkan kegagalan.Untuk mengatasi masalah ini, Apidog menyediakan serangkaian aturan untuk mengelola nilai variabel lingkungan/global di berbagai metode eksekusi:| Metode Eksekusi | Penggunaan Variabel Lingkungan/Global | Lokasi Penyimpanan Variabel |
|---|
| Lokal (Client, Web) | Menggunakan nilai saat ini dari variabel lingkungan/global untuk eksekusi. | Disimpan secara lokal. Dapat dimodifikasi secara manual atau diperbarui melalui pre/post processors. Terlihat di Environment Management > Environment/Global Variables > Current Values. |
| CLI, CI/CD | Untuk eksekusi online real-time:- Menggunakan nilai awal dari variabel lingkungan/global untuk eksekusi (default).
- Tentukan penggunaan nilai variabel lingkungan/global yang disimpan dalam file pada mesin yang menjalankan skenario pengujian melalui opsi
--variables path. Pelajari selengkapnya.
Untuk eksekusi dengan data yang diekspor:- Menggunakan nilai variabel lingkungan/global yang disertakan dalam file yang diekspor untuk eksekusi.
| - Nilai awal disimpan di Apidog Cloud dan hanya dapat dimodifikasi secara manual dalam klien.
- Disimpan dalam file yang ditentukan oleh opsi
--variables path, sehingga memungkinkan modifikasi manual atau pembaruan melalui pre/post processors. - Disimpan dalam file yang diekspor. Dapat dimodifikasi secara manual atau diperbarui melalui pre/post processors.
|
| Runner self-hosted | - Menggunakan nilai awal dari variabel lingkungan/global untuk eksekusi (default).
- Menggunakan nilai yang disimpan secara lokal dalam Runner untuk eksekusi. Pelajari selengkapnya.
| - Nilai awal disimpan di Apidog Cloud dan hanya dapat dimodifikasi secara manual dalam klien.
- Disimpan dalam Runner yang ditentukan. Dapat dimodifikasi secara manual atau diperbarui melalui pre/post processors. Terlihat melalui antarmuka pengguna produk atau dalam file di dalam Runner pada
/opt/runner/variables.
|
Menjalankan skenario pengujian dengan endpoint dari proyek lain#
Ketika skenario pengujian mencakup endpoint yang diimpor dari proyek lain, URL permintaan untuk endpoint tersebut selama eksekusi ditentukan oleh konfigurasi yang Anda tetapkan dalam Environment associations.Jika "Develop Env" dari proyek saat ini dikaitkan dengan "Prod Env" dari proyek lain, saat menjalankan skenario pengujian menggunakan "Develop Env", endpoint yang diimpor akan dikirim ke URL dari "Prod Env". Semua endpoint lainnya akan menggunakan URL dari "Develop Env" proyek saat ini.Mengimplementasikan berbagai pengujian#
Langkah-langkah yang disebutkan mewakili eksekusi dasar dari skenario pengujian. Saat menyiapkan skenario pengujian, Anda dapat menggabungkan berbagai pengaturan lanjutan untuk memenuhi beragam kebutuhan pengujian.Pengujian berbasis data: Melakukan pengujian menggunakan beragam set data untuk memvalidasi perilaku sistem di berbagai skenario. Pengujian performa: Mengevaluasi performa sistem dalam berbagai kondisi beban untuk menilai skalabilitas dan responsivitas. Tugas terjadwal: Menetapkan rencana terstruktur yang merinci cakupan, pendekatan, dan waktu aktivitas pengujian. Integrasi CI/CD: Mengotomatiskan proses build, pengujian, dan deployment untuk memastikan rilis perangkat lunak yang andal dan sering. 
