Vaarallisin peli tapahtuu syrjäisellä saarellaKaribianmerellä , jonka omistaa kenraali Zaroff, varakas ja eksentrinen venäläinen aristokraatti. Saaren kuvataan olevan vehreä ja trooppinen , jossa on tiheitä viidakoita, jyrkkiä kallioita ja erilaisia vaarallisia villieläimiä.
Saaren tarkkaa sijaintia ei koskaan kerrota tarinassa, mikä lisää sen salaperäistä ja eristäytyneisyyttä.