Det beror helt på vart du fixat skyddet från. Är det från resebyrån i sig är det nog inga problem att avboka. Är det för att du betalt resan med Visa-kortet så måste du som sagt ha läkarintyg på en ganska grov sjukdom/familjekris etc. (räcker inte med förkylning eller 38.5 graders feber).
Visa-kortsförsäkringen är framförhandlad genom folksam så vänd dig till dem snarare än din bank, de brukar inte alltid ha koll.