Никогда не понимал, как это исключение подтверждает правило. Если есть исключение, значит, правило просто неправильное и работает не всегда?
Выражение очень философское! Думаю, смысл в том, что когда случается то, что не могло случится, а это как раз безумно редко, это и показывает, что в остальных случаях случается всегда по правилам)