上記、２つの「サブネット計算することにより」の部分で具体的にどんな計算をしているのかを知りたいです。

IPアドレスを2進数に変換して、アドレス範囲や割り当て可能なIPアドレスを求める計算を指しているのだと思います。

IPアドレスD：192.168.3.53 255.255.255.252
→第4オクテット「53」を2進数に直すと「00110101」
（255.255.255.252（/30）なのでホスト部は2ビット）
→アドレス範囲は「00110100」（52）～「00110111」（55）

.52はネットワークアドレスなので、ホストに割り当てられない
.55はブロードキャストアドレスなので、ホストに割り当てられない
.53はSe1/0（IPアドレスD)で使用済み
→割り当て可能なアドレスは.54しかないので、「IPアドレスC」は「192.168.3.54」になる

IPアドレスE：192.168.1.77 255.255.255.192
→第4オクテット「77」を2進数に直すと「01001101」
（255.255.255.192（/26）なのでホスト部は6ビット）
→アドレス範囲は「01000000」（64）～「011111111」（127）
という計算でアドレス範囲が求められます。

また「IPアドレスF」は、なぜ範囲で求めているのかも解説をお願いします。

選択肢のの中に「IPアドレスFには「192.168.1.254」が割り当てられる」があります。
IPアドレスEの属するアドレス範囲は「192.168.1.64」～「192.168.1.127」
＝「192.168.1.254」は割り当てられない（誤答である）ことにたどり着くため、アドレス範囲を求める必要があると思います。