画像ファイルにはビットマップ系とベクタ系の二種類があって、
前者の代表は jpeg 、gif 、png 、bmp 、tiff 等、
後者の代表は eps 、pdf 、ai 等。
svg ファイルというのは後者の一つで、
Web の中でサポートされている唯一のベクタ画像です。
ビットマップ形式は 1 ピクセルの集合としての画像なので
拡大してしまうとぎざぎざが目立ったり、
画像が大きくなるとデータ量が多くなってしまいます。
一方ベクタ画像はベクトル（大きさと向き）の集合なので
拡大縮小に強くデータ量も少なくなる傾向にありますが、
多色のものには向きません。
あまり多く使う場所はないかもしれませんが、
企業ロゴ等で拡大縮小することもありながら
ギザギザは見せたくない場合、
サイズ変更のたびに作り直すよりは
ベクタ画像の方が確実に表示できてもいいかもしれません。
ただし svg が表示できるかどうかは
サーバ側の対応が必要です。
WordPress をインストール下はいいけど
ログイン時のワードプレスのロゴが表示されない…等の場合は
サーバの対応ができていない可能性があります。
この場合、 .htaccess の変更が必要となります。
AddType image/svg+xml .svg AddType image/svg+xml .svgz
これを追加することで表示できるようになります。