浮動小数点数は01のみで少数のような細かい数からn^mの様な巨大な数までを表現する方法です。浮動小数点は図の様に、仮数部^(符号ビット*指数部)で表されます。赤が仮数部、青が符号ビット、緑が指数部です。図はIEEE 754 形式の単精度でPC上でよく使われています。
それなりの精度の仮数部と仮数部を拡縮する符号ビットと指数部によって広い範囲の値を表現できます。また、仮数部をhoge乗するという点からわかるように一定の相対誤差を保ちます(相対誤差:x%の誤差というように表せる誤差。大きな数ほど誤差が大きく、小さな数ほど誤差が小さい。)。この誤差は値の表現を省略する誤差であり、丸め誤差と呼ばれます。常に誤差があるというのが特徴で、丸め誤差が積み重なるような計算(値を表現してから加算することを繰り返すなど)をするプログラムを書くと大きな誤差が生まれて惨事になりやすいです。