ここまで述べてきたベイズ識別法や最尤法を適用するには、 確率分布の具体的な形や、平均や分散などのパラメータ値が必要であった。
しかし、時によってはそのようなデータが存在せず、 対象パターンの一部を利用して 分布の形やパラメータ値を求めなければならないこともある。 このための処理を一種の学習と呼び、 学習のために使うパターンを学習パターンと呼ぶ。
統計学習には、 2つの側面からの分類ができる。
パターンである確率変数が 正規分布のような確定した分布系をなせば、 パラメトリック、そうでなければノンパラメトリックとなる。 分布形状を決定するパラメータ値 （正規分布では平均や分散）を決めれば良いのでこの名がついた。
利用する学習パターンがあらかじめどのカテゴリに属するかが わかっている場合を教師付きと呼ぶ。 逆にこのような情報がわからない時には教師なしと呼ぶ。
学習の複雑さと難しさは使用できる情報がどれだけあるかによる。 最大の情報不足はノンパラメトリックな教師なし学習である。
以下ではこの内、 最もわかりやすいパラメトリックで教師つきの学習である、 最尤推定とベイズ推定学習法を紹介する。