群の構造を調べるには，なるべく位数が小さい部分群に注目するとよい．剰余類を導入するとラグランジュの定理が得られ，部分群の位数を調べることができる．
剰余類
剰余類を定義するための準備として，次の補題を示す．
$G$を群，$H$を$G$の部分群，$x,y\in G$とする．
- $G$上の二項関係$\sim$を
\[ x\sim y\iff x^{-1}y\in H\iff \exists h\in H\ \mathrm{s.t.}\ y=xh\]
により定めるとき，$\sim$は$G$上の同値関係である． - $G$上の同値関係$\sim$を
\[ x\sim y\iff yx^{-1}\in H\iff \exists h\in H\ \mathrm{s.t.}\ y=hx\]
により定めるとき，$\sim$は$G$上の同値関係である．
同値関係については，次の記事を参照するとよい．
- $x,y,z\in G$を任意にとる．
以下，$\sim$が$G$上の同値関係であることを示す．- $x^{-1}x=e\in H$であるから，$x\sim x$である．
- $x\sim y$ならば，$x^{-1}y\in H$である．
このとき
\[ y^{-1}x=(x^{-1}y)^{-1}\in H\]
であるから，$y\sim x$である． - $x\sim y$かつ$y\sim z$ならば，$x^{-1}y,y^{-1}z\in H$である．
よって
\[ x^{-1}z=x^{-1}yy^{-1}z\in H\]
であるから，$x\sim z$である．$\blacksquare$
- $x,y,z\in G$を任意にとる．
以下，$\sim$が$G$上の同値関係であることを示す．- $xx^{-1}=e\in H$であるから，$x\sim x$である．
- $x\sim y$ならば，$yx^{-1}\in H$である．
このとき
\[ xy^{-1}=(yx^{-1})^{-1}\in H\]
であるから，$y\sim x$である． - $x\sim y$かつ$y\sim z$ならば，$yx^{-1},zy^{-1}\in H$である．
よって
\[ zx^{-1}=zy^{-1}yx^{-1}\in H\]
であるから，$x\sim z$である．$\blacksquare$
補題1を踏まえると，剰余類を定義することができる．
$G$を群，$H$を$G$の部分群，$x,y\in G$とする．
- $G$上の同値関係$\sim$を
\[ x\sim y\iff x^{-1}y\in H\]
で定めるとき，$x$の同値類を$x$の$H$による左剰余類(left coset)といい，$xH$で表す．すなわち
\[ xH=\{ xh\mid h\in H\} \]
である．
また，この同値類による商集合，すなわち左剰余類全体の集合を$G/H$で表す． - $G$上の同値関係$\sim$を
\[ x\sim y\iff yx^{-1}\in H\]
で定めるとき，$x$の同値類を$x$の$H$による右剰余類(right coset)といい，$Hx$で表す．すなわち
\[ Hx=\{ hx\mid h\in H\} \]
である．
また，この同値類による商集合，すなわち右剰余類全体の集合を$H\backslash G$で表す．
この表記は差集合と混同する恐れがある．当サイトでは，混同の恐れがある場合に限り，｢差集合｣または｢右剰余類｣という言葉を明示して区別できるようにしている．
具体例で確認しよう．
$2\mathbb{Z}$は$\mathbb{Z}$の部分群である．
まず
\[ \{ 0+n\mid n\in 2\mathbb{Z}\} =\{ 0,\pm 2,\pm 4,\dots \} \\ \{ 1+n\mid n\in 2\mathbb{Z}\} =\{ \pm 1,\pm 3,\dots \} \]
である．
これら2つの集合の共通部分は空であり，$0$の$2\mathbb{Z}$による左剰余類$\overline{0}$と$1$の$2\mathbb{Z}$による左剰余類$\overline{1}$は異なる．
$\overline{0}\cup \overline{1}=\mathbb{Z}$であるから
\[ \mathbb{Z}/2\mathbb{Z}=\{ \overline{0},\overline{1}\} \]
である．
可換群の場合は，左剰余類と右剰余類は等しい．
$G$を可換群，$H$を$G$の部分群とする．
\[ G/H=H\backslash G\]
任意の$xH\in G/H$と任意の$y\in xH$に対して，ある$h\in H$が存在して，$y=xh$となる．
$G$は可換群であるから
\[ y=xh=hx\in H\]
よって，$y\in Hx$であるから$xH=Hx$
$S\in H\backslash G$より$G/H=H\backslash G$である．$\blacksquare$
剰余類の位数
剰余類の位数について，次の2つの命題が成り立つ．
$G$を群，$H$を$G$の部分群，$g\in G$とする．
\[ |gH|=|Hg|=|H|\]
写像$\phi :H\to gH$を
\[ \phi (h)=gh\quad (h\in H)\]
により定める．
任意の$x\in gH$に対して，ある$h\in H$が存在して，$x=gh$，すなわち$\phi (h)=x$となるから，$\phi$は全射である．
また，$h_1,h_2\in H$が$\phi (h_1)=\phi (h_2)$，すなわち$gh_1=gh_2$を満たすとき，両辺に左から$g^{-1}$を掛けると，$h_1=h_2$を得るから，$\phi$は単射である．
以上より，$\phi$は全単射であるから，$|gH|=|H|$である．
写像$\psi :H\to Hg$を
\[ \psi (h)=hg\quad (h\in H)\]
により定める．
任意の$x\in Hg$に対して，ある$h\in H$が存在して，$x=hg$，すなわち$\psi (h)=x$となるから，$\psi$は全射である．
また，$h_1,h_2\in H$が$\psi (h_1)=\psi (h_2)$，すなわち$h_1g=h_2g$を満たすとき，両辺に右から$g^{-1}$を掛けると，$h_1=h_2$を得るから，$\psi$は単射である．
以上より，$\psi$は全単射であるから，$|gH|=|H|$である．$\blacksquare$
$G$を群，$H$を$G$の部分群とする．
\[ |G/H|=|H\backslash G|\]
写像$\phi :G/H\to H\backslash G$及び$\psi :H\backslash G\to G/H$を
\[ \phi (gH)=Hg^{-1}\quad (gH\in G/H)\\ \psi (Hg)=g^{-1}H\quad (Hg\in H\backslash G)\]
により定める．
$\phi$の定義がwell-definedであることを示す．
$x,y\in G$が$xH=yH$を満たすとする．
まず，任意の$ax^{-1}\in Hx^{-1}$に対して，$xa^{-1}\in xH=yH$であり，ある$b\in H$が存在して，$xa^{-1}=yb$となる．このとき
\[ \begin{aligned}ax^{-1}&=(xa^{-1})^{-1}=(yb)^{-1}\\ &=b^{-1}y^{-1}\in Hy^{-1}\end{aligned}\]
であるから，$Hx^{-1}\subset Hy^{-1}$を得る．
また，任意の$ay^{-1}\in Hy^{-1}$に対して，$ya^{-1}\in yH=xH$であり，ある$b\in H$が存在して，$ya^{-1}=xb$となる．このとき
\[ \begin{aligned}ay^{-1}&=(ya^{-1})^{-1}=(xb)^{-1}\\ &=b^{-1}x^{-1}\in Hx^{-1}\end{aligned}\]
であるから，$Hy^{-1}\subset Hx^{-1}$を得る．
以上より，$Hx^{-1}=Hy^{-1}$であるから，$\phi$の定義はwell-definedである．
$\psi$の定義がwell-definedであることを示す．
$x,y\in G$が$Hx=Hy$を満たすとする．
まず，任意の$x^{-1}a\in x^{-1}H$に対して，$a^{-1}x\in Hx=Hy$であり，ある$b\in H$が存在して，$a^{-1}x=by$となる．このとき
\[ \begin{aligned}x^{-1}a&=(a^{-1}x)^{-1}=(by)^{-1}\\ &=y^{-1}b^{-1}\in y^{-1}H\end{aligned}\]
であるから，$x^{-1}H\subset y^{-1}H$を得る．
また，任意の$y^{-1}a\in y^{-1}H$に対して，$a^{-1}y\in Hy=Hx$であり，ある$b\in H$が存在して，$a^{-1}y=bx$となる．このとき
\[ \begin{aligned}y^{-1}a&=(a^{-1}y)^{-1}=(bx)^{-1}\\ &=x^{-1}b^{-1}\in x^{-1}H\end{aligned}\]
であるから，$y^{-1}H\subset x^{-1}H$を得る．
以上より，$x^{-1}H=y^{-1}H$であるから，$\psi$の定義はwell-definedである．
任意の$gH\in G/H$に対して
\[ \begin{aligned}&(\psi \phi )(gH)=\psi (\phi (gH))\\ =&\psi (Hg^{-1})=gH\end{aligned}\]
であり，任意の$Hg\in H\backslash G$に対して
\[ \begin{aligned}&(\phi \psi )(Hg)=\phi (\psi (Hg))\\ =&\phi (g^{-1}H)=Hg\end{aligned}\]
であるから，$\phi$と$\psi$は互いの逆写像であり，ともに全単射である．
したがって，$|G/H|=|H\backslash G|$である．$\blacksquare$
特に，剰余類全体の集合の位数は重要である．
$G$を群，$H$を$G$の部分群とする．
$|G/H|$及び$|H\backslash G|$を$H$の$G$における指数(index)といい，$(G:H)$で表す．
ラグランジュの定理
剰余類の位数を考えることで，部分群の位数の条件を与える，ラグランジュの定理が得られる．
$G$を群，$H$を$G$の部分群とする．
\[ |G|=(G:H)|H|\]
$n=(G:H)$とする．
$G/H$の完全代表系は$n$個の異なる元からなり，これを$\{ x_1,x_2,\dots ,x_n\}$とおくと
\[ G=\bigsqcup _{i=1}^nx_iH\]
となる．任意の$i\in \{ 1,2,\dots ,n\}$に対して，命題2より，$|x_iH|=|H|$であるから
\[ |G|=\sum _{i=1}^n|x_iH|=(G:H)|H|\quad \blacksquare \]
ラグランジュの定理から，次の系が直ちに導かれる．
$G$を有限群，$g\in G$とする．
- $H$が$G$の部分群ならば，$|H|$は$|G|$の約数である．
- $g$の位数は$|G|$の約数である．
- $(G:H)\in \mathbb{Z}$であることに注意すると，ラグランジュの定理より，$|H|$は$|G|$の約数である．$\blacksquare$
- $\langle g\rangle$は$G$の部分群であるから，①より，$|\langle g\rangle |$は$|G|$の約数である．
$|\langle g\rangle |$は$g$の位数に等しいから，$g$の位数は$|G|$の約数である．$\blacksquare$
特に重要な帰結として，次の定理2が成り立つ．
素数位数の群は巡回群である．
$p$を素数，$G$を位数$p$の群，$g\in G$とする．
$\langle g\rangle$は$G$の部分群であり，系1より$\langle g\rangle$の位数は$1$または$p$である．
$|\langle g\rangle |=1$であるとき，$\langle g\rangle \neq G$である．
$|\langle g\rangle |=p$であるとき，$\langle g\rangle =G$であるから，$G$は巡回群である．$\blacksquare$