相続人となる兄弟の１人が先に亡くなり子がいる場合

死亡した人の「配偶者」は常に相続人となり、配偶者以外の人は、次の順序で配偶者と一緒に相続人になります。
【第1順位】
○　死亡した人の子供
その子供が既に死亡しているときは、その子供の直系卑属(子供や孫など)が相続人となります。子供も孫もいるときは、死亡した人により近い世代である子供の方を優先します。
【第2順位】
○　死亡した人の直系尊属(父母や祖父母など)
父母も祖父母もいるときは、死亡した人により近い世代である父母の方を優先します。
第2順位の人は、第1順位の人がいないとき相続人になります。
【第3順位】
○　死亡した人の兄弟姉妹
その兄弟姉妹が既に死亡しているときは、その人の子供が相続人となります。
第3順位の人は、第1順位の人も第2順位の人もいないとき相続人になります。
なお、相続を放棄した人は初めから相続人でなかったものとされます。
また、内縁関係の人は、相続人に含まれません。

ご質問のケースですが、配偶者も子（第１順位）もいないということですので、亡くなった方の直系尊属である両親や祖父母（第２順位）も全員亡くなっているのであれば、ご質問のとおり兄弟姉妹（第３順位）が相続人になります。
そして、兄弟姉妹の中で、先に亡くなった方がいる場合、代襲相続としてその方の子がその方に代理して相続権を得ます。
したがって、ご質問のケースでは、生存している兄弟が２分の１を相続し、残りの２分の１は亡くなった兄弟の子が相続します。亡くなった兄弟の子が２人であれば４分の１ずつ、３人であれば６分の１ずつということになります。