В большом прямоугольнике накиданы маленькие прямоугольнички по какому-то закону. И оценить вероятность наложения.
Что касается системы моделирования - задача представляется настолько простой и не требовательной к ресурсам, что моделировать можно на чем угодно, в чем удобнее. Например, в Матлабе.