常熟，临近长江口的南岸，处在苏州府北域的中心位置。因而被陈济怀定为苏南防线的北方支点。
常熟县城略呈圆形。城墙为前明嘉靖年间，为防倭寇侵扰而全面重修的。墙身高大坚固，墙高两丈四尺。常熟城的地势为西高东低，城西北跨虞山一角，并将辛峰亭划入城中，可作凭高据守。
常熟城设有七门。东为宾汤门，南为翼京门，西为阜成门，北为镇江门，东南为迎春门，东北为望海门，西北为镇山门。
常熟及周边，也是水系发达。南通尚湖、昆承湖，北有许浦等多条水道连接长江口。
常熟还是昭文县的治所，因此也是一城治两县。尽管常熟十分重要，但苏州更是防线上重点中的重点，一切都要优先向那里输送。手中兵力本就匮乏的陈济怀，能分配给常熟的就更少了。
因此常熟的守军，仅有第八团的第三十、三十一两营，和团直属队伍，以及数量尚可的炮兵部队。总兵力不过两千五百人上下。
这点兵力，根本无法确保外围据点。因此当太平军大军开到时，商团便放弃了除虞山以外的全部外围，主力退守城中。常熟城也随即被太平军包围。
进攻常熟的，是太平军北路军。主将是太平天国堵王黄文金，人送绰号“黄老虎”，麾下兵力号称十万。只因此前在江阴一带绊住了脚，直到八月，才来攻打常熟。
这也给了守军比较充足的准备时间。尽管龟缩城中，兵力又不济，但商团的物资充裕，各项城防措施也十分到位。因此太平军刚一开始攻城，就遭到了强劲反击。
常熟城各城门外，多有水关，作为例外之一的镇江门就成了太平军最初的主攻方向。
因为城上守军火力凶猛，直接攻城并付出了重大伤亡后的太平军，便改变策略。采用从商团枪炮射程以外掘壕的方式，向镇江门下推进。
守军发现这一情况后，便有针对性的进行了反击。
商团守城的兵力虽弱，但仍备有机动兵力。他们多次组织起哨级规模的小队，在城头炮火的掩护下，主动出城攻击。还从城外虞山阵地，居高临下的发动了侧击。
这些反击打乱了太平军的计划，破坏了他们的土工作业。于是他们变换了主攻方向，将争夺重点转到了城外的虞山。
虞山是常熟的制高点。夺取制高点，是热兵器时代的军事常识，商团当然会死守不退。双方在虞山的争夺一时胶着。虞山的阵地虽然也有部分被太平军夺取，但包括最高处剑门等要地，始终掌握在商团手中。
因为太平军人数优势巨大，为分散守军兵力，又对城池进行了四面围攻。东郊的地势相对开阔，利于兵力展开，因此城东的战事也最为激烈。
常熟城东的制高点，是建于南宋时期的崇教兴福寺塔，俗称“方塔”。商团在行军、作战中，多用军号和旗语传令。高大坚固的方塔之上，也成为守军重要的了望、指挥之所。