容易将问题转化为求每个时刻四个方向上的第一个值存在至少为 $X$ 的值的行编号。下面考虑求编号最小的存在至少为 $X$ 的值的行，其他三个方向是同理的。

注意到要求的答案行显然是单调递减的，但是行之间是否满足条件不具备单调性。转而考虑倒着撤销这些操作，容易发现此时只需要不断判定当前行是否满足条件即可。坐标离散化后用线段树维护这一行的值，加入一个矩形时，判断矩形是否被这一行穿过，并在线段树上做相应修改，类似扫描线，移动当前答案行时执行边界位于这一行的矩形的修改操作。

时间复杂度为 $\mathcal{O}(N \log N)$。