物の場合、制限用法は、that/which どちらでも良いですが、非制限用法は which のみなのですね。
この問題は、それを解かせようというわけです。
Q1.my office, which is on the 2nd floor of the building, is very small.
の場合、My office is very small. と言うだけでも、どのオフィスかわかるので、形容詞節は非制限用法となっています。
Q2.The office that I'm using at the moment is very small.
の場合、 The office is very small. と突然言われても、前文で office について説明が無い限り、この文だけでは、「どのオフィス」かわからない。 だから、形容詞節で、office を限定しているわけです。
ですが、この問題にも若干「穴」がありまして、もし、私がオフィスを2つ以上持っていた場合、
My office that is on the 2nd floor of the building is very small.
と言うのは、OKなのです。
2つ以上持っている場合、My office だけでは、どちらかわからない。
で、 that is on the 2nd floor in this building と制限してあげないといけないわけです。
Q1 の which が指しているのは、my office
My office is on the 2nd floor of the building.
という文を考えると主格ですね。
Q2 の which が指しているのは、.The office
I'm using the office at the moment.
という文を考えると、目的格と理解できます。
2箇所欠落があるように見えてしまうのは、 the office is very small. という文の骨格がキチンと見えていないからかな? と思います。
The office that I'm using at the moment is very small.
は、
The office is very small.
というところに、the office を限定する形容詞節
that I'm using at the moment が入り込んでいるわけです。