現時点でPractical English Usage(Swan)とRight Word Wrong Word (Alexander)では不可とされていることを確認しています。 他に文法書とは言えませんが、「日本人の英文法」(研究社出版・T.D.ミントン)では、日本でよく聞く間違った文とされています。
関連ありそうな例文を列挙します。 the first to do: D:He is the first man to climb that mountain.(○)
time to do: E:I don't have time to waste.(○)*timeはwasteの目的語 F:I don't have time to worry about.(○)*to worry aboutはtimeの内容(time when S be to worry about)
早速本題ですが、あおこ♪さんの指摘しているここでの文構造は、不定詞部分に対してtimeが主語にも目的語にもなっておらず、不定詞句を節に展開したときに関係代名詞ではなく、関係副詞になっている点だと思います。実際"It's time to go."などの文が一般的に使われているので、使用頻度は高いと思いますが、Swanらが容認不可としている根拠を教えて頂ければ有り難いです。
えっとSWANは、最上級などと不定詞の組み合わせのパートで
関係詞と同様に働くと言ってまして、
名詞が不定詞に対して主語の場合のみと記しています。
Is this the first time you have stayed here?
(NOT...the first time to stay here. ---Time is not the subject of stay)
It is time to go.この場合のtimeは時刻のことですよね。
一方、first timeのtimeはoccasionのことだから、
このふたつを一緒にできないように私は考えているんです。
ところが、例外もあって、
to 不定詞の感情の原因、I am glad to see you.
この用法には説明が成り立たないと言われていますよね。
また、あおこの挙げた例文D:He is the first man to climb that mountain.
ここにも当てはまらないと考えることができるんじゃないでしょうか。
ところがこの例文Dは
「これから登るはずの人たちの中で一番目だ」と考えれば納得の行く文構造の気がします。
Someboday is to climb that mountain.
Many are to climb it.
He is the first.
このように考えると、彼は既に山に登っているはずの文ですが、to不定詞とはクラッシュしないのではないでしょうか?
一方、This is the first time to visit Kyoto.には
この筋は見えない文です。
SWANが主語でなければならないと言ってるのは、このことだと思うんですね。