質問できるようなネイティブの知り合いも居ないので私は自分で考えるしかないのですが、やっぱり「of」だとちょっと違和感あるかもです。
「failure of travel」だと、旅行自体の失敗というか不手際というか、自分自身が何か具体的に失敗をやらかしたということではなく、旅そのものがいけないことみたいな感じがします。「旅行」というものがもたらす欠点、というか。。。
うまく言えないんですが、例えば何年も経ってから、「あのとき、あのタイミングで旅行に行ったのは自分の人生において失敗だったなぁ、、、」みたいな感じとか。あくまでも感覚的なものなのですが。「旅行のメリット・デメリット」みたいなときにだったら使える表現かな、と思います。
>the failure during your trip to overseas
こんな長い表現、とっさに出てこない気がします(^^;
私だったら、「something I did wrong during my trip」くらいでごまかしちゃいますっ。(←あれ、見た目にはあんまり長さは変わらないかも。。でも「I did wrong」のほうがスっと出てきます〜)