税務署に預けた書類がなかなか帰ってこない・・・

建設業を営んでいます（法人） 税務調査があり、工事台帳と売上請求書の控えを調査官が持ち帰りました。すぐに返してもらえると思っていたのですが、1週間以上返却されません。このように書類の預かりに応じた場合でも、申し出れば直ちに返還してもらえますか。また、返還を求めたにもかかわらず返還されない場合、不服を申し立てられますか。: 法令上、調査官は、留め置いた（預かった）帳簿書類等につき、留め置く必要がなくなったときは遅滞なく返還すべきこととされています。
また、帳簿書類等の提出者（納税者）から、預けた帳簿書類等を業務で使用する必要がある等の理由で返還を求められた場合には、税務署側は特段の支障がない限り速やかに返還しなければなりません。しかし、例えば、留め置いた書類が大量にあり、そのコピーに時間がかかる場合のように、直ちに返還すると調査の適正な遂行に支障がある場合には、しばらく返還に時間がかかることもあります。
なお、返還に時間を要する場合には、引き続き留置する旨とその理由を税務署側は説明しなければなりませんが、これに納得できないときは、税務署長に異議を申し立てることができます。