電話番号だけで、個人の住所を特定することはできません。
架空請求業者などがよく使う手口ですが、実際に訪問することはまずありません。

薬をやっている者が警察へ行けば、そこから足が着くことになるためそれもま
ずないでしょう。

そもそも定期的に会っていたのであれば、両者の間にある程度の合意があった
ものと類推されるため、通常は相手にもされないでしょう。

返す意思はいいですが、下手に会うと身の危険を感じるのであれば、電話も着
信拒否して一切の連絡を取らないことです。