ভাসছে ঘাটাল, ভাঙছে একের পর এক বাড়ি, প্রশাসনের দিকে অভিযোগের আঙুল