1903年冬，苏曼殊持冯自由的介绍信到达香港，找到陈少白，住在陈家。他“性情孤介，足不出户，住宿之余，鲜与人语”。陈在《中国日报》的同事王秋湄回忆：“子谷稚气未除，衣履不整，莫辨菽麦，性嗜闲食，行动怪诞，同事以其为书呆子，多不与语，独某君（指陈少白）则殷勤招待，优渥备至。子谷在港，除某君外，别无友侣。”