在君跟胡子靖先生到日本留学，大概是光绪二十八年（壬寅，1902），那时他十六岁。他在日本住了一年半左右，从他十六岁到他十八岁，从光绪二十八年的下半年，到三十年（甲辰，1904）的三月。
他在日本的生活，只有李祖鸿（毅士）先生和汤中（爱理）先生的追忆（《独立评论》第二○八期，第二一一期），可惜都不详细。汤中先生说：
当时在君只有十八岁，和我同住在神田区的一个下宿屋，他那时候就喜欢谈政治，写文章。我记得东京留学界在一九○四年的前后，出了好几种杂志，……如……浙江留学生之有 《浙江潮》，江苏留学生之有《江苏》。……《江苏》杂志第一次的总编辑是钮惕生（永建）先生，第二次是汪衮甫（荣宝）先生，后来就轮到在君担任。
在君的文章很流畅，也很有革命的情调（当时的留学生大多数均倡言排满革命）。可惜在君在《江苏》杂志上发表的文章现在都散失了，我搜访了多时，一篇也没有找到。……
在君住在下宿屋，同我天天见面，他谈话的时候，喜欢把两手插在裤袋里，一口宽阔的泰兴（原文误作“泰州”）口音，滔滔不绝，他的神气和晚年差不多，只少“他的奇怪的眼光，他那虬起的德国维廉皇帝式的胡子”而已。
在君在日本一年半，虽然认识了许多中国留学生，虽然参加了当时东京留学界“谈革命，写文章”的生活，但没有进什么正式学校。不久，日俄战争发生了——1904年2月8日夜东乡大将袭击旅顺口——大家更无心读书了。在那个时期，和李祖鸿兄弟同住的庄文亚先生常常接到吴稚晖（敬恒）先生从苏格兰的蔼丁堡（Edinburgh）寄来的信，信上常说，“日本留学生终日开会，吃中国饭，谈政治，而不读书。”也常说苏格兰生活的便宜，常劝人去留学。据吴先生的估计，中国留学生到那里留学，一年只要有五六百元就够用了。
李祖鸿先生说：
在君受了这种引诱，便动了到英国去留学的意思。……庄文亚君也在这时候起意要到英国，他和在君一旦遇见，彼此一谈，志同道合。……在君搬到我们那里来住了，他们时常商谈出洋事，自然也冲动了我去英国的念头。……后来是在君出主意，由他先资助我路费，且同我出去，到上船以后，再报告家中，商量以后的学费。
李先生继续说：
我们三人决定出洋以后，预备了大约一两个月的英语。在君的英语是一点根基都没有，比庄文亚和我都差。然而到我们出发的时候，一切买船票等等交涉，都是他出头了。……
我们离开东京是在光绪三十年，时间大概是春夏之交（汤中先生说是“三月某日”。）我们那时所谓经济的准备，说来也甚可笑。在君的家中答应给他一千元左右，交他带去。至于以后的接济，却毫无把握。庄文亚家的资助不过四五百元，以后却再无法想了。那时正值我家把我和我弟祖植半年的学费三百元寄到，我们就向家兄祖虞商量，先把此款归我带去。总算起来，统共不过一千七八百元。
依我们当时的计算，日本邮船价廉，……我们到英国时至少还可以有好几百元的余款。不料那时适因日俄战争，日本船不能乘，于是改乘德国船，三等舱位的船价每人三百元左右。……我们在上海又须得耽搁一阵，因为丁、庄二君的家款都约定在上海交付。……到我们〔在上海〕上船赴英国的时候，我们三人手中只剩了十多个金镑！
三个青年人身边只有十几个金镑，就大胆的上了船，开始他们万里求学的冒险旅程了！