太兴二年祖逖进驻沛国派参军殷乂去联络张平，樊雅二人。凉州刺史张寔拥护晋王司马睿的奏章传至，祖逖派遣其弟祖约，携带劝进文。到建康表忠心。殷乂到了张平处，但殷乂却轻蔑张平。张平怒杀殷乂，并拥兵固守，与祖逖北伐军对抗。祖逖攻城不下，遂使用离间计，众人商讨对张平部下谢浮下手，夜间命王安携带金银面见张平部将谢浮，谢浮见王安携带金银珠宝立刻邀入帐内，王安对谢浮说：“汝等本为晋人，今据城固守。何也？琅琊王司马睿已经率领吴地三十万军欲以北伐，届时尔等若继续固守，恐不得善。今祖公恩浩，特赦尔众，尔众若归附则各有奖赏。”谢浮说到：“吾等本无与祖公相抗之意，乃张平一意孤行。足下可留钱财，我谋张平后，即率军而归。”谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，但因军中乏食，处境艰难。张平死后，樊雅仍占据谯城。夜中樊雅率众夜袭，直逼祖逖大营，军中大乱。
祖逖军中督护董昭持矛以一当百大破贼军，终于击退樊雅，祖逖赞董昭有典韦之勇。祖逖又率部追讨，却遭到张平余部的迎击，便向乌堡主陈川、南中郎将王含求援。陈川、王含分别派部将李头、桓宣率军助战。李头在征讨樊雅时，连破樊雅三阵力战有功，颇得祖逖礼遇，常叹道：“若能得祖逖为主，死而无憾。”陈川闻知大怒说到：“汝主吾也，何以赞他人之贤？”，怒上心起遂杀死李头，李头的亲信冯宠便率所部四百多人投奔祖逖。陈川更加恼怒，至祖逖书文破口大骂。又派部将魏硕劫掠豫州诸郡，结果被祖逖派兵击溃。陈川败逃，便率部归附石勒。石勒命其驻扎于豫州北，以阻遏祖逖北伐。
桓宣到了祖逖处，祖逖就让桓宣去劝降樊雅，桓宣单马入谯城，对樊雅道：“祖公欲联慕容廆和刘琨荡平刘聪、石勒。仰仗于公，以公为后援。先是殷乂轻薄无礼，并非祖公本意。如此时和解，可建立忠勋，能保富贵。但若还要固执，朝廷派出猛将，凭你手下乌合之众，依据一座危城，北边又有强贼窥伺，届时石勒攻之，汝何以为守？”樊雅听后对桓宣说：“汝有张仪之才，吾素来敬佩说客。今汝数语，令我归心。”遂出城归降。祖逖攻占谯城后，终下豫州，通北伐之道。桓宣则率部返回。不久，石虎围困谯城，王含又遣桓宣来救。石虎闻听桓宣前来，撤军而退。桓宣于是留在谯城，协助祖逖征讨不归附的坞堡主。这时正值司马睿登基称帝改元太兴。朝中使者到陈县（豫州治所在陈县处，宣诏封祖逖为豫州牧，都督五州诸军事。公孙成随使者到任，拜见祖逖，祖逖把豫州帐册给了公孙成。让他在三日内重新整理豫州户口粮田，并让其略访豫州，将手下斥候五人交由公孙成调遣。公孙成命五人和亲侍卫亲和章亩一日内走遍州七郡，在七人归来后。公孙成整理七人所见所闻。后日公孙成将粮册和户口统计重新造册。将帐册交给祖逖，豫州，下辖颍川郡、陈郡、鲁郡、汝南郡、谯郡、弋阳郡、阳安郡、襄城郡、汝阴郡。现共计七万户，夫妻健存之家三万户，孤儿寡母者共三万户。老妪独居者万户计，荒田千顷。四郡内史，二十余县官与民医勾结制卖五石散，并掠夺精壮男子卖于郡内地主充作兵丁，多民流亡于外，耕种者仅十之一二。剩二郡之地未查，祖逖接过账本，自言说到：“此乃诸王相争，朝中王衍、胡毋父子、石崇等清谈之辈所致！”王安向祖逖进言：“天下未定百姓流离失所，可招流民入内而耕。将制卖五石散和诱卖人口的县官太守一一上疏交朝廷治罪。”祖逖命众将部卒且耕且战，又命王安带军五百去巡查豫州内，公孙成随王安一同前往。二人路上闲聊，公孙成说：“祖公真乃神人也，既有白起、韩信之兵识也有管仲，乐毅之才。”王安说道：“若无祖公相救，恐我已成刀下冤魂。”公孙成问王安道：“今岁几何？”王安说：“年三十二。”公孙成说：“汝岁长于我，可否与兄称之？”王安说：“听悉长史之言。”
公孙成和王安行至汝阴郡洨县。草草望去县内空无一人，民房破败不堪，县府内大门无踪，院内枯草相缠，走进县内只有三户流民依居于此。见到王安和公孙成二人及身后百十卒，惊慌失措欲越墙而走。公孙成命卫亲和章亩将此中一精壮人捕获，押至公孙成马下。公孙成和他说：“你可知县府内，县令何在？”这个人连忙摇头，言匈奴语。公孙成说到：“此人乃胡人也，不通晋语，难以交流。”这时王安下马用匈奴语和此人交流。二人沟通完后，王安告诉公孙成：“此人名綦毋必。随公师藩起事，公师藩被平。跟汲桑起事，汲桑被灭。又随苟晞，苟晞又被石勒所灭。部众只能各自流散，他到这里时，县内已经空无一人。他走遍周围县府，后面觉得只有此处可以安宿。”公孙成诧异的对王安说道：“兄会胡语？”王安说道：“吾父本匈奴人也，劫晋人县令之女为妻，后随母姓。”公孙成听后说道：“成无它意，王兄莫怪。”王安说：“无妨，吾自三岁起便不知父之生死。乃母日夜为人采桑织布，方才得存。刘渊屠河东郡时，母尽财钱将我托付于城中避难者。至今不知母亲所踪。”公孙成随后给此人衣物及干粟，此人拜谢王安和公孙成手牵公孙成马缰请求牵马，公孙成准许。公孙成想起当年南下避难时就是因为河东太守路述战死，父亲才携家眷南遁。不禁叹言到：“天下荒芜至此，不知何日北还。”众人进府内搜寻，搜寻一时在庭内破匾中找到一本簿册。簿册灰有半寸之厚，待清理稍净。翻到第一页写道：太康七年臣杨玄得计县内户三千口，田五千亩。然后公孙成翻到最后几页写道：永嘉元年户一千，郡太守再次征兵应东海王。县内仅存男子十三岁以下八十人，粮田八百亩。又翻两页写到：永嘉五年洛阳破，太守和郡丞征洨县内十五以下女子欲东逃青州。剩二十户，荒田百亩。二人观后皆感骇然，王安说道：“不想豫州之地，永嘉年间已然如此。”二人一路经过銍县、山桑县、蕲县。皆满目疮痍，到了符离县又见县内，井上绑有黑布。二人携军快速离去。路上流民相互依靠，以树皮为食。多衣不蔽体，言语无力。这时有一个人冲了过来，跪倒于公孙成前说道：“官人救我子女，幼子三日未食四日绝水已然昏阙。子母五日前已饿死，我走投无路啊。”卫亲大喝欲斥退其人，公孙成阻拦卫亲。
欲要掏粮被綦毋必阻止，綦毋必与王安交谈。王安脸色大惊立刻对公孙成说：“成弟止住，周围有变。”公孙成看向周围一个个饥民，都盯着公孙成马背上的粮袋。手上握紧了木拐，眼神一个个都变得犀利。公孙成留下冷汗，手从粮袋抽了出来扶住马背。然后拿出一袋包好的东西说到：“身只有此物可赠于汝。”然后扔给了那个人，那个人接住打开一条缝一看，大喜。拜谢公孙成而走。綦毋必看后这才对王安继续说下去。王安低声对公孙成说：“成弟如果刚刚把粮食漏出来，那周围的几百人就会一拥而上，劫官尚在其次，若谋性命，恐难保也。”二人游历三日，回到谯城。告诉祖逖路上发生的事，祖逖听闻。说道：“州郡不同心，何以守土？如石勒此时遣大军而攻。豫州危矣！”桓宣说道：“应先攻陈川，陈川首鼠两端。对豫州境况知根知底，如不先图之，恐届时祖公必为其害！”公孙成听闻韩宣所言说到：“身同桓宣之意，祖公应先取陈川。”祖逖命众人招纳流民，给田安置。又抓紧训练兵士，安抚州内自立乌堡。遣亲侍前去慰问。入伍征应者赏田赐粮，答应北攻石勒者，上疏朝中为其谋官，答应出兵者，上疏朝中为其表奏。一时间归附者甚众，至十一月。得卒十万，练精军五万共十五万众。表奏朝中封大小将，县令太守共三百人，将三万精兵和四万新卒遣送健康充军。司马睿看到祖逖上表的封将封官者一一批准，并送还印玺三百五十个。
太兴二年九月祖逖出兵征讨陈川。陈川部下不做抵抗纷纷各自奔逃，石虎则率五万大军救援陈川，陈川大喜率本部仅剩部卒攻祖逖，结果被祖逖击败。石勒见陈川溃败于是前后夹攻祖逖。祖逖命后军列六丁阵迎敌，石勒步骑无法突入，被阵中董昭领铁骑冲杀杀败。石勒败退，石虎绕豫，劫掠豫州汝南郡掠夺男女一千人，带着陈川回师襄国，并留部将桃豹留守汝南郡防止祖逖追进。