1928年4月上旬，黄克诚率领八百工农革命军撤离永兴县城，进军井冈山，参加伟大的朱毛会师。1928年5月下旬，永兴农军编为二路游击纵队返回湘南，开展游击战争，黄克诚担任司令员，部队抵达永兴后，因敌强我弱，最终被打散。

失利后，黄克诚与李卜成潜回下青村，黄克诚哥嫂帮助他们在附近一座山上找了个地方潜伏，每天由嫂子偷偷送饭。在两个月藏匿期间，他们千方百计寻找上下级党组织，却一无所获。敌人四处抓捕黄克诚，包围下青村逐户逐屋搜查，没有抓到黄克诚。敌人的围捕，促使黄克诚和李卜成加快了外出的准备，他们打算取道武汉、南京，到上海去找党。

1928年10月初的一天夜里，黄克诚和李卜成在黄品清护送下离开家乡到常宁县白沙镇，坐上开往衡阳的民船，到衡阳后，转乘开往长沙的轮船，到了长沙直奔火车站，爬上一列煤车，来到武昌，他俩用化名住进旅馆，洗澡、理发，整理好外表仪容，在大街转悠三四天，希望能碰上熟人，结果一个熟悉的同志也没碰到。他们决定赶往南京。 到南京一上岸，他俩就在下关一个比较偏僻的巷子，找到一家旧式旅馆住下，在这里与曾希圣不期而遇。通过交谈，黄克诚才知道曾希圣到南京来也是为了寻找党的组织，但没有找到。

因筹借的钱花得差不多了，他们去找永兴同乡同学曹日晖，曹是国民党军队中团一级的军官，在南京有公馆。一天晚上，黄克诚同李卜成到了南京城内曹公馆，李进到宅内，黄克诚留在外边观察动静，以便发生不测时好有个照应。李卜成进去没有几分钟，就出来了，匆忙拉着黄克诚离开，转回旅馆进到房间后，李卜成才告诉黄克诚去见曹日晖的情形。曹日晖一见到李卜成，十分惊愕，张口便说：“你真好胆大，竟敢到南京来！这里同乡人很多，正在到处通缉你们。前不久曹福昌逃到南京，当即被人告发枪毙了。幸好今天我这里没有别的同乡在，算你幸运，否则，真是太危险了，你赶快离开，不要在南京呆了。”李卜成见曹日晖这种神情，也不便向他打探什么情况，就干脆要求他接济点路费，曹日晖不肯在自己身上拔毛，就介绍李卜成去找另一个同乡刘乙光。黄克诚同李卜成到国民党中央军校找到了刘乙光。刘乙光是黄埔军校第四期的学生，是黄克诚鼓动他去投考黄埔军校的。大革命失败时，黄克诚曾倾囊资助过刘，这次同他一见面，刘也感到愕然。黄克诚开门见山地说明来意，刘先谈了他所了解的情况后，说你们不能在南京久留，如果碰到坏同乡，就会出危险，并说过几天他要到上海公干，可以把他们一起带到上海。两天后的夜里，黄克诚和李卜成跟随刘乙光乘火车顺利地到达上海。刘乙光把黄克诚和李卜成送出车站，临别前刘对黄克诚和李卜成说，在上海找到固定住所后，就给他写信，他每月寄几块钱的生活费。

上海是当时党中央所在地，黄克诚和李卜成相信在这里一定能够接上组织关系。但由于白色恐怖气氛很浓，党的活动是在极为秘密的状况下进行的，究竟何时才能找到党组织，心里没有把握。考虑到自己身边的钱很少，采取白天逛大街、晚上在小店里租一张床位过夜的办法，以节省开支。这样过了几天，没有遇见一个熟悉的同志，想着没有固定住所，到处游荡不是个办法，就在闸北一个茶馆的后楼上租下一间小房子住下了，买一块苇席，铺在地板上睡觉。

这时已是1928年的10月下旬了。两人都是第一次来大上海，人生地疏，每天除了上街东碰西撞想遇见熟识的同志外，就是到书店看书。就这样，他们在上海住了两个月时间，还没有找到组织关系，生活越来越拮据，心里焦急。开始，刘乙光还寄来几块钱的生活费，后来他自己也失业了，就另外给介绍了一个在上海的永兴同乡，同乡给了他们三块钱后，就再不理会了。这期间，他们决定先去找个职业以谋生，再慢慢寻找组织关系，几乎跑遍所有的佣工行，一概不招男工。同时，房东又天天催逼房租，他们尝尽了厚着脸皮求人告助的难堪滋味，真是到了山穷水尽的地步。

有一天，黄克诚在报纸上看到永兴著名的留日学生黄璧在上海兵工厂炮弹部任主任。黄克诚以黄楚珍的化名给他写了一封信，请求帮助。几天之后，黄克诚接到黄璧的回信，约他到厂里面谈。真是喜出望外，黄克诚立即赶到上海兵工厂，同黄璧见面。黄壁因自己有事要离开，委托他的一个亲戚、同事跟黄克诚谈。这个人一进屋，黄克诚一眼就认出了他。此人叫邓丰立，是湖南桂阳县北鸦山村有名的大恶霸，湘南暴动失败后，杀了很多参加暴动的农民和共产党员。黄克诚曾见过邓丰立。幸而黄克诚这几年变化较大，邓丰立已认不出了。他与黄克诚寒暄过后，首先问黄克诚过去的情况，如何当的兵。黄克诚竭力保持镇静，装作素不相识的样子与他胡扯了一气。他突然问黄克诚：“下青村黄清正的侄子黄时瑄（黄克诚读私塾时用过的名字）你认识吗？”黄克诚沉住气淡淡地回答道：“过去在家时认识的。”邓又问道：“黄时瑄现在在什么地方你知道吗？”黄克诚说：“我离家出来当兵很久了，从没有与他联系过，不知他后来怎么样了。”邓恶狠狠地说道：“黄时瑄是个杀人放火的共产党。”黄克诚佯作惊讶道：“啊？他那样的人还会当共产党，真出人意料。”邓接着说：“他领头在我们那一带搞暴动，当局正在通缉他。我要是找见他，决不能轻饶了他！”黄克诚又感叹道：“他那样的人也会搞暴动，可真看不出来。”接着黄克诚把话题一转，问了问邓一家人的情况。最后黄克诚问邓，黄璧先生什么时候能回来？邓说今天不一定能回来了。黄克诚就势说道：“黄璧先生今天不回来，那么我改日再来拜访，今天我就告辞了。”说完黄克诚站起身就往外走，邓丰立一直把黄克诚送到工厂大门口才回去。黄克诚手心里捏了一把汗，离开了兵工厂，才如释重负，长长地舒了一口气。此后他再也不敢去找黄璧了。

黄克诚久困上海，遭受着找不到组织和经济来源断绝的煎熬，整天神经极度紧张，饥寒交迫。真是天无绝人之路，黄克诚偶然在一张报纸上看到了凌兆尧在国民革命军第五十三师第一五八旅当旅长，驻防唐山。 凌兆尧是黄克诚在北伐军唐生智部当团指导员时的团长，彼此间的关系相当不错，他想利用这个关系得到一些资助，立即给凌兆尧写了一封信，介绍了自己在上海的困境。凌兆尧很快就回了信，并寄来二十块钱。这对困境中的黄克诚来说，不仅是雪中送炭，而且是绝处逢生，使他得以渡过最困难的关头。

天下事贵在坚持，最困难的时候也往往是出现转机的时候。1929年1月间，曾希圣由南京来到上海，找到黄克诚和李卜成，告诉他们说他已在上海接上组织关系了。他俩一听，高兴得几乎要蹦起来。真是踏破铁鞋无觅处，得来全不费工夫。原来曾希圣的哥哥曾中生已由莫斯科回国，在上海党中央军委工作。曾希圣找见他哥哥后，就与党中央联系上了。曾希圣还告诉他俩说，袁策夷（即袁仲贤）和徐德二人也在上海。黄克诚一听更加高兴！袁策夷和徐德跟黄克诚是熟人，在北伐时是同事，彼此都知道是共产党员。

黄克诚和李卜成当即给党中央写了一个报告，请求接洽组织关系，并请袁策夷、徐德两人作他们的证明人。报告由曾希圣通过他哥哥转交党中央。党中央很快承认了他们的组织关系，并派人来看望，还给每个人三十块钱，接济生活。他们终于又找到了党，回到了组织里面，身心都有了归宿了。

春节后，他们在法租界租了一间亭子间，集中精力阅读党中央派人送来的党的六大会议文件和大批学习资料，其中包括共产国际的有关文件、各种革命刊物等。他如饥似渴地读着，从中懂得了许多新的道理，这使他对中国革命问题的理论认识上提高了一大步。

不久，中央军委派人同黄克诚谈话，告诉他的组织关系属军委系统，李卜成属地方系统。并说党的经济来源很困难，党中央号召广大党员自找社会职业，实行职业化，解决生活来源问题，更重要的是可以借职业作掩护，联系各方面的群众，开展革命活动。根据党的这个指示，黄克诚又写信给凌兆尧说，在上海几个月没有找到职业，请他考虑能否在他那里帮助谋个差事做。凌兆尧回信说，可以先来唐山，工作问题来后再想办法。黄克诚将这个情况报告了中央军委，请示是否可去唐山，中央军委同意黄克诚到凌部工作。

不久，中央军委派一位负责同志与黄克诚谈话，交代到凌部后怎样开展工作，怎样同中央军委保持联系。谈话后，军委派人送来路费和通信联络的地址。

李卜成因属于地方组织系统，暂留在上海工作。黄克诚和李卜成自湖南永兴家乡出来找党，奔波数千里，历时近半年，朝夕相处，患难与共，这时不得不恋恋不舍地分别了。

这次黄克诚与党组织接上了关系后，以后再无间断过。