1919년 11월 3일 안창호는 드디어 베이징으로 예배당에서 통합정부의 국무원 취임 축하연설을 하려고 연단에 올랐다. 그는 “오늘 나의 기쁨은 극도에 달하여 마치 미칠 것 같다.”며 연설을 시작했다. 나란히 앉아 있는 국무총리 이동휘, 내무총장 이동녕, 재무총장 이시영, 법무총장 신규식을 보는 순간, 미국을 떠나서 상하이에 와서 오늘에 이르기까지 겪었던 지난 일들이 주마등처럼 머릿속을 스치듯 지나갔다.
미국에 있던 안창호는 ‘빨리 상하이로 와 달라.’는 현순의 연락을 받고, 4월 5일 상하이를 향해 출발하여 호주·홍콩을 거쳐 5월 25일에 상하이에 도착했다.
상하이로 오는 동안 ‘어떻게 하면 우리 민족이 대동단결하여 독립을 이룰 수 있을까?’ 하는 생각이 안창호의 머릿속을 떠나지 않았다. 그는 생각했다. ‘독립운동을 성공적으로 이끌려면 통일의 완성이 선결 조건인데 이를 위해서는 우선 해외 교포 전체를 조직·훈련하여 실력을 키워야지. 그런 뒤 각지의 두령들이 한 곳에 모여 해외 동포의 대동단결을 이루되 정부보다도 대독립당이라는 혁명 단체로 통일해야 해.’ 그는 일제와 당장에 싸우기보다는 정치적·경제적·군사적 실력 양성을 우선해야 한다고 판단했다.
또 안창호는 어떻게 통일을 할까 하며, ‘지난 10여 년 동안 각지의 두령들이 거의 서로 소통이 없는 상태에서 독립운동을 했으니 독립에 대한 생각과 방법이 다를 것이니 우선 이들 두령들이한 곳에 모여 통일하는 것이 가장 중요해.’라고 생각했다.
홍콩에 도착한 안창호는 우선 상하이의 상황이 궁금했다. 마침 이전 신민회에서 같이 활동한 조성환이 상하이에 있음을 알고 홍콩으로 와달라고 전보를 보냈다. 조성환은 오지 않았고 대신 현순이 왔다. 현순은 상하이에서 이미 임시정부를 수립했고, 안창호가 상하이에 온다는 소식을 들은 이동녕·이시영·신규식이 항저우로 가버렸다며 불길한 소식을 전했다. 안창호는 걱정스런 마음을 가득 안고 5월 25일 상하이에 도착했다. 그의 눈에 보인 임시정부는 사실상 개점휴업 상태였다. 국무총리 이승만을 비롯한 6명의 총장 가운데 유일하게 상하이에 있는 총장은 법무총장 이시영뿐이었다. 그마저도 자신이 온다는 소식을 듣고 항저우로 가 버렸다.
안창호는 6월 28일 내무총장 겸 국무총리대리에 취임하기전까지 상하이 동포를 상대로 여러 차례 연설회를 가졌다.

그때마다 그는 ‘임시정부를 중심으로 한 통일’을 강조했다. 안창호는 베이징로^北京路 예배당에서 열린 취임사에서 “한 덩어리가 되는데 대해 구체적으로 할 것은 중·미 각지로부터 정식의 정원을 소집하여 거기서 주권자 3인을 택하여 그 셋이 일곱 차장을 뽑아 의정원에 통과시키려 한다.”는 연설을 했다.
안창호는 이미 임시정부가 수립된 상황을 받아들이고 상하이에 오기 전에 구상했던 대독립당의 건설 구상을 잠시 접고 임시정부를 중심으로 모든 해외 운동을 통일하기로 했다. ‘그래, 피로써 물들인 3·1운동의 정신이면 각지에서 각자 독립운동을 했던 두령들이 가진 생각의 차이를 극복하고 통일의 기반을 세울 수 있을 거야. 더구나 옛날 신민회의 동지들이니 한 자리에 모여 옛 정을 나누다 보면 신민회의 정신으로 통일을 이룰 수 있겠지.’ 안창호는 이런 희망과 기대를 가지고 취임했다.
그런데 이미 상하이에는 정부통합 논의가 일고 있었다. 4월 11일 상하이에서 임시정부를 수립하기 전후 노령에서는 대한국민의회가, 국내 서울에서는 한성정부가 수립됐다. 이밖에도 실체는 없지만 평안도 선천에서 신한민국정부, 서울에서는 천도교를 중심으로 조선민국임시정부와 대한민간정부 등 이른바 ‘삐라정부’의 선언도 있었다. 안창호는 정부 통일 방안으로 이른바 ‘삼두정치’를 구상했다. 노령의 대한국민의회와 서울의 한성정부 그리고 상하이의 임시정부를 합하여 통일할 생각이었다.
국민의회 측에서 4월 29일 상하이 임시정부를 ‘가승인’하고 일본군이 시베리아에서 철수한 뒤 임시정부를 노령으로 이전한다음 일치 행동하기로 결의하고, 교섭 특사로 원세훈을 상하이로 파견했다. 이제 정부 통합 논의는 실체가 있는 상하이 임시정부와 노령의 대한국민의회를 중심으로 전개됐다.
원세훈은 5월 7일 상하이에 도착했다. 그는 상하이 임시정부에 ‘국민의회와 의정원을 통합하고 정부를 노령으로 옮기자’며 통합 교섭을 제의했다. 5월 13일 열린 4회 임시의정원에서는 노령에 설립된 의회를 속히 임시의정원에 통일하기로 하고 3일 안에 정부 요인을 국민의회에 파견하여 조사한 뒤, 그 결과를 임시의정원에 제출하기로 했다. 하지만 통합 논의는 정부 이전 문제로 쉽게합의를 보지 못한 채 지지부진했다.

정부 통합 논의는 안창호가 취임하면서 급물살을 타기 시작했다. 그는 원세훈과 적극 협의에 나서 6월 17일 ‘임시정부는 상하이에 두고 임시의정원과 노령의 대한국민의회를 합하여 조직하되 의회를 노령에 둘 수 있다’는 통합시안을 마련하여 임시의정원에 제출했다. 그러나 이 시안은 7월 14일 임시의정원에서 정부에 반환했다. 사실상 부결됐다.
안창호는 다시 정부 관계자 등 여러 인사들과 정부 통합 방안을 거듭 논의한 끝에 ‘상하이와 노령에 설립한 정부를 모두 해소하고 한성정부를 계승한 정부를 상하이에 두되, 정부의 명칭도 대한민국 임시정부로 한다’는 통합안을 최종 합의했다. 한성정부를 계승하기로 한 것은 한성정부가 “조국의 수도에서 조직한 정부”라는 것이 통합 정부 수립을 위한 명분으로 충분했기 때문이다.
상하이 임시정부의 교섭 특사로 선정된 현순과 김성겸은 8월 20일경 이 통합안을 가지고 노령에 갔다. 이들은 대한국민의회에서 8월 30일 의회를 열어 한성정부를 봉대하기로 하고 만장일치로 대한국민의회의 해산을 선포했다는 반가운 소식을 상하이에 전해 왔다. 안창호는 이 소식을 접하고 안도의 한숨을 내쉬며 통합정부 수립을 위한 준비를 서둘렀다.
상하이 임시정부에서는 8월 28일 ‘임시헌법개정안’과 ‘정부개조안’을 임시의정원에 제출했다. 임시의정원에서는 9월 6일 두 안을 정부안대로 가결시키고 임시대통령으로 이승만을 선출했다. 11일 이승만의 임시대통령 당선을 선포한 데 이어 13일에는 15일부터 통합정부의 시정일로 한다고 선포했다. 이로써 상하이에서는 정부통합에 필요한 절차를 모두 마무리했다.
9월 4일자 『독립신문』의 「통일의 첩경은 두령의 취합」이라는 안창호의 대담 기사는 8월 28일 정부개조안을 임시의정원에 제출한 뒤 가진 기자회견이다. 안창호는 ‘국가의 현재 및 장래에 대해 가장 중요한 일’은 ‘전 국민의 견고하고 조직적인 통일’이며 이를 위해 필요한 방법은 ‘국민의 선도자라 할 만한 인사가 모여 협력하는 것’이라고 했다. 그러면서 그는 지난 임시정부는 해외에 있는 지도자가 협력하지 못한 한계가 있었는데, 정부개조안이 통과하면 해외 각지의 두령들이 통합정부를 중심으로 모일 것이라며 자신의 지론을 펼쳤다.
그러나 통합정부가 수립한 뒤 상하이에 벌어진 상황은 안창호의 기대를 벗어났다. 통합정부가 수립되고 나서 9월 18일 노령에서 국무총리 이동휘가, 이어 박은식, 교통총장 문창범이 차례로 상하이에 왔다. 그런데 문창범은 상하이 임시정부가 통합 약속을 어겼다며 교통총장 취임을 거부하고 노령으로 돌아가면서 ‘승인·개조논쟁’이 일어났다. 문창범은 양 정부의 의회를 해소하고 한성정부를 봉대하기로 약속했는데, 상하이 임시의정원은 그대로 있고 상하이 임시정부를 개조했다는 것이 취임을 거부한 이유였다.

‘승인·개조논쟁’은 정부에서 임시의정원에 정부개조안을 제출했을 때부터 제기된 문제였다. 그것은 정부 통합의 기본 전제인 ‘한성정부를 봉대한다’는 것이 곧 ‘승인’이었다. 한성정부를 일점일획 고치지 않고 집정관총재 이승만부터 국무원 전원을 한성정부대로 임명하는 것이었다. 그런데 상하이 임시정부에서는 한성정부의 집정관총재 이승만을 통합정부의 대통령으로 선출했다.
사실 안창호도 처음에는 한성정부를 일점일획 고치지 않고 그대로 가져오는 ‘승인안’을 제안했다. 그런데 이승만이 이미 미주에서 국무총리가 아니라 한성정부의 대통령 행세를 대외적으로 하고 있었다. 상하이 임시정부에서는 몇 차례 이승만에게 대통령이 아니라 국무총리라고 주지했으나 이승만은 끝내 고집을 꺾지 않았다. 안창호는 통합정부에서 이승만을 대통령으로 선출하지 않을 경우 그가 미주에서 대통령 행세를 계속하여 결국 두 개의 정부가 존재하는 꼴이 되어, 부득이 한성정부승인안에서 이승만을 집정관총재에서 대통령으로 하는 정부개조안을 제출했던 것이다.
이에 대해 상하이 일각에서는 안창호의 진의는 ‘한성정부를 정신적으로 승인하여 상하이 정부를 개조하되 한성정부와 동일한 제도와 인원이 되게 하자는 뜻’ 즉 ‘실제를 위해 두 정부를 하나로 하되 정신적으로는 한성정부를 승인하고 형식적으로는 상하이 정부를개조해 한성의 정^精과 상하이 정부의 육^肉으로써 통일정부를 산출’한 것이라고 평가했다. 안창호는 통일을 위해 ‘승인·개조논쟁’에서 제기된 법리나 명분보다는 운동의 실제를 더욱 중시했던 것이다.
1919년 9월 30일자 『독립신문』에 실린 외부 투고 글인 김경하의 「통일을 기하라」는 통합정부 수립 이후 상하이에서 벌어진 상황을 우려하며 통합정부 중심의 통일을 강조한 글이다. 그는 ‘한 개의 대나무는 어린 아이도 꺾을 수 있으나 만개의 대나무를 묶어서 꺾으려면 항우도 할 수 없다’며 독립운동의 통일이 갖는 위력적 힘을 강조하며, “국내외 모든 독립운동 단체와 독립군대가 북극성을 뭇별들이 옹위하듯이 통합정부 아래 행동하자”고 했다. 나아가 그는 통합정부를 “진정한 정부로 인정하지 않고 하나의대단체로 생각하자”는 의견에 대해서도 통일의 중요성을 강조하며 비판했다.
그러나 통합정부가 수립되면서 안창호가 가졌던 ‘기쁨’은 오래가지 못했다. 상하이 임시정부가 노령의 대한국민의회와 통합했지만 그것은 반쪽짜리였다. 노령의 이동휘 계열이 통합정부에 참여했지만, 문창범 계열은 노령으로 돌아가 이듬해 2월 해체한 대한국민의회를 복원했다. 더구나 문창범이 노령으로 돌아가는 길에 베이징에 들러 통합정부의 외무총장 취임을 거부한 박용만과 결합했다.
이 결합은 이후 베이징과 노령을 중심으로 반임정 세력을 낳는 계기되었고, 국민대표회의 시기 창조파가 등장하는 원인이 되었다.