Visvairāk Zariņu ir saistījis idejiskais darbs plašākā mērogā. Viņš atradās 1905.gada strāvojumu plūsmā, taču nav bijis ne fanātisks revolucionārs, ne iekarsis politisks cīnītājs un arī turpmākajā dzīvē ieturējis bezpartejisku pozīciju. Vienlaikus Zariņš bija dedzīgs latviešu patriots. Vistuvāk viņam bija tautas izglītības jautājums, jo pats no savas dzīves zināja, kāda vērtība ir cilvēka izglītībai. Savu nodomu realizēšanai Zariņš nezināja labāka ceļa kā veidot labu  grāmatu un izvest to tautā. Kopā ar Pēteri Priedulānu un Jēkabu Biezo tika likti kopā naudas uzkrājumi un nodibināts grāmatu apgāds  “Imanta”, kura galvenais pārstāvis bija Zariņš. Lai gan darbībai bija labas perspektīvas, drīz vien izdevniecība tika likvidēta. Izdevniecība bija nolēmusi izdot Raiņa dzejoļu krājumu “Klusā grāmata”. Dzejniekam šis izdevēju nodoms šķita simpātisks, jo Pēterburgā cenzūras apstākļi bija daudz liberālāki nekā Rīgā, tāpēc varēja cerēt, ka viens otrs Rīgas cenzora svītrots dzejolis Pēterburgā varēs parādīties dienas gaismā. Taču iznākums bija negaidīts – grāmatas konfiscēja, pret izdevēju sāka tiesas izmeklēšanu.

Pirmā pasaules kara laikā Zariņš trīs gadus rītos un vakaros bija iesaistījies latviešu bēgļu aprūpes darbā. Bēgļu aprūpē Zariņš piedalījās jau tad, kad nebija vēl nodibināta Latviešu bēgļu apgādāšanas centrālkomiteja. Kad 1915.gadā sāka ieplūst latviešu bēgļi, Zariņš bija Pēterpils labdarības biedrības priekšnieks. Steidzīgi tika nodibināta komiteja operatīvai palīdzībai, un Zariņš pievienojās Viļa Olava vadītajai Latviešu bēgļu apgādāšanas centrālkomitejai kā prezidija loceklis un vēlāk kasieris. Mobilizēja visus biedrības uzkrātos kapitālus, laida apkārt ziedojumu listes. Sākumā neko nevarēja paredzēt, un bēgļu vilnis auga augumā, apgādājamo bēgļu skaitam pārsniedzot 200 000 cilvēku. Darbojoties gan Pēterpils labdarības biedrībā, gan Latviešu bēgļu apgādāšanas centrālkomitejā, viņš nesamierinājās tikai ar materiālā pabalsta sniegšanu, bet organizēja arī tautas kultūras darbu, jo no Latvijas bija atbēguši daudzi kultūras darbinieki. Zariņš kopā ar Ansi Gulbi nodrošināja vajadzīgos apstākļus, lai Rīgas lielo teātru aktieri spētu spēlēt.

Notika aktieru apvienošanās, kas pienācīgā spožumā uzturēja latviešu teātra labo slavu visus bēgļu gadus Pēterpilī. Liels ieguldījums tika sniegts arī skolām, sagādājot līdzekļus pirmmācības skolām. Zariņam izdevās panākt latviskas vidusskolas atvēršanu ar bezmaksas internātu. Kurzemnieku un Rīgas bēgļu bērni varēja pabeigt iesākto vidusskolas izglītību. Tika ierīkotas kopmītnes fiziskā darba nespējniekiem, amatniekiem atvēra darbnīcas, kur pagatavoja pašu bēgļu vajadzībām domātus priekšmetus. Neatlaidīgi tika pārrunāti jautājumi par latviešu brīvību, ko Zariņš minējis atmiņās: “..neparedzot Krievijā revolūciju, no sākuma mūsos bija noskaņojums, ka latviešiem pirmām kārtām jādabū autonomija, tāda pati, kādu baudīja jau Somija, vai vēl lielāka. Bet līdz ar 1917.gada martu, kad izcēlās revolūcija, autonomijas ideju atmetām, visi vienprātīgi vienojoties, ka nu Latvijai jātop brīvai un suverēnai valstij.”

1917. gada martā Zariņš aizgāja no darba kantorī, lai pilnīgi varētu nodoties bēgļu lietām. Viņa pastāvīgā klātiene centrālkomitejā kļuva par nepieciešamību. Taču drīz vien, pēc boļševiku nākšanas pie varas, centrālkomiteja un tās autoritātes tika sagrautas un darbinieki izklīdināti. 1918.gada vasarā Zariņam izdevās realizēt vienu no pēdējiem un nozīmīgākajiem uzdevumiem. Radās pirmā iespēja latviešu bēgļus sūtīt atpakaļ uz Latviju, taču braukt varēja tikai tie, kas pierādīja savu izcelšanos no Baltijas guberņām. Visas biedrības bija slēgtas, pie varas nākušie boļševiki centās atgriešanos aizkavēt. Zariņš bija tas, kas uzņēmās apliecību izdošanas procedūru. Šādas apliecības daudzus izglāba no nāves. Zariņš parakstīja tūkstošiem apliecību un palīdzēja organizēt bēgļu vilcienus. Drīz sekoja nākamie notikumi – Zariņu iesūdzēja tautas tribunālā, apvainojot bēgļu naudas izšķērdēšanā, kaut viņa kabatā neatradās ne kapeikas no bēgļu naudām. Zariņam dzīvības briesmu dēļ vienā dienā vajadzēja pazust no Pēterpils. Centrālkomiteja atklāto darbību bija spiesta izbeigt, bet atlikušajiem tās darbiniekiem bija jāveic jauni uzdevumi, stiprinot latviešu nacionālās pozīcijas. Zariņš līdz ar citiem  strādāja Latviešu pagaidu nacionālās padomes Ārlietu komisijā, kas sagatavoja lielvalstu sūtņiem memorandus.

Jaunās Latvijas vadītāji Zariņam kā turpmāko dzīves ceļu bija izraudzījuši diplomātisko darbu, lai gan pats sākotnēji par to negribēja ne dzirdēt. Iepriekš apgrozoties prominentā sabiedrībā, kurā bieži valdījusi franču valoda, Zariņš izteicies, ka piecas valodas jau pārvaldot – latvju, igauņu, krievu, vācu un angļu – un ar tām pietiekot, lai sekotu cilvēces progresam un pasaules civilizācijai. Franču valoda vajadzīga diplomātiem, taču viņš diplomāts nekad nebūšot. Taču, kļūstot par diplomātu, Zariņš smiedamies atmiņās minējis: “Kungs domā, kučieris brauc. Franču valodu man beidzot tomēr vajadzēja iemācīties un par diplomātu arī vajadzēja kļūt.” 1918. gada septembrī Zariņš atgriezās Latvijā, lai piedalītos jaunās Latvijas valsts veidošanā. Zariņš tika ievēlēts par Rīgas pilsētas sekretāru, taču jau 1919. gada janvārī, kad Rīgā sāka ieplūst sarkanais karaspēks, Zariņš tika uzņemts uz angļu karakuģa “Princess Margaret” un aizbrauca uz Londonu.

Zariņa pirmais trimdas laiks Londonā ilga tikai divas nedēļas, jo jau janvāra beigās Jānis Čakste un Zigfrīds Anna Meierovics Zariņam atsūtīja diplomātisko pasi ar titulu “Attaché a la Délégation de Lettonie” un aicināja uz Parīzi piedalīties Versaļas miera konferencē. Tā Zariņam bija pirmā pieredze diplomātiskajā jomā. Meierovics Zariņam pat iedevis Ernesta Satova grāmatu divos sējumos, lai iepazīstinātu ar diplomātisko etiķeti un formalitātēm. Jaundibinātās Baltijas valstis gan neskaitījās Versaļas miera konferences dalībnieces, bet to delegācijas sekoja konferences gaitai un iesniedza memorandus. Zariņš delegācijas darbu vērtēja kā sekmīgu, jo tika nodibināts kontakts ar citu tautu pārstāvjiem, franču intelektuālajām aprindām, veicināta Latvijas vārda atpazīstamība starptautiski. Parīzē Zariņš pirmo reizi sastapa topošo dzīvesbiedri Henrieti Uperi (Houppert), kuru  pēc darba intervijas Meierovics pieņēma darbā par stenogrāfisti. 1921. gada 20. februārī Rīgā Zariņš un Henrieta apprecējās.

1919. gada 3. aprīlī Zariņš saņēma Latvijas valdības pilnvaru, ar kuru tika iecelts par Latvijas diplomātisko pārstāvi Somijā un līdz Frīdriha Grosvalda atbraukšanai arī par pārstāvi Stokholmā, bet no 1923. gada aprīļa kļuva par sūtni arī Zviedrijā, Norvēģijā un Dānijā ar rezidenci Helsinkos. No 1925. līdz 1930. gadam viņš kļuva par Latvijas sūtni Zviedrijā, Norvēģijā un Dānijā ar rezidenci Stokholmā, kur 1927. gadā ģimenē sagaidīja meitu Marie Annu. Kā sūtnis viņš bija ieguvis atzinību un mīlestību visās dienesta vietās, kā, piemēram, draudzību ar Zviedrijas karali Gustavu V. Viesošanās laikā Rīgā 1929. gada vasarā karalis tā laika prezidentam Gustavam Zemgalam pēc Zariņa apbalvošanas ar  Ziemeļu Zvaigznes ordeni esot teicis: “Tā kā mēs visi Zviedrijā mīlam jūsu sūtni Zariņu un es nupat devu viņam arī augstāko ordeni, tad nu jūs nevarat viņu no mums atsaukt.” Tomēr no 1930. līdz 1933. gadam Zariņš bija sūtnis Igaunijā, vienlaikus pildot Latvijas ārlietu ministra pienākumus.

1933. gada martā, kad demisionēja Marģera Skujenieka valdība, pie Zariņa Ārlietu ministrijā ieradās Lielbritānijas sūtnis Rīgā Hjū Nečbuls-Hjūdžesens (Hughe Knatchbull-Hugessen), jautājot, ko Zariņš darīšot, kad jauna valdība nāks pie varas. Zariņš atbildēja, ka pārcelšoties atpakaļ uz Tallinu, taču sūtnis mudināja padomāt par Londonu, kur sūtņa postenis tobrīd bijia vakants. Nākamajās dienās Zariņš prezidentam Albertam Kviesim atreferēja sarunu par sūtņa posteni Londonā, un prezidents piekrita – 1933. gada 12. maijā Ministru kabinets Zariņu iecēla par sūtni Lielbritānijā un ģenerālkonsulu Britu impērijā. Savas darbības laikā Zariņš pieredzēja Džordža V 25 gadu valdīšanas jubileju, viņa troņmantnieka Eduarda VIII proklamēšanu par karali, karaļa Džordža VI kronēšanu un māvi, un visbeidzot Elizabetes II kāpšanu tronī un kronēšanu. Esot politisko procesu epicentrā, viņš sajutis pirmos kara priekšvēstnešus.