O Dr. Salim iniciou a sua carreira política na diplomacia internacional, como representante da Tanzânia em inúmeros postos de embaixada, incluindo as embaixadas do Egipto, Índia e China, e desempenhando o cargo de Representante Permanente das Nações Unidas desde 1970. Seis anos mais tarde, seria eleito Presidente do Conselho de Segurança das Nações Unidas e prosseguiria como presidente da 34ª Sessão da Assembleia-Geral das Nações Unidas, em Setembro de 1979.

Regressaria à Tanzânia para exercer cargos da maior importância na política interna, tendo detido várias posições ministeriais, para além de ter sido Primeiro-Ministro. Depois disso, retoma a sua actividade a nível internacional, como Secretário-Geral da Organização de Unidade Africana, de 1989 a 2001, tendo supervisionado a sua passagem para a União Africana.

Como Presidente da Comissão Especial das Nações Unidas para a Descolonização, o Dr. Salim ajudou a encetar uma nova era de independência em todo o continente. Figura de proa na luta contra o apartheid, exerceu funções como Presidente do Conselho de Segurança das Nações Unidas sobre Sanções contra a Rodésia, Presidente da Conferência Internacional sobre Sanções contra a África do Sul e Presidente da Conferência Internacional de Paris sobre o Apartheid. Em reconhecimento do seu contributo para África, seria agraciado com inúmeros títulos honoríficos nacionais, por parte de muitos países africanos, incluindo Togo, Ruanda e Libéria.