Né à Pulversheim le 21 avril 1882, il entre dans la Société de Marie au postulat de Bourogne le 22 septembre 1896 au terme de l'école primaire de Pulversheim.
Il y restera 3 ans pour parfaire ses études et se préparer à l'enseignement; puis il passa au Noviciat de RIS (durée 1 an) pour se préparer à la vie religieuse. Joseph KOEHL débutera dans l'enseigenement à Altdorf, en Suisse en 1901.
C'est de là qu'en 1903 il partit pour commencer la Mission de Chine où il devait rester jusqu'au retrait des religieux en 1809, pour commencer à travailler au Japon, le pays où devait passer tout le reste de sa vie. Il fut d'abord professeur au Lycée de Nagasaki, enseignant surtout le Français et l'Anglais. En 1917, il devenait professeur dans une école commerciale d'Osaka et il réussissait si bien que 9 ans plus tard, il assumait la direction de cette importante maison.
6 ans plus tard, il prenait la direction de l'école de Nagasaki dans laquelle il avait débuté au Japon. Partout où il fut directeur, son tempérament aimable le faisait grandement aimer des Frères si bien qu'on lui confiait de préférence les tempéraments dont il savait tirer un excellent parti. Cependant, sa santé commencait à décliner et en 1938, bien qu'il n'eut encore que 56 ans, il fallut lui confier une tâche moins lourde, l'économat d'une grande école du Japon, l'Etoile du Matin de Tokyo. Le mal qui le minait progressa rapidement si bien qu'au bout d'un peu plus d'un an, il dût s'aliter à l'hôpital catholique tenu par les Franciscaines Missionnaires de Marie, où il mourrut le 24 décembre 1940. Il repose au cimetère de Tokyo dans l'enclos réservé aux religieux de la Société de Marie.
Un frère de Joseph KOEHL, Louis KOEHL, né en 1886, enseignait également en Chine et au Japon, en collaboration avec son frère aîné.
Ces 2 éducateurs, professeurs de langues, ont oeuvré en commun pour l'enseignement de la langue française à l'étranger, où ils ont passé toute leur vie active, sans jamais revenir dans leur famille et dans leur pays natal.