John Franklin Gray nació en el centro del estado de New York, en Sherburne, pueblo del que su abuelo fue fundador. Su padre era el 1er Juez de Chenango County.
Gray era el cuarto de cinco hermanos. Dos de sus hermanos, Dr. Alfred W. Gray y Dr. Patrick W. Gray, fueron también prominentes médicos homeópatas y cirujanos. Su madre, Diantha Burritt, fue fundamental en estimular el interés de sus hijos por la medicina.
Se casó el 25 de septiembre de 1826 en New York City con Elizabeth Williams Hull (1808 - 28 de mayo de 1868), quien era la hija de Dr. Amos Gift Hull, un reconocido médico de NYC y uno de los fundadores del State Medical Society of New York.
John y Elizabeth fueron padres de ocho hijos, todos nacidos en New York City: Elizabeth Williams Grey, John John Franklin Gray, Jr., John Frederick Schiller Gray, Josephine Augusta Gray, Emma Geraldine Hull Gray, Mary Ludlow Gray and Edward Hull Gray.
Su hija Elizabeth Williams Gray se casaría luego con Dr. Lewis Tillman Warner, un respetado médico homeópata.
John F. Gray comenzó sus estudios de medicina en la academia en Hamilton, New York (hoy Madison University) por dos años, primero como discípulo del Dr. Haven. Luego, en Dunkirk, NY, con Dr. Ezra Williams. En 1824, a los 20 años de edad, pasa a la práctica junto a los Dres. Valentine Mott and David Hosack en New York City.
Era común en esa época del siglo XIX, que los estudiantes recibieran parte de su educación a través de un sistema de pasantías. Éstas usualmente cubrían un período de 3 años y estaban reguladas por las sociedades médicas locales.
Durante el tiempo que duraron sus estudios fue nombrado asistente de cirujano en la armada, y se graduó del Columbia University College of Physicians and Surgeons en 1826.
En cuanto terminó sus estudios comenzó con la práctica privada de la medicina (abrió una oficina en Charlton Street en New York City).
También se dedicó a estudiar varios idiomas. Primero el francés para poder leer a los autores de Francia, y dos años después el alemán, el que continuó estudiando hasta que pudo leer y hablar con fluidez y así estudiar a Hahnemann.
Al tiempo conoció las teorías médicas de Hahnemann a través de Hans. B. Gram, un doctor nacido en Boston, pero de padres daneses y educado en Dinamarca. Dr. Gram fue pionero en Estados Unidos, en ese entonces el único médico reconocido en el país de tener conocimientos sobre la homeopatía.
En 1827, uno de los pacientes de Gray, F. L. Wilsey, quien era uno de sus amigos personales, le presentó a Dr. Gram. Fue solo después de varios meses de discusiones diarias con Gram que Gray lo consideró un profesional serio y decidió experimentar la verdad de Hahnemann de la que Gram tanto le hablara con algunos de sus pacientes incurables. Consintió entonces que el éste los tratara con homeopatía y fue el mismo Gray quien tomara nota y registrara todas las experimentaciones de Gram, quien obtuvo un notable éxito con muchos de estos pacientes con enfermedades crónicas. Esto no le dejó a Gray alternativa más que continuar investigando sobre este novedoso y eficaz sistema de medicina.
Así el Dr. Gray se convierte a la homeopatía, aunque seguiría creyendo que la medicina alopática y la homeopática no eran excluyentes entre sí, sino que podían complementarse la una con la otra cuando el caso lo ameritara.
En 1828, Dr. Gray adoptó la homeopatía como su principal práctica en la medicina y lo anunció abiertamente. Como consecuencia de esto perdió gran parte de sus amigos y colegas de la medicina tradicional, y su economía también se vio afectada negativamente.
En 1833 se asocia con su cuñado, el Dr. Amos Gerald Hull.
En 1834 funda la New York Homœopathic Society, cuyo propósito era el de proteger, enriquecer y diseminar este sistema, haciendo accesibles las propuestas y testimonios de la Homeopatía.
Esta sociedad estaba compuesta de médicos y hombres de la ley. También William Cullen Bryant, el editor y poeta, personalidad destacada de la cultura de la época, era uno de sus miembros. Él fue uno de los primeros en convertirse a la homeopatía y un fuerte defensor de esta y sus principios.
William Cullen Bryant estaba entre el círculo de amistades de Gray, junto a otros escritores poetas y artistas destacados como Walt Whitman, John Greenleaf Whittier, Asher Brown Durand, Frederic Edwin Church y Samuel Morse, pintor e inventor del telégrafo.
Dr. Gray fue el primero en proponer la formación de una sociedad nacional de homeopatía, y en 1844 el American Institute of Homeopathy se había organizado.
En los últimos años de su vida Dr. Gray se volvió un filántropo y era consultado en diversos temas sociales.
Dr. Gray fue un miembro de la "Sociedad de Cincinnati". Habiendo sido admitido en el año 1860, fue médico de la Sociedad desde el 4 de Julio de 1878 hasta el día de su muerte en 1882.
También fue miembro de la N. Y. Historical Society.
Dr. Gray falleció el 5 ó 6 de junio de 1882, en New York City y se encuentra enterrado en el cementerio Green Wood de Brooklyn junto a su esposa.