Родился в 1870 году, в Житомире, в старинной дворянской семье. Сын тайного советника Василия Матвеевича Глинки.

В 1895 году окончил юридический факультет Императорского Санкт-Петербургского университета и поступил на службу в Государственную канцелярию. С 1905 года — старший делопроизводитель отделения законов Государственной канцелярии.

В 1906 году откомандирован для ведения делопроизводства в открывающуюся I Государственную Думу. После роспусков I и II Дум возглавлял временные канцелярии Дум, обрабатывавшие накопленную документацию между созывами. Один из инициаторов организации Канцелярии Государственной Думы как самостоятельного государственного учреждения.

После учреждения Канцелярии в июле 1908 года — начальник отделения Общего собрания (одного из трех отделений). Фактически Я. В. Глинка выполнял роль советника и ассистента всех председателей III и IV Дум; готовил всю информацию, необходимую председателям; во время собраний Думы сидел непосредственно за спиной председателя и обеспечивал его всеми необходимыми сведениями. Глинка сумел установить доверительные отношения с председателями Думы А. И. Гучковым и М. В. Родзянко, что позволило ему оказывать малозаметное снаружи, но достаточно существенное влияние на деятельность Думы.

Инициатор (совместно с А. А. Клоповым) и автор составленной в марте 1916 года записки для императора Николая II, призывавшей к введению ответственного перед Думой министерства. Записка, под авторством А. А. Клопова, была представлена императору в октябре 1916.

После Февральской революции, 2 марта 1917 года, назначен управляющим делами Временного комитета Государственной Думы. После фактического прекращения работы Думы и всех ее учреждений, с 1 мая 1917 года — сенатор Первого департамента Сената.

После Октябрьской революции переезжает в Житомир. Нанявшись землекопом на строительство местного театра, Глинка поступает затем работать в театр и постепенно становится театральным художником. С 1938 года до смерти в 1950 году — художник Ульяновского драматического театра.