Асо живет в Сибуе, Токио. Его пра-пра-прадедом был знаменитый деятель эпохи Реформации Мэйдзи (1868-1911) Тосимити Окубо. Отец Такакити Асо был крупным бизнесменом и членом парламента, президентом и владельцем компании Aso Cement, а также родственником и близким соратником премьер-министра Японии 1972-1974 годов Какуэя Танаки. Мать была дочерью премьер-министра Сигэру Ёсида, который возглавлял правительство страны в 1946-1947 и 1948-1954 годах.
Младшая сестра Таро Асо Нобуко замужем за принцем Микаса-но Томохито, двоюродного брата императора Акихито.

Жена Тикако Дзэнко является третьей дочерью бывшего премьера Дзэнко Судзуки (1980-1982) и сестрой депутата японского парламента Сюнити Судзки.

У Таро Асо есть сын и дочь.

Асо с детства увлекается молодежными японскими комиксами (мангой) и анимацией (аниме). Он получил прозвище Rozen Aso после того, как в 2006 году в аэропорту Нарита его застали за чтением популярной манги "Rozen Maiden". В 2006 году Асо организовал награду International Manga Award для иностранных художников и высказывался в поддержку аниме и манги как одних из наиболее важных статей японского культурного экспорта. В 2007 году в интервью Фудзи-ТВ он признался, что иногда пишет на популярном японском анонимном веб-форуме 2channel.

Кроме того, у Асо Таро была небольшая спортивная карьера: с юности от увлекался охотой и участвовал в соревнованиях по стендовой стрельбе. На международных соревнованиях в Мексике в 1974 году ему даже удалось завоевать медаль. В 1976 году Асо входил в команду по стендовой стрельбе японской соборной на Олимпийских играх в Монреале, однако занял лишь 41 место и 68.

Асо является одним из советников в проекте строительства подводного тоннеля между японским островом Кюсю и Южной Кореей. Он был председателем японских спортивных ассоциаций по баскетболу и стендовой стрельбе, однако незадолго до своего избрания главой ЛДПЯ объявил о том, что уходит с этих должностей.