Анджелина была дважды замужем, и оба брака распались. В 1996 году, в возрасте 20-ти лет, Джоли вышла замуж за своего партнёра по фильму «Хакеры» британского актёра Джонни Ли Миллера, но уже через год последовал развод (официально оформленный лишь в феврале 1998 года). Оба остались хорошими друзьями, разрыв же, по признанию Джоли, был обусловлен тем, что двое были слишком молоды и брак был необдуманным шагом.
В мае 2000 года актриса снова начала отношения с партнёром по съёмочной площадке: на съёмках фильма «Управляя полётами» она познакомилась и завязала бурный роман с актёром Билли Бобом Торнтоном, который моментально стал объектом пристального внимания публики благодаря весьма экспрессивным выражениям своей любви с обеих сторон (в числе прочих, пара обменялась своей кровью, хранящейся в специальных сосудах-украшениях). Джоли и Торнтон развелись спустя три года (май 2003 года), после чего обоим пришлось выводить с тела татуировки с именами друг друга.
Скандальности вокруг личной жизни Анджелины добавляли её откровенные высказывания на тему собственной бисексуальности. Общеизвестным стал роман актрисы со своей партнёршей по фильму «Ложный огонь» Дженни Шимицу, американкой японского происхождения.
Последний по времени роман Анджелины стал главной мишенью объективов голливудских папарацци: не только потому, что её партнёром стал один из самых высокооплачиваемых актёров Голливуда Брэд Питт, но и потому, что он на тот момент был женат на звезде телесериала «Друзья» Дженнифер Энистон. Несмотря на то, что оба отметали все предположения о том, что их роман стартовал на съёмочной площадке их совместного кассового хита «Мистер и миссис Смит», пресса объявила Анджелину причиной развода, и актриса получила огромное количество негативных отзывов в свой адрес. Брэд и Анджелина упорно отказывались комментировать на публике характер своих отношений, хотя все мировые таблоиды и интернет-сайты о знаменитостях были переполнены их совместными фотографиями. Лишь 11 января 2006 года Анджелина Джоли в одном из интервью заявила, что беременна от Брэда Питта, тем самым подтвердив их роман. Говоря о Брэде Питте и Анджелине Джоли, американские СМИ и особенно желтая пресса часто называет пару «Брэнджелиной» (Brangelina).У Анджелины Джоли шестеро детей: сыновья Мэддокс Шиван (англ. Maddox Chivan), Пакс Тьен (англ. Pax Thien) и Нокс Леон (англ. Knox Leon); дочери Захара Марли (англ. Zahara Marley), Шайло Нувель (англ. Shiloh Nouvel) и Вивьен Маршелин (англ. Vivienne Marcheline). Все носят фамилию Джоли-Питт (Jolie-Pitt), хотя лишь трое — Шайло, Нокс и Вивьен — являются биологическими детьми Анджелины и Брэда Питта. В декабре 2005 года несмотря на то, что ни от Анджелины, ни от Брэда не было официального заявления о том, что они являются парой, Брэд Питт подал документы об усыновлении Мэддокса и Захары, и 19 января 2006 года калифорнийский суд удовлетворил его ходатайство.Мэддокс (р. 5 августа 2001 года) был усыновлён Анджелиной в марте 2002 года в Камбодже, где Джоли снималась в фильме «За гранью» о странах третьего мира. Мальчик, урождённый под именем Рат Вибол, находился в сиротском приюте в лагере для беженцев. После развода с Билли Бобом Торнтоном Джоли получила единоличную опеку над ребёнком.
Захара (р. 8 января 2005 года) осталась сиротой в результате смерти своей биологической матери от СПИДа (дочь не страдает синдромом иммунодефицита) и была удочерена Анджелиной и Брэдом в июле 2005 года в Эфиопии, где Джоли находилась в рамках гуманитарной миссии ООН. Девочка страдала от недоедания и обезвоживания, из-за чего ей некоторое время пришлось провести в американском госпитале. Имя «Захара» означает «цветок» на языке суахили; второе имя — Марли — Анджелина выбрала в честь Боба Марли.
Шайло (р. 27 мая 2006 года) стала первым биологическим ребёнком Анджелины Джоли и Брэда Питта. Её рождению предшествовала настоящая война между семейной парой Джоли-Питт и средствами массовой информации, которые пытались выследить их ради фотографий; в результате победа осталась за парой. Шайло Нувель, чьё имя в Библии означает «мирная», была рождена в Намибии, где официальными властями на всё время пребывания там Анджелины и Питта были предприняты беспрецедентные меры безопасности. Чуть позже Анджелина и Брэд продали снимки дочери за рекордные 10 миллионов долларов журналам «People» и «Hello!», что сделало фотографии Шайло Нувель Джоли-Питт самыми дорогими фотографиями знаменитости в мировой истории.
5 марта 2007 года Анджелина и Питт усыновили на юге Вьетнама трёхлетнего мальчика Пакса Тьена (р. 29 ноября 2003 года) из приюта. Настоящее имя, данное при рождении — Фам Квань. Имя «Пакс» по-латыни означает «мир», оно якобы было выбрано матерью Анджелины перед смертью.
В феврале 2008 года Анджелина Джоли пришла на 2008 Film Independent’s Spirit Awards в обтягивающем чёрном платье, которое показало уже не первый месяц второй беременности актрисы.[8] Позже она подтвердила, что ждет близнецов.
12 июля 2008 года Анджелина Джоли родила двойню — мальчика Нокса Леона и девочку Вивьен Маршелин. Роды проходили во Франции, в клинике курортного города Ницца. Брэд Питт во время родов находился рядом с супругой. Врачам, как и в случае с рождением первого биологического ребёнка Джоли, пришлось делать ей кесарево сечение (первоначально ожидалось, что роды состоятся в августе). Право публикации первых фотографий новорожденных были проданы одному из американских журналов за 14 миллионов долларов, которые Питт и Джоли намерены пожертвовать на благотворительность. Анджелина Джоли и Брэд Питт перечислили 8 миллионов 400 тысяч долларов в The Jolie-Pitt Foundation на восстановление Нового Орлеана, пострадавшего от урагана «Катрина», помощь сиротам. Также летом 2008 года Анджелина и Брэд передали 1 млн долларов для финансирования организации по наблюдению за правами человека (Human Rights Watch) в Бирме и Зимбабве.
