Akcja powieści "Co kochałem" rozpoczyna się w 1975 roku w Nowym Jorku, kiedy historyk sztuki Leo Hertzberg, narrator, odkrywa w jednej z galerii w SoHo niezwykły obraz. Zafascynowany, kupuje dzieło, a po jakimś czasie dociera do jego autora, którym okazuje się nieznany malarz William Wechsler. W ten sposób narodzi się długoletnia przyjaźń między obu mężczyznami, a losy dwóch rodzin, dwóch małżeństw, dwóch synów urodzonych w tym samym roku i wychowujących się razem, splotą się na zawsze w nierozerwalną całość. Pogłębianiu się tej zażyłości sprzyja bliskie sąsiedztwo, spędzane razem wakacje, wspólne poglądy i zainteresowania, lecz więzi między przyjaciółmi jeszcze bardziej się zacieśnią, gdy zaczną na nich spadać życiowe ciosy przerastające ich siły. Kreśląc sylwetki swoich bohaterów i ukazując złożone relacje między nimi, autorka potrafiła wydobyć najsubtelniejsze odcienie ich uczuć. To bogactwo emocjonalnych tonów nadaje postaciom niezwykłą wyrazistość.

Jednym z ciekawszych wątków tej wielowarstwowej książki jest artystyczna ewolucja Billa, którą Leo wnikliwie obserwuje jako przyjaciel i zarazem znawca sztuki, a z jego opisów i refleksji wyłania się znakomity portret współczesnego twórcy, wiecznie poszukującego nowych środków wyrazu dla swoich idei. Ukazując trudną drogę Billa do sukcesu, Siri Hustvedt, ustami narratora, zwraca też uwagę na niepokojące trendy w nowojorskiej sztuce lat 80. i 90., takie jak eksperymenty pewnych twórców, którzy w imię wolności artystycznej próbowali szokować widzów brutalnym okrucieństwem i przemocą. Czyni przy okazji wiele celnych spostrzeżeń na temat kreowania idoli w świecie sztuki oraz samego środowiska nowojorskich krytyków, którzy ulegając chwilowym modom, promują tanie efekciarstwo.