Zasada działania jest mniej skomplikowana, niż mogło by się to w pierwszej chwili wydawać. Żeby wytłumaczyć działanie pompy ciepła najlepiej zacząć od zwykłej lodówki, która pobiera z żywności wewnętrzne ciepło i oddaje je na zewnątrz do pomieszczenia. Pod względem zasady działania pompy ciepła w niczym się od niej nie różnią, przemiany termodynamiczne i podstawowe elementy konstrukcyjne w obu urządzeniach są takie same. Jedyna różnica między nimi to efekty ich pracy, a co za tym idzie – zastosowanie. Lodówka ma chłodzić produkty spożywcze, a efektem ubocznym jej pracy jest ogrzewanie pomieszczenia. Pompa ciepła grzeje budynek, a efektem ubocznym jej pracy jest chłodzenie tzw. dolnego źródła ciepła. Schematycznie pokazane jest to na rysunku poniżej.
Ważnym czynnikiem jest tutaj transport ciepła. Odbywa się on za pomocą nośnika ciepła, który pobiera ciepło z otoczenia ziemi (10), transportuje je do pompy ciepła i dalej do parownika. Po oddaniu ciepła w parowniku nośnik powraca do ziemi (12). Parownik ma konstrukcję wymiennika płytowego gdzie między sąsiednimi płytami znajdują się czynnik chłodniczy (5), posiadający wyjątkowo niską temperaturę wrzenia oraz nośnik ciepła z ziemi (11).
Pod wpływem temperatury nośnika ciepła czynnik chłodniczy wrze - odparowuje (6), a sprężarka skrapla tę parę i podwyższa ciśnienie. Jednocześnie podnosi się temperatura do wyznaczonego poziomu ogrzewania i powstaje strumień ciepła (1). Para oddając zdobyte ciepło (2) do gorącej wody (8) przechodzi w stan ciekły (3).
Zagrzana woda w skraplaczu zasila instalację domową (9), gdzie schładza się i powraca do skraplacza (7). Termostatyczny zawór rozprężny obniża ciśnienie z powrotem do pierwotnego poziomu, ciecz ochładza się dalej i obieg rozpoczyna się na nowo (4). Ciepło może być znowu pobierane i oddawane do systemu grzewczego. I cały cykl zaczyna się od nowa ...