COUNT(*) или COUNT(column) — в чём разница при подсчёте строк?

Не одно и то же из-за NULL:

• COUNT(*) — считает ВСЕ строки, включая те, где есть NULL.
• COUNT(column) — считает только строки, где column НЕ NULL.
• COUNT(DISTINCT column) — количество уникальных непустых значений.

SELECT
  COUNT(*)              AS всего_строк,
  COUNT(phone)          AS с_телефоном,
  COUNT(DISTINCT city)  AS уникальных_городов
FROM users;

Если просто «сколько строк» — бери COUNT(*), он самый быстрый и не зависит от NULL.