В 1940 году Канарис договаривался о наступлении испанцев на Гибралтар, но неудача вторжения Италии в Грецию и высадка там английских войск заставили Франко отказаться от Гибралтара. Канарис договорился о примирении Греции с Италией. Однако американский представитель Донован смог переубедить греческое правительство, предложив английскую помощь. Не удалось Канарису опередить Донована и в Югославии, где к власти пришли антигитлеровские силы. А Германии пришлось воевать в 1941 году против Греции, спасая итальянцев, затем в Югославии. Канарис, побывавший в Белграде после налета авиации, был подавлен увиденным и тем, что не смог помочь заключить мир.

После Югославии Гитлер вступил в войну с СССР. Канарис, знавший о его намерении, пытался организовать выступление военных против этого гибельного для Германии шага, переубедить фюрера, но безуспешно. В то же время шеф абвера готовил будущую войну, несмотря на слабую агентуру в СССР. Он организовывал дезинформацию о готовности Германии напасть на Британские острова а воевать на Средиземном море. Абвер для работы на территории СССР установил связи с разведками Румынии и Японии, организовал отдел «Валли» под Варшавой. Абверовцы готовили диверсии в приграничных советских республиках. Именно они начали боевые действия.

Когда германские войска терпели первые поражения на полях России и в Северной Африке, Канарис попробовал установить связь с правительствами союзников, чтобы заключить мир на приемлемых условиях. Особую активность он проявлял после того, как стало известно, что в Касабланке Черчилль и Рузвельт договорились требовать от Германии безоговорочной капитуляции. В самом абвере все больше было провалов. Развал организации, дезинформация, коррупция и разбазаривание средств стали обычным явлением. Адмирал основательно сдал и не следил за злоупотреблениями. В 1943 году абвер оказался под ударом из‑за ареста агента, который знал о переговорах с зарубежными деятелями и о том, что близкий сотрудник адмирала полковник Остер выдал голландцам срок начала вторжения. При обыске в абвере были обнаружены документы готовившегося антигитлеровского переворота. Канарис не мог помешать следствию. Он сам ожидал ареста. К счастью, вторжение союзников на Сицилию и переворот в Италии потребовали активизировать деятельность абвера, почти заглохшую в период следствия, а Гиммлер не поверил в виновность адмирала.

Поражения Германии лишили абвер возможности работать в Испании, откуда выслали германских агентов. Только самому Канарису удалось уговорить Франко, что тот нуждается в абвере. В Италии, как союзной державе, агентуры не было вообще, и Канарис не мог предоставить сведения о стране, с которой теперь Германия воевала. Гитлера возмутило, что Канарис ничего не знал о подготовке к высадке союзников у Анцио. Взрывы судов минами, подложенными в Испании, заставили запретить абверу диверсии. Однако Канарис потерял связи с испанской агентурой, и после доклада Гитлеру о том, что адмирал не выполняет приказ, фюрер 11 февраля 1944 года приказал уволить шефа военной разведки. 12 февраля вся разведывательная служба рейха была подчинена рейхсфюреру СС Гиммлеру.

Канариса поместили в замке Лауэнштейн без права выхода за его пределы и контакта с посторонними лицами. 10 июня 1944 года адмирала уволили в запас, но вскоре Гитлер назначил его «адмиралом для особых поручений». С 1 июля Канарис возглавил особый штаб при верховном главнокомандующем для торговой и экономической войны против союзников. Однако фактически реальной деятельности для мизерного «штаба» не было.

После поражений на советском фронте и высадки союзников во Франции полковник Штауффенберг возродил идею убийства Гитлера и государственного переворота в Германии. Канарис отказался в нем участвовать. А когда 20 июля было совершено покушение на фюрера, он послал тому телеграмму о своей верности. Однако 23 июля Канариса все же задержали по показаниям одного из арестованных. Несмотря на тяжесть улик, его 19 сентября 1944 года лишь уволили «от активной военной службы на военно‑морском флоте», не передавая дело в Народный суд. После бомбежки здания РСХА Канариса с другими обвиняемыми вывезли в лагерь Флоссенбюрг. Адмирал надеялся выжить до того, как союзники победят. Однако в сейфе абвера были найдены дневники, в которых адмирал откровенно описывал свои мысли и действия. Гитлер прочел отрывки из дневника и приказал уничтожить заговорщиков. После суда, на котором адмирал продолжал борьбу со следствием, и смертного приговора 8 апреля Канариса повесили. Врач отметил: «Адмирал умер спокойно».