根据中华人民共和国发票管理办法实施细则（国家税务总局令第37号）第三十一条 使用发票的单位和个人应当妥善保管发票。发生发票丢失情形时，应当于发现丢失当日书面报告税务机关，并登报声明作废。根据国家税务总局公告2014年第19号一般纳税人丢失已开具专用发票的发票联和抵扣联，如果丢失前已认证相符的，购买方可凭销售方提供的相应专用发票记账联复印件及销售方主管税务机关出具的《丢失增值税专用发票已报税证明单》或《丢失货物运输业增值税专用发票已报税证明单》，作为增值税进项税额的抵扣凭证；如果丢失前未认证的，购买方凭销售方提供的相应专用发票记账联复印件进行认证，认证相符的可凭专用发票记账联复印件及销售方主管税务机关出具的《证明单》，作为增值税进项税额的抵扣凭证。专用发票记账联复印件和《证明单》留存备查。一般纳税人丢失已开具专用发票的抵扣联，如果丢失前已认证相符的，可使用专用发票发票联复印件留存备查；如果丢失前未认证的，可使用专用发票发票联认证，专用发票发票联复印件留存备查。一般纳税人丢失已开具专用发票的发票联，可将专用发票抵扣联作为记账凭证，专用发票抵扣联复印件留存备查。根据《中华人民共和国发票管理办法》第三十五条　违反本办法的规定，有下列情形之一的，由税务机关责令改正，可以处1万元以下的罚款；有违法所得的予以没收：…未按照规定存放和保管发票的。为此，根据上述规定并没有明确到时是哪方应该处罚，为此对于购货方遗失发票，建议开票方与税务机关积极沟通，相关罚款由购货方直接交给税务机关，避免罚款造成对企业纳税信用评级的影响。