Vous devez faire attention aux commandes que vous utilisez quotidiennement dans l'environnement de production.

introduction

C'est le 13e jour du Calendrier Ateam cyma Adevent 2019. Aujourd'hui, l'ingénieur cyma @ihsiek du siège social d'EC d'Ateam Co., Ltd. sera responsable.

"Les gens qui l'ont fait dans un environnement de production Calendrier de l'Avent 2019" est très populaire. Récemment, l'environnement CI / CD a été amélioré et les chances d'accès shell à l'environnement de production diminuent, et les histoires d'échec des autres (d'autres sociétés) seront un bâton qui ne tombera pas pour ne pas suivre la même ornière. J'aimerais que les ingénieurs de l'entreprise lisent ces histoires d'échecs.

Alors, j'aimerais écrire une histoire d'échec dans un environnement de production dû à une opération que j'ignorais complètement les risques que j'avais pris dans mon travail précédent.

TL; DR

• Lors de l'utilisation de l'option --force de la commande Linux, il est préférable de vérifier le comportement de la version à utiliser.
• La vérification du fonctionnement dans l'environnement de production est inutile.
• Une opération de mise à jour du système d'exploitation est requise.
• Je recommande "Les personnes qui l'ont fait dans l'environnement de production Calendrier de l'Avent 2019" que vous pouvez utiliser les histoires d'échec des autres comme votre propre nourriture, donc par tous les moyens pour diverses personnes Je veux que vous le lisiez.

Qu'est-il arrivé

• Le fichier stocké sur le NAS (Network Attached Storage) a soudainement disparu.

Contexte

Le jour d'avant

• Sortie d'un certain système
• À ce moment-là, il n'y avait pas d'environnement CI / CD, et c'était une opération à construire après avoir extrait master avec la commande git.
• J'ai oublié la raison, mais uniquement pour cette version, j'ai fait une sauvegarde pour chaque répertoire dans la section précédente et annulé la sauvegarde avec la commande cp.
• Exécutez cp -rf [sauvegarde] [destination] pour vérifier que la sauvegarde fonctionne correctement
• Je l'ai relâché et je suis rentré chez moi car la vérification de l'opération s'est terminée avec succès.

Au jour

• Demandes téléphoniques des membres sur place
• "Les fichiers qui auraient dû être téléchargés sur le NAS ont été perdus ces dernières années, pourquoi?"
• Enquête mais cause inconnue
• Lorsque j'ai vérifié parce que le journal d'accès au fichier était laissé sur le NAS, il y avait un historique de suppression du fichier près de l'heure de sortie de la veille.
• Comme je n'ai pas exécuté de commande pour supprimer le fichier en premier lieu, je ne devrais avoir aucune idée, alors j'ai décidé de scruter le journal d'accès du fichier pendant un moment.
• En observant attentivement, il a été confirmé que seul le fichier avec le lien symbolique avait disparu du serveur de production et les autres restaient, et le journal d'accès a confirmé qu'il se comportait comme une commande cp, alors expérimentons.
• Créez un répertoire approprié (/ tmp / hoge) dans / tmp
• Préparez un répertoire et des fichiers avec des liens symboliques
• Exécutez cp -rf / tmp / hoge / tmp / hoge
• Confirmer que le contenu du répertoire avec le lien symbolique a complètement disparu
• Pour identifier la cause
• Il semble que cp -rf soit mauvais, donc j'ai vérifié les spécifications des options -f, --force avec man cp et j'ai trouvé la cause.

Commentaire

Ce qui suit est le résultat de «man cp» dans l'environnement d'occurrence.

Si vous essayez de copier le fichier sur lui-même(Sauf pour l'émission d'un message d'erreur)ne fais rien.
Lors de la copie dans un fichier existant, le fichier de destination est «ouvert(path,O_WRONLY|O_TRUNC)’Ouvert à.
Lors de la copie dans un nouveau fichier, le nouveau fichier est «ouvert(path,O_WRONLY|O_CREAT,mode)"Créé avec.
Le fichier de destination de la copie existe et-Si l'ouverture d'un fichier dans ce format échoue avec l'option f donnée,
cp supprime les fichiers existants(Ou dissocier)Essayer.
Ensuite, si la suppression réussit, l'instruction est poursuivie en tant que copie dans un nouveau fichier.

Bien qu'il soit sur la deuxième ligne à partir du bas, la destination du lien symbolique regarde le même fichier dans la destination de sauvegarde et de publication, donc

1. Impossible d'ouvrir le fichier
2. Supprimer le fichier existant
3. Continuez l'instruction en tant que copie dans un nouveau fichier
4. Échec de 3 car le fichier source de la copie a disparu dans 2.

Cela semble avoir été la fin du problème. À propos, le comportement de la commande cp semble être différent pour chaque distribution, mais j'ai confirmé qu'un tel problème ne se produisait pas même à ce moment-là si la version était correctement mise à niveau.

Résumé

Je pense que le problème a été causé par le fait que je faisais attention à ce que la commande cp soit juste une commande de copie et que ce serait bien, que j'avais préparé un moyen de la vérifier uniquement en production et que je n'étais pas en mesure de mettre à jour complètement le système d'exploitation. .. Voici mes leçons apprises:

• Reconnaissez l'hypothèse que les commandes se comportent différemment pour chaque distribution et version.
• Évitez autant que possible d'utiliser les options -f, --force, et vérifiez les spécifications si nécessaire.
• S'il ne peut être vérifié que dans l'environnement de production, faites une copie de l'environnement de production et créez un endroit où il peut être vérifié.
• Si vous utilisez des services tels que AWS et GCP, il est recommandé de créer facilement un mannequin de production à partir de l'image copiée.
• Je pensais que cela pourrait être gênant si je faisais l'orchestration de conteneurs, mais je ne rencontrerais pas un tel problème si j'exploitais un conteneur en premier lieu.
• Une opération de mise à jour du système d'exploitation est nécessaire, alors faisons-le systématiquement.

en conclusion

Comment s'est déroulé le 13ème jour du Calendrier Ateam cyma Adevent 2019? Comme c'était une histoire de mon travail précédent, j'ai regardé en arrière en pensant que ce serait impossible dans mon lieu de travail actuel, mais je prie pour que tout le monde ne suive pas la même ornière. Nous nous excusons pour la gêne occasionnée à toutes les personnes impliquées à ce moment-là: bow_tone1:

Aussi, dans le sens où je veux que vous utilisiez les erreurs des autres comme votre propre nourriture, "Les gens qui l'ont fait dans l'environnement de production Calendrier de l'Avent 2019" est vraiment Puisqu'il est recommandé, j'aimerais que plusieurs personnes le lisent, y compris ceux qui n'ont jamais connu d'opération de production. Demain, c'est @namedpython, un nouvel ingénieur diplômé qui est un petit rapatrié en désordre. J'ai hâte de poster des nouveaux arrivants qui devraient fermement construire une plateforme d'analyse de données.

A-Team Co., Ltd. recherche des collègues avec un fort esprit de défi avec qui travailler.

Si vous êtes intéressé à travailler en tant qu'ingénieur, veuillez consulter Cyma's Qiita Jobs.

Pour les autres professions, veuillez consulter Un site de recrutement de groupe d'équipe.